Server mit freier Firmware - D16 - Teil 1 - Zusammenstellung

9. Juli 2021 madbehaviorus Lesezeit: 36 Minuten

Im ersten Teil der Serie "Server mit freier Firmware" geht es um die Zusammenstellung meines D16-Servers.

server mit freier firmware - d16 - teil 1 - zusammenstellung

Da mir durch verschiedene Foren, IRCs und Blogs eine steigende Tendenz zur Verbreitung jeglicher Art an Informationen von Open Source und Open Hardware aufgefallen ist, möchte ich meine Erfahrungen in diesem Bereich gerne einer breiteren Öffentlichkeit offenlegen. In der Hoffnung, es erspart Anderen mit ähnlichen Interessen einiges an Geld und vor allem Zeit. Am wichtigsten erscheint mir jedoch die Verbreitung der Möglichkeiten in diesem Bereich sowie die weitere Hoffnung, etwas an Neugierde und Aufmerksamkeit für einige Projekte innerhalb dessen zu wecken.

Zugegeben, die folgenden Produkte sind nicht unbedingt das, was man sich unter dem Begriff freier Hardware vorstellt. Mit Blick auf die Kosten als auch die Leistung, ist es meiner Meinung nach, ein guter Anfang.

Fast alle Angaben in diesem Artikel beziehen sich lediglich auf das D-16 und sind nur als grober Anriss zu betrachten. Alles andere würde den Rahmen eines Blogbeitrags bei Weitem sprengen. Einzelne Details können allerdings durchaus in weiteren Teilen etwas detaillierter erläutert erfolgen.

Teil 1 - Zusammenstellung

Seit längerem nutze ich bereits erfolgreich verschiedene Versionen des Raspberry Pi’s. Sei es als interne Multimediastation (LibreElec) oder als Serverersatz (bspw. Nextcloud, Prosody, Zabbix…etc). Da ich u.A. bereits Ausfälle der SD-Karten zwecks zu vieler Schreibzugriffe hatte, eine Externalisierung für gewisse Projekte nicht infrage kommt und die Raspis für diese viel zu schwachbrüstig sind, war seit längerem schon ein Server in Planung.

Für mich sollte er im groben folgende Kriterien erfüllen:

freie Firmware, soweit möglich
- vorzugsweise Libreboot
- Coreboot nur im Notfall
genügend Leistung + Ressourcen für später Zwecke
min. zwei CPU Sockel
ECC RAM
als Nebeneffekt auch evtl. Ersatz des momentan eingesetzten NAS

Komponenten - Hardware

Die nachfolgenden Produktverlinkungen dienen lediglich als Beispiel.

Mainboard

Bei näherer Betrachtung kamen als Mainboard lediglich das KCMA-D8 [15], [16] oder das KGPE-D16 von ASUS infrage. Um genügend Ressourcen für spätere Anwendungszwecke in der Hinterhand zu haben, fiel die Wahl auf das

KGPE-D16

Preislich liegt es zwischen 115 € und 450 €. Hier liegt die Wahl zwischen einem refurbished aus China (ab 115€) oder einem refurbished aus der EU (ab 350 bis ∞). Legt man Wert auf ein Board mit Garantie, ist der Blick auf die Seite von Vikings empfehlenswert (momentan wird die Produktpalette jedoch aktualisiert). Zusätzlich dazu ist das dortige auch offiziell durch die FSF zertifiziert [34], [35], bietet weitere Konfigurationen und wird mit Libreboot oder Coreboot ausgeliefert.

CPU

Voraussetzungen sind:

IOMMU [1], [36]
- Opteron 6200/6300
keine Mircocodeupdates nötig [5]
- Opteron 6100/6200
Unterstützung für DDR3 mit 1600 MHz [1]
- Opteron 6200/6300

Folglich kommt hierbei nur die 6200er Serie infrage. Nach einem kurzen Blick auf die Prozessorliste der 6200er Serie, [32], entschied ich mich für den 6282SE, da der 6284SE eher selten zu finden ist. Im Vergleich dazu dürfte es noch schwieriger werden, einen, geschweige denn zwei, funktionstüchtige 6287SE sowie 6291SE zu finden. Davon abgesehen gab es für den ausgewählten bereits ein Programm, welches den aktuellen Workload aufbereitet ausgibt [9]. Zu diesem Zeitpunkt (Anfang 2020) wurde er als einziger Prozessor der AMD 15th Family unterstützt. Momentan wird jedoch lediglich der 6382SE offiziell unterstützt.

Kühlung

Leider gibt es für den Sockel G34, mit Ausnahme von Wasserkühlungen, wenig Auswahl an Kühlkörpern:

Passiv
- Dynatron CPU Kühler Sockel G34 Opteron 6000/6100 1HE 1U (4,1”) [17] - 34,63 €
Aktiv
- Dynatron A14 CPU-Kühler [18] - 69,77 €
- HSM AMD Sockel - 1U CPU - 102517 [19] - out of sold
- NOCTUA CPU-Kühler NH-U9DO A3 [20] - 152,32 €
- Supermicro SNK-P0050AP4 - [23] - 44,66 €

Meine Wahl fiel auf den Dynatron passiv Kühlkörper. Da dieser wohl nur für die 6100er Serie und nur für die Prozessoren mit wenig Stromverbrauch und somit auch weniger Wärmeerzeugung vorgesehen ist, entschied ich mich zusätzlich für einen Adapter von 80 mm auf 120 mm von InLine [21] (5,79 €) mit der Nutzung jeweils eines Arctic F12 PWM PST CO Lüfters [22] (12,66 €).

Laut Herstellerangaben sind nicht alle der aktiven Lüfter für eine Verwendung von Prozessoren mit hoher Leistungsaufnahme vorgesehen.

Geeignet:

Supermicro: "Up to 165 Watts" [25]
Dryton A14: "CPU Power 140 Watts Heat Dissipation." [26]

Ausnahmen:

Noctua: "Aufgrund … nur für Prozessoren mit bis zu 115W TDP (thermal design power) zugelassen. Der Betrieb von Prozessoren mit höherer TDP … kann je nach Konfiguration mit zusätzlicher Gehäusebelüftung möglich sein, wird jedoch nicht offiziell von Noctua unterstützt." [24]
Aufgrund der Bauweise des HSM Kühlers, habe ich mir ein Nachschlagen erspart. Ich denke, das ist verständlich.

RAM - ECC

Voraussetzungen sind:

DDR3-1600 MHz
und mind. 32 GB pro Riegel

Nach kurzer Prüfung der bereits bekannten problematischen RAMs auf coreboot.org [6] und [7] viel der erste Blick auf ein Speichermodul von Kingston.

Kingston Dell - 16 GB DDR3 1600 MHz Reg ECC Module - 1,5V - 69,90 € [4]

Musste jedoch zwecks falscher Annahme folgendem Modul weichen:

V7-V71280016GBR - 16 GB DDR3 1600 MHz Reg ECC Module - 1,35V - 79,83 € [3]

Grund: Siehe Troubleshooting =)

Grafikkarte

Die Nutzung der Onboard-Karte ist lediglich im Textmodus möglich. [1] Als zusätzliche Grafikkarte wurde folgende gewählt:

ASUS GeForce GT 710 Silent, 710-1-SL mit 1 GB DDR3 - 40 € [8]

Auch hier gab es Anfangs leichte Probleme → siehe Troubleshooting

Asus PIKE Erweiterung

Voraussetzung:

SAS2

Somit kommt lediglich das PIKE 2008 infrage. Für eine Benutzung mit Libreboot, siehe "Troubleshooting".

Gehäuse

Da mein ursprünglicher Serverschrank nur eine Tiefe von maximal 60 cm zuliess, entschied ich mich nach kurzer Prüfung der Kompatibilität auf E-ATX zum Kauf folgendes Objekts: INTER-TECH IPC 4U-4088-S mit einer Tiefe von 45 cm.

Allerdings mussten an diesem zwangsläufig weitere Anpassungen vorgenommen werden (siehe Troubleshooting).

Aktuell genutztes Gehäuse:

Inter-Tech 4U 4408

ASMB4-iKVM

Es gibt unter anderem "Unterstützung" in Form von OpenBMC für die Nutzung einer iKVM Karte mit einem RJ-45-Port (befindet sich über den zwei USB Buchsen). [10] Allerdings sehe ich für die Nutzung in meinem Usecase , ausser interessehalber, keinen Benefit für mich. Daher wurde es bis jetzt nicht getestet.

Troubleshooting

RAM

Zur Testung hatte ich zwei Module bestellt (Kingston - s.o.). Das D16 startete zwar, lieferte allerdings kein Bild, sondern nur BIOS Beep-Codes. Eines der RAMs war leicht verbogen, somit war ich der Meinung den Fehler gefunden zu haben. Nach Testung des gelieferten Ersatzmoduls war keine Veränderung oder Besserung sichtbar. Irrtümlich ging ich von Problemen in der Zusammenarbeit mit dem BIOS aus. Ich habe mit der "aktuellen" Version des originalen Asus BIOS sowie Coreboot (4.11) und Libreboot getestet. Auch wenn zuvor meinerseits noch unbekannt, folgten als nächste Testkandidaten RAMs des Herstellers V7:

V7-V71280016GBR - 16 GB DDR3 1600 MHz Reg ECC Module - 1,35V - 79,83 € [3]

Vor der Inbetriebnahme wurden die BIOS Jumper von 1,5V an die elektrische Spannung der aktuellen Module angepasst (1,35V). Hier zeigte sich jedoch das gleiche Schaubild. Nach einem kurzen Blick in das Handbuch und der Verschiebung der RAMs auf den richtigen Steckplatz, waren beim Start auch keine BIOS-Fehlermeldungen in Form der wunderschönen Beep-Codes zu hören.

Der Bildschirm blieb jedoch weiterhin schwarz…. …nun weiter mit dem Troubleshooting der Grafikkarte…

Coreboot / osboot / Libreboot

Das zuletzt getauschte RAM lief problemlos unter dem letzten "aktuellen" originalem BIOS. Nach einigen Versuchen mit der letzten funktionierenden Coreboot Version (4.11) sowie der letzten stabilen Libreboot Version (2016), musst eich jedoch feststellen, dass es nach einen Reboot mit Bootloop bei einer bestimmten Beanspruchung gab. Im Idle, gab es jedoch keine Probleme. Ob die Ursache durch ein Wärmeproblem des RAM oder CPU oder einfach die Beanspruchung der scheinbar instabilen Initiierung / Nutzung des RAM’s war, kann ich zum jetzigen Zeitpunkt leider zwecks fehlenden Logs weder bestätigen noch dementieren (der Fehler ähnelt dem Hynix/Hyundai RAM [6]). Es steht weiterhin auf meiner To-Do Liste.

Die Beschaffung mehrerer crucial (“crucial by Micron”) RAM’s ist zeitnah angedacht.

Der Buildprozess für das momentane Testing-Release von Libreboot ist abgeschlossen und steht zum Testen auch auf der To-Do Liste.

Grafikkarte

Leider konnte ich die externe Grafikkarte erst nach dem Einsatz des zweiten CPU’s und den genannten RAM’s auf den Positionen A2 + E2 zur Ausgabe bringen. Der zugehörige Jumper befand sich bei allen Tests auf der Position, die für die Aktivierung der externen GPU zuständig ist.

Libreboot (lbmk)

Auch hier ist die Wahl bzgl. des Payloads (~~grub~~; seabios_grubfirst oder seabios_withgrub) für eine Ausgabe ausschlaggebend. Dazu jedoch in Teil 2 mehr.

CPU - Temperatur

Keinen Erfolg hatte ich bei dem Versuch, die Temperaturanzeige der jeweiligen Prozessoren zu erhalten. Weder im BIOS, noch in Linux. Auch die Verwendung von sensors-detect aus dem Paket lm-sensors brachte hier keinen Erfolg. Innerhalb des BIOS gibt es lediglich die Anzeige CPU Tctl mit einer Begrenzung von 0 bis 70. Wird der Wert von 0 unterschritten, wird "gedrosselt". Ich gehe hier davon aus, dass die Frequenz der einzelnen Kerne und/oder der FSB gedrosselt wird. Bei der Unterschreitung von -30 wird das System automatisch heruntergefahren.

Tctl-BIOS

Im Gegensatz zu dem Abbild aus dem Handbuch, ist innerhalb des BIOS keine "echte" Temperaturanzeige vorhanden.

Leider sind die Tctl-Werte bei der 15th Family nicht gerade repräsentativ [28]. Somit habe ich die Möglichkeit genutzt, die internen Steckplätze für zwei Temperaturfühler für diese Messung zu nutzten. Erkannt werden sie als TR1 und TR2. Aufgrund des Durchmessers der Fühler von ca. einem Millimeter, empfiehlt es sich nicht, diese zwischen CPU-Oberseite und dem Kühler zu klemmen. Die Kühlleistung würde damit noch weiter sinken. Ich habe sie direkt zwischen zwei Wänden der passiven Kühlkörper befestigt. Bei CPU 2 mit einem Tctl-Wert von 1 bis 1,5 lieferte der TR1 65,5°C. Ich gehe stark davon aus, dass man noch ca. 1 bis 2°C aufrechnen sollte.

Weiterhin musste ich feststellen, dass mein erstes Setup unter dem Punkt CPU nicht das angedachte Ergebnis lieferte. Selbst im Idle hatten die Prozessoren bei einer Nutzung nach 30min die Tctl Werte zwischen 1 und 2 erreicht. Die Umgebungstemperatur belief sich hierbei auf 33,9 °C. Nach ca. zwei Stunden mit Linux und einer VM wies die Messung von CPU2 einen Tctl-Wert von 5 bis 6 mit gleichzeitigen 63°C auf.

In einem gut belüftetem Serverschrank bei Innentemperaturen von 28°C bis 31.125 C° hatte ich unter Vollast schon mehrere temperaturbezogene Shutdowns.

Eine kurze Aushilfe sollen zwei Noctua NF-A12 27 (29,90 €) liefern, bis die neuen aktiven Lüfter eintreffen. Nach dem Tausch der Arctic A12 gegen die e.g. Noctua ist die Verbesserung eher minimal. Bei 33,6°C Umgebungstemperatur pendelten sich die Tctl-Werte zwischen 1 und 3 ein. Die Messung erfolgte auch hier nach 30 Minuten.

Ich habe jedoch keine Möglichkeit gefunden, die internen Messungen unter Linux auszulesen. Weder mit der letzten Version des originalen BIOS, noch mit dem Libreboot von 2016.

Die Ausgabe von sensors liefert Folgendes:

nouveau-pci-0200
Adapter: PCI adapter
GPU core:     +0.91 V  (min =  +0.80 V, max =  +1.19 V)
temp1:        +44.0°C  (high = +95.0°C, hyst =  +3.0°C)
                       (crit = +105.0°C, hyst =  +5.0°C)
                       (emerg = +135.0°C, hyst =  +5.0°C)

fam15h_power-pci-00d4
Adapter: PCI adapter
power1:       48.36 W  (crit = 139.72 W)

fam15h_power-pci-00c4
Adapter: PCI adapter
power1:       45.12 W  (crit = 139.72 W)

k10temp-pci-00c3
Adapter: PCI adapter
temp1:        +36.0°C  (high = +70.0°C)
                       (crit = +70.0°C, hyst = +67.0°C)

w83667hg-isa-0290
Adapter: ISA adapter
Vcore:         +2.04 V  (min =  +2.04 V, max =  +2.04 V)  ALARM
in1:           +2.04 V  (min =  +2.04 V, max =  +2.04 V)  ALARM
AVCC:          +4.08 V  (min =  +4.08 V, max =  +4.08 V)  ALARM
+3.3V:         +4.08 V  (min =  +4.08 V, max =  +4.08 V)  ALARM
in4:           +2.04 V  (min =  +2.04 V, max =  +2.04 V)  ALARM
in5:           +2.04 V  (min =  +2.04 V, max =  +2.04 V)  ALARM
in6:           +2.04 V  (min =  +2.04 V, max =  +2.04 V)  ALARM
3VSB:          +4.08 V  (min =  +4.08 V, max =  +4.08 V)  ALARM
Vbat:          +4.08 V  (min =  +4.08 V, max =  +4.08 V)  ALARM
fan1:            0 RPM  (min =    0 RPM, div = 128)  ALARM
fan2:            0 RPM  (min =    0 RPM, div = 128)  ALARM
fan3:            0 RPM  (min =    0 RPM, div = 128)  ALARM
fan4:            0 RPM  (min =    0 RPM, div = 128)  ALARM
PECI Agent 4:   -1.0°C  (high =  -1.0°C, hyst =  -1.0°C)  ALARM  sensor = Intel PECI
PECI Agent 4:   +0.0°C  (high =  +0.0°C, hyst =  +0.0°C)  ALARM  sensor = Intel PECI
PECI Agent 4:   +0.0°C  (high =  +0.0°C, hyst =  +0.0°C)  ALARM  sensor = Intel PECI
cpu0_vid:     +0.000 V
intrusion0:   ALARM

k10temp-pci-00db
Adapter: PCI adapter
temp1:        +34.2°C  (high = +70.0°C)

k10temp-pci-00d3
Adapter: PCI adapter
temp1:        +34.0°C  (high = +70.0°C)
                       (crit = +70.0°C, hyst = +67.0°C)

k10temp-pci-00cb
Adapter: PCI adapter
temp1:        +36.0°C  (high = +70.0°C)

w83795g-i2c-1-2f
Adapter: SMBus PIIX4 adapter at 0b00
in0:          +0.97 V  (min =  +0.65 V, max =  +1.51 V)
in1:          +0.96 V  (min =  +0.65 V, max =  +1.51 V)
in2:          +1.37 V  (min =  +1.20 V, max =  +1.70 V)
in3:          +1.38 V  (min =  +1.20 V, max =  +1.70 V)
in4:          +1.21 V  (min =  +0.70 V, max =  +1.40 V)
in5:          +1.19 V  (min =  +0.70 V, max =  +1.40 V)
in6:          +1.23 V  (min =  +0.89 V, max =  +1.39 V)
in7:          +1.82 V  (min =  +1.50 V, max =  +0.05 V)  ALARM
in8:          +1.21 V  (min =  +0.70 V, max =  +1.40 V)
in9:          +1.09 V  (min =  +0.70 V, max =  +1.40 V)
in10:         +1.58 V  (min =  +0.40 V, max =  +1.40 V)  ALARM
in11:         +0.67 V  (min =  +0.00 V, max =  +2.05 V)
+3.3V:        +3.20 V  (min =  +2.96 V, max =  +3.63 V)
3VSB:         +3.26 V  (min =  +2.96 V, max =  +3.63 V)
Vbat:         +3.14 V  (min =  +2.70 V, max =  +3.63 V)
in15:         +1.00 V  (min =  +0.56 V, max =  +0.91 V)  ALARM
in16:         +1.56 V  (min =  +0.40 V, max =  +1.40 V)  ALARM
fan1:         742 RPM  (min =  400 RPM)
fan2:         725 RPM  (min =  400 RPM)
fan3:           0 RPM  (min =  400 RPM)  ALARM
fan4:        3325 RPM  (min =  400 RPM)
fan5:        3349 RPM  (min =  400 RPM)
fan6:           0 RPM  (min =  400 RPM)  ALARM
fan7:           0 RPM  (min =  400 RPM)  ALARM
fan8:         964 RPM  (min =  400 RPM)
temp1:        +56.0°C  (high = +90.0°C, hyst = +87.0°C)
                       (crit = +95.0°C, hyst = +92.0°C)  sensor = thermal diode
temp2:        +47.5°C  (high = +90.0°C, hyst = +87.0°C)
                       (crit = +95.0°C, hyst = +92.0°C)  sensor = thermistor
temp3:        -62.5°C  (high = +90.0°C, hyst = +87.0°C)
                       (crit = +95.0°C, hyst = +92.0°C)  sensor = thermistor
temp7:        +36.0°C  (high = +70.0°C, hyst = +70.0°C)
                       (crit = +70.0°C, hyst = +70.0°C)  sensor = AMD AMDSI
temp8:        +34.2°C  (high = +70.0°C, hyst = +70.0°C)
                       (crit = +70.0°C, hyst = +70.0°C)  sensor = AMD AMDSI
intrusion0:  ALARM
beep_enable: disabled

Da ich das D16 als "refurbished" erhalten habe, kann ich momentan nicht mit Sicherheit sagen, ob sich evtl. doch anderweitig die Temperatur der Prozessoren auslesen lässt. Ich gehe jedoch nicht davon aus.

PIKE Erweiterung

Während des Bootprozesses wird die jeweilige PIKE Karte initialisiert und die angebundenen Geräte an das BIOS weitergeben.

Hinweis: Die Firmware der jeweiligen Karten sind immer proprietär (D-16)

The optional PIKE add-on cards use ARM cores to handle the SAS protocol, though this firmware is directly loaded from a Flash chip on the module and does not involve any non-local components (e.g. the main CPU never touches the firmware on these modules outside of a manual reflash operation). Raptor Engineering is currently unaware of any SAS controllers that operate without a secondary processor or use libre firmware; the protocol is simply too complex to handle via a mask ROM, and as there are only one or two suppliers of SAS controllers there is very little incentive to release the source code to the firmware. Writing a libre firmware to replace the existing firmware may technically be possible, however it is extremely unlikely this will ever happen due to the man-decades required. [29]

Libreboot

Genau bei diesem Punkt hängt sich Libreboot auf. Um diesen Bug zu umgehen, wird im jeweiligen Libreboot-Rom die Anweisung hinterlegt, dass alle PCI-Steckplätze bis zum Ende des Bootprozesses nicht betrachtet und auch nicht initialisiert werden.

Nach dem jeweiligen Buildprozess des Roms, muss die genannte Anweisung folgendermaßen hinterlegt werden:

./cbfstool §libreboot.rom add-int -i 0 -n etc/pci-optionrom-exec

Wird sich für diese Lösung entschieden, muss das zum Booten verwendete Linux jedoch an den Standard SATA Ports angeschlossen werden.

Laut Leah (Gründer von Libreboot) gibt es noch eine zweite Möglichkeit (IRC):

"It’s possible to use this in the payload (if you use a linux kernel payload, or petitboot)… ."

Weitere Info:

"Libreboot-unstable (or git) now disables loading PCI option ROMs, but previous releases with SeaGRUB (20160818-20160907) do not."

Mit Libreboot unstable ist nicht das aktuelle Libreboot bzw. lbmk gemeint. Diese Aussage bezieht sich auf das alte Buildsystem von 2016…

Auch dazu in Teil 2 mehr.

Gehäuse

Wenn man nur das Board und die Passung des 4U-4088 betrachtet, stimmt die Angabe durchaus, dass es für den Formfaktor E-ATX nutzbar ist. Sobald jedoch ein CPU und dessen Kühler samt zugehöriger Lüfter hinzugefügt wurden, ist das Gehäuse mit Einschüben nicht mehr nutzbar. Abweichen davon, dass für diesen Formfaktor in Betracht auf das möglicherweise dort aufliegende Gewicht, zu wenig Befestigungsmöglichkeiten bestehen und somit die Wahrscheinlichkeit für eine eventuelle Beschädigung des Boards bei Montage von CPU oder Erweiterungen im Vergleich zu anderen Normen in diesem Bereich, die eine bessere Verteilung der Befestigungen und “Freiflächen” bieten, recht hoch ist, kommen die nicht vorhanden Befestigungsmöglichkeiten erschwerend hinzu. Für den ATX Standard sind die Vorhandenen jedoch ausreichend. Hier blieb lediglich die Möglichkeit, separat Löcher und zusätzliche Stangen mit Gewinde zu befestigen. Der Rahmen der drei 5,25" Einschübe sowie die Festplattenhalterungen mussten mit einem Winkelschleifer angepasst werden.

Obwohl die Modulation der PWM Lüfter bei diesem Board, meiner Meinung nach zum Glück, durch Libreboot nicht regelbar sind und ständig unter Volllast laufen, erschien mir dass genannte Intertech Gehäuse in Anbetracht der Belüftung und insbesondere in Betracht auf dessen Luftstrom für das D16 als unzureichend.

Ausweichend habe ich mich nun für ein Inter-Tech 4U 4408 entschieden.