Hardware und Nutzerumgebung
Allgemeiner Aufbau
Der Cluster hat einen Zugangs- und Steuerechner dirac-meister, einen Dateiserver dirac-mester und 32 Rechenknoten node1 bis node35 (node4 bis node7 sind außer Betrieb).
Die Rechenknoten node30, node32, node35 und node9 sind als dinux6, dinux7, dinux8 und dinux9 für interaktive Rechnungen zugänglich und nicht im Cluster-Stapel-System Open Grid Engine integriert.
In allen Rechenknoten (bis auf node1) sind jeweils 4 CPUs eingebaut. Die Kernanzahl der CPUs und der Speicher an den CPUs ist mit jedem Ausbau geändert worden:
Anzahl Anzahl AMD- Kerne/ Kerne/ RAM Takt Namen
Rechner CPU Type CPU Rechner
--------------------------------------------------------------------------------------------------
1 2 7551 2 128 256 GB 2,0 GHz node1
7 4 6172 12 48 64 GB 2,1 GHz node23-node29
4 4 6276 16 64 128 GB 2,3 GHz node1-node3, node30 (dinux6)
1 4 6344 6 24 128 GB 2,6 GHz dirac-meister
5 4 6376 16 64 128 GB 2,3 GHz node31, node33-node35, node11
13 4 6376 16 64 256 GB 2,3 GHz node9, node10, node12-node22
1 4 6376 16 64 512 GB 2,3 GHz node32 (dinux7)
1 2 E5530 2 16 12 GB 2,4 GHz dirac-mester (Intel Xeon-CPU)
Alle Knoten sind mit dirac-meister und dirac-mester über 4*10 GBit/s Infiniband mit einem IB-Switch verbunden. Über dieses Netzwerk wird latenzzeitarme Interprozess-Kommunikation und schnelles NFS genutzt. Die jeweils zwei 1 GBit/s-Ethernet-Schnittstellen sind als Backup und Ergänzung verfügbar. Ein weiterer Netzwerkanschluss dient jeweils der Fernkonfiguration und -wartung.
Von allen Knoten mit 10 GBit/s-NFS über IPoIB (Internet-Protokoll-über-Infiniband) nutzbar ist ein DotHill 3300 RAID-Array (Fibre Channel 8 GBit/s) mit 48 TB Brutto-Kapazität für die kurzzeitige Ablage von Daten und Programmen.
Alle aktiven Komponenten können mit einem Webbrowser ferngewartet werden. Zur Einrichtung gibt es einen KVM-Switch für die sonst unbenutze Bildschirm-Tastatur-Maus-Schnittstelle der Knoten.
Alle Einrichtungen befinden sich in zwei Schränken. Die unterbrechungsfreie Stromversorgung mit im Störungsfall möglicher autarker Dieselgenerator-Versorgung wird über die redundante USV-Anlage der beiden Rechnerräume sichergestellt.
Der Cluster benötigt etwa 32 kW Leistung ohne die notwendige Kühlung des Recherraums.
Der Benchmark SPECfp_base2000 erreicht für die 1,8GHz-Knoten den Wert 1176 und für die 2,4 GHz-Knoten 1924 Einheiten. Die 1,9 GHz-Magny Cours-Knoten erreichen 1744 Einheiten, d.h. bei 80% der Taktfrequenz immerhin 90% der Leistung der neueren Knoten. Die 2,1 GHz-Magny Cours-Knoten erreichen 1961 Einheiten. Die Leistung der neuesten 2,3 GHz Interlagos-Knoten wurde nicht ermittelt.
Heimatverzeichnisse auf dirac-meister:/home
Im Cluster sind spezielle Heimatverzeichnisse unter /home zu finden. Dort stehen insgesamt 8 TB zur Verfügung.
Beim ersten Anmelden auf dirac-meister wird Ihr Heimatverzeichnis unter /home mit den notwendigen Initialisierungsdateien eingerichtet.
Der Platz wird nach einem eingeschränkten Fair-Use-Prinzip bereitgestellt: Nutzen Sie soviel wie nötig, behindern Sie die andere aber nicht. Ab 500 GB Nutzung können Sie keine Jobs mehr starten, bis Sie unter 400 GB belegen.
Die Daten unter /home werden mit der zentralen Datensicherung wöchentlich gesichert.
Die Verzeichnisse unter /home sind auf den Rechenknoten erreichbar. Dort gehören Programme und Daten hin, die von Batchjobs benutzt werden.
Die Heimatverzeichnisse der zentralen HZB-Linux-Umgebung unter /net/home sind wie alle weiteren Verzeichnisse dieser Umgebung (alles unterhalb /net bzw. /chmi) nur auf dem Master dirac-meister erreichbar.
dirac-meister:/home ist als Verzeichnis /net/hpc-home auf allen HZB-Linux-Systemen erreichbar.
dirac-meister:/home von einem Windows-Rechner ansprechen
Richten Sie einmal einen Link im Linux-Heimatverzeichnis ein, z.B. auf dinux6:
cd; mkdir hpc; cd hpc; ln -s /hpc-home
Verbinden Sie sich dann vom Windows-Rechner mit der Freigabe
\\home\Ihre-HZB-Kennung\hpc\hpc-home
Ihre-HZB-Kennung bitte durch Ihre HZB-Kennung (drei kleine Buchstaben) ersetzen.
/tmp und /mnt/fhgfs: Verzeichnisse für persistente, temporäre Dateien
Auf allen Rechenknoten gibt es ein jeweils lokales, persistentes Verzeichnis /tmp mit mindestens 240 GB je Knoten.
Von allen Rechenknoten, dirac-meister, dirac-mester, dinux7 und dinux6 aus kann das mit BeeGFS (vormals FhGFS) bereitgestellte persistente Dateisystem /mnt/fhgfs benutzt werden. Dort stehen ca. 18 TB maximal zur Verfügung. Zwischen den Rechenknoten und zu dirac-meister wird dazu Infiniband-RDMA verwendet. Damit sind Datenraten von über 300 MByte/s möglich. Die Daten auf diesem Verzeichnis werden nicht gesichert.
Eigenschaften der CPUs im Cluster (inklusive interaktive Server)
Typ Takt L2- Kerne Kerne ADP TDP
AMD Opteron Cache je CPU im
(Einbau-Ort) Basis/CPB je Kern Cluster
[GHz] [MiB] [Anzahl] [Anzahl] [W] [W]
---------------------------------------------------------------------------------------------
6344 Abu Dhabi Piledriver (dirac-meister) 2,4/---/3,2 2/2 12 24 115
865 Egypt (erste Lieferung) 1,8/---/--- 1 2 40 95
8378 Shanghai (1. u. 2. Ausbau) 2,4/---/--- 0,5 4 0 75 115
6168 Magny Cours Lisbon (3. Ausbau) 2,4/---/--- 0,5 12 96 80 115
6172 Magny Cours Lisbon (4. bis 6. Ausbau) 2,1/---/--- 0,5 12 336 80 115
6276 Interlagos Valencia (7. u. 8. Ausbau) 2,3/2,6/3,2 2/2 16 320 115
6376 Abu Dhabi Piledriver (9. bis 12.Ausbau) 2,3/2,6/3,2 2/2 16 896 115
7551 Epyc Rizen (13. Ausbau) 2,0/2,55/3,0 64 32 128 155 180