Hardware und Nutzerumgebung

Allgemeiner Aufbau

Der Cluster hat einen Zugangs- und Steuerechner dirac-meister, einen Dateiserver dirac-mester  und 32 Rechenknoten node1 bis node35 (node4 bis node6 sind außer Betrieb).

Die Rechenknoten node7, node8, node30 und node32 sind als dinux5, dinux4, dinux6 und dinux7 für interaktive Rechnungen zugänglich und nicht im Cluster-Stapel-System Open Grid Engine integriert.

In allen Rechenknoten sind jeweils 4 CPUs eingebaut, die Kernanzahl der CPUs und der Speicher an den CPUs ist mit jedem Ausbau geändert worden:


Anzahl  Anzahl AMD- Kerne/ Kerne/  RAM   Takt    Namen
Rechner CPU    Type CPU    Rechner  
--------------------------------------------------------------------------------------------------
 2      4     865    2        8    16 GB 1,8 GHz node7 (dinux5), node8 (dinux4)
 7      4    6172   12       48    64 GB 2,1 GHz node23-node29
 3      4    6176   16       64   128 GB 2,3 GHz node1-node3
 6      4    6276   16       64   128 GB 2,3 GHz node30 (dinux6), node31, node33-node35, node11
13      4    6376   16       64   256 GB 2,3 GHz node9, node10, node12-node22  
 1      4    6376   16       64   512 GB 2,3 GHz node32 (dinux7)

Alle Knoten sind mit dirac-meister  und dirac-mester über 4*10 GBit/s Infiniband mit einem IB-Switch verbunden. Über dieses Netzwerk wird latenzzeitarme Interprozess-Kommunikation und schnelles NFS genutzt. Die jeweils zwei 1 GBit/s-Ethernet-Schnittstellen sind als Backup und Ergänzung verfügbar. Ein weiterer Netzwerkanschluss dient jeweils der Fernkonfiguration und -wartung.

Von allen Knoten mit 10 GBit/s-NFS über IPoIB (Internet-Protokoll-über-Infiniband) nutzbar ist ein DotHill 3300 RAID-Array (Fibre Channel 8 GBit/s) mit 48 TB Brutto-Kapazität für die kurzzeitige Ablage von Daten und Programmen.

Alle aktiven Komponenten können mit einem Webbrowser ferngewartet werden. Zur Einrichtung gibt es einen KVM-Switch für die sonst unbenutze Bildschirm-Tastatur-Maus-Schnittstelle der Knoten.

Alle Einrichtungen befinden sich in zwei Schränken. Die unterbrechungsfreie Stromversorgung mit im Störungsfall möglicher autarker Dieselgenerator-Versorgung wird über die redundante USV-Anlage der beiden Rechnerräume sichergestellt.

Der Cluster benötigt etwa 32 kW Leistung ohne die notwendige Kühlung des Recherraums.

Der Benchmark SPECfp_base2000 erreicht für die 1,8GHz-Knoten den Wert 1176 und für die 2,4 GHz-Knoten 1924 Einheiten. Die 1,9 GHz-Magny Cours-Knoten erreichen 1744 Einheiten, d.h. bei 80% der Taktfrequenz immerhin 90% der Leistung der neueren Knoten. Die 2,1 GHz-Magny Cours-Knoten erreichen 1961 Einheiten. Die Leistung der neuesten 2,3 GHz Interlagos-Knoten wurde nicht ermittelt.

 

Heimatverzeichnisse auf dirac-meister:/home

Im Cluster sind spezielle Heimatverzeichnisse unter /home zu finden. Dort stehen insgesamt 8 TB zur Verfügung.

Beim ersten Anmelden auf dirac-meister wird Ihr Heimatverzeichnis unter /home mit den notwendigen Initialisierungsdateien eingerichtet.

Der Platz wird nach einem eingeschränkten Fair-Use-Prinzip bereitgestellt: Nutzen Sie soviel wie nötig, behindern Sie die andere aber nicht. Ab 500 GB Nutzung können Sie keine Jobs mehr starten, bis Sie unter 400 GB belegen.

Die Daten unter /home werden mit der zentralen Datensicherung wöchentlich gesichert.

Die Verzeichnisse unter /home sind auf den Rechenknoten erreichbar. Dort gehören Programme und Daten hin, die von Batchjobs benutzt werden.

Die Heimatverzeichnisse der zentralen HZB-Linux-Umgebung unter /net/home sind wie alle weiteren Verzeichnisse dieser Umgebung (alles unterhalb /net bzw. /chmi) nur auf dem Master dirac-meister erreichbar.

dirac-meister:/home ist als Verzeichnis /net/hpc-home auf allen HZB-Linux-Systemen erreichbar.

 

dirac-meister:/home von einem Windows-Rechner ansprechen

Richten Sie einmal einen Link im Linux-Heimatverzeichnis ein, z.B. auf dinux6:

cd; mkdir hpc; cd hpc; ln -s /hpc-home

 

Verbinden Sie sich dann vom Windows-Rechner mit der Freigabe

\\home\Ihre-HZB-Kennung\hpc\hpc-home

 

Ihre-HZB-Kennung bitte durch Ihre HZB-Kennung (drei kleine Buchstaben) ersetzen.

 

/tmp und /mnt/fhgfs: Verzeichnisse für persistente, temporäre Dateien

Auf allen Rechenknoten gibt es ein jeweils lokales, persistentes Verzeichnis /tmp mit mindestens 240 GB je Knoten.

Von allen Rechenknoten, dirac-meister, dirac-mester, dinux7 und dinux6 aus kann das mit BeeGFS (vormals FhGFS) bereitgestellte persistente Dateisystem /mnt/fhgfs benutzt werden. Dort stehen ca. 18 TB maximal zur Verfügung. Zwischen den Rechenknoten und zu dirac-meister wird dazu Infiniband-RDMA verwendet. Damit sind Datenraten von über 300 MByte/s möglich. Die Daten auf diesem Verzeichnis werden nicht gesichert.

 

Eigenschaften der CPUs im Cluster (inklusive interaktive Server)

Typ                                            Takt          L2-    Kerne    Kerne    ADP TDP
AMD      Opteron                                             Cache  je CPU   im
(Einbau-Ort)                                  Basis/CPB             je Kern  Cluster
                                              [GHz]          [MiB]  [Anzahl] [Anzahl] [W] [W]
---------------------------------------------------------------------------------------------
6344 Abu Dhabi Piledriver (dirac-meister)     2,4/---/3,2    2/2    12       24          115
 865 Egypt                (erste Lieferung)   1,8/---/---    1       2       40           95
8378 Shanghai             (1. u. 2. Ausbau)   2,4/---/---    0,5     4        0       75 115
6168 Magny Cours Lisbon   (3. Ausbau)         2,4/---/---    0,5    12       96       80 115
6172 Magny Cours Lisbon   (4. bis 6. Ausbau)  2,1/---/---    0,5    12      336       80 115
6276 Interlagos Valencia  (7. u. 8. Ausbau)   2,3/2,6/3,2    2/2    16      320          115
6376 Abu Dhabi Piledriver (9. bis 12.Ausbau)  2,3/2,6/3,2    2/2    16      896          115