Compute Cluster 2019

The company MEGWARE has won the tender for the new cluster. With multiple extensions, it has a total performance of 343.7 TFlops.

The compute cluster in detail

Foto des Compute-Cluster 2019

Insgesamt hat das Cluster 103 Knoten + 3 GPU-Knoten. Davon laufen 96 Knoten mit je 2 Prozessoren von der Intel-Architektur „Cascade Lake 6248“ mit 20 Kernen und 192 GB RAM und erreichen eine Rpeak-Performance von 307,2 TFlops. Das sind die sogenannten Rechenknoten. Die Leistung der Prozessoren der GPU-Knoten beträgt 9,6 TFlops.

Drei Shared Memory-Knoten mit 768 GB Hauptspeicher laufen mit den gleichen Prozessoren und erreichen 9,6 TFlops. Darüber hinaus hat das Cluster zwei „Fette Knoten“ mit 3 TB Hauptspeicher mit dem „Cascade Lake Gold 5218“. Mit deren Quad Sockel-Architektur mit jeweils 16 Kernen und einem weiteren Quad Sockel-Knoten mit den gleichen Prozessoren ergibt das eine Leistung von 14,1 TFlops. Als vierte Erweiterung wurde ein weiterer Shared Memory-Knoten beschafft, baugleich zum Hauptgerät mit 3,2 TFlops.

Im Jahr 2020 wurden als fünfte Erweiterung 10 Shared Memory-Knoten beschafft. Diese mit dem Prozessor "Cascade Lake Gold 6244" (8 Kerne) und 768GB RAM ausgestatteten Dual-Sockel-Knoten erhöhen die theoretische Peakleistung um 18,4 TFlops.

Das Cluster verfügt über ein Hochgeschwindigkeitsnetzwerk Intel Omni-Path mit bis zu 100 GBit/s. Das Clusternetzwerk selbst basiert auf 10-GBit-Ethernet. Als paralleles Scratch-Filesystem kommt Panasas zum Einsatz. Panasas-Filesysteme haben sich in der Vergangenheit als äußerst stabil und ausfallsicher erwiesen. Compute-Cluster arbeiten grundsätzlich im Stapelbetrieb und sind nicht für interaktive Nutzung angedacht. Dafür wurde das bewährte „PBSpro Professionell“ beschafft.

Drei Grafikprozessoren (GPU) steigern die Leistung bei Rechnungen mit Single Precision auf 377,3 TFlops und mit Double Precision auf 344,8 TFlops.

Key data of the compute cluster

96 MEGWARE Compute-Nodes

  • 192 Intel Xeon Gold 6248 Processors
  • 3.840 CPU Cores
  • 18.0 TiB DDR4 Main Memory
  • Linpack Peak Performance: 307.2 TFLops RPEAK

17 Shared Memory-Nodes

  • 4x Dual Socket Intel Xeon Gold 6248
  • 3x Quad Socket Intel Xeon Gold 5218
  • 10x Dual Socket Intel Xeon Gold 6244 (extended in 2020)
  • 512 CPU Cores
  • 17.7 TiB DDR4 Main Memory

3 MEGWARE GPU-Nodes

  • 3 NVIDIA Quadro RTX 5000 GPUs
  • 6 Intel Xeon Gold 6248 Processors
  • 120 CPU Cores
  • 576 GiB DDR4 Main Memory

Central Storage Server

  • 246.0 TB RAW Capacity
  • basierend auf Panasas ASH-100

MEGWARE ClustWave

  • Cluster Management Software

Intel Omni-Path Fabric

  • installiert durch MEGWARE

Further information