Kurzübersicht:
Die Japan Aerospace Exploration Agency (JAXA) ist die federführende Stelle, die die gesamte Weltraumentwicklung und -Nutzung von Japan unterstützt. Die JAXA Supercomputing Systems (JSS) bieten die Rechenressourcen, um JAXA zu ermöglichen, alles von der Grundlagenforschung bis hin zur Nutzung in der Praxis durchzuführen. Die früheren High-Performance-Computing (HPC)-Systeme von JSS2, genannt SORA (Supercomputer for Earth Observation, Rockets, and Aeronautics), setzen sich aus mehreren Clustern über mehrere Einrichtungen zusammen.
Ein neues JSS3-System, genannt TOKI, wurde kürzlich installiert und verfügt über einen HPC-Cluster für allgemeine Zwecke mit großem Arbeitsspeicher. TOKI-RURI und so weiter basiert auf Intel® HPC-Technik mit Intel® Xeon® Gold 6240 und 6240L Prozessoren der 2. Generation und persistentem Intel® Optane™ Speicher (Intel Optane PMem).
Herausforderung
Das Vorgängersystem JSS2 setzt sich aus mehreren Clustern über mehrere Einrichtungen zusammen. Diese Standorte umfassen die Raumfahrtzentren Chofu, Tsukuba und Kakuda und den Sagamihara Campus des JAXA Institute of Space und Astronautical Science. SORA-MA, das Hauptcluster, befindet sich im Chofu Aerospace Center in Tokio, zusammen mit Vor- und Nachverarbeitung, großem Arbeitsspeicher und Anmeldeclustern.
Der JSS2 SORA-MA-Cluster wurde 2016 auf eine 3,49-PFLOPS-Maschine aktualisiert, aber selbst mit dem Upgrade waren die Wissenschaftler der JAXA in puncto Rechenressourcen ständig eingeschränkt. Sie konnten ihre Anforderungen für traditionelle Computing-Workloads (z. B. CFD (Computational Fluid Dynamics)) mit massiven parallelen Operationen nicht erfüllen. Das System konnte die neuen Methoden, wie künstliche Intelligenz (KI) und Machine Learning (ML) nicht unterstützen. Begrenzte Energiekapazität hat die Erweiterung der bestehenden Systeme weiter verhindert. Neuere und effizientere Technologien waren für KI verfügbar, wie z. B. Intel® DL Boost. Darüber hinaus war die Speicherkapazität ihres älteren Archiv-Clusters ausgeschöpft. Um die Weltraumforschung, Entdeckung, Design und Implementierung weiter zu fördern, benötigte JAXA Mainstream-Unterstützung für KI und um ihre Computing-Workloads mit HPC (High-Performance Computing) voranzutreiben.
Die H3 Rocket der nächsten Generation soll 2021 vom Tanegashima Space Center gestartet werden. (Foto mit freundlicher Genehmigung der JAXA)
Lösung
JSS3 TOKI ist ein Multi-Cluster-System mit Racks, die sich in den Präfekturen TOKyo und IbaraKI befinden (daher der Name TOKI). Toki ist ein japanischer Ausdruck für „Zeit und Raum“ und „Lösung“. Das Wort ist auch der geläufige Name des Japanischen Ibis, ein Vogel, der dank der Bemühungen der japanischen Tierschützer nicht mehr vom Aussterben bedroht ist. Für JAXA geht es bei TOKI um neue Möglichkeiten und Entdeckungen.
Fujitsu hat JSS3 TOKI entwickelt, um die höchsten Leistungsanforderungen im Rahmen der verfügbaren Energieressourcen des Zentrums zu erfüllen. Das neue System wurde entwickelt, um die folgenden Rechenbereiche zu unterstützen:
- Numerische Simulationen zur Stärkung von Japans internationaler Wettbewerbsfähigkeit in der Luftfahrt.
- Datenanalysen in großem Umfang.
- Forschung und Entwicklung zur Entdeckung von Lösungen für wachsende Anforderungen.
TOKI umfasst die folgenden Cluster im Chofu Aerospace Center:
- TOKI-SORA – ein großes HPC-System, das speziell für die Unterstützung von SORA-Aktivitäten konstruiert wurde, wie CFD (Computational Fluid Dynamics).
- 1,24 PFLOPS1 TOKI-RURI (All-RoUnd Role Infrastructure) – ein Supercomputer für allgemeine Zwecke basierend auf Fujitsu PRIMERGY RX2540 M5 Knoten mit Intel Xeon Gold 6240 und 6240L Prozessoren der 2. Generation. TOKI-RURI verfügt über Knoten für allgemeine Zwecke (TOKO-RURI GP), große Speicherknoten mit je 1,5 TB Intel Optane PMem (TOKO-RURI LM) plus 192 GB DRAM und extreme Speicherknoten mit 6 TB Intel Optane PMem pro Knoten (TOKO-RURI XM) plus 768 GB DRAM. Die Gesamtspeicherkapazität beträgt 104 TB.
- TOKI-FS (Dateisystem) – auch auf PRIMERGY RX2540 M5 Knoten und skalierbaren Intel Xeon Prozessoren der 2. Generation mit 10 PB vollständig Flash-basiertem und 40 PB Festplattenspeicher aufgebaut.
- TOKI-LI (Anmeldesystem) – 14 PRIMERGY RX2540 M5 Knoten mit skalierbaren Intel Xeon Prozessoren der 2. Generation.
Abbildung 1: TOKI-RURI System im Chofu Aerospace Center (https://www.jss.jaxa.jp/mediadir/2020/11/JSS3SystemConfiguration02_202012_landscape.jpg).
Ergebnisse
Die großen Speicherknoten von TOKI-RURI mit Intel Optane PMem bieten verbesserte Leistung und Kapazität zur Unterstützung der kommerziellen ISV-Anwendungen und hochportable Workloads, von denen JAXA abhängt. Diese Anwendungen umfassen Ansys ICEM CFD, Fluent und Chemkin, plus FieldView, CRUNCH CFD, Siemens STAR-CCM+, Metacomp Technologies, CFD++, Dassault Systemes ABAQUS CAE und Mechanica.
Manöver in der Marsumlaufbahn von der neuesten Version des MMX Raumschiffs 2019. (Foto mit freundlicher Genehmigung der JAXA)
Für andere HPC-Workloads verwenden JAXA-Informatiker Intel HPC-Software-Tools, um die Leistung auf dem neuen Supercomputer zu optimieren. Mit den neuen Funktionen der skalierbaren Intel Xeon Prozessoren der 2. Generation können sie auch neue Software-Entwicklungsansätze nutzen, einschließlich oneAPI, ein offenes, einheitliches Programmiermodell, das auf Standards basiert, um die Entwicklung und Bereitstellung von datenzentrierten Workloads über CPUs, GPUs, FPGAs, und andere Beschleuniger zu vereinfachen.
„JAXA-Wissenschaftler entwickeln effizient Anwendungen für eine größere Umgebung mit Intel Advanced Vector Extensions 512 (Intel AVX-512) und Intel DL Boost mit dem Intel oneAPI Base-Toolkit und dem Intel oneAPI HPC-Toolkit“, erklärte Naoyuki Fujita, Manager der Supercomputer Division von JAXA.
Das Intel® oneAPI Base-Toolkit umfasst eine Reihe grundlegender Tools und Bibliotheken für die Entwicklung leistungsstarker, datenzentrierter Anwendungen in verschiedenen Architekturen. Es nutzt einen branchenführenden C++ Compiler und die Programmiersprache Data Parallel C++ (DPC++), eine Entwicklung von C++ für heterogenes Computing. Das Intel oneAPI HPC-Toolkit ist ein Add-on zum Base-Toolkit. Darüber hinaus umfasst es den Zugriff auf die Intel Distribution für Python, den Intel oneAPI DPC++/C++ Compiler, leistungsstarke datenzentrierte Bibliotheken und fortschrittliche Analysetools.
Während TOKI für die Produktion vorbereitet ist, zeigt das Benchmarking, dass das System die Leistung liefert, die die Anforderungen der JAXA-Benutzer erfüllt. Diese Prognose basiert auf fünf hausinternen Workloads und traditionellen Benchmarks: HINOCA (Simulation der Verbrennung), FaSTAR (ein hocheffizientes CFD-Tool), UPACS (Flüssigkeitsanalysesoftware), P-FLOW (Simulation von Partikelbewegung) und LS-FLOW (CFD-Code).
Astronaut Soichi Noguchi beginnt die Kultivierung von asiatischen Kräutern im Experimentprojekt „Space Plant". (Foto mit freundlicher Genehmigung der JAXA)
Persistenter Intel Optane Speicher beschleunigt nicht parallelisierte Workloads
Viele der JAXA-Anwendungen sind gut parallelisierte, verteilte Computing-Workloads, die für den großen HPC-Cluster ausgerichtet sind. Andere Programme sind noch nicht parallelisiert oder stark serielle Anwendungen, die nicht parallelisiert werden können. Die schnelleren Knoten mit großem Arbeitsspeicher (LM) und extremem Arbeitsspeicher (XM) von TOKI-RURI werden diese Anwendungen beschleunigen. Diese Knoten bieten unübertroffene Leistung und geringe Kosten, um ihre Anforderungen hinsichtlich Serienprogrammen und großer Arbeitsspeicherkapazität zu erfüllen.
„Mit den neuen TOKI-Systemen bringt JAXA Innovation zur Forschung der Datenverarbeitung bei der Erdbeobachtung, der Fernerkundung und der Vorhersage des Klimawandels", erklärte Fujita-san. „Mit Intel DL Boost und persistentem Intel Optane Speicher kann JAXA einen Beitrag zur beschleunigten Forschung in diesen Bereichen leisten.“
Zusammenfassung
- Fujitsu PRIMERGY RX2540 und CX2750 M5 Serverknoten in mehreren Clustern: TOKI-RURI, TOKI-TRURI und TOKI-LI.
- Intel Xeon Gold 6240 und 6240L Prozessoren der 2. Generation.
- Intel Optane PMem (6 TB/Knoten in XM-Knoten; 1,5 TB in LM-Knoten).
- 1,24 PetaFLOPS Spitzenleistung.