Vorlesung: Parallel Programming and High Performance Computing

Literatur

• Gropp, W., Lusk, E., Skjellum, A.: Using MPI (3rd Edition), MIT Press, 2014
• Kirk, D.B., Hwu, W.: Programming Massively Parallel Processors: A Hands-on Approach (4th Edition), Morgan Kaufmann, 2023
• Pacheco, P.S.: An Introduction to Parallel Programming, Morgan Kaufmann, 2011

Online-Ressourcen:

• LLNL HPC Tutorials: https://hpc.llnl.gov/documentation/tutorials
• NVIDIA CUDA Dokumentation: https://docs.nvidia.com/cuda/

Der Kurs baut auf den Computerphysik-Vorlesungen von Prof. Schneider auf. Kenntnisse in C sowie Grundkenntnisse der parallelen Programmierung mit OpenMP werden vorausgesetzt.

Lerninhalte:

Profiling & Performance-Messung,

MPI (Distributed Memory),

CUDA-Grundlagen,

Jobscheduling mit SLURM,

Abschlussprojekt mit MPI-parallelisierter wissenschaftlicher Simulation,

Python-Postprocessing und Performanceanalyse

Lernziele:

Die Studierenden können nach Absolvieren des Moduls:

1. MPI-Programme für verteilte Rechnerarchitekturen entwickeln und ausführen.
2. CUDA-Kernel für GPU-beschleunigte Berechnungen implementieren.
3. SLURM-Scheduler verwenden, um parallele Programme auf HPC-Clustern auszuführen.
4. Die Performance paralleler Programme messen, analysieren und Bottlenecks identifizieren.
5. Wissenschaftliche Simulationen durch parallele Programmiertechniken beschleunigen.