{"id":10583,"date":"2017-10-09T22:28:13","date_gmt":"2017-10-09T20:28:13","guid":{"rendered":"https:\/\/wpethzprd.ethz.ch\/id\/?p=10583"},"modified":"2017-11-16T12:43:52","modified_gmt":"2017-11-16T11:43:52","slug":"4-tageskurs-parallele-programmierung-mit-mpi-openmp","status":"publish","type":"post","link":"https:\/\/blogs.ethz.ch\/id\/2017\/10\/09\/4-tageskurs-parallele-programmierung-mit-mpi-openmp\/","title":{"rendered":"4-Tageskurs „Parallele Programmierung mit MPI \/ OpenMP“"},"content":{"rendered":"

Zum zweiten Mal erfreute sich der 4-Tageskurs Parallel Programming with MPI\/OpenMP<\/a> im August 2017, organisiert von Thomas W\u00fcst (ID SIS), grossem Interesse. 57 Teilnehmende aus 12 verschiedenen ETH-Departementen (D-BAUG, D-BSSE, D-CHAB, D-ERDW, D-GESS, D-HEST, D-ITET, D-MATH, D-MATL, D-MAVT, D-PHYS, D-USYS) und einer Technologie Plattform (NEXUS), anderen Schweizer und ausl\u00e4ndischen Universit\u00e4ten und Forschungsinstituten (u.a. Harvard University, Paul Scherrer Institut) und auch privaten Unternehmen (Disney Research, Infineon) nahmen dieses Jahr am Kurs teil. <\/p>\n

Diese erfreuliche Anzahl (ein Zuwachs von mehr als 50% gegen\u00fcber dem letzten Jahr) demonstriert das grosse Interesse und Bed\u00fcrfnis an einem solchen Angebot \u2013 zentral an der ETH Z\u00fcrich und in intensiver, konzentrierter Form.<\/p>\n

Referent des Kurses war Rolf Rabenseifner<\/a> vom H\u00f6chstleistungsrechenzentrum Stuttgart (HLRS<\/a>). Rolf Rabenseifner ist ein weltweiter Experte in paralleler Programmierung und Mitglied des MPI-Steering Committee. Er lehrt parallele Programmierkonzepte und Techniken an deutschen, und internationalen Universit\u00e4ten und Forschungs- und Hochleistungsrechenzentren (z.B. Forschungszentrum J\u00fclich) sowie in zahlreichen Workshops und Konferenzen (z.B. Supercomputing<\/a> Konferenz). Es ist darum f\u00fcr die ID eine spezielle Ehre, Rolf Rabenseifner f\u00fcr diesen Kurs an der ETH Z\u00fcrich zu gewinnen.<\/p>\n

Der Kurs richtete sich sowohl an Anf\u00e4ngerinnen und Anf\u00e4nger als auch an Fortgeschrittene mit einiger Programmiererfahrung in C\/C++ oder Fortran, um in vier intensiven Tagen einen gut ausgewogenen (im Sinn von \u00abbreath and depth\u00bb) Einblick in die parallelen Programmiermodelle MPI und OpenMP zu gewinnen. Optional konnte man sich auch nur f\u00fcr die ersten zwei (beginning level) oder die letzten beiden (advanced level) Kurstage anmelden. Die grosse Mehrheit der Teilnehmenden w\u00e4hlte jedoch den gesamten 4-Tageskurs. Angesichts der unterschiedlichen Herkunftsrichtungen, Expertise und Anforderungen der Kursteilnehmenden, vom ersten „Vortasten“ in die parallele Programmierung auf 10 CPU cores bis zur Skalierungsaufgabe auf >10’000 CPU cores, war es denn auch eine ziemliche Herausforderung den verschiedenen Bed\u00fcrfnissen gerecht zu werden, welche Rolf Rabenseifner mit seinem didaktischen Geschick jedoch souver\u00e4n meisterte.<\/p>\n

MPI und OpenMP<\/h2>\n

MPI<\/a> („Message Passing Interface“) stellt ein 1994 erstmals ver\u00f6ffentlichter und seither st\u00e4ndig \u00fcberarbeiteter Standard dar, der den Nachrichtenaustausch bei parallelen Berechnungen auf verteilten Computersystemen beschreibt. Eine MPI-Applikation besteht in der Regel aus mehreren miteinander kommunizierenden Prozessen, die alle zu Beginn der Programmausf\u00fchrung parallel gestartet werden. Alle diese Prozesse arbeiten dann gemeinsam an einem Problem und nutzen zum Datenaustausch Nachrichten, welche von einem zum anderen Prozess geschickt werden. Ein Vorteil dieses Prinzips ist es, dass der Nachrichtenaustausch auch \u00fcber Rechnergrenzen hinweg funktioniert (inter-node communication).1<\/a><\/sup><\/p>\n

OpenMP<\/a> („Open Multi-Processing“) ist eine seit 1997 gemeinschaftlich von verschiedenen Hardware- und Compilerherstellern entwickelte Programmierschnittstelle (API) f\u00fcr die Shared-Memory-Programmierung in C\/C++ und Fortran auf Multiprozessor-Computern. OpenMP kommt zum Einsatz auf Systemen mit gemeinsamem Hauptspeicher („shared memory“), w\u00e4hrend MPI eher f\u00fcr die Parallelisierung von verteilten Systemem („distributed memory“) gedacht ist. Bei modernen High-Performance und Supercomputern werden OpenMP und MPI oftmals zusammen eingesetzt.1<\/a><\/sup><\/p>\n

Trotz j\u00fcngeren Programmier-Entwicklungen, welche spezifische M\u00f6glichkeiten der Parallelisierung moderner Hardware Architekturen zum Teil einfacher abbilden k\u00f6nnen, stellen MPI und OpenMP nach wie vor die \u00abworkhorses\u00bb der parallelen Programmierung dar. Dies liegt einerseits an ihren generischen und vielseitigen Einsatzm\u00f6glichkeiten als auch an der grossen Anzahl von wichtigen, wissenschaftlichen „legacy“ codes.<\/p>\n

Hands-on auf Euler HPC Cluster<\/h2>\n

Der 4-Tageskurs bot neben der Vermittlung der zum Teil komplexen, theoretischen Konzepte zus\u00e4tzlich wichtige und notwendige Hands-on-\u00dcbungen an, welche die Teilnehmenden direkt auf dem ETH High Performance Compute Cluster Euler<\/a> durchf\u00fchren konnten. Euler verf\u00fcgt \u00fcber verschiedene, vom HPC Team<\/a> st\u00e4ndig aktualisierte, MPI Implementationen und OpenMP-f\u00e4hige Compiler f\u00fcr C\/C++ und Fortran und ist dank seinem leistungsf\u00e4higen InfiniBand Interconnect bestens f\u00fcr parallele Applikationen ausger\u00fcstet.<\/p>\n

Terminplanung 2018<\/h2>\n

ID SIS<\/a> plant den Kurs im 2018 wieder anzubieten. „Leider“ st\u00f6sst der Kurs mit max. 60 Teilnehmenden auch schon an seine Kapazit\u00e4tsgrenze, einerseits aufgrund der begrenzten, gegenw\u00e4rtigen R\u00e4umlichkeiten (der Computerraum wurde uns freundlicherweise von der ISG D-USYS zur Verf\u00fcgung gestellt), andererseits zur Gew\u00e4hrleistung einer hohen Qualit\u00e4t der Wissensvermittlung und Unterst\u00fctzung der Teilnehmenden f\u00fcr die \u00dcbungen. Wir sind gespannt wie das Interesse n\u00e4chstes Jahr sein wird.<\/p>\n

\"20170821_155509\"<\/a>
Grosse Konzentration trotz etwas engen Platzverh\u00e4ltnissen und sommerlichen Temperaturen w\u00e4hrend des 4-Tageskurses in paralleler Programmierung im August 2017 (Rolf Rabenseifner stehend mit weissgrau kariertem Hemd).<\/figcaption><\/figure>\n

 <\/p>\n

\"20170821_163219\"<\/a>
Blocking vs non-blocking point-to-point communication „erlebbar“ gemacht…<\/figcaption><\/figure>\n

Referenzen<\/h2>\n
    \n
  1. MPI Forum<\/a><\/li>\n
  2. Message Passing Interface Tutorial<\/a> (in englisch)<\/li>\n
  3. OpenMP API Specification<\/a><\/li>\n
  4. OpenMP Tutorial<\/a> (in englisch)<\/li>\n<\/ol>\n

    1. Texte in ge\u00e4nderter und gek\u00fcrzter Form von Wikipedia<\/a> \u00fcbernommen.<\/sup><\/p>\n","protected":false},"excerpt":{"rendered":"

    Zum zweiten Mal erfreute sich der 4-Tageskurs Parallel Programming with MPI\/OpenMP im August 2017 grossem Interesse. <\/p>\n","protected":false},"author":43819,"featured_media":10585,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1175,25,1177,898,1178],"tags":[3657,141856,229011,888,173296,1785,1283],"class_list":["post-10583","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-kommunikation","category-news","category-software-arbeitsplatze","category-support","category-wissenschaftl-rechnen","tag-cc","tag-euler","tag-fortran","tag-hpc","tag-id-sis","tag-kurse","tag-programmierung"],"_links":{"self":[{"href":"https:\/\/blogs.ethz.ch\/id\/wp-json\/wp\/v2\/posts\/10583","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blogs.ethz.ch\/id\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blogs.ethz.ch\/id\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blogs.ethz.ch\/id\/wp-json\/wp\/v2\/users\/43819"}],"replies":[{"embeddable":true,"href":"https:\/\/blogs.ethz.ch\/id\/wp-json\/wp\/v2\/comments?post=10583"}],"version-history":[{"count":0,"href":"https:\/\/blogs.ethz.ch\/id\/wp-json\/wp\/v2\/posts\/10583\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blogs.ethz.ch\/id\/wp-json\/wp\/v2\/media\/10585"}],"wp:attachment":[{"href":"https:\/\/blogs.ethz.ch\/id\/wp-json\/wp\/v2\/media?parent=10583"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blogs.ethz.ch\/id\/wp-json\/wp\/v2\/categories?post=10583"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blogs.ethz.ch\/id\/wp-json\/wp\/v2\/tags?post=10583"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}