i4mw@lists.cs.fau.deMiddleware - Cloud Computing (MW) - Übung (WS 2020/21)
Inhalt der Übungen
- Entwicklung eines Cloud-basierten Web-Service
- Praktischer Einsatz von privaten (OpenStack) und öffentlichen Clouds (Amazon EC2)
- Lastabhängige Skalierung von Diensten in einer hybriden Cloud
- Implementierung eines verteilten Dateisystems (ähnlich zu HDFS)
- Verwendung von Container-Betriebssystemvirtualisierung (Docker)
- Skalierbare Datenverarbeitung mittels MapReduce
- Realisierung eines fehlertoleranten Koordinierungsdiensts (ähnlich zu ZooKeeper)
Im Rahmen der Übung werden Amazon Web Services (AWS) genutzt. Hierfür stellt Amazon ein entsprechendes Freikontingent zur Verfügung.
Übungsbetrieb
Zur jeder Übungsaufgabe werden zu Beginn des Bearbeitungszeitraums Videos und die dazugehörigen Foliensätze veröffentlicht, in denen die Aufgabe vorgestellt wird, sowie relevante Hintergründe näher beleuchtet. Die Bearbeitung der Übungsaufgaben erfolgt in 3er-Gruppen, für die Zusammenarbeit sind keine persönlichen Treffen notwendig.
Bei Fragen zu den Übungen stellt diese über eine der dafür eingerichteten Mailinglisten oder schaut in einer unserer virtuellen Übungssprechstunden vorbei.
Eine ausführlichere Beschreibung des Übungsablaufs im Corona-Modus findet sich auf dieser Informationsseite.
Übungsmaterialien
Für die Übungsaufgaben werden Vorgaben und Hilfen im Verzeichnis /proj/i4mw/pub bereitgestellt.
Es ist empfehlenswert, die jeweilige Aufgabenstellung vor der Bearbeitung einer Aufgabe vollständig zu lesen, um von Beginn an einen Überblick über das zu erstellende System zu haben.
Organisation / Grundlagen
Live-Konferenz am 05.11.2020, 14:15 - 15:45 Uhr
| Thema | Folien | Video | Aufgabenblatt |
|---|---|---|---|
| Organisatorisches | |||
| Versionsverwaltung mit Git | |||
| Git in Eclipse | |||
| Java - Collections / Threads | |||
| Verteilte Ausführung |
- Hier wird es zusätzliche Hinweise zur jeweiligen Übungsaufgabe und deren Abgabe geben
- Die Aufgabestellung sollte vor Bearbeitung einer Aufgabe vollständig gelesen werden, um von Beginn an einen Überblick über das zu erstellende System zu haben.
Aufgabe 1: Web-Services
Bearbeitungszeitraum: 9.11.2020 - 25.11.2020
| Thema | Folien | Video | Aufgabenblatt |
|---|---|---|---|
| Aufgabe 1: Web-Services | |||
| RESTful Web-Services in Java | |||
| Registry |
- Dienste und Clients müssen bei der Abgabe auf verschiedenen Rechnern laufen
Aufgabe 2: Hybride Cloud
Bearbeitungszeitraum: 23.11.2020 - 16.12.2020
| Thema | Folien | Video | Aufgabenblatt |
|---|---|---|---|
| Aufgabe 2: Hybride Cloud | |||
| Amazon Web Services | |||
| OpenStack | |||
| Erstellen eines VM-Abbilds in OpenStack |
- Diese Aufgabe ist deutlich umfangreicher als die Webservices-Aufgabe
- Es wird empfohlen den Client zur Lasterzeugung im CIP-Pool zu betreiben
- Bei Problemen mit dem Tweet-Dienst hilft meistens ein Blick in die Protokolldateien beziehungsweise eine Kontrolle der Firewall-Konfiguration der VMs
Aufgabe 3: Verteilte Dateisysteme und Container-Betriebssystemvirtualisierung
Bearbeitungszeitraum: 14.12.2020 - 13.01.2021
| Thema | Folien | Video | Aufgabenblatt |
|---|---|---|---|
| Aufgabe 3: Verteilte Dateisysteme und Container-Betriebssystemvirtualisierung | |||
| Hadoop Distributed File System (HDFS) | |||
| Container-Betriebssystemvirtualisierung (optional) |
- Das Dateisystem sollte auch mit einem ausgefallenem Datanode noch funktionieren (nur 7,5 ECTS)
- Sind auch große Dateien nach dem Download identisch zur Originaldatei?
- Es wird stark empfohlen, Docker in der bereitgestellten VM in der Cloud zu verwenden. Besonders bei der Verwendung von Docker aus Wohnheimsnetzen kann es zu Problemen mit der Standardkonfiguration kommen.
Das RRZE stellt allerdings eine Anleitung zur Konfiguration von Docker bereit.
Aufgabe 4: MapReduce
Bearbeitungszeitraum: 11.01.2021 - 27.01.2021
| Thema | Folien | Video | Aufgabenblatt |
|---|---|---|---|
| Aufgabe 4: MapReduce-Framework | |||
| MapReduce: Implementierungstipps |
- Beim Zusammenführen der vorsortierten Listen, dürfen deren Einträge erst bei Bedarf geladen werden
Aufgabe 5: ZooKeeper
Bearbeitungszeitraum: 25.01.2021 - 10.02.2021
| Thema | Folien | Video | Aufgabenblatt |
|---|---|---|---|
| Aufgabe 5: ZooKeeper | |||
| Konsistente Replikation |
- Alle Replikate müssen bei der Abgabe auf unterschiedlichen Rechnern ausgeführt werden
- Zum Testen der MWZooKeeperImpl kann der bereitgestellte MWZooKeeperImplTest verwendet werden
Fragen zur Prüfung, Besprechung der EvaluationLive-Konferenz am 11.02.2021, 14:15 - 15:45 Uhr
Evaluation
Die Evaluation im WS 2020/21 fand in der Zeit vom 22. Januar 2021 bis 06. Februar 2021 statt.- Alle Teilnehmenden erhielten einen Link für den Zugriff auf die Evaluationsformulare.
- Es wurden 20 Fragebögen zu den Übungen ausgefüllt.
- Ergebnis der Übungsevaluation [PDF]
