Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

DA Abschlußpräsentation 2006

654 views

Published on

The final defense for my german part of the Diplomarbeit done with Prof. Wolf at the IBR, TU Braunschweig in 2006

Published in: Technology
  • Be the first to comment

  • Be the first to like this

DA Abschlußpräsentation 2006

  1. 1. PlanetenWachHundNetz Instrumenting Infrastructure for PlanetLab
  2. 2. Outline <ul><li>Motivation </li></ul><ul><li>Hindernisse </li></ul><ul><li>Bekannte Ansätze </li></ul><ul><li>Unsere Lösung </li></ul><ul><li>Evaluation </li></ul><ul><li>Zusammenfassung </li></ul>
  3. 3. Motivation <ul><li>Context: Verteilte Anwendung </li></ul><ul><ul><li>P2P (File-sharing), PlanetLab, SETI ... </li></ul></ul><ul><li>Monitoring </li></ul><ul><ul><li>Statistics </li></ul></ul><ul><ul><li>Log collection </li></ul></ul>
  4. 4. Probleme und Auswege <ul><li>“ Central warehousing” nicht scalierbar </li></ul><ul><ul><li>“ Push”: logs alle 5 min werden an zentralen Server geschickt </li></ul></ul><ul><ul><li>“ Pull”: nur auf Anfrage </li></ul></ul><ul><li>Daten müssen “en-route” reduziert werden </li></ul><ul><ul><li>Reduction-tree </li></ul></ul><ul><ul><li>Distributed parallel prefix (MapReduce) </li></ul></ul>
  5. 5. Andere Lösungen <ul><li>Reduction-Trees auf P2P </li></ul><ul><li>Basieren auf “structured overlays” </li></ul><ul><li>Finger-table based Tree (FTT) </li></ul><ul><ul><li>Unregelmäßig </li></ul></ul><ul><li>Key-based Tree (KBT) </li></ul><ul><ul><li>Nur ein globaler Tree </li></ul></ul><ul><li>Beide nicht locality-aware </li></ul>
  6. 6. Structured Overlay (DHT) <ul><li>Key-based routing (KBR) </li></ul><ul><ul><li>Vergebe lange bit strings (keys/IDs) </li></ul></ul><ul><ul><li>Nodes teilen key-space unter sich auf </li></ul></ul><ul><ul><li>Garantiertes routing zum “Besitzer” in log(n) </li></ul></ul><ul><ul><ul><li>Durch Route zu “näherer” Node </li></ul></ul></ul><ul><li>Distributed Hashtable (DHT) </li></ul><ul><ul><li>Put, Get (Hashtable Semantik) </li></ul></ul><ul><ul><li>Bucket beim Besitzer des Hash </li></ul></ul>
  7. 7. DHT Beispiel: Chord <ul><li>160 bit Ids, representiert in einem Kreis </li></ul><ul><li>Fingertables speichern Zeiger </li></ul>
  8. 8. Chord: Lookup <ul><li>Benutze fingertable um zur nahsten bekannten node zu springen </li></ul>
  9. 9. Finger-table based Tree (FTT) <ul><li>Vereinigung aller Wege zu einer bestimmten ID </li></ul><ul><ul><li>Abhängig von allen Fingertables </li></ul></ul><ul><li>Braucht Benachrichtigung in jedem Hop </li></ul>
  10. 10. Key-based Tree (KBT) <ul><li>Tree auf Key-space gemappt </li></ul><ul><ul><li>“ virtuelle” interne Nodes representieren prefixes </li></ul></ul><ul><ul><li>“ physikalische” nodes sind Blätter </li></ul></ul><ul><ul><li>Subtree enthält alle Teilnehmer, die prefix entsprechen </li></ul></ul><ul><ul><li>Algorithmus entscheidet, wer Vater wird </li></ul></ul>
  11. 11. Unser Ansatz <ul><li>Hybrid zwischen FTT und KBT </li></ul><ul><li>KBT mit “root” node </li></ul><ul><ul><li>Ein Tree pro query </li></ul></ul><ul><ul><li>Stochastisch balanciert </li></ul></ul><ul><ul><li>Root-ID legt Tree eindeutig fest </li></ul></ul><ul><li>Coral für Ortsinformation </li></ul><ul><ul><li>Bildet “cluster” </li></ul></ul>
  12. 12. Key-based MapReduce (KMR) <ul><li>Phys. Root node </li></ul><ul><li>In jedem level genaues Bit des root negiert </li></ul>
  13. 13. KMR: Anwendung <ul><li>“ Down”: Interne nodes senden eine Nachricht an jeden Bruder </li></ul><ul><li>“ Up”: Nur eine Nachricht an Vater </li></ul><ul><li>Nachricht landet bei “nahster” node </li></ul>
  14. 14. Evaluation <ul><li>PlanetenWachHundNetz (PWHN) </li></ul><ul><ul><li>Application-level monitoring software </li></ul></ul><ul><ul><li>Service für PlanetLab </li></ul></ul><ul><ul><li>Testet KMR und FFT </li></ul></ul><ul><ul><li>auf Coral und (Free-) Pastry </li></ul></ul><ul><ul><li>Reduzierung durch 3 Executables von User : </li></ul></ul><ul><ul><ul><li>Eingabe (Init) </li></ul></ul></ul><ul><ul><ul><li>Reduzieren (Update) </li></ul></ul></ul><ul><ul><ul><li>Ausgabe (Eval) </li></ul></ul></ul>
  15. 15. Zusammenfassung <ul><li>Context: Verteilte Anwendung </li></ul><ul><li>Motivation: Logging, monitoring </li></ul><ul><li>Problem: Hot-spots, dynamisches p2p </li></ul><ul><li>FTT/KBT: Lösungen auf DHTs nicht scalierbar </li></ul><ul><li>KMR: Hybrid zwischen FTT und KBT </li></ul><ul><li>PWHN: Evaluation auf PlanetLab </li></ul>
  16. 16. Fragen ?

×