Christian Gügi, MeMo News AG   @chrisgugiA NOSQL SUMMERTHE YEAR AFTER09.09.11
Agenda2    •  About me & MeMo News AG    •  NoSQL      •  Was, warum und wie?    •  Hadoop in a nutshell    •  NoSQL-basie...
AboutMEMO NEWS AG               09.09.11
About MeMo News AGData                     Information          Analyse und               Ausgabe und1Crawling            ...
Referenzen5                 Germany / Japan                    09.09.11
Zum ThemaNOSQL            09.09.11
Zum ThemaNOSQL            09.09.11
Was ist NoSQL?•  Term „NoSQL“ ist erst 2 Jahre alt  •  kein Mainstream•  Kein Produkt, keine Firma, keine Technologie•  Is...
Warum NoSQL?•  Als Ansatz zur Lösung von (ungelösten) web   scale* Problemen im Umgang mit   unstrukturierten, massiven Da...
Ansätze von NoSQL?•    Von Generalisierung zur Spezialisierung•    Keine Tabellenschemas•    Keine Relationen, um JOINs zu...
TheoremFROM ACID TO CAP                   09.09.11
ACIDEigenschaften von RDMS :  Atomicity – ganz oder gar nicht  Consistency – gewährleistet Integrität  Isolation – Kapselu...
CAP Theorem
Kategorien           Relational          NoSQL                                                     3 neue NoSQL Kategorien...
NoSQL – Future?•  Noch immer ungelöst   •  (Fulltext) Search & Find   •  Distributed Index Storage   •  (Structured) Query...
In a nutshellHADOOP                09.09.11
Apache™ Hadoop™•  Apache Projekt, open-source•  Software für reliable, scalable, distributed   computing•  Basiert auf Goo...
Apache™ Hadoop™Data Accessing Framework Pig    Hive   AvroData Mining Framework      NoSQL Databases Mahout               ...
Powered by Hadoop™•    Adobe•    Ebay•    Facebook•    IBM•    Joost•    Last.fm•    LinkedIn•    Markt24•    NYT•    Powe...
Lily CMSMADE FOR THE AGE OF DATA                       09.09.11
The Age of Data•  Mehr & mehr Firmen adaptieren NoSQL  (meist interne Verwendung)•  Vielzahl an Produkten / Distributionen...
Lily•  „Lily is Smart Data, at Scale, made Easy“•  Content und Data Repository•  Architektur ausgelegt für BigData      • ...
Lily ArchitekturLily CMS                         Core CMSHadoop                    Solr   Funktionaliäten:           HBase...
Lily       Architektur2Lily CMSHadoop     HBase          Solr MapReduce         HDFS                                 09.09...
Powered by Lily•  BBC      •  BBC Live Services: powering social web         applications (tagging, commenting, ranking,  ...
FAQFRAGEN?          09.09.11
christian.guegi@menonews.comDANKE!                               09.09.11
Quellen/Links•  Web scale  •  http://community.oclc.org/engineering/2009/05/     what-is-web-scale.html•  NoSQL  •  http:/...
A NoSQL Summer - The Year After
Upcoming SlideShare
Loading in...5
×

A NoSQL Summer - The Year After

1,288

Published on

Wie geht ein Unternehmen im Zeitalter des Web 2.0 mit riesigen, unstrukturierten Datenmengen um? Dank einer Einladung der grössten Internetagentur der Schweiz, Namics, durften wir zu diesem brandaktuellen Thema am 09.09.2011 im Rahmen ihres alljährlichen Weiterbildungsevents referieren. Unser Architect Christian Gügi sprach über das Thema “Big Data im Unternehmenseinsatz mit Hadoop”.

Zum Inhalt:

Überall auf der Welt trafen sich zum NoSQL Summer 2010 Interessierte, um Papers zum Thema NoSQL zu lesen, zu verstehen und zu diskutieren. Dazu zählten insbesondere die Papers über Google’s Chubby, MapReduce & BigTable aus dem Jahr 2006, aber auch Cassandra (Facebook), (Dynamo) Amazon, Hadoop (Apache) uvm. In der Zwischenzeit hat sich das Themengebiet ausgedehnt, ein Markt wächst, immer mehr Produkte etablieren sich und viele Unternehmen greifen das Thema auf. NoSQL ist kein Buzz mehr. Aber was versteht man unter NoSQL, wann und wofür wird es eingesetzt und welche Produkte gibt es? Im Vortrag werden diese Fragestellungen anhand von Hadoop und Lily erläutert und damit der Bogen zu aktuellen Content Management Systemen geschlagen.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,288
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
20
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

A NoSQL Summer - The Year After

  1. 1. Christian Gügi, MeMo News AG @chrisgugiA NOSQL SUMMERTHE YEAR AFTER09.09.11
  2. 2. Agenda2 •  About me & MeMo News AG •  NoSQL •  Was, warum und wie? •  Hadoop in a nutshell •  NoSQL-basiertes CMS 09.09.11
  3. 3. AboutMEMO NEWS AG 09.09.11
  4. 4. About MeMo News AGData Information Analyse und Ausgabe und1Crawling 2 Processing 3 Personalisierung 4 WeiterverarbeitungVeröffentlichungen Die Rohdaten Individuelle Der Kunde greiftin etablierten und werden Suchagenten auf diesozialen Medien kategorisiert filtern in Echtzeit Ergebnisse zu,werden laufend und indiziert. die für den um sie weiter zugeladen und von Kunden analysieren undSpam gereinigt. relevanten zu verarbeiten. Treffer heraus. 09.09.11
  5. 5. Referenzen5 Germany / Japan 09.09.11
  6. 6. Zum ThemaNOSQL 09.09.11
  7. 7. Zum ThemaNOSQL 09.09.11
  8. 8. Was ist NoSQL?•  Term „NoSQL“ ist erst 2 Jahre alt •  kein Mainstream•  Kein Produkt, keine Firma, keine Technologie•  Ist eine Bewegung, eine neu Art Datenbanken voranzutreiben•  Basiert auf nicht-relationale Ansätzen 09.09.11
  9. 9. Warum NoSQL?•  Als Ansatz zur Lösung von (ungelösten) web scale* Problemen im Umgang mit unstrukturierten, massiven Datenmengen•  Hauptsächlich motiviert durch Web 2.0•  Es geht hauptsächlich um Scaling, Distribution und BigData* Web Scale: Highly Available, Reliable, Transparent, HighPerformance, Scalable, Accessible, Secure, Usable, andInexpensivehttp://community.oclc.org/engineering/2009/05/what-is-web-scale.html 09.09.11
  10. 10. Ansätze von NoSQL?•  Von Generalisierung zur Spezialisierung•  Keine Tabellenschemas•  Keine Relationen, um JOINs zu vermeiden•  Horizontal skalieren•  à weg von ACID, hin zu CAPSpezifische Probleme mit spezialisierten Lösungenangehen 09.09.11
  11. 11. TheoremFROM ACID TO CAP 09.09.11
  12. 12. ACIDEigenschaften von RDMS : Atomicity – ganz oder gar nicht Consistency – gewährleistet Integrität Isolation – Kapselung gleichzeitiger T. Durability – Persistenz aller Änderungen Skalieren vertikal -> grosse Datenbanken -> teuer
  13. 13. CAP Theorem
  14. 14. Kategorien Relational NoSQL 3 neue NoSQL Kategorien Relatio Object Docum Graph Wide Key nal oriente Orient colum value Store d Store ent Store ... ed Store n Store Store• MySQL • db4o • Jackrabbit • Neo4j • BigTable • MemcacheDB• PostgreSQL • Versant • couchDB • Sones • HBase • Redis• Oracle • Objectivity • MongoDB • Trinity • Hypertable • Casandra• MS Server • Lotus Notes • DEX • Dynamo • Riak 09.09.11
  15. 15. NoSQL – Future?•  Noch immer ungelöst •  (Fulltext) Search & Find •  Distributed Index Storage •  (Structured) Query LanguageIn Zukunft gibt’s kein NoSQL mehr, nur noch spezialisierteDatenbanken. 09.09.11
  16. 16. In a nutshellHADOOP 09.09.11
  17. 17. Apache™ Hadoop™•  Apache Projekt, open-source•  Software für reliable, scalable, distributed computing•  Basiert auf Google Papers /2006 •  Implementiert BigTable, Chubby, GFS•  Beinhaltet NoSQL Datenbank(en)„Apache Hadoop takes top prize at Media Guardian Innovation Awards.Data management software described by judges as Swiss army knife ofthe 21st century wins innovator of the year award“Marie Winckler, guardian.co.uk, Friday 25 March 2011 09.09.11
  18. 18. Apache™ Hadoop™Data Accessing Framework Pig Hive AvroData Mining Framework NoSQL Databases Mahout Cassandra HBaseOrchestration Framework Backup & Recovery Zookeeper Chukwa Management DeploymentData Storage Framework Data Processing Framework Security HDFS MapReduceJVMOperating System - LinuxCommodity Hardware 09.09.11
  19. 19. Powered by Hadoop™•  Adobe•  Ebay•  Facebook•  IBM•  Joost•  Last.fm•  LinkedIn•  Markt24•  NYT•  Powerset/Microsoft•  Rackspace•  StumbleUpon•  Twitter•  Yahoo uvm.http://wiki.apache.org/hadoop/PoweredBy 09.09.11
  20. 20. Lily CMSMADE FOR THE AGE OF DATA 09.09.11
  21. 21. The Age of Data•  Mehr & mehr Firmen adaptieren NoSQL (meist interne Verwendung)•  Vielzahl an Produkten / Distributionen•  NoSQL wird Enterprise‘e... Aber noch kein Mainstream•  Wie würde man Wikipedia im Jahr 2011 implementieren? 09.09.11
  22. 22. Lily•  „Lily is Smart Data, at Scale, made Easy“•  Content und Data Repository•  Architektur ausgelegt für BigData •  Basiert auf NoSQL Ansätzen•  Core •  Store, Index und Search•  Add-On •  Data usage tracking, user profiling, analytics and audience recommendationshttp://outaerthought.org/site/products/lily.html 09.09.11
  23. 23. Lily ArchitekturLily CMS Core CMSHadoop Solr Funktionaliäten: HBase Store, Index & MapReduce HDFS SerachAdd-on‘s: Data usage Hybrid Lösungtracking, user profiling,analytics and audience •  Solrrecommendations •  Hadoop •  Lily Komponenten 09.09.11
  24. 24. Lily Architektur2Lily CMSHadoop HBase Solr MapReduce HDFS 09.09.11
  25. 25. Powered by Lily•  BBC •  BBC Live Services: powering social web applications (tagging, commenting, ranking, voting) for BBC websites•  Groupe Adeo •  large e-commerce and web project for global retail•  Canadian Coast Guard •  e-Learning Material management system (LMS), Competency-based Learninghttp://outerthought.org/site/about/customers.html 09.09.11
  26. 26. FAQFRAGEN? 09.09.11
  27. 27. christian.guegi@menonews.comDANKE! 09.09.11
  28. 28. Quellen/Links•  Web scale •  http://community.oclc.org/engineering/2009/05/ what-is-web-scale.html•  NoSQL •  http://nosqlsummer.org/ •  http://nosql-database.org/•  Präsentation •  http://www.memonews.com/blog 09.09.11
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×