A NoSQL Summer - The Year After
Upcoming SlideShare
Loading in...5
×
 

A NoSQL Summer - The Year After

on

  • 1,462 views

Wie geht ein Unternehmen im Zeitalter des Web 2.0 mit riesigen, unstrukturierten Datenmengen um? Dank einer Einladung der grössten Internetagentur der Schweiz, Namics, durften wir zu diesem ...

Wie geht ein Unternehmen im Zeitalter des Web 2.0 mit riesigen, unstrukturierten Datenmengen um? Dank einer Einladung der grössten Internetagentur der Schweiz, Namics, durften wir zu diesem brandaktuellen Thema am 09.09.2011 im Rahmen ihres alljährlichen Weiterbildungsevents referieren. Unser Architect Christian Gügi sprach über das Thema “Big Data im Unternehmenseinsatz mit Hadoop”.

Zum Inhalt:

Überall auf der Welt trafen sich zum NoSQL Summer 2010 Interessierte, um Papers zum Thema NoSQL zu lesen, zu verstehen und zu diskutieren. Dazu zählten insbesondere die Papers über Google’s Chubby, MapReduce & BigTable aus dem Jahr 2006, aber auch Cassandra (Facebook), (Dynamo) Amazon, Hadoop (Apache) uvm. In der Zwischenzeit hat sich das Themengebiet ausgedehnt, ein Markt wächst, immer mehr Produkte etablieren sich und viele Unternehmen greifen das Thema auf. NoSQL ist kein Buzz mehr. Aber was versteht man unter NoSQL, wann und wofür wird es eingesetzt und welche Produkte gibt es? Im Vortrag werden diese Fragestellungen anhand von Hadoop und Lily erläutert und damit der Bogen zu aktuellen Content Management Systemen geschlagen.

Statistics

Views

Total Views
1,462
Views on SlideShare
1,358
Embed Views
104

Actions

Likes
0
Downloads
16
Comments
0

1 Embed 104

http://www.memonews.com 104

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

A NoSQL Summer - The Year After A NoSQL Summer - The Year After Presentation Transcript

  • Christian Gügi, MeMo News AG @chrisgugiA NOSQL SUMMERTHE YEAR AFTER09.09.11
  • Agenda2 •  About me & MeMo News AG •  NoSQL •  Was, warum und wie? •  Hadoop in a nutshell •  NoSQL-basiertes CMS 09.09.11
  • AboutMEMO NEWS AG 09.09.11
  • About MeMo News AGData Information Analyse und Ausgabe und1Crawling 2 Processing 3 Personalisierung 4 WeiterverarbeitungVeröffentlichungen Die Rohdaten Individuelle Der Kunde greiftin etablierten und werden Suchagenten auf diesozialen Medien kategorisiert filtern in Echtzeit Ergebnisse zu,werden laufend und indiziert. die für den um sie weiter zugeladen und von Kunden analysieren undSpam gereinigt. relevanten zu verarbeiten. Treffer heraus. 09.09.11
  • Referenzen5 Germany / Japan 09.09.11
  • Zum ThemaNOSQL 09.09.11
  • Zum ThemaNOSQL 09.09.11
  • Was ist NoSQL?•  Term „NoSQL“ ist erst 2 Jahre alt •  kein Mainstream•  Kein Produkt, keine Firma, keine Technologie•  Ist eine Bewegung, eine neu Art Datenbanken voranzutreiben•  Basiert auf nicht-relationale Ansätzen 09.09.11
  • Warum NoSQL?•  Als Ansatz zur Lösung von (ungelösten) web scale* Problemen im Umgang mit unstrukturierten, massiven Datenmengen•  Hauptsächlich motiviert durch Web 2.0•  Es geht hauptsächlich um Scaling, Distribution und BigData* Web Scale: Highly Available, Reliable, Transparent, HighPerformance, Scalable, Accessible, Secure, Usable, andInexpensivehttp://community.oclc.org/engineering/2009/05/what-is-web-scale.html 09.09.11
  • Ansätze von NoSQL?•  Von Generalisierung zur Spezialisierung•  Keine Tabellenschemas•  Keine Relationen, um JOINs zu vermeiden•  Horizontal skalieren•  à weg von ACID, hin zu CAPSpezifische Probleme mit spezialisierten Lösungenangehen 09.09.11
  • TheoremFROM ACID TO CAP 09.09.11
  • ACIDEigenschaften von RDMS : Atomicity – ganz oder gar nicht Consistency – gewährleistet Integrität Isolation – Kapselung gleichzeitiger T. Durability – Persistenz aller Änderungen Skalieren vertikal -> grosse Datenbanken -> teuer
  • CAP Theorem
  • Kategorien Relational NoSQL 3 neue NoSQL Kategorien Relatio Object Docum Graph Wide Key nal oriente Orient colum value Store d Store ent Store ... ed Store n Store Store• MySQL • db4o • Jackrabbit • Neo4j • BigTable • MemcacheDB• PostgreSQL • Versant • couchDB • Sones • HBase • Redis• Oracle • Objectivity • MongoDB • Trinity • Hypertable • Casandra• MS Server • Lotus Notes • DEX • Dynamo • Riak 09.09.11
  • NoSQL – Future?•  Noch immer ungelöst •  (Fulltext) Search & Find •  Distributed Index Storage •  (Structured) Query LanguageIn Zukunft gibt’s kein NoSQL mehr, nur noch spezialisierteDatenbanken. 09.09.11
  • In a nutshellHADOOP 09.09.11
  • Apache™ Hadoop™•  Apache Projekt, open-source•  Software für reliable, scalable, distributed computing•  Basiert auf Google Papers /2006 •  Implementiert BigTable, Chubby, GFS•  Beinhaltet NoSQL Datenbank(en)„Apache Hadoop takes top prize at Media Guardian Innovation Awards.Data management software described by judges as Swiss army knife ofthe 21st century wins innovator of the year award“Marie Winckler, guardian.co.uk, Friday 25 March 2011 09.09.11
  • Apache™ Hadoop™Data Accessing Framework Pig Hive AvroData Mining Framework NoSQL Databases Mahout Cassandra HBaseOrchestration Framework Backup & Recovery Zookeeper Chukwa Management DeploymentData Storage Framework Data Processing Framework Security HDFS MapReduceJVMOperating System - LinuxCommodity Hardware 09.09.11
  • Powered by Hadoop™•  Adobe•  Ebay•  Facebook•  IBM•  Joost•  Last.fm•  LinkedIn•  Markt24•  NYT•  Powerset/Microsoft•  Rackspace•  StumbleUpon•  Twitter•  Yahoo uvm.http://wiki.apache.org/hadoop/PoweredBy 09.09.11
  • Lily CMSMADE FOR THE AGE OF DATA 09.09.11
  • The Age of Data•  Mehr & mehr Firmen adaptieren NoSQL (meist interne Verwendung)•  Vielzahl an Produkten / Distributionen•  NoSQL wird Enterprise‘e... Aber noch kein Mainstream•  Wie würde man Wikipedia im Jahr 2011 implementieren? 09.09.11
  • Lily•  „Lily is Smart Data, at Scale, made Easy“•  Content und Data Repository•  Architektur ausgelegt für BigData •  Basiert auf NoSQL Ansätzen•  Core •  Store, Index und Search•  Add-On •  Data usage tracking, user profiling, analytics and audience recommendationshttp://outaerthought.org/site/products/lily.html 09.09.11
  • Lily ArchitekturLily CMS Core CMSHadoop Solr Funktionaliäten: HBase Store, Index & MapReduce HDFS SerachAdd-on‘s: Data usage Hybrid Lösungtracking, user profiling,analytics and audience •  Solrrecommendations •  Hadoop •  Lily Komponenten 09.09.11
  • Lily Architektur2Lily CMSHadoop HBase Solr MapReduce HDFS 09.09.11
  • Powered by Lily•  BBC •  BBC Live Services: powering social web applications (tagging, commenting, ranking, voting) for BBC websites•  Groupe Adeo •  large e-commerce and web project for global retail•  Canadian Coast Guard •  e-Learning Material management system (LMS), Competency-based Learninghttp://outerthought.org/site/about/customers.html 09.09.11
  • FAQFRAGEN? 09.09.11
  • christian.guegi@menonews.comDANKE! 09.09.11
  • Quellen/Links•  Web scale •  http://community.oclc.org/engineering/2009/05/ what-is-web-scale.html•  NoSQL •  http://nosqlsummer.org/ •  http://nosql-database.org/•  Präsentation •  http://www.memonews.com/blog 09.09.11