Dutch Datacenter and Hosting Summit 2012 – A’dam

445 views

Published on

Presentatie van AnchorMen op het Dutch Datacenter & Hosting Summit 2012 – A’dam. In deze presentatie wordt ingegaan op een gerealiseerde Cloudera Hadoop - Twitter Big Dataoplossing. AnchorMen licht toe uit welke componenten een Big Data oplossing bestaat, daarnaast wordt aangeven op welke wijze dit geïntegreerd kan worden in organisaties gebruikmakend van AnchorMen ANANSI. Via ANANSI wordt Big Data gekoppeld aan bestaande processen en informatiesystemen waardoor organisaties klantgerichter kunnen ondernemen. Big Data draagt bij aan een optimale afstemming tussen klanttevredenheid en klantrendement.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
445
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Dutch Datacenter and Hosting Summit 2012 – A’dam

  1. 1. AnchorMenDUTCH DATACE NTER AN D HOST I NG S UMMIT 2012 – A’ DAMP R A K T IJK CA S E T WI T TER – CLOU DE R A HA DOOPR U TG ER WE T ZELS E N JA RCO S CHU T RU P
  2. 2. AnchorMenBusiness Web Apps ◦ Producten en maatwerk ◦ Technisch gedreven JAVA ◦ Koppelpartner CRM, ERP ◦ Consultancy, development en beheerBusiness Flow oplossingen ◦ Online beheren en bestellen van producten of diensten ◦ Kennis en informatie over bedrijven of personen ◦ Ondersteuning CRM Strategie om klantgericht te ondernemen
  3. 3. Technische klantvragenGrote data sets; ◦ Miljoenen artikelen doorzoekbaar maken ◦ Petabytes aan data met veel toenameVariëteit en complex ◦ Ongestructureerd, Social Media ◦ Analyse over verschillende structurenBehoefte aan realtime ◦ Inspelen op actuele data ◦ Snelle verwerking/ analyse van de data
  4. 4. Organisatorische klantvragenBig Data in mijn organisatie? ◦ Best practices of exploratie? ◦ IT of Business? ◦ Wat is het doel? ◦ Nieuwe behoeften of bestaande problemen? ◦ Wanneer starten? ◦ Wat kan Big Data toevoegen aan CRM strategie? ◦ Hoe integreert Big Data in de processen? ◦ Hoe kan ik starten met Big Data?
  5. 5. ANCHORMEN ANANSI
  6. 6. Praktijk case: Twitter –Cloudera HadoopSocial Media integratie voor Big Data opslag en analyse ◦ Externe data ◦ Twitter ◦ Facebook ◦ LinkedIn ◦ Interne data ◦ CRM ◦ Campagne Management ToolToepasbaar maken van Big DataCertificering van Cloudera Hadoop
  7. 7. TwitterArchitectuur Hadoop FlumeSociale media ◦ Twitter ◦ 300 miljoen tweets per dagTweets ◦ Opslaan MapReduce ◦ Lange periode ◦ Relateren ◦ Analyseren ◦ Periodiek ◦ Verschillende soorten informatie ◦ Resultaten Sqoop ◦ LichtgewichtPlatform ◦ HadoopDashboard MySQL ◦ MySQL ◦ Visualisatie Dashboard
  8. 8. Twitter APIInput: Twitter API Hadoop FlumeStreaming API"text": "#Twitterbird, Guidelines:","retweet_count": 66, MapReduce "in_reply_to_status_id_str": null, “id": 210462857140252672, "geo": null, "retweeted": true, Sqoop "possibly_sensitive": false, "in_reply_to_user_id": null,…> 50 eigenschappen MySQL1…miljoenen tweets Dashboard
  9. 9. Twitter API Input: Flume Hadoop Flume Service voor verzamelen en verplaatsen van gegevens Schrijft de tweets naar het MapReduce Hadoop File System (HDFS) Dataset verspreid over de Sqoop nodes MySQLNode 1 Node 2 Node N Dashboard
  10. 10. Twitter APIAnalyseren: MapReduce Hadoop Flume Start MapReduce Map Map 1 Map 2 n.. Sqoop ReduceBatchverwerking MySQLEenvoudig Eind Dashboard
  11. 11. Twitter APIOutput: Sqoop Hadoop FlumeSqoop◦ Verplaats informatie van Hadoop naar een RDBMS en vice versa MapReduce Sqoop MySQL Dashboard
  12. 12. Twitter APIAnalyse: Workflow Hadoop FlumeOozie◦ Workflow scheduler ◦ Manage Hadoop jobs ◦ Triggert MapReduce jobs en Sqoop jobs MapReduce Sqoop MySQL Dashboard
  13. 13. Twitter APIWebinterface Flume MapReduce Sqoop MySQLProductpopulariteit per product per dagRetweets, Mediaurls, Afbeeldingen Dashboard
  14. 14. Cloudera HadoopRelatief eenvoudig op te zettenEnterprise readyCloudera managerComponenten ◦ Flume ◦ Service voor verzamelen en verplaatsen van gegevens ◦ Impala ◦ Query Engine ◦ MapReduce ◦ Framework voor het processen van data ◦ Oozie ◦ Workflow Scheduler ◦ Hive ◦ Query Engine ◦ Sqoop ◦ Verplaats informatie van Hadoop naar een RDBMS en Vice versa
  15. 15. PlatformSchaalbaarBeheersbaar Cloud nodes, 1 Cloud server, GecertificeerdCloud dedicated virtual nodes CDH4 cluster storage
  16. 16. Big Data projectBig Data = Big Project?!Durf grote vragen te stellenDenk groot én begin kleinDiscovery Workshop ◦ Big Data concept ◦ Demo met echte Big Data toepassing en klant herkenbare data ◦ Concrete stappenProof of Concept ◦ Snel ◦ Relatief goedkoop ◦ Gezamenlijk inspanning ◦ Concrete en herkenbare dataKlaar voor het echte werk!
  17. 17. AfsluitingVragen?r.wetzels@anchormen.nl en j.schutrup@anchormen.nlhttp://bigdata.anchormen.nl of http://www.anchormen.nl

×