Big Data & Bird & Bird - seminar

1,851 views
1,728 views

Published on

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,851
On SlideShare
0
From Embeds
0
Number of Embeds
10
Actions
Shares
0
Downloads
60
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Big Data & Bird & Bird - seminar

  1. 1. Big DataAvv. Roberto Camilli
  2. 2. “Big Data”● Tante definizioni● Un solo concetto semplice● Grandi quantità di dati strutturati e non strutturati da organizzare ed analizzare● Da qualche gigabyte ai terabyte, ai petabyte fino agli zettabyte e yottabyte
  3. 3. Dimensioni dei “Big Data”
  4. 4. Esempi estremi di “Big Data”● Il sistema di generazione dati della Climate Corporation - migliaia di server per rielaborare periodicamente decenni di dati storici e generare 10.000 possibili scenari relativi al tempo per ogni collocazione geografica e grandezza, si traduce in oltre 10 trilioni di dati relativi a possibili scenari (ad esempio, un valore atteso di pioggia in un luogo specifico e in un momento specifico) che possono essere utilizzati per determinare l’ammontare del premio assicurativo e per l’analisi dei rischi, per un totale di oltre 50 terabyte di dati presenti nei sistemi di raccolta in un qualsiasi momento.● La Sloan Digital Sky Survey (SDSS) ha iniziato a raccogliere dati astronomici nel 2000 ed è riuscita a raccogliere nelle prime settimane di attività più dati di quanti ne siano mai stati raccolti nella storia dell’astronomia. Lavorando ad un ritmo di circa 200 GB per notte, SDSS ha accumulato già più di 140 terabyte di informazioni.● In totale i quattro rivelatori principali del Large Hadron Collider (LHC) di Ginevra hanno prodotto 13 petabyte di dati nel 2010 (13.000 terabyte)
  5. 5. Overview● Cosa intendiamo per “Big Data”?● Un’industria in crescita● Esempi da vendors● La visione universitaria● Problematiche legali● Discussioni
  6. 6. Cosa intendiamo per “Big Data”?● McKinsey & Company nel suo report di giugno 2011 indica che il termine “Big Data” si riferisce a quei database la cui dimensione è al di là della capacità di gestione dei normali strumenti software per database. Questa definizione è volutamente soggettiva e incorpora una definizione in evoluzione di quanto debba essere grande un set di dati per poter essere considerato big data ...● SAS/CEBR report (aprile 2012): “La quantità di dati continua a crescere in modo esponenziale, generata da Internet, dai social media, dal cloud computing e dai dispositivi mobili, si pone quindi una sfida ed unopportunità per le organizzazioni – come gestire, analizzare ed utilizzare la sempre maggiore quantità di dati generati”.● Big Data è un concetto aperto e la definizione variabile, dipende dalla potenza a diposizione ma anche una quantità di dati relativamente piccola può creare problemi di gestione
  7. 7. Dove è possibile reperire i “Big Data”?● Da dove arrivano?● Dati strutturati e non strutturati● Quanto costano la gestione e raccolta di questi dati?● É necessaria una nuova infrastruttura IT?● Occorre un progetto di analisi e obiettivi da raggiungere
  8. 8. Dati Interni● Ogni organizzazione produce un grande numero di dati o vi ha accesso.● Questi dati sono molto spesso trascurati, conservati ma non utilizzati oppure semplicemente cancellati e persi.● Dati macchina, e-mail, documenti, processi, sensori, traffico web ecc.
  9. 9. Il mondo digitale● Il mondo dei dispositivi mobili e dei social network genera un numero sempre maggiore di nuovi dati personali e le stesse opinioni degli utenti possono fornire indicazioni che prima non erano semplicemente disponibili
  10. 10. Cosa si intende per Big Data? – Le tre “V”● Volume – il volume dei dati è sempre più grande● I dati globali digitali sono arrivati fino a 1.227 exabyte nel 2010 e si prevede di raggiungere 7.910 exabyte nel 2015. Secondo una stima, se solo un exabyte di dati fosse salvato su DVD sarebbero necessari 13513 Boeing 747 per il trasporto di tutti i DVD utilizzati.● Velocità – aumento della velocità di creazione, acquisizione e condivisione dei dati● A partire dal 2000 fino al 2010, la Sloan Digital Sky Survey ha raccolto 140 terabytes di informazioni. Nel 2016, il suo erede sarà in grado di raccogliere lo stesso quantitativo di informazioni ogni cinque anni● Varietà – proliferazione di tipologie diverse di dati● 80-85% dei dati a livello globale sono considerati attualmente non strutturati.● Ad esempio, lo possono essere i dati relativi al traffico o alla geolocalizzazione tratti da telecomunicazioni, blog, RFID e dati derivanti da sensori, gli spostamenti dei veicoli o dati relativi alla posizione degli aeromobili, i dati relativi alle condizioni meteo, alle transazioni finanziarie, alle statistiche di vendita, analisi delle parole chiave etc.● Valore, Visione – non limitiamo il concetto alla terminologia
  11. 11. Cloud Computing● Il “Cloud computing” permette l’accesso, la riorganizzazione e l’utilizzo del “Big Data” fornendo un accesso virtualmente illimitato ed economico a risorse hardware e software e ad uno spazio di archiviazione praticamente illimitato ed utilizzabile in modo elastico● Progetti di analisi dei dati possono essere usati separatamente ed indipendentemente dal nucleo centrale delle funzioni e dei sistemi aziendali e non appesantire i sistemi aziendali● Opportunità e problemi dell’uso del Cloud, non più silos ma unico database
  12. 12. Cosa può essere fatto con i “Big Data”● Data Mining e Data Extraction● Analisi e Visualizzazione dei dati● Infinite possibilità di raccolta dati e business intelligence● Identificazione trend, rischi, errori, sprechi● Monitoraggio in tempo reale● Dati oggettivi● Nuove opportunità di business
  13. 13. Alcuni esempi…● Fashion - percezione del brand - “sentiment” degli utenti – studio dei trend - logistica - contraffazione – analisi concorrenti● Automotive – analisi dati sensori di bordo, manutenzione predittiva, assistenza, correzione errori, prevenzioni incidenti, assistenza alla guida, logistica prodotti e ricambi, studio garanzie prodotti● Life Science – studi osservazionali utilizzo farmaci, studio trend epidemiologici popolazione, studio parametri esclusione per studi clinici, studio necessità popolazione, identificazione frodi● Retail – Dati utente su consumi e budget di spesa, analisi uso siti ed e- commerce, preferenze di acquisto, interazione tramite strumenti portatili utenti, personalizzazione esperienza d’acquisto, smart carts, apps e rfid codes sui prodotti, suggerimenti e promozioni in tempo reale, strumenti di comparazione prezzi, geolocalizzazione
  14. 14. Ulteriori esempi● Banche – connessione dati operazioni e iniziative retail, studio dei portafogli, studio sentiment clienti, servizi valore aggiunto clienti, controllo e prevenzione frodi● Logistica – integrazione con dati retail, consumi e preferenze, dati promozioni e interventi in garanzia , ottimizzazione consegna e magazzino, logistica real time e consegne nello stesso giorno, dati di spedizione, viaggio, consegna in tempo reale● Advertising e Marketing – studio sentiment social network, modello comunicazione mirata al singolo utente, uso di strumenti per analisi semantica, linguaggio naturale e studio di cluster informativi● Assicurazioni – personalizzazione polizze e coperture a secondo del comportamento utente, studio storia veicolo, analisi rischi reali bene assicurato, individuazione frodi, dati ambientali per calcolo rischio
  15. 15. Problematiche legali1● Chi possiede i “Big Data”?● Creazione e gestione del database● Direttiva relativa al settore degli Open Data pubblici● Dati generati dagli utenti● Dati organizzati e strutturati● Dati non strutturati● Dati estratti ed analizzati● Diritti dei fornitori di strumenti relativi a “Big Data”
  16. 16. Problematiche legali2● Tutti diventeremo dei “big brother”?● Nuova proposta di regolamento UE per il trattamento dei dati personali (privacy by design, diritto all’oblio)● Nuove tipologie di consenso, data portability, trasferimento all’estero● Come rispettare il diritto di accesso e cancellazione?● Dati personali persi all’interno dei “Big Data”● Dati estratti dall’associazione di informazioni● Data Breach Notification● Incidente Target (previsione gravidanza)
  17. 17. Problematiche legali3● I limiti del copyright● “Big Data”ed il principio dell’esaurimento● Eccezioni al diritto d’autore● Necessità di licenze per analizzare materiale protetto● L’analisi dei dati può essere considerata utilizzo dei contenuti? Copia?● Proposte di liberalizzazione per attività e strumenti analitici● “Big Data” un nuovo strumento contro la pirateria?● Proteggibilità del database e dei risultati delle analisi
  18. 18. Problematiche legali4● Sicurezza e protezione dei dati, necessità di garanzie● Aspetti Antitrust● Rapporti con licenze open source● Uso dei dati in ambito contenzioso● Aumento delle garanzie e delle responsabilità● Mercati regolamentati (borsa, finanza, banche, pubblicità, assicurazioni)
  19. 19. Thank you Avv Roberto Camilli +39 02 30 35 60 00 roberto.camilli@twobirds.com Bird & Bird is an international legal practice comprising Bird & Bird LLP and its affiliated and associated businesses. Bird & Bird LLP is a limited liability partnership, registered in England and Wales with registered number OC340318 and is authorised and regulated by theSolicitors Regulation Authority. Its registered office and principal place of business is at 15 Fetter Lane, London EC4A 1JP. A list of members of Bird & Bird LLP and of any non-members who are designated as partners, and of their respective professional qualifications, is open to inspection at that address. twobirds.com
  20. 20. Bird & Bird & Big DataBig Data & Small StepsLa risposta è là fuori. Qualcuno trovi una domanda intelligente.Prof. Carlo Alberto Carnevale MaffèBocconi University – SDA Bocconi School of Management C.A. Carnevale-Maffè 1
  21. 21. In Hoc Data, Vinces§ Nate Silver (34 anni) ha previsto correttamente 49 stati su 50, sia nel 2008 sia nel 2012.§ Aveva sviluppato “Pecota” (Player Empirical Comparison and Optimization Test Algorithm) per prevedere le prestazioni dei giocatori di baseball.§ Fa il blogger (“FiveThirtyEight”) sul New York Times C.A. Carnevale-Maffè 2
  22. 22. La Ricchezza delle Nozioni “Se anche parlassi tutte le lingue degli uomini (…) e conoscessi tutti i misteri e tutta la scienza (…), sarei come un bronzo che risuona o un cembalo che tintinna” (1 Cor. 13,1-2)1.Big Data, Tiny Understanding § Ogni possibile risposta, in attesa di qualche plausibile domanda2.Gli economics degli analytics § L’abbondanza dei dati genera una scarsità relativa di attenzione umana.3.Che farne di (questo) management? § Ci serve ancora chi oggi viene pagato per fare controllo e reporting? C.A. Carnevale-Maffè 3
  23. 23. La vertigine della complessitৠAumento dell’ interdipendenza sistemica…§ determinato dalla specializzazione deliberata§ orientata allaumento di produttività…Il mito newtoniano del Dato Universale:§ Asimmetrie informative dambiente§ Asimmetrie interpretative d’impresa.§ Inoltre…§ Razionalità limitata§ Ambiguità causale§ Policentrismo dei poteri e delle leggi C.A. Carnevale-Maffè 4
  24. 24. A tale of Builders & Brickmakers§ “Once upon a time, there were men called scientists. These men were builders who constructed edifices, called explanations or laws, by assembling bricks, called facts. When the bricks were sound and were assembled properly, the edifice was useful and durable. If the bricks were faulty or if they were assembled badly, the edifice would crumble.§ The brickmakers became obsessed with the making of bricks. When reminded that the ultimate goal was edifices, not bricks, they replied that, if enough bricks were available, the builders would be able to select what was necessary and still continue to construct edifices.§ It became difficult to find the proper bricks for a task because one had to hunt among so many. It became difficult to find a suitable plot for construction of an edifice because the ground was covered with loose bricks. It became difficult to complete a useful edifice because, as soon as the foundations were discernible, they were buried under an avalanche of random bricks.§ And, saddest of all, sometimes no effort was made even to maintain the distinction between a pile of bricks and a true edifice”. Bernard Forscher, “Chaos in the Brickyard”, Science Magazine, 18 October 1963 C.A. Carnevale-Maffè 5
  25. 25. La complessità, semplicemente… Specializzazione Flows Flows Evoluzione Entropia Stocks Stocks Inorganico Organico Socio-economico Internet of Things Life Sciences The Web C.A. Carnevale-Maffè 6
  26. 26. Lo sviluppo urbano, esempio dispecializzazione e interdipendenza piccola casa metropoli moderna nella prateriaResidenti 5 5 mlI/O giornalieri 1-2 1-2 mlAlimentazione autonoma quasi totalmente dipendenteEnergia locale quasi totalmente dipendenteDelta quasi zero alcuni kg/giornoCO2/individuo/giornoDelta produttivitá/10 poco piú di zero 30-50%anniInterscambio 10-20% 98%ambientale C.A. Carnevale-Maffè 7
  27. 27. Fare sistema o fare mercato?§ Fare sistema accresce linterdipendenza, ma non necessariamente la specializzazione e quindi non migliora la produttivitৠFare mercato allenta gli incastri (loose coupling), migliora la flessibilità e la propensione all’adattamento C.A. Carnevale-Maffè 8
  28. 28. Gli analytics sono un mercato, non un sistema§ E’ la somma che fa il totale, ma non è la somma che fa il sistema.§ Il sistema è un insieme di equazioni a incognite crescenti§ La complessità è una fitta pioggia di piccoli asteroidi, e limpresa è il mammifero intenzionale, l’organismo geneticamente automodificato C.A. Carnevale-Maffè 9
  29. 29. Complessità, maestra di vita“Lessenza della tirannia èla negazione della complessità”Jacob Burkhardt, storico§ Gestire la complessità vuol dire rinunciare a eccessive pretese di: § Prevedibilità temporale § Visibilità spaziale § Creazione del consenso sistemico§ Investendo invece su: § Rapidità decisionale § Dislocamento e contestualizzazione § Leadership§ Complessità come humus dellimpresa e graticola del dirigismo C.A. Carnevale-Maffè 10
  30. 30. Predicting the Present (con una sbirciatina al futuro)§ Udite, udite:§ La gente compra quel che sta cercandoe..§ La gente non compra quel che non sta cercando.§ Forecasting & “NowCasting”:§ E’ dimostrato che l’uso di strumenti di analisi delle frequenze di ricerca consente di interpolare con precisione alcuni dati di breve periodo (vendite di prodotti, destinazioni di viaggi, consumer confidence, etc)§ Fonte: H.Choi & H.Varian, Predicting the Present with Google Trends, December 18, 2011.§ M. Marsella & C. Miani, “Il Mutuo? Si stima con Google”, Lavoce.info, 26 agosto 2012 C.A. Carnevale-Maffè 11
  31. 31. Gli economics degli analyticsQuando i dati diventano abbondanti, lascarsità relativa dell’attenzione umanaaumenta§Economics of deleting § Oggi costa piú cancellare che tenere. Prima i beni complementari alla non cancellazione costavano cari (e.g., l’album delle foto) e la selezione aveva senso economico. Ora non più.§Economics of sharing § C’erano più opere d’arte chiuse nelle cantine dei musei, di quante ce ne fossero visibili al pubblico. Ora non più.§Economics of calculating § Si inseguiva il mito di HAL9000: centralizzato, strutturato, onniscente. Ora non più.§Gli effetti di Big Data Analytics su: § R&D § Working Capital § Risk Management C.A. Carnevale-Maffè 12
  32. 32. Capitale & Lavoro§ Gli Analytics, nuova moneta§ Lelasticitá incrociata tra capitale e lavoro si é notevolmente ridotta: il capitale é sempre meno una controparte o un sostituto del lavoro e sempre più una diversa forma di lavoro. § LI.P. é uno stock di lavoro che diventa convertibile in capitale § Gran parte della capitalizzazione di borsa delle imprese è rappresentato da asset intangibili, in ultima analisi basati sull’accumulazione di un surplus di lavoro§ Se capitale e lavoro restano due categorie aristoteliche inconciliabili, due entitá economiche e sociali separate, allora rimaniamo prigionieri di concetti come quello di classe, sia essa dirigente o operaia, e siamo condannati a perpetuare relazioni di tipo sindacale, giochi a somma zero nel processo di rappresentanza degli interessi. C.A. Carnevale-Maffè 13
  33. 33. “First, Let’s Fire all the Managers”§ Management is the least efficient activity in your organization (Gary Hamel, HBR, 2011).§ Il management è una soluzione gerarchica e labour-intensive al problema della gestione della complessità, della hidden action e della hidden information.§ La supervisione e la reportistica cessano di essere compiti a valore aggiunto.§ Rimangono tali la leadership e l’imprenditorialità, ma che sono un tema di uomini e non di tecnologie. C.A. Carnevale-Maffè 14
  34. 34. Grazie e buon lavoro! Prof. CarloAlberto Carnevale-MaffèScuola di Direzione Aziendale – Università Bocconi Email: carloalberto.carnevale@sdabocconi.it C.A. Carnevale-Maffè 15
  35. 35. Bird & Bird & Big DataNuvole Nere sull’Oceano Blu“La verità, vi prego, sul Cloud Computing”Prof. Carlo Alberto Carnevale-Maffè C.A. Carnevale-Maffè – SDA Bocconi 1Bocconi University – School of Management Copyright SDA Bocconi 2013
  36. 36. Cloud: un’Istituzione Economica,non solo un’infrastruttura tecnologica• Il cloud è un’istituzione economica, non solo un’infrastruttura tecnologica.• E’ laboratorio di innovazione organizzativa, crocevia di scambi informativi, piattaforma di relazioni di business.• In questo senso la nuvola dei processi di business è la nuova Unità Economica d’Italia. 2 C.A. Carnevale-Maffè – SDA Bocconi 2
  37. 37. La nuvola non è un taxi. E’ uno hub• La nuvola non è un offerta speciale per rottamare i server.• La nuvola non è un hosting del nostro disordine applicativo, un monte dei pegni delle nostra bigiotteria informatica.• La nuvola è uno hub di processi economici interoperabili. C.A. Carnevale-Maffè – SDA Bocconi 3
  38. 38. La nuvola è meglio di Internet• Perché è standard ma non è la giungla dell’anonimato.• Perché è interoperabile ma anche difendibile dagli intrusi.• Perché ha un servizio garantito e non è best effort, tipo “attendere prego”. C.A. Carnevale-Maffè – SDA Bocconi 4
  39. 39. Il Cloud è la FED del computing (non la BCE…)Le banche sono il cloud dei soldi.•Nessuno pensa che sia più razionale tenerlinella propria cassaforte, invece di depositarliin un istituto di credito.•E non è solo sicurezza, è il principio delrendimento della “moneta-dato”•Come le Banche sono il cloud dei Soldi, ilCloud, come una brava Banca Centrale, è il“prestatore di ultima istanza” di risorsecomputazionali e garantisce la liquidità e lalibera circolazione dei dati. (Basta nonmetterlo a Cipro…) C.A. Carnevale-Maffè – SDA Bocconi 5
  40. 40. La nuvola, Banca d’Italia dei Dati• Le banche sono il cloud dei soldi.• Nessuno pensa che sia più razionale tenerli nella propria cassaforte, invece di depositarli in un istituto di credito.• E non è solo sicurezza, è il principio del rendimento della “moneta-dato”• Il cloud, come la Banca Centrale, garantisce la circolarità e la liquidità dei dati C.A. Carnevale-Maffè – SDA Bocconi 6
  41. 41. Va’ dove ti porta il cielo… 1. L’Era dei Messaggi, l’Età delle Istanze. Il Cloud come distruzione creativa dei sistemi legacy. 2. Tesoro, mi si sono ristretti i processi. Il workflow si frammenta e si contamina. 3. Uno vale Uno, Nessuno, Centomila. Cambia l’osmosi organizzativa: il “Noi” e il“E pungente a toccarlo, come un pruno, “Loro” convivono sotto loo lieve come morbido piumino? stesso cirro.E tagliente o ben liscio lungo gli orli?La verità, vi prego, sull’Amore.” C.A. Carnevale-Maffè – SDA Bocconi 7
  42. 42. Contro le Migrazioni La distruzione creativa dei processi legacy• Un progetto cloud è un volo in mongolfiera. Ci si solleva da terra per asportazione di pesi.• Non si vola tra le nuvole con la zavorra della legacy.• Cogliete l’occasione per spaccare tutto, per buttare tutto, per rifare tutto. Vabbé, almeno qualcosa.• Il problema non è mettere SAP sul cloud. É metterci il business. C.A. Carnevale-Maffè – SDA Bocconi 8
  43. 43. Microeconomia dei Cloud Services OGGI… … DOMANIPrice S1: Traditional Price Application Silos D3 S3: Cloud P1 Apps + D1 Data+Service s- C1 = P1 x V1 S2: Cloud Applications P2 D2 C2 = P2 x V2 C3M2 Volume V1 + V2 Volume Growing supply of applications, The size of the market will have lower variable costs and lower to grow through barriers to entry and access, “complementarities” increase volumes but drastically (with data, services, and value- added business processes) reduce average prices… Il Cloud è deflatore economico della bolla dei silos applicativi C.A. Carnevale-Maffè – SDA Bocconi 9
  44. 44. Il Cloud è Generale (“La guerra è finita”)Il nemico è scappato, è vinto, è battuto•Il Cloud è già mainstream, un po’ come l’ecologia e la pacenel mondo, le energie rinnovabili e la spending review.•Non essere più minoranza va metabolizzato dai digitali nonnativi, quelli che vanno in giro con almeno 2 o 3 pennetteUSB nella borsa.•Quelli nativi, come i pesci, non sanno che cos’è l’Acqua delCloud.•Dietro la collina non cè più nessuno, al massimo una smartcity, un’agenda digitale già un po’ sgualcita.Queste cinque stelle•Con il Cloud, Internet non è più trastullo di tardoadolescentigarruli, ma diventa movimento & istituzione, organizzazionedi lotta e di governo. Prendi un Liquid Feedback, e ci fai unapietra d’inciampo nazionale. C.A. Carnevale-Maffè – SDA Bocconi 10
  45. 45. Il dato è come un professore in politica:“sale” sulla nuvola. E poi non scende più• Il Cloud è forza gravitazionale irresistibile, sifone di dati, black hole di processi, polo magnetico delle interazioni.• Il Cloud è sistema simbolico di segnalazione, come lo sono le nuvole nel cielo. Unico segnale evidente all’occhio umano della dinamica dei fluidi nella rotazione terrestre.• Il Cloud scatena fenomeni organizzativi di collaborazione, è il luogo della sharing economy. Che non è buonismo, ma efficienza. C.A. Carnevale-Maffè – SDA Bocconi 11
  46. 46. Il Cloud e il ciclo del processo• Cloud come luogo di ibridazione informativa dei processi.• Come l’acqua, il processo evapora per finire sulla nuvola.• E come l’acqua purificata dall’evaporazione poi si contamina con l’atmosfera, così il processo contaminato dall’interoperabilità ricade sulla terra.• A volte come pioggerellina, a volte come grandine. C.A. Carnevale-Maffè – SDA Bocconi 12
  47. 47. Uno vale Uno, Nessuno, Centomila.• Il Cloud è la base di un modello organizzativo che ridefinisce le identità professionali. Sulla nuvola, siamo tutti Vitangelo Moscarda.• Mobilità, telelavoro simmetrico (non c’è più differenza di profondità, né asimmetria informativa determinata dal luogo di accesso)• Private/personal: il cloud è invasivo ed evasivo (nel senso di evasione…)• Company/channels: Il cloud è sistema operativo di filiera, non d’azienda• Come l’ERP ha superato le applicazioni dipartimentali, così il cloud supererà quelle aziendali. C.A. Carnevale-Maffè – SDA Bocconi 13
  48. 48. E smettete di mandarmi le e-mail.• “Ti ho mandato una email” is the new “Peppa Tencia”.• La PEC è la continuazione del FAX con altri mezzi tecnologici. Una specie di dichiarazione di guerra, consegnata ufficialmente dagli ambasciatori. • Segnalatemi le istanze, sono stufo di fare download. • Fatemi notificare un alert dal daemon di Facebook. • Taggatemi su un contenuto rilevante, fate un retweet, mettete un hashtag.• Ma volete imparare ad usarli per lavorare, ‘sti Social Network? C.A. Carnevale-Maffè – SDA Bocconi 14
  49. 49. Perché Mobile & Cloud cambiano i processi economici?A. It’s Yours: Authentication & Billing & App based (not just browser-based)B. It’s Your (Share of) Life (personale e professionale)C. It’s (Native) Social (rete di Persone, non solo rete di Pagine) C.A. Carnevale-Maffè – SDA Bocconi 15
  50. 50. Marx & il capitale sulle nuvole • I mezzi di produzione digitali appartengono al popolo (ne avete in tasca almeno uno a testa). • Lavoratori di tutto il mondo, unite i vostri dati (tanto il remote storage su FaceBook o YouTube è gratuito). C.A. Carnevale-Maffè – SDA Bocconi 16
  51. 51. Uno spettro si aggira per il data-center• Fine del monopolio delle imprese su: – Produzione – Presidio – Accesso – Distribuzionedei dati digitali C.A. Carnevale-Maffè – SDA Bocconi 17
  52. 52. La fine del monopolio sul valore aggiunto L’evoluzione delle “asimmetrie organizzative”2000-2011 •Arriva la “Rete delle Pagine”: impatto sulle “asimmetrie informative” •Nuove forme di disintermediazione e ri-intermediazione Ma: •Immutata struttura di mercato tra domanda e offerta ?2012-2020 •Arriva la “Rete delle Persone”: Impatto sulle “asimmetrie organizzative” •Nuove forme di collaborazione/competizione tra domanda e offerta E: •Modifica della struttura di mercato, fine del monopolio aziendale sulla catena del valore aggiunto. C.A. Carnevale-Maffè – SDA Bocconi 18
  53. 53. Il contenuto diventa “bastardo”• Perduta la sua integrità originale, nell’attraversare le Nuvole, il contenuto diventa infinitamente ri- editabile e re-intermediabile. Chiunque lo guardi e lo tocchi, lo modifica economicamente.• Il paradosso dei Big Data e la sindrome degli Highlights: sempre meno utenti sono interessati al contenuto originale e integrale, o al dato puntuale e disaggregato, sempre più si accontentano di una sintesi veloce e contestualizzata (e possibilmente gratuita). C.A. Carnevale-Maffè – SDA Bocconi 19
  54. 54. Occhio che sul Cloud il cliente mette le mani. Anzi, le dita.§Il Pollice§L’Indice§Il Medio§(L’Anulare…) C.A. Carnevale-Maffè – SDA Bocconi 20
  55. 55. Totò & il Dato-Malafemmina • “Nojo..vol-au-vent..savoir…” – Archetipo di interrogazione in linguaggio naturale, sintassi anticipatoria del web semantico • L’informazione, si sa, è ’na malafemmina, a cui l’IT Manager canta sconsolato: – “Te voglio bene e todio, nun te pozzo scurdà...” C.A. Carnevale-Maffè – SDA Bocconi 21
  56. 56. Liberté, égalité, fraternité… • “Tutti i dati digitali sono liberi, uguali e interdipendenti” C.A. Carnevale-Maffè – SDA Bocconi 22
  57. 57. Tutti i dati sono liberi? • Siamo davvero convinti di riuscire a tenerli chiusi nel perimetro aziendale? • Per quanto tempo riusciremo ad invocarne la proprietà intellettuale? C.A. Carnevale-Maffè – SDA Bocconi 23
  58. 58. Tutti i dati sono interdipendenti?La missione di Google:“Organizethe worldsinformationand make ituniversallyaccessibleand useful” C.A. Carnevale-Maffè – SDA Bocconi 24
  59. 59. Vito Catozzo’s Way• Driver di gestione dei dati digitali secondo IDC: – Security – Compliance – Preservation C.A. Carnevale-Maffè – SDA Bocconi 25
  60. 60. Il nuovo centro? E’ in periferia– La produzione e laccesso a documenti multimediali cresce proporzionalmente di più ai confini dell’impresa, non al centro– Il document management infra- organizzativo è efficiente, ma non intercetta la nuova complessità “ai bordi” dell’impresa– I social media sono il luogo di produzione e di accesso documentale più dinamico e dove i volumi e la complessita di formati crescono esponenzialmente.– I documenti crescono al centro come conseguenza di quello che succede ai bordi. C.A. Carnevale-Maffè – SDA Bocconi 26
  61. 61. XaaS?Ad unificare iprocessi di filiera e di DaaSterritorio, tra impresee PA, tra cittadini eorganizzazioni, serveun nuovo stratocondiviso.Il DaaS dev’essereibrido, sia pubblicosia privato, sia apertosia ad accessocondizionato C.A. Carnevale-Maffè – SDA Bocconi 27
  62. 62. Clouds & Weather Forecasts…• Il nuovo mercato del Cloud è “interstiziale”• La sfida è nelle opzioni di interoperabilità dei processi esistenti, non nella migrazione di servizi tradizionali dai server aziendali al Cloud.• La migrazione, in quanto tale, è un “gioco a somma negativa”, perché viene effettuata a un costo medio minore.• Ma il business sarà sempre “on site”: il Cloud è essenzialmente una nuova opportunità di attivare “connecting links” tra processi economici. C.A. Carnevale-Maffè – SDA Bocconi 28
  63. 63. Il Cloud, unarte che si fa "per via di levare"1. Mercato Pubblico: “Carving out” e ridefinizione dei processi istituzionali del Paese, oggi (mal)gestiti direttamente dalla PA2. Mercato Privato: Creazione di una “domanda ICT forzosa” tramite processi delle filiere sistemiche localizzate (e.g., tourism, food, logistics)3. Mercato del lavoro : avvio di modelli di “Crowdsourcing” strutturale per l’aumento della partecipazione al lavoro giovanile e femminile C.A. Carnevale-Maffè – SDA Bocconi 29
  64. 64. Il valore ai tempi del colera (digitale) Diritti, standard, linguaggi specialistici e nazionali, asset complementari, esperienza, comportamento associato, etc. SINTASSI• Valore = f ( LATENZA ) Frequenza, sincronicità verticale e orizzontale, sequenzialità, serialità, allertamento, interstizialità, set-up e storage, etc. C.A. Carnevale-Maffè – SDA Bocconi 30
  65. 65. L’Advertising? Beyond the Line Circolo VirtuosoValoreCliente Attention Intention Conversion Relation Totale Advertising Intenzione di Transazione Servizi Post acquisto Experience C.A. Carnevale-Maffè – SDA Bocconi 31
  66. 66. Advertising: il valore del tempo e dell’incertezza OGGI DOMANIAttention Future/Stimato Spot/PuntualeIntention (Future)/Attesa Spot/PuntualeConversion N.A. Spot/PuntualeRelation Opportunistica Strutturale C.A. Carnevale-Maffè – SDA Bocconi 32
  67. 67. Internet: lo Hub di un “Mercato Multilaterale”4 Mercato della comunicazione 4 Mercato Human tra aziende e consumatori: Content Attention: offerta media company fornitrici di Providers sussidiata e/o a servizi pubblicitari/ marketing pagamento all’utente alle aziende finale di contenuti e servizi Communication Content Platform Platform (M1) (M2) Hub Merchants & People & Institutions Communities Relation & Commerce Platform (M3) 4 Mercato degli scambi di beni e servizi tra aziende e consumatori: media company quali intermediari fra aziende e consumatori nella compravendita di beni e servizi C.A. Carnevale-Maffè – SDA Bocconi 33
  68. 68. 34 Quale contributo del Cloud al “sistema Paese”?• Modernizzazione, abbattimento delle barriere fisiche, esternalità positive di linguaggio: ¿ Dopo Dante, Manzoni, Mike Buongiorno, …. ¿ La sintassi dell’ICT per la nuova sfida alla costruzione della “nazione economica” O si fa l’Italia (sul Cloud), o si muore C.A. Carnevale-Maffè – SDA Bocconi 34
  69. 69. Grazie! Prof. Carlo Alberto Carnevale-Maffè Strategic Managament Dept.Bocconi University- SDA Bocconi School of Management Twitter: @carloalberto Facebook.com/Carloalberto.Carnevale C.A. Carnevale-Maffè – SDA Bocconi 35
  70. 70. Cloud Computing Summit L’Italia vista dalla Nuvola Relazione di: Prof. Carlo Alberto Carnevale Maffè Scuola di Direzione Aziendale – Università BocconiLa nuvola è un’istituzione economica, non solo un’infrastrutturatecnologica.E’ laboratorio di innovazione organizzativa, crocevia di scambiinformativi, piattaforma di relazioni di business.In questo senso la nuvola è la nuova Unità Economica d’Italia.Tra i cirri del credit crunch e i cumulonembi della recessione, lanuvola di tecnologia all’orizzonte è quindi gravida di novità per leimprese e per il Paese. Le piccole e medie aziende guardano tuttorale innegabili opportunità del cloud con un certo scetticismo, per iltimore di vedersi sottratto il controllo dei propri dati o di non poterpiù disporre di un interlocutore che si prenda la responsabilità delservizio. Si sbagliano. Vediamo perché, in tre semplici passaggi. 1) Ilcloud è il modo più sicuro e flessibile per gestire l’ICT nelle piccole emedie imprese. Non solo fa risparmiare, ma contribuisce a crescere.2) Il mondo delle software house e dei systems integrator che oggiaffianca le PMI, lungi dallo scomparire, vede schiudersi un nuovomercato di integrazione dei processi, oltre il presidio dei tradizionalisistemi IT interni all’azienda. 3) Una volta sul cloud, le PMI viritroveranno anche le grandi imprese e la PA, colmando iltradizionale gap infrastrutturale, con applicazioni e informazioni allequali oggi non hanno accesso.La nuvola non è un offerta speciale per rottamare i server. La nuvolanon è un hosting del nostro disordine applicativo, un monte dei pegnidelle nostra bigiotteria informatica. La nuvola è uno hub di processieconomici interoperabili.L’esempio di Google è lampante. Le foto pubblicate su Picasa dagliutenti sono sì sulla nuvola, ma tramite la geolocalizzazione possonoessere viste anche da google maps e street view. Stessa cosa succede
  71. 71. per i giudizi degli utenti sui locali pubblici, che non sono chiusidentro al silos applicativo verticale, ma condivisi.Le piattaforme di accesso autenticato tramite FB, Twitter o G+ sonoun altro esempio di come la nuvola consenta l’interoperabilità traprocessi e l’ottenimento di grandi effetti di esternalità positiva.Comunque, sia, la nuvola è troppo importante per lasciarla agliingegneri.La nuvola è meglio di internet. Perché è standard ma non è la giungladell’anonimato. Perché è interoperabile ma anche difendibile dagliintrusi. Perché ha un servizio garantito e non è best effort, tipo“attendere prego”.Dunque, sopra alle nuvole, il sole? Sì, ma a certe condizioni.Per prima cosa sgombriamo il campo dalle diffuse ma infondateobiezioni sulla sicurezza dei dati. Il cloud è il modo più affidabile esicuro per conservare e rendere disponibili in ogni momento dati eapplicazioni cruciali per le imprese.Le statistiche parlano chiaro: il livello di ridondanza architetturale edi disponibilità reale che offrono i servizi cloud professionali sononettamente superiori a quelli accessibili a una piccola e mediaimpresa che tiene tutto sul proprio server nello scantinato. Basti unasemplice metafora: le banche sono il cloud dei soldi. Nessuna aziendapensa che sia più razionale tenerli nella propria cassaforte e rischiarescassi e furti, invece di depositarli nei forzieri di un istituto di credito.Oltre alla maggiore affidabilità l’altro fattore determinante è laflessibilità e l’economicità d’esercizio. I servizi cloud propongono unpercorso ineludibile nell’evoluzione dell’ICT dal ruolo di purainfrastruttura tecnologica a funzione flessibile di servizio nelsupportare l’azienda nei repentini cambiamenti e nelle diverse fasidel ciclo economico. Funzionano con un modello di costi su baseflessibile, consentendo alle piccole e medie aziende di affrancarsidall’onere di investimenti al buio. Se a questo si aggiungono larapidità di implementazione e la flessibilità, non è difficilecomprendere come la nuvola meriti il serio interesse dei responsabiliIT e degli imprenditori di aziende di ogni settore e dimensione, chevedono in questo modello una valida alternativa per trasformarecosti fissi in più maneggevoli costi variabili d’esercizio.
  72. 72. Per quanto riguarda l’offerta dei servizi da parte dei systemsintegrator, va smentita l’idea che il cloud ne cancelli il ruolo. Alcontrario, nei Paesi dove il cloud ha già preso piede, si è registratauna crescita di nuove imprese dell’ecosistema ICT. Certamente, alletradizionali software house la nuvola richiede un’evoluzione deimodelli di relazione e di proposizione nei confronti dei propri clienti,nonché un importante sforzo di educazione relativo agli ambiti diapplicazione e alle modalità di valutazione della tecnologia erogata informa di servizio. Invece che sui tradizionali sistemi IT, iprofessionisti che affiancano le imprese dovranno focalizzarsisull’integrazione di processi di business e di nuovi devices, aprendosial grande scenario della cosiddetta “Internet of Things”, dovel’informatica non mette più in rete solo posti di lavoro, ma ognielemento fisico di un’organizzazione.Ma l’infrastruttura che serve per far migrare le piccole medieimprese sul cloud richiede uno sforzo congiunto degli operatori,della Pubblica amministrazione e di tutto il Sistema Paese. In altreparole: c’è banda e banda. Un conto è la banda larga per le famiglie, eun altro quella per le imprese. La banda che serve per il cloudprofessionale deve essere non solo larga, ma stabile, garantita,disponibile e sicura. Il cloud a cosiddetto “best effort”, che nongarantisce alcun livello di servizio, va bene al più per i ragazzottigarruli e per le start-up squattrinate. Alle PMI serve un cloudgarantito “end-to-end” che connetta affidabilmente i luoghi di lavoroai data center. Vale ancora l’esempio della banca: se le affidate igioielli di famiglia, non reagireste bene se vi rispondesse: tornate traqualche giorno, oggi abbiamo un problema.Per far ripartire il motore ingolfato delleconomia italiana servedunque aria nuova, dalta quota, oltre le nebbie della crisi, seguendo iventi dellinnovazione. L’imprenditore che vuole crescere, oggi, ha latesta sulla Nuvola e i piedi ben piantati in terra.I servizi cloud non sono solo un vantaggio economico per la singolaimpresa o istituzione pubblica, ma consentono di unire tra loroaziende e PA, di collegare processi ora frammentati e incompatibili,di scambiare dati aperti, gli Open Data, in linea con le direttiveeuropee e lAgenda Digitale Italiana. Sulla nuvola tecnologica deiservizi cloud, lItalia dellinnovazione si può ritrovare più unita, senzatuttavia doversi uniformare a un unico modello, anzi conservandotutte le sue specificità, ma guadagnando in immediatezza e
  73. 73. interoperabilità. Con la nuvola, le imprese e la PA hanno accesso aimigliori servizi disponibili al mondo, ma alla giusta dimensione,pensati per crescere con loro. E insieme, più uniti, far tornare acrescere il Paese.
  74. 74. Overview della proposta IBM 22.marzo.2013Carlo PatriniInformation Architectcarlo.patrini@it.ibm.com+393357248561 © 2013 IBM Corporation
  75. 75. Abbiamo bisogno di acquisire maggiore conoscenzaLe esigenze di acquisire maggior conoscenza(insights) sono sempre più necessarie ed urgenti 2 © 2013 IBM Corporation
  76. 76. Rispondere a domande.. sempre nuove, sempre urgenti e sempre… strategiche Qual è stata l’ efficacia Come potremmo sfruttare al Vorrei scoprire nuovi della campagna C123 ? meglio i dati storici per segmenti cliente…. capire in anticipo le azioni dei nostri compratori ? Quali prodotti si vendono meglio oggi in Italia? Cosa dicono le persone del nostro nuovo prodotto ? il 91% dei clienti insoddisfatti si rivolgerà ad altri fornitori Cosa dice la gente al nostro servizio Come migliorare la ns customer Call center ? retention ?lIntegrare il Business con la TecnologialUtilizzare dati storici e di sintesi – strutturati e nonlTrarre il massimo profitto dallanalisi delle informazioni estratte da tutte le fonti disponibili 3 2012 IBM Corporation
  77. 77. Il Data Warehouse e la Business Analytics sono un’ottima risposta …sempre sollecitata dal mercato che chiede.. • Volumi più elevati • Più elevata qualità dei dati • Maggior controllo sul processo Reporting •e soprattutto maggior SEMPLICITA Analysis AUTONOMIA e PERFORMANCE Predictive Analytics •…….Master DataManagement Cubi Fonti Data dati da Warehouse sistemi ETLgestionali Data Integration Data Quality Data Delivery 4 2012 IBM Corporation
  78. 78. DWH più snelli, veloci e reattivi …l’appliance DWH è la soluzioneIl DWH è fondamentaleperò a volte è lento e troppo Mumbleingessato e non evolvecon i tempi del business .. mumble….la soluzione èIBM Netezza 5 © 2013 IBM Corporation
  79. 79. E il business è interessato ad acquisire info chevanno oltre la transazione Fail Fail Fail Yes! Fail Fail Fail Fail Fail Fail Fail Fail Fail Inizio Fail Fine processo acquisto Fail processo acquisto Fail Albero Il DWH generalmente traccia la transazione decisionale finale, quella conclusiva. del Per “leggere” meglio il processo di acquisto serve processo conoscere anche il resto di acquisto 6 2012 IBM Corporation
  80. 80. Big Data: il nuovo oceano dei dati I dati sotto la superficie ancora inesplorati 12+ terabytes 30 miliardi di Tweets Sensori, RFID, altri device al giorno che generano dati in streaming Volume Velocità Varietà Veridicità 100’s Solo 1 su 3 Di tipi dati diversi Utenti di business ritiene di avere informazioni affidabili 77 © 2013 IBM Corporation
  81. 81. La conoscenza è contenuta anche in fonti non convenzionali …perchè ignorarle? 25Tb Facebook /giornoq Il Business necessita di gestire ed usare in modo massivo una quantità sempre crescente di informazioni non convenzionali e generalmente create all’esterno delle organizzazioni aziendaliq La maggior parte di queste informazioni non convenzionali, sono semistrutturate o completamente destrutturateq Le organizzazioni soffrono se non possono acquisire la conoscenza contenuta nelle informazioni di business Ø I sistemi tradizionali analizzano solo dati strutturati Ø Il mancante 80% è costituito da informazioni non strutturate o semi strutturate (Gartner). 200k twitter al minuto Big Data 290 milioni twitter anno 12Tb twitter/giorno 8 2012 IBM Corporation
  82. 82. Quando si parla di “data explosion” 83x6,000,000 users on Twitter 500,000,000 users on Twitter pushing out 300,000 pushing out 400,000,000 tweets per day tweets per day 1333x 9 2012 IBM Corporation
  83. 83. Approccio Tradizionale e Approccio Big Data 10 2012 IBM Corporation
  84. 84. BIG DATAStato dell’arte 11 2012 IBM Corporation
  85. 85. Which is the State-of-The-Art? >1100 Business Managers >200 CIOs IBM and the Saïd Business School (on Global Scale) and SDA Bocconi University (on local Scale) partnered to benchmark global big data activities12 www.ibm.com/2012bigdatastudy 12
  86. 86. Big Data: lo stato dell’arte 1 Customer analytics are driving big data initiatives Big data is dependent upon a scalable and extensible 2 information foundation Initial big data efforts are focused on gaining insights 3 from existing and new sources of internal data 4 Big data requires strong analytics capabilities The emerging pattern of big data adoption is 5 focused upon delivering measureable business valueIBM e Saïd Business School (Università di Oxford – ricerca globale) e Università SDA Bocconi (Italia) hanno collaborato per un benchmark sulle iniziative Big Data 13
  87. 87. Key Findings: Big Data Activities >1000 Business Managers 24% 47% 28%Have Not Begun Big Data Planning Big Data Pilot & Implementation of Activities Activities Big Data Activities 25% 57% 18% >200 CIOs 14
  88. 88. IBM Big Data Platform & Ecosystem IBM SOCIAL MEDIA ANALYTICS IBM CONTENT ANALYTICS Out-of-the-Box Social Analytics Out-of-the-Box Text analytics6 Environment Open environment with Enterprise Search 5 Analytic Applications INFOSPHERE BI / Exploration / Functional Industry Predictive Content DATA EXPLORER Reporting Visualization App App Analytics Analytics BI / PURE DATA for Analytics Reporting (VIVISIMO) (NETEZZA) IBM Big Data Platform 24 4 Visualization Application Systems – Optimized Very Large – Search (and federate & Discovery Development Management Data Warehousingdata) in a big data context Accelerators Hadoop Stream Data INFOSPHERE INFOSPHERE System Computing Warehouse STREAMS BIGINSIGHTS 3 1 – Analyse large 1 – Analyse large structured and structured and unstructured data set in unstructured data sets Information Integration & Governance streaming 15
  89. 89. Il Data Warehouse e la Business Analytics…. ben si integrano con la BIG DATA platform 1 IBM InfoSphere BigInsights 6 Cognos 5 External Source Systems Applications Structured, Semi Structured/ Unstructured Data Spreadsheets 4Sensors IBM Vivisimo Data Warehouse 2Master DataManagement Cubi Netezza ETL Data Integration 3 Data Quality IBM InfoSphere Streams Data Delivery 16 2012 IBM Corporation
  90. 90. L’ecosistema Big Data : la chiave è l’interoperabilità Traditional / Relational Traditional Warehouse Data Sources Data Analytics on Warehouse Structured Data Non-Traditional / Non-Relational Streaming Data Sources Data InfoSphere Analytics on Streams Data In-Motion Non-Traditional/ Non-Relational Data SourcesInternet-Scale Data Sets Traditional/Relational InfoSphere Analytics on BigInsights Data at Rest Data Sources 17 2012 IBM Corporation
  91. 91. La piattaforma IBM Big Data: La nuova frontiera di Analisi Data Ingest 01011001100011101001001001001100100100110100101010011100101001111001000100100010010001000100101 11000100101001001011001001010 01100100101001001010100010010 01100100101001001010100010010 11000100101001001011001001010 01100100101001001010100010010 Arricchire 01100100101001001010100010010 Analisi Real Time 01100100101001001010100010010 01100100101001001010100010010 11000100101001001011001001010 01100100101001001010100010010 01100100101001001010100010010 01100100101001001010100010010 Modello 01100100101001001010100010010 01100100101001001010100010010 Analitico 11000100101001001011001001010 01100100101001001010100010010 Adattivo 01100100101001001010100010010 01100100101001001010100010010 11000100101001001011001001010 18 18
  92. 92. Analisi Tradizionale estesa ai Big Data 1 Pre-Processing Hub 2 Query-able Archive 3 Exploratory Analysis Data Explorer Combinare dati strutturati con Data Explorer non strutturati BigInsight Find and viewStreams BigInsight BigInsight Streams Information Information Information Server Server Server Data Data Data Warehouse Warehouse Warehouse 19 19 © 2013 IBM Corporation
  93. 93. Applicazioni Big Data q Analisi cosa si dice sui Social Media di un argomento q Analisi messaggi Call Center q Analisi dei LOG. q Identificazione delle frodi. q Ricercare dati attraverso un motore federato q Analisi di dati provenienti da sensori q ........Si ricorre ad una soluzione Big Data, ad esempio, quando:- risulta necessario analizzare TUTTI i dati potenzialmente disponibili e quando l’elaborazione di un loro campione non sarebbe significativa e in grado di fornire risultati efficaci.- si vuole ESPLORARE, anche in modo interattivo, i dati disponibili nei casi in cui le misure e gli indicatori di business non siano predeterminati.- occorre analizzare un FLUSSO CONTINUO ed ampio di dati per prendere decisioni in tempo realeIl fenomeno Big Data non è legato ad un particolare settore di industriafa leva sulla crescita del volume dei dati e su ulteriori dimensioni come laVelocità e la Varietà dei dati disponibili. 20
  94. 94. Biginsights per elaborare in Vestas optimizesmodo molto veloce Petabytesdi dati capital investments based on 2.5 Petabytes of information. § Model the weather to optimize placement of turbines, maximizing power generation and longevity. § Reduce time required to identify placement of turbine from weeks to hours. § Incorporate 2.5 PB of structured and semi- structured information flows. Data volume expected to grow to 6 PB. 21 21 2012 IBM Corporation
  95. 95. Infosphere Streams e Cisco turns to IBM bigBiginsights data for intelligentper la gestione degli ambienti infrastructure management. § Optimize building energy consumption with centralized monitoring and control of building monitoring system. § Automates preventive and corrective maintenance of building systems. § Uses Streams, InfoSphere BigInsights and Cognos § Log Analytics § Energy Bill Forecasting § Energy consumption optimization § Detection of anomalous usage 2222 § Presence-aware energy mgt. 22 2012 IBM Corporation § Policy enforcement
  96. 96. Infosphere Streams nel campo medicoBig Data enabled doctors from University of Ontario to apply neonatal infant monitoring to predict infection in ICU 24 hours in advance IBM Data Baby youtube.com 23 23 2012 IBM Corporation
  97. 97. Infosphere Streams per la Dublin City Centre Increases ottimizzazione del traffico Bus Transportation Performance Capabilities Utilized: Stream Computing • Public transportation awareness solution improves on-time performance and provides real-time bus arrival info to riders • Continuously analyzes bus location data to infer traffic conditions and predict arrivals • Collects, processes, and visualizes location data of all bus vehicles • Automatically generates transportation routes and stop locations Results: • Monitoring 600 buses across 150 routes • Analyzing 50 bus locations per second • Anticipated to Increase bus ridership 24 24 2012 IBM Corporation24
  98. 98. CUSTOMER Analytics – GRUPO BBVA seamlessly monitors and improves its online reputation. - Enables BBVA to consistently respond to and gain insight into customer needs and feedback. “What is great about this solution is that it helps - Gives BBVA the ability to measure the success of its outputs us to focus our actions on the most important and approaches to engaging stakeholders and customers. topics of online discussions and immediately plan the - Shows whether positive or negative sentiments have correct and most increased or not, looks for the source and reason of suitable reaction.” – Online Communication comments and helps make decisions and plans. Department, BBVA Behavioral Data 25
  99. 99. CUSTOMER Analytics – MEDIASET.Social Analytics to collect Customer longitudinal pointof views from Web 2.0 and correlate themwith internal data “Big Data is a great opportunity for TV innovation in the next Better understand its marketing campaigns and consumer years. TV viewing is preferences, transforming into a multiplatform and participative experience: Looking for ways to analyze and differentiate consumer the better we know and experiences understand our viewers, the better we can serve them." – Valerio Motti, Helped the client to assess the company’s corporate brands, Head of Marketing with respect to one of its main pay-TV competitors Innovation, Mediaset S.p.A. Trandational Data Behavioral Data 26 26
  100. 100. VIVISIMO – referenze 27 2012 IBM Corporation
  101. 101. CASEHistory 28 2012 IBM Corporation
  102. 102. SUCCESS STORIES : tra le varie fonti…. eccone dueLINK PDF FileRicorda : Recuperare link che contiene questo doc 29 2012 IBM Corporation
  103. 103. LINK UTILI 30 2012 IBM Corporation
  104. 104. BIG Data : alcuni utili link Big Data HUB & Success Stories http://www.ibmbigdatahub.com/ Big Data University http://bigdatauniversity.com/ BigInsights tec enablement wikihttps://www.ibm.com/developerworks/mydeveloperworks/wi kis/home?lang=en_US#/wiki/BigInsights FREE ebook – Harness the power of BigData http://www.ibmbigdatahub.com/blog/research-director-reflects- new-big-data-book 31 2012 IBM Corporation
  105. 105. Mi fermo qui…. grazie per la pazienza 3232 © 2013 IBM Corporation
  106. 106. HADOOP &BIGINSIGHTS 33 2012 IBM Corporation
  107. 107. Biginsights basato su Hadoop ….. perchè ? CPU istruzioni al secondo – miglioramenti significativi 1990 44 Mips at 40 Mhz 2000 3.562 Mips at 1.2 Ghz 2010 147.600 Mips at 3.3 Ghz RAM Memory - miglioramenti significativi – 1990 640 K – 2000 64 Mb – 2010 8-32 GB Disk capacity - miglioramenti significativi – 1990 20 MB – 2000 10 GB – 2010 1 TB Disk latency (velocità di leggere e scrivere su disco ) - miglioramenti poco significativi Negli ultimi 7-10 anni non ci sono state enormi migliorie correntemente la velocita è di circa 70 – 80 MB / sec 34 2012 IBM Corporation
  108. 108. Quanto tempo ci vuole per scandire 1 TB ?q 1 TB (at 80 MB / sec) – 1 disk 3.4 hours – 10 disks 20 min – 100 disks 2 min – 1000 disks 12 secq Per ovviare alla Disc Latency la risposta è la ..elaborazione parallelaq Hadoop : un nuovo modo per memorizzare ed elaborare i dati ØScritto in Java ØProgettato per lavorare su hardware non specializzato ØGira in ambiente Linux ØScalabile, Flessibile,Robusto 35 2012 IBM Corporation
  109. 109. What is Hadoop?§ Apache Hadoop = free, open source framework for data- intensive applications – Inspired by Google technologies (MapReduce, GFS) – Yahoo has been the largest contributor to the project (Doug Cutting), – Well-suited to batch-oriented, read-intensive applications – Originally built to address scalability problems of Nutch, an open source Web search technology§ Enables applications to work with thousands of nodes and petabytes of data in a highly parallel, cost effective manner – CPU + disks of commodity box = Hadoop “node” – Boxes can be combined into clusters – New nodes can be added as needed without changing • Data formats • How data is loaded • How jobs are written 36 2012 IBM Corporation
  110. 110. Two Key Aspects of Hadoop§ MapReduce framework – MapReduce is a software framework introduced by Google to support distributed computing on large data sets of clusters of computers. – How Hadoop understands and assigns work to the nodes (machines)§ Hadoop Distributed File System = HDFS – Where Hadoop stores data – A file system that spans all the nodes in a Hadoop cluster – It links together the file systems on many local nodes to make them into one big file system 37 2012 IBM Corporation
  111. 111. Hadoop ed il paradigma Map Reduce §I dati sono memorizzati su un sistema distribuito di server §Le funzioni elaborative vengono inviate dove ci sono I dati §Ogni server elabora I dati di propria competenza e condivide i risultati §Il sistema può scalare raggiungendo migliaia di nodi e PB di dati public static class TokenizerMapper public static class TokenizerMapper Hadoop Data Nodes extends Mapper<Object,Text,Text,IntWritable> {{ extends Mapper<Object,Text,Text,IntWritable> private final static IntWritable private final static IntWritable one == new IntWritable(1); one new IntWritable(1); private Text word == new Text(); private Text word new Text(); public void map(Object key, Text val, Context public void map(Object key, Text val, Context StringTokenizer itr == StringTokenizer itr new StringTokenizer(val.toString()); new StringTokenizer(val.toString()); while (itr.hasMoreTokens()) {{ while (itr.hasMoreTokens()) word.set(itr.nextToken()); word.set(itr.nextToken()); context.write(word, one); context.write(word, one); }} 1. Map Phase (spezza il job in piccole parti) }} }} public static class IntSumReducer 2. Shuffle public static class IntSumReducer extends Reducer<Text,IntWritable,Text,IntWrita extends Reducer<Text,IntWritable,Text,IntWrita Distribute map private IntWritable result == new IntWritable(); private IntWritable result new IntWritable(); public void reduce(Text key, public void reduce(Text key, Iterable<IntWritable> val, Context context){ Iterable<IntWritable> val, Context context){ int sum == 0; int sum 0; for (IntWritable vv :: val) {{ tasks to cluster (riordina I risultati parziali per for (IntWritable val) sum += v.get(); sum += v.get(); .. .. .. le elaborazione finale) 3. Reduce Phase (rielabora il tutto per ottenereMapReduce Application un singolo risultato) Shuffle Result Set Return a single result set 38 2012 IBM Corporation
  112. 112. BigInsights estende le capabilities di Hadoop open source con l’aggiunta di nuove funzionalità …. InfoSphere BigInsights Advanced Engines Development Tools Analytic ApplicationsEnterprise Indexing BI / Exploration / Functional Industry Predictive Contentcapabilities Reporting Visualization App App BI / Analytics Analytics Report Connectors ing IBM Big Data Platform Visualization Application Systems Workload Optimization & Discovery Development Management Administration & Security Accelerators Hadoop Stream Data System Computing WarehouseOpen source IBM tested & supported based open source components Information Integration & Governancecomponents 39 2012 IBM Corporation
  113. 113. Infosphere BigInsights : due edizioniCon BigInsights le aziende possono indirizzare l’ elaborazione di enormi quantità didati mai prima sfruttate e ricavare nuova conoscenza in modo efficiente, ottimizzato e scalabile. Tale infrastruttura sfrutta il MapReduce framework di Hadoop per affrontare l’elaborazione parallela di grandi insiemi di dati distribuiti su numerosi nodi. 40 40 2012 IBM Corporation
  114. 114. Infosphere BigInsights : due edizioni Enterprise Edition GPFS-SNC Native Support* Spreadsheet-style data exploration Job and Workflow Management Productivity and Efficiency Improvements Integration with InfoSphere Warehouse Integration with Netezza Integration with DB2 Large Scale Indexing Basic Edition Text Analytics Machine Learning* Free Download, Easy Installation Tiered Terabyte Pricing 24x7 Web Support, 10TB Limit Paid Support Option * = coming soon 41
  115. 115. Biginsights on Cloud 42 2012 IBM Corporation
  116. 116. IBM BigInsights on CloudHadoop for everyone 43 2012 IBM Corporation
  117. 117. Infosphere Streams 44 2012 IBM Corporation
  118. 118. Infosphere Streams InfoSphere Streams dispone di un’infrastruttura software agile e scalabile per l’analisi in tempo reale di enormi flussi di dati in movimento, di qualsiasi natura e provenienti da innumerevoli sorgenti.Tale tipo di elaborazione aumenta la precisione e la velocità del processodecisionale in diversi campi come quelli sanitario, astronomico,manifatturiero, finanziario e molti altri ancora. 45 2012 IBM Corporation
  119. 119. Categories of Problems Solved by Streams§ Applications that require on-the-fly processing, filtering and analysis of streaming data – Sensors: environmental, industrial, surveillance video, GPS, … – “Data exhaust”: network/system/web server/app server log files – High-rate transaction data: financial transactions, call detail records§ Criteria: two or more of the following – Messages are processed in isolation or in limited data windows – Sources include non-traditional data (spatial, imagery, text, …) – Sources vary in connection methods, data rates, and processing requirements, presenting integration challenges – Data rates/volumes require the resources of multiple processing nodes – Analysis and response are needed with sub-millisecond latency – Data rates and volumes are too great for store-and-mine approaches 46 2012 IBM Corporation
  120. 120. Elaborazione real time time con infosphere streams à continuous ingestion infrastructure provides services for scheduling analytics across h/w nodes à continuous analysis establishing streaming connectivity … Filter Transform Annotate Correlate Classify achieve scale by partitioning applications into components 47 by distributing across stream-connected hardware nodes 2012 IBM Corporation
  121. 121. Infosphere Data Explorer (ex VIVISIMO) 48 2012 IBM Corporation
  122. 122. Vivisimo e la sua missione Aiuta le organizzazioni a scoprire, organizzare, analizzare e navigaregrandi quantità di dati eterogenei e dinamici, sia strutturati chedestrutturati, indipendentemente dadove siano gestiti o storicizzati, perincrementare l’efficienza ed il valore nei processi di business. 49 2012 IBM Corporation
  123. 123. Vivisimo nell’azienda Relational Data § Garantire laccesso a numerose applicazioni e archivi dati File Systems § Scoprire e navigare all’interno di Content Management tutta l’azienda § Fondere informazioni strutturate Email Velocity Platform e non strutturate per guidare l’azienda verso: CRM Application/ – Migliori decisioni Users Supply – Operazioni più efficienti Chain – Migliore comprensione dei clienti ERP – Innovazione Commenting RSS Feeds § Strumenti Social per la Tagging collaborazione ed il riutilizzo Rating Cloud Shared Custom Folders Sources Social Tools External Sources 50 2012 IBM Corporation
  124. 124. Vivisimo ricerca federata 51 51 2012 IBM Corporation
  125. 125. Vivisimo architettura User Profiles Application SDK Federated Sources Authentication/Authorization Query transformation Personalization Display Subscriptions Feeds Web Results Text Analytics Meta-Data Search Engine Thesauri Faceting Clustering BI Ontology Support Tagging Semantic Processing Taxonomy Entity Extraction Collaboration Relevancy Connector Framework CM, RM, DM RDBMS Feeds Web 2.0 Email Web CRM, ERP File Systems 52 2012 IBM Corporation
  126. 126. CUSTOMER Analytics esempi.. 53 2012 IBM Corporation

×