Curso de big data
Upcoming SlideShare
Loading in...5
×
 

Curso de big data

on

  • 1,024 views

Curso de big data. Fundamentos, tecnologías y herramientas. Nuevas profesiones: ingeniero de datos, científico de datos, ingeniero de cloud computing

Curso de big data. Fundamentos, tecnologías y herramientas. Nuevas profesiones: ingeniero de datos, científico de datos, ingeniero de cloud computing

Statistics

Views

Total Views
1,024
Views on SlideShare
1,018
Embed Views
6

Actions

Likes
2
Downloads
84
Comments
0

1 Embed 6

https://twitter.com 6

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Curso de big data Curso de big data Presentation Transcript

  • 11 Prof. Luis Joyanes Aguilar INNOVACIONES TECNOLÓGICAS Estrategias empresariales en: Cloud Computing y Big Data EGADE Business School (campus BBVA, La Moraleja) Madrid, 2 de octubre, 2013
  • 22 ESTADO DEL ARTE DE CLOUD COMPUTING Prof. Luis Joyanes Aguilar COMPUTACIÓN EN LA NUBE La nueva era de la computación
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Página –3–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Página –4–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 CONTENIDO 1. INNOVACIONES TECNOLÓGICAS 2. CLOUD COMPUTING 3. BIG DATA y BUSINESS ANALYTICS 4. ESTRATEGIAS EMPRESARIALES PARA CLOUD COMPUTING y BIG DATA 5. CONCLUSIONES Y FUTURO ANEXO. Libros y documentación de referencia, Referencias Web Página –5–
  • 6 III. BIG DATA Una introducción gerencial y para empresas Prof. Luis Joyanes Aguilar
  • 77 EGADE Business School Prof. Luis Joyanes Aguilar BIG DATA El universo digital de datos
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 LA ERA DEL PETABYTE (1.000 TB), Wired , julio 2008 (www.wired.com) Sensores en todas partes, almacenamiento infinito y Nubes (clouds) de procesadores  Nuestra capacidad para capturar, almacenar y comprender cantidades masivas de datos está cambiando la ciencia, medicina, negocios y tecnología. A medida que aumenta nuestra colección de hechos y figuras, crece la oportunidad de encontrar respuestas a preguntas fundamentales. Because in the era of big data, more isn´t just more. More is different Página –8–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 LA ERA DEL PETABYTE -2- . Wired , julio 2008 (www.wired.com)  1TB (250.000 canciones) 20 TB (fotos “uploaded” a Facebook cada mes)  120 TB (todos los datos e imágenes recogidos por el telescopio espacial Hubble) ; 460 TB (todos los datos del tiempo climático en EEUÜ compilados por el National Climatic Data Center); 530 TB (Todos los vídeos de YouTube); 600 TB (base de datos de genealogía, incluye todos los censos de EEUU 1790-2000) 1 PB (datos procesados por los servidores de Google cada 75 minutos) Página –9–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Tabla de unidades de almacenamiento (The Economist, febrero 2010): “data, data everywhere” www.economist.com/specialreports/displaystory.cfm?story_id=15557421 Página –10–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 El Universo Digital – EMC / IDC Página –11–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 El Universo Digital – EMC / IDC Página –12–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 EL UNIVERSO DIGITAL DE DATOS, 2013  EMC Corporation PUBLICÓ en diciembre de 2013, su estudio anual sobre el Universo Digital de IDC, patrocinado por EMC: “Big Data, Bigger Digital Shadows, and Biggest Growth in the Far East”. El estudio arrojó que, a pesar de la expansión sin precedentes del Universo Digital debido a el Big Data que se generan a diario por personas y máquinas, IDC estima que solo 0,5% de los datos mundiales se analizan. Página –13–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 EL UNIVERSO DIGITAL DE DATOS, 2013  La proliferación a nivel mundial de dispositivos, como PC y teléfonos inteligentes, aumentó el acceso a Internet dentro de los mercados emergentes, y el incremento de datos generados por máquinas, como cámaras de vigilancia o contadores inteligentes, ha contribuido a la duplicación del Universo Digital en los últimos dos años solamente, hasta alcanzar un tamaño descomunal de 2,8 ZB. IDC proyecta que, para el 2020, el Universo Digital alcanzará 40 ZB, cifra que supera las proyecciones anteriores por 14%. Página –14–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 EL UNIVERSO DIGITAL DE DATOS, 2013  En términos de volumen, 40 ZB de datos son equivalentes a lo siguiente:  Existen 700.500.000.000.000.000.000 granos de arena en todas las playas del mundo (o setecientos trillones quinientos mil billones). Esto significa que 40 ZB equivalen a 57 veces la cantidad de granos de arena de todas las playas del mundo. Si pudiéramos guardar los 40 ZB en los discos Blue-ray de la actualidad, el peso de dichos discos (sin fundas ni estuches) sería equivalente a 424 portaaviones Nimitz. En 2020, 40 ZB serán 5.247 GB por persona a nivel mundial.  Referencia: America Economia: http://tecno.americaeconomia.com/noticias/el-gran- universo-digital-la-data-crece-mas-rapido-de-lo-que- podemos-protegerla Página –15–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 El universo digital de datos, IDC 2013 Pina –16–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 El universo digital de datos, 2013 Página –17–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 OPEN DATA (Datos abiertos) Página –18–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 OPEN DATA (Datos abiertos) Las administraciones públicas [de cualquier organismo nacional e internacional] generan gran cantidad de información en formatos propios de difícil acceso para la mayoría de los ciudadanos. Bases de datos, listas, estudios, informes, estadísticas, etc. son datos abiertos (open data) en formatos propios que son de difícil acceso para la mayoría de los ciudadanos. Página –19–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 OPEN DATA (Datos abiertos) Evidentemente estos datos se almacenan normalmente en centros de datos propios de las administraciones que a su vez se almacenan y gestionan en nubes públicas o privadas ¿Qué necesitan los profesionales o las empresas para sacar rentabilidad a esos datos públicos? Evidentemente la colaboración de las entidades públicas para liberar cada día más información y crear más oportunidades de negocio Página –20–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 ¿Qué son datos abiertos? Los Datos Abiertos constituyen una iniciativa de transparencia y Gobierno Abierto que consiste en la liberación de conjuntos de datos que son de interés público. Los Datos Abiertos son puestos a disposición de la sociedad, se promueve su libre acceso y reutilización, exceptuando aquellos datos que por razones de seguridad y privacidad previstas en la normativas vigentes no puedan ser publicados; La mayor parte de los datos generados o mantenidos por el estado son públicos. Sin embargo, no sólo el estado puede abrir sus datos: empresas, organizaciones y comunidades de información que producen o mantienen datos pueden ponerlos a disposición, siempre en formatos abiertos y bajo licencias libres. Página –21–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 OPEN DATA (Datos abiertos) La administración de Estados Unidos inició la iniciativa Open Data y en paralelo la Unión Europea ha ido adoptando también la iniciativa. En España los primeros gobiernos han sido los Gobiernos Autonómicos de El Principado de Asturias y el País Vasco. Página –22–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 OPEN DATA (Datos abiertos) La iniciativa del Gobierno Vasco se ha plasmado en la puesta en funcionamiento de Open Data Euskadi que pretende crear un sitio web donde la información reutilizable (contenidos abiertos) estén al alcance de cualquier ciudadano. Un estudio de la UE(2010) estima que el mercado de información pública podría generar riqueza por valor de 27.000 millones de euros. Página –23–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 OPEN DATA EN LATAM… Colombia  Portal de Datos Abiertos del gobierno http://datosabiertoscolombia.cloudapp.ne t/frm/buscador/frmBuscador.aspx Perú  Portal de Datos Abiertos de la Municipalidad de Lima  Portal de Datos Abiertos: http://www.datosperu.org/ Página –24–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 INICIATIVAS PIONERAS INTERNACIONALES EN OPEN DATA En España… además de los gobiernos autonómicos de Asturias, País Vasco y Cataluña, la fundación CTIC ligada al consorcio W3C (www.fundacionctic.org). http://datos.gob.es/datos/?q=node/232 En Estados Unidos data.gov, en Gran Bretaña data.gov.uk  En Google (abril 2011, del número 1) la revista de negocios. //thinkquarterly.co.uk. El número 1 dedicado a OPEN DATA. En la Unión Europea (Iniciativa OPEN DATA): http://open-data.europa.eu/es Página –25–
  • 2626 EGADE Business School Prof. Luis Joyanes Aguilar III BIG DATA Y ANALÍTICA DE DATOS. Nuevas bases de datos NoSQL, “In-Memory”…
  • 2727 Prof. Luis Joyanes Aguilar Arquitectura de Big Data
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Harvard Business Review, octubre 2012 Página –28–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Foreign Affairs, mayo 2013 Página –29–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Revista BBVA, innovation edge, junio 2013 Página –30–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 LA AVALANCHA DE DATOS  Según Eric Schmidt, presidente ejecutivo de Google, entre el origen de la tierra y el 2003 se crearon cinco exabytes de información. Hoy en día creamos la misma cifra cada dos días2. Las previsiones aseguran que en esta década crearemos alrededor de 35 zettabytes (40 ZB, informe de diciembre de 2012)  Según la consultora IDC, cifran en 1,8 Zettabytes la información generada en 2011. Si tratáramos de almacenar esa información en iPads (del modelo de 32GB) necesitaríamos 57.500 millones; puestos unos al lado de otro formaríamos una línea que daría 3 veces la vuelta al mundo y, si tratáramos de apilarlos, la “montaña” resultante sería 25 veces más alta que el monte Fuji. Página –31–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 LA AVALANCHA DE DATOS Twitter: (redes sociales)  90 millones de tuits (tweets) por día que representa 8 Terabytes. Boeing: (industria)  Vuelo transoceánico de un jumbo puede generar 640 Terabytes. Wal-Mart: (comercio)  1 millón de transacciones por hora que se estima que alimenta una base de datos de 2.5 petabytes. Google procesa al día 20 PB de información Página –32–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Página –33–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Página –34–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 BIG DATA, bbva edge, junio 2013 Fuentes: SAS | Big Data: www.sas.com/big-data. IBM | Big Data at the Speed of Business McKinsey Global Institute | Big Data: The next frontier for innovation, competition, and productivity, junio 2011. Fuente: Intel | What Happens in an Internet Minute? www.intel.com/content/www/us/en/communic ations/internet-minute-infographic.html Página –35–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 EXPANSIÓN, de Wall Street Journal, 1 de abril 2013  01.04.2013 S. Rosenbush / M. Totty. WSJ. Las empresas están buscando la mejor forma de aprovechar el exceso de información.  La información abunda y las empresas están buscando la mejor forma de aprovecharla. Los expertos ya bautizaron este fenómeno como big data. La definición es amorfa, pero normalmente significa lo siguiente: las empresas tienen acceso a mucha más información que antes, que proviene de muchas más fuentes y la obtienen casi al momento en que se genera. Página –36–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 EXPANSIÓN, de Wall Street Journal, 1 de abril 2013  El concepto de big data a menudo se relaciona con las empresas que ya operan en el mundo de la información, como Google, Facebook y Amazon. Pero compañías en múltiples industrias están colocando los datos en el corazón de sus operaciones. Están recolectando cantidades enormes de información, a menudo combinando indicadores tradicionales como las ventas, con comentarios de redes sociales e información de ubicación que viene de los dispositivos móviles. Las empresas escudriñan esta información para mejorar sus productos, recortar gastos y mantener la fidelidad de sus clientes.  Las firmas de logística, por ejemplo, instalan sensores en sus camiones para detectar formas de acelerar las entregas. Los fabricantes revisan miles de publicaciones en foros de Internet para determinar si a los clientes les gusta una nueva característica. Los gerentes de personal estudian cómo los candidatos a un empleo responden preguntas para ver si encajan bien con la compañía. Página –37–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 EXPANSIÓN, de Wall Street Journal, 1 de abril 2013 Aún quedan numerosos obstáculos en el camino. Algunos son técnicos, pero en la mayoría de las empresas las decisiones se siguen basando en la opinión de la persona con el salario más alto y podría ser difícil convencer a un ejecutivo de que los datos superan su intuición. Los recursos humanos, las operaciones, el desarrollo de productos o el márketing son las diferentes formas a través de las cuales las empresas usan el poder de la información para transformar sus negocios. Página –38–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 EXPANSIÓN, de Wall Street Journal, 1 de abril 2013 (casos de estudio)  UPS UPS comenzó a instalar sensores en sus vehículos de reparto para conocer su velocidad y ubicación, si el cinturón de seguridad del conductor está abrochado... Al combinar su información de GPS y los datos de sensores sobre rendimiento en más de 46.000 vehículos, UPS recortó 136 millones de kilómetros de sus rutas. Página –39–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 EXPANSIÓN, de Wall Street Journal, 1 de abril 2013 (casos de estudio)  InterContinental La cadena hotelera InterContinental ha recabado información sobre los 71 millones de miembros de su programa Priority Club, como niveles de ingresos y preferencias sobre las instalaciones. El grupo consolidó la información en un solo almacén de datos que reúne información de redes sociales y procesa búsquedas más rápido Página –40–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Tabla de unidades de almacenamiento (The Economist, febrero 2010): “data, data everywhere” www.economist.com/specialreports/displaystory.cfm?story_id=15557421 Página –41–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 LA AVALANCHA DE DATOS  Según Eric Schmidt, presidente ejecutivo de Google, entre el origen de la tierra y el 2003 se crearon cinco exabytes de información. Hoy en día creamos la misma cifra cada dos días2. Las previsiones aseguran que en esta década crearemos alrededor de 35 zettabytes (40 ZB, informe de diciembre de 2012)  Según la consultora IDC, cifran en 1,8 Zettabytes la información generada en 2011. Si tratáramos de almacenar esa información en iPads (del modelo de 32GB) necesitaríamos 57.500 millones; puestos unos al lado de otro formaríamos una línea que daría 3 veces la vuelta al mundo y, si tratáramos de apilarlos, la “montaña” resultante sería 25 veces más alta que el monte Fuji. Página –42–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Big Data – McKinsey. Junio 2011 Big data: The next frontier for innovation, competition, and productivity. http://www.mckinsey.com/Insights/MGI/ Research/Technology_and_Innovation/Big _data_The_next_frontier_for_innovation Página –43–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Big Data – McKinsey. Junio 2011 Big data: The next frontier for innovation, competition, and productivity. The amount of data in our world has been exploding. Companies capture trillions of bytes of information about their customers, suppliers, and operations, and millions of networked sensors are being embedded in the physical world in devices such as mobile phones and automobiles, sensing, creating, and communicating data. Página –44–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Big Data – McKinsey. Junio 2011 Multimedia and individuals with smartphones and on social network sites will continue to fuel exponential growth. Big data—large pools of data that can be captured, communicated, aggregated, stored, and analyzed—is now part of every sector and function of the global economy. Like other essential factors of production such as hard assets and human capital, it is increasingly the case that much of modern economic activity, innovation, and growth simply couldn’t take place without data. Página –45–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Big Data – McKinsey. Junio 2011  The question is what this phenomenon means. Is the proliferation of data simply evidence of an increasingly intrusive world? Or can big data play a useful economic role? While most research into big data thus far has focused on the question of its volume, our study makes the case that the business and economic possibilities of big data and its wider implications are important issues that business leaders and policy makers must tackle. To inform the debate, this study examines the potential value that big data can create for organizations and sectors of the economy and seeks to illustrate and quantify that value. We also explore what leaders of organizations and policy makers need to do to capture it. Página –46–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 What do we mean by "big data"?“ : McKinsey 2011 “Big data” refers to datasets whose size is beyond the ability of typical database software tools to capture, store, manage, and analyze. This definition is intentionally subjective and incorporates a moving definition of how big a dataset needs to be in order to be considered big data—i.e., we don’t define big data in terms of being larger than a certain number of terabytes (thousands of gigabytes). We assume that, as technology advances over time, the size of datasets that qualify as big data will also increase. Also note that the definition can vary by sector, depending on what kinds of software tools are commonly available and what sizes of datasets are common in a particular industry. With those caveats, big data in many sectors today will range from a few dozen terabytes to multiple petabytes (thousands of terabytes). Página –47–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 DEFINICIÓN DE BIG DATA: IBM  What is big data?*  Every day, we create 2.5 quintillion bytes of data — so much that 90% of the data in the world today has been created in the last two years alone. This data comes from everywhere: sensors used to gather climate information, posts to social media sites, digital pictures and videos, purchase transaction records, and cell phone GPS signals to name a few. This data is big data.  *http://www- 01.ibm.com/software/data/bigdata/ Página –48–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Página –49–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 DEFINICIÓN DE BIG DATA: IBM Página –50–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 DEFINICIÓN DE BIG DATA: IBM  Big data spans four dimensions: Volume, Velocity, Variety, and Veracity.  Volume: Enterprises are awash with ever-growing data of all types, easily amassing terabytes—even petabytes— of information. • Turn 12 terabytes of Tweets created each day into improved product sentiment analysis • Convert 350 billion annual meter readings to better predict power consumption Página –51–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 DEFINICIÓN DE BIG DATA: IBM  Velocity: Sometimes 2 minutes is too late. For time- sensitive processes such as catching fraud, big data must be used as it streams into your enterprise in order to maximize its value. • Scrutinize 5 million trade events created each day to identify potential fraud • Analyze 500 million daily call detail records in real-time to predict customer churn faster Página –52–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 DEFINICIÓN DE BIG DATA: IBM  Variety: Big data is any type of data - structured and unstructured data such as text, sensor data, audio, video, click streams, log files and more. New insights are found when analyzing these data types together.  Monitor 100’s of live video feeds from surveillance cameras to target points of interest  Exploit the 80% data growth in images, video and documents to improve customer satisfaction Página –53–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 DEFINICIÓN DE BIG DATA: IBM  Veracity: 1 in 3 business leaders don’t trust the information they use to make decisions. How can you act upon information if you don’t trust it? Establishing trust in big data presents a huge challenge as the variety and number of sources grows.  Big data is more than simply a matter of size; it is an opportunity to find insights in new and emerging types of data and content, to make your business more agile, and to answer questions that were previously considered beyond your reach. Until now, there was no practical way to harvest this opportunity. Today, IBM’s platform for big data uses state of the art technologies including patented advanced analytics to open the door to a world of possibilities. Página –54–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Modelo 3V de Big Data  VOLUMEN  • Terabytes  • Records  • Transactions  • Tables, files  VELOCIDAD VARIEDAD  • Batch (por lotes) Estructurado  • Near time (casi a tiempo) No estructurado  • Real time (tiempo real) Semi-estructurado  • Streams (flujos) Todos los demás Página –55–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Fuentes de Big Data  Herramientas para análisis de datos en grandes volúmenes de datos. Infraestructuras de Big Data  Fuentes de Big Data (Soares 2012):  Web y Social media  Machine-to-Machine (M2M, Internet de las cosas)  Biometria  Datos de transacciones de grandes datos (salud, telecomunicaciones…)  Datos generados por las personas (humanos) Página –56–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Store.com Sunil Soares (2003). Big Data Governance Emerging Imperative. Boise. MC Press Online. El autor de este libro mantiene un blog excelente sobre Big Data y Gobierno de Big Data Página –57–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Big Data. Joyanes, MéxicoDF: Alfaomega (2013)  1. Web y Social Media: Incluye contenido web e información que es obtenida de las medios sociales como Facebook, Twitter, LinkedIn, Foursquare, Tuenti, etc, blogs como Technorati, blogs de periódicos y televisiones, wikis como MediaWiki, Wikipedia, marcadores sociales como Del.icio.us, Stumbleupon… agregadores de contenidos como Dig, Meneame… En esta categoría los datos se capturan, almacenan o distribuyen teniendo presente las características siguientes: Datos de los flujos de clics, tuits, retuits o entradas en general (feeds) de Twitter, Tumblr…, Entradas (posting) de Facebook y contenidos web diversos. Página –58–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Big Data. Joyanes, MéxicoDF: Alfaomega (2013)  2. Machine-to-Machine (M2M)/ Internet de las cosas: M2M se refiere a las tecnologías que permiten conectarse a otros diferentes dispositivos entre sí. M2M utiliza dispositivos como sensores o medidores que capturan algún evento en particular (humedad, velocidad, temperatura, presión, variables meteorológicas, variables químicas como la salinidad, etc.) los cuales transmiten a través de cableadas, inalámbricas y móviles a otras aplicaciones que traducen estos eventos en información significativa. La comunicación M2M ha originado el conocido Internet de las cosas o de los objetos. Entre los dispositivos que se emplean para capturar datos de esta categoría podemos considerar chips o etiquetas RFID, chips NFC, medidores (de temperaturas, de electricidad, presión…). sensores, dispositivos GPS… y ocasionan la generación de datos mediante la lectura de los medidores, lecturas de los RFID y NFC, lectura de los sensores, señales GPS, señales de GIS, etc. Página –59–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Big Data. Joyanes, MéxicoDF: Alfaomega (2013)  3.Big Data transaccionales: Grandes datos transaccionales procedentes de operaciones normales de transacciones de todo tipo. Incluye registros de facturación, en telecomunicaciones registros detallados de las llamadas (CDR), etc. Estos datos transaccionales están disponibles en formatos tanto semiestructurados como no estructurados. Los datos generados procederán de registros de llamada de centros de llamada, departamentos de facturación, reclamaciones de las personas, presentación de documentos… Página –60–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Big Data. Joyanes, MéxicoDF: Alfaomega (2013)  4. Biometría: La biometría o reconocimiento biométrico. La información biométrica se refiere a la identificación automática de una persona basada en sus características anatómicas o trazos personales. Los datos anatómicos se crean a partir de las características físicas de una persona incluyendo huellas digitales, iris, escaneo de la retina, reconocimiento facial, genética, DNA, reconocimiento de voz, incluso olor corporal etc. Los datos de comportamiento incluyen análisis de pulsaciones y escritura a mano. Los avances tecnológicos han incrementado considerablemente los datos biométricos disponibles Página –61–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Big Data. Joyanes, MéxicoDF: Alfaomega (2013)  . En el área de seguridad e inteligencia, los datos biométricos han sido información importante para las agencias de investigación. En el área de negocios y de comercio electrónico los datos biométricos se pueden combinar con datos procedentes de medios sociales lo que hace aumentar el volumen de datos contenidos en los datos biométricos. Los datos generados por la biometría se pueden agrupar en dos grandes categorías: Genética y Reconocimiento facial.  “An Overview of Biometric Recpgnition”. http://biometrics.cse.nsu.edu/info.html Página –62–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Big Data. Joyanes, MéxicoDF: Alfaomega (2013)  5. Datos generados por las personas: Las personas generan enormes y diversas cantidades de datos como la información que guarda un centro de llamadas telefónicas (call center) al establecer una llamada telefónica, notas de voz, correos electrónicos, documentos electrónicos, estudios y registros médicos electrónicos, recetas médicas, documentos papel, faxes, etc. El problema que acompaña a los documentos generados por las personas es que pueden contener información sensible de las personas que necesita, normalmente ser oculta, enmascarada o cifrada de alguna forma para conservar la privacidad de dichas personas. Estos datos al ser sensibles necesitan ser protegidos por las leyes nacionales o supranacionales (como es el caso de la Unión Europea o Mercosur) relativas a protección de datos y privacidad. Página –63–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Estructura de Big Data: tipos de datos Estructurados No estructurados  No estructurados (texto, datos de vídeo, datos de audio,,,)  Semiestructurados ( a veces se conocen como “multiestructurados”. Tienen un formato y flujo lógico de modo que pueden ser entendidos pero el formato no es amistoso al usuario(HTML. XML…, datos de web logs)  Normalmente, se suelen asociar los datos estructurados a los tradicionales y los datos no estructurados a los Big Data  Objetivo principal de los sistemas de gestión de datos: Integración de datos estructurados y no estructurados Página –64–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 ESTADO ACTUAL DE BIG DATA 1. Almacenamiento: hacen falta nuevas tecnologías de almacenamiento 2. Bases de datos: las BD relacionales no pueden con todo 3. Procesado: se requieren nuevos modelos de programación 4. Obtención de valor: los datos no se pueden comer crudos (en bruto) La información no es conocimiento “accionable” Página –65–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 1. Almacenamiento Hacen falta nuevas tecnologías de almacenamiento  RAM vs HHD  Memorias hardware. HHD 100 más barato que RAM pero 1000 veces más lento  Solución actual: Solid- state drive (SSD) además no volátil  Tecnologías “in-memory” (SAP HANA…)  Investigación:  Storage Class Memory (SCM) Página –66–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 2. Base de datos Las BD relacionales no pueden con todo  Base de datos  volumen de la información  GBs  PBs Tiempo de ejecución  Exabytes …. Cada día más populares  Limitadas para almacenamiento de “big data”  (ACID, SQL, …)  ACID: Atomicity, Consistency, Isolation & Durability Página –67–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 2. Bases de datos In-Memory (en-memoria)  SAP Hana  Oracle Times Ten In-Memory Database  IBM solidDB NoSQL (Not only SQL) Relacional  Sistemas RDBMS  Transferencia de datos entre Hadoop y bases de datos relacionales Legacy (heredadas, antiguas…) Página –68–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 3. Procesado … HADOOP  Se requieren nuevos modelos de programación para manejarse con estos datos  Solución: Para conseguir procesar grandes conjuntos de datos: MapReduce  Pero fue el desarrollo de Hadoop MapReduce, por parte de Yahoo, el que ha propiciado un ecosistema de herramientas open source os Google creó el modelo de programación MapReduce Página –69–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 4. Obtención de valor  Los datos no se pueden comer ·crudos” (en bruto) la información no es conocimiento accionable  Para ello tenemos técnicas de Data Mining  • Asociación  • Clasificación  • Clustering  • Predicción  • ... La mayoría de algoritmos se ejecutan bien en miles de registros, pero son hoy por hoy impracticables en miles de millones. Página –70–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Bases de datos In-Memory (en-memoria)  SAP Hana  Oracle Times Ten In-Memory Database  IBM solidDB Relacionales  Sistemas RDBMS (SGBDR). Oracle, IBM, Microsoft…  Transferencia de datos entre Hadoop y bases de datos relacionales Legacy (jerárquicas, en red… primeras relacionales…) NoSQL (Cassandra, Hive, mongoDB, CouchDB, Hbase…) Página –71–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 BASES DE DATOS ANALÍTICAS  Analíticas: para permitir a múltiples usuarios contestar rápidamente preguntas de negocio que requieran de grandes volúmenes de información. Bases de datos de procesamiento paralelo masivo (MPP) Bases de datos “en memoria” Almacenamiento en columnas  Históricamente estas bases de datos tan especializadas tenían un costo muy elevado, pero hoy el mercado nos ofrece varias alternativas que se adaptan al presupuesto de cada organización. Página –72–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Bases de datos analíticas  Bases de datos diseñadas específicamente para ser utilizadas como motores de Data Warehouse.  Estas bases de datos logran procesar grandes volúmenes de información a velocidades asombrosas, gracias a la aplicación de diferentes conceptos y tecnologías:  Almacenamiento en columnas en lugar de filas (registros)  Massively parallel processing (MPP)  In-Memory Analytics Página –73–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Página –74–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Almacenamiento en columnas, no filas: FUENTE: datalytics.com Página –75–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Computación en memoria “In-Memory” La computación en memoria es una tecnología que permite el procesamiento de cantidades masivas de datos en memoria principal para proporcionar resultados inmediatos del análisis y de las transacciones. Los datos a procesar, idealmente son datos en tiempo real (es decir, datos que están disponibles para su procesamiento o análisis inmediatamente después que se han creado). Existen un amplio conjunto de tecnologías que emplean bases de datos en memoria. SAP HANA es una de las más acreditadas y populares… (Oracle, IBM,…) Página –76–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 BASES DE DATOS RELACIONALES (REPASO)  La mayoría de las bases de datos cumplen con las propiedades ACID (atomicity, consistency, isolation, durability). Estas propiedades garantizan un comportamiento de las base de datos relacionales y el mejor de los argumentos para su utilización. Página –77–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 BASES DE DATOS NoSQL  Las bases de datos no-relacionales son comúnmente llamadas bases de datos NoSQL ya que la gran mayoría de ellas comparte el hecho de no utilizar el lenguaje SQL para realizar las consultas  Es una definición controvertida, aunque la definición más aceptada es “Not only SQL”.  Una de las características de las bases de datos no relacionales es que la mayoría de ellas no utilizan esquemas de datos rígidos como las bases de datos relacionales. Esto hace que estas bases de datos también se les llame “Schema-less” o “Schema-free (“almacenamiento des-estructurado”). Página –78–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Taxonomía de Bases de datos NoSQL  Los principales tipos de BBDD de acuerdo con su implementación son los siguientes:  – Almacenes de Clave-Valor  – Almacenes de Familia de Columnas (columnares)  – Almacenes de documentos (orientadas a documentos)  – Almacenes de Grafos (orientadas a grafos)  - Cachés de memoria Página –79–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 SOLUCIONES DE BASES DE DATOS NoSQL Página –80–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Integración con Big Data. FUENTE: datalytics.com Página –81–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Integración con Big Data. FUENTE: datalytics.com Página –82–
  • 8383 Prof. Luis Joyanes Aguilar Tecnologías BIG DATA HADOOP
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Logo de HADOOP Página –84–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Logo de HADOOP Página –85–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 TECNOLOGÍAS BIG DATA (HADOOP)  Datos de la consultora IDC de agosto de 2012 prevén que el mercado del software relacionado con los framework open source Apache Hadoop y el MapReduce de Google crecerá a un ritmo anual de más del 60% hasta el año 2016.  La popularidad de Hadoop se ha ido incrementando durante los últimos meses, a medida que las empresas necesitan manejar grandes cantidades de datos estructurados y no estructurados para después analizarlos y ser capaces de tomar decisiones lo más favorables posible para sus negocios.  IDC también espera que el mercado de Hadoop-MapReduce evolucione y que poco a poco comienza a introducirse en los sistemas empresariales. Página –86–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Hadoop “The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using a simple Programming model”  De la página de Hadoop Página –87–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 TECNOLOGÍAS BIG DATA (HADOOP)  Hadoop es un proyecto de software open source que provee un framework para habilitar el procesamiento distribuido de grandes conjuntos de datos sobre clusters construidos con hardware genérico. En esencia, Hadoop consiste de dos elementos base: un sistema de archivos distribuido (Hadoop Distributed File System, HDFS) y un motor de procesamiento de datos que implementa el modelo Map/Reduce (Hadoop MapReduce). Sin embargo, conforme ha ido ganando adopción y madurez, también se han ido creando tecnologías para complementarlo y ampliar sus escenarios de uso, de tal forma que hoy en día el nombre “Hadoop” no se refiere a una sola herramienta sino a una familia de herramientas alrededor de HDFS y MapReduce. Página –88–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 What Is Apache Hadoop? (Fundación Apache)  The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.  The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using simple programming models. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage. Rather than rely on hardware to deliver high- avaiability, the library itself is designed to detect and handle failures at the application layer, so delivering a highly-availabile service on top of a cluster of computers, each of which may be prone to failures. Página –89–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Historia de HADOOP  ● 2004-2006  – Google publica los papers de GFS y MapReduce  – Doug Cutting implementa una version Open Source en  Nutch  ● 2006-2008  – Hadoop se separa de Nutch  – Se alcanza la escala web en 2008  ● 2008-Hasta ahora  – Hadoop se populariza y se comienza a explotar  comercialmente.  Fuente: Hadoop: a brief history. Doug Cutting Página –90–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Historia de Hadoop: Doug Cutting Página –91–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Logo de HADOOP Página –92–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Logo de HADOOP Página –93–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Página –94–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Fundación Apache: proyectos open source  The Apache Software Foundation provides support for the Apache community of open-source software projects, which provide software products for the public good  The Apache Software Foundation provides support for the Apache community of open-source software projects, which provide software products for the public good Página –95–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 TECNOLOGÍAS BIG DATA (HADOOP)  Datos de la consultora IDC de agosto de 2012 prevén que el mercado del software relacionado con los framework open source Apache Hadoop y el MapReduce de Google crecerá a un ritmo anual de más del 60% hasta el año 2016.  La popularidad de Hadoop se ha ido incrementando durante los últimos meses, a medida que las empresas necesitan manejar grandes cantidades de datos estructurados y no estructurados para después analizarlos y ser capaces de tomar decisiones lo más favorables posible para sus negocios.  IDC también espera que el mercado de Hadoop-MapReduce evolucione y que poco a poco comienza a introducirse en los sistemas empresariales. Página –96–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Componentes HADOOP (Apache)  The project includes these modules:  Hadoop Common: The common utilities that support the other Hadoop modules.  Hadoop Distributed File System (HDFS™): A distributed file system that provides high-throughput access to application data.  Hadoop YARN: A framework for job scheduling and cluster resource management.  Hadoop MapReduce: A YARN-based system for parallel processing of large data sets. Página –97–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Hadoop  Apache Hadoop es un framework que permite el tratamiento distribuido de grandes cantidades de datos (del orden de peta bytes) y trabajar con miles de máquinas de forma distribuida. Se inspiró en los documentos sobre MapReduce y Google File System publicados por Google.  Está desarrollado en Java y se ejecuta dentro de la JVM.  Actualmente está soportado por Google, Yahoo e IBM entre otros. También existen empresas como Cloudera (http://www.cloudera.com/) que ofrecen soluciones empresariales Open Source basadas en Hadoop. Página –98–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Hadoop  Las características principales de Hadoop son  Económico: Está diseñado para ejecutarse en equipos de bajo coste formando clústeres. Estos clústeres pueden llevarnos a pensar en miles de nodos de procesamiento disponibles para el procesado de información.  • Escalable: Si se necesita más poder de procesamiento o capacidad de almacenamiento solo hay que añadir más nodos al clúster de forma sencilla.  • Eficiente: Hadoop distribuye los datos y los procesa en paralelo en los nodos donde los datos se encuentran localizados.  • Confiable: Es capaz de mantener Es capaz de mantener múltiples copias de los datos y  automáticamente hacer un re-despliegue de las tareas Página –99–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Hadoop  El diseño de Hadoop se divide en dos partes principales:  Por un lado está el sistema de ficheros distribuido Hadoop Distributed File System (HDFS) que se encarga de almacenar todos los datos repartiéndolos entre cada nodo de la red Hadoop.  Por otro lado la implementación de MapReduce que se encarga del procesamiento de la información de forma distribuida. Página –100–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Hadoop Página –101–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Página –102–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Hadoop en la actualidad  Hadoop se puede utilizar en teoría para casi cualquier tipo de trabajo batch, mejor que ha trabajos en tiempo real, ya que son más fáciles de dividir y ejecutar en paralelo. Entre lo campos actuales a aplicación se encuentran:  • Análisis de logs  • Análisis de mercado  • Machine learning y data mining  • Procesamiento de imágenes  • Procesamiento de mensajes XML  • Web crawling  • Indexación Página –103–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Hadoop en la actualidad  Actualmente Hadoop es un framework muy extendido en el ámbito empresarial, sobre todo en compañías que manejan grandes volúmenes de datos. Entre las que podemos descarta las siguientes empresas:  Yahoo: La aplicación Yahoo! Search Webmap está implementado con Hadoop sobre un clúster de mas de 10.000 nodos Linux y la información que produce es la utilizada por el buscador de Yahoo.  Facebook: Tiene ha día de hoy el mayor clúster Hadoop del mundo que almacena hasta 30 peta bytes de información  Amazon A9: Se utiliza para la generar índices de búsqueda de los productos ofertados en el portal. Disponen de varios clústeres de entre 1 y 100 nodos  cada uno. Página –104–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Hadoop en la actualidad  The New York Times: Utiliza Hadoop y EC2 (Amazon Elastic Compute Cloud) para convertir 4 Tera bytes de imágenes TIFF en imágenes PNG de 800 K para ser mostradas en la Web en 36 horas.  Además existen compañías cuyo negocio es principal es Hadoop, como Cloudera, que comercializa CDH (Cloudera's Distribution including Apache Hadoop), que da soporte en la configuración y despliegue de clústeres  Hadoop. Además proporciona servicios de consultoría y formación en estas tecnología. Todo el software que distribuyen es Open Source. Página –105–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Distribuciones de Hadoop Página –106–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Proveedores de Big Data  Algunos han desarrollado sus propias distribuciones de Hadoop (con diferentes niveles de personalización: disponibilidad, rendimiento, replicas …). Una distribución muy popular  Otros ejemplos: MapR, Greenplum, Hortonworks, …  Hay docenas Página –107–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Empresas que ya utilizan “Big Data”   . IBM  Intel  HP  Oracle  Teradata  Fujitsu  CSC  Accenture  Dell  Seagate  Capgemini Página –108–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Definición de Analítica de Big Data BIG DATA ANALYTICS : (TDWI): 4Q 2011  Big data analytics is where advanced analytic techniques operate on big data sets. Hence, big data analytics is really about two things—big data and analytics—plus how the two have teamed up to create one of the most profound trends in business intelligence (BI) today.  The definition is easy to understand, but do users actually use the term? To quantify this question, the survey for this report asked: “Which of the following best characterizes your familiarity with big data analytics and how you name it?” The survey results show that most users understand the concept of big data analytics, whether they have a name for it or not: Página –109–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 ANALÍTICA DE BIG DATA  Cloudera  EMC Greenplum  IBM  Impetus Technologies  Kognitio  ParAccel  SAP  SAND Technology  SAS  Tableau Software  Teradata Página –110–
  • 111111 OPORTUNIDADES Y NUEVAS PROFESIONES TECNOLÓGICAS Y DE COMUNICACIÓN DEMANDADAS POR LAS EMPRESAS Prof. Luis Joyanes Aguilar
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 OPORTUNIDADES PARA LATINOAMÉRICA Despliegue y comercialización de la red de alta velocidad y gran ancho de banda LTE (4G) en la actualidad (Noticia de impacto en CLOUD COMPUTING y Big Data y gran ventaja competitiva). En Europa está comenzando el despliegue y comercialización este año 2013. Colombia, Panamá, México, Dominicana… ya iniciaron el despliegue Página –112–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 OPORTUNIDADES PARA COLOMBIA Y PERÚ TURISMO INTELIGENTE (Smart Tourism). Vease proyecto piloto aprobado en marzo 2013 de la Isla de Hierro de Canarias apoyándose en despliegues móviles, cloud computing y big data. CREACIÓN Y CONSTRUCCIÓN DE CENTROS DE DATOS para dar soporte a infraestructuras, plataformas y desarrollo de Cloud Computing (COLOMBIA y PERÚ, tieneN las condiciones de hábitat idóneas para construcción de Data Centers).  PUESTA EN MARCHA DE ESTUDIOS DE CLOUD COMPUTING , BIG DATA Y ANALYTICS, así como CERTIFICACIONES INTERNACIONALES correspondientes. Página –113–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 NECESIDAD DE FORMACIÓN PROFESIONAL AVANZADA EN CLOUD COMPUTING-BIG DATA  El mercado tiene carencia de especialistas en Cloud Computing y sobre todo en Big Data. Hay miles de puestos que se deberán cubrir en los próximos cinco años según estadísticas fiables de IDC, Gartner, Forrester, McKinsey…  UNA DE LAS PROFESIONES MÁS DEMANDADAS SERÁ DE ESPECIALISTAS EN CIENCIAS DE DATOS (Científicos de datos) y además ANALISTAS DE DATOS (formados en Analytics y tecnologías Big Data ·Hadoop”, “InMemory”…)  Se necesitan certificaciones profesionales en CLOUD COMPUTING Y BIG DATA… “TECNOLÓGICAS Y DE NEGOCIOS” Página –114–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 NUEVAS PROFESIONES EN LA ECONOMÍA Y EMPRESA DIGITAL  Algunas de las profesiones o roles más demandados son: CTO (Chief Technology Officer) ASO (App search optimization). Especialista en “app search optimization”… similar al SEO pero para apps móviles. Expertos en usabilidad y experiencia de usuario (UX) Profesionales de big data (“análisis de grandes volúmenes de datos) Página –115–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 NUEVAS CARRERAS UNIVERSITARIAS: maestrias,ingeniería, diplomados… Community Manager, Social Media Manager y Analista Web y SEO Ingeniero de Cloud Computing (En España hay una universidad privada que lo lanza el próximo curso) Ingeniero de negocios digitales (Digital Business Intelligence) Ingeniero de datos (Infraestructuras, Bases de datos NoSQL, Hadoop, Tecnologías “in-memory”…) Analítica de datos (Analytics) y Analítica de Big Data Página –116–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 NUEVAS CARRERAS Y PROFESIONES Community Manager , Social Media Manager, SEO, Analistas Web … cada día son más demandadas y. Sin embargo la profesión del futuro será: EL CIENTÍFICO DE DATOS (Data Scientist). Un profesional con formación de Sistemas, Estadística, Analítica, Ciencias Físicas y Biológicas… que analizará los Big Data para la toma de decisiones eficientes y obtener rentabilidad en los negocios. HBR (Harvard Business Review lo declaró la profesión “MÁS SEXY del siglo XXI”…) Página –117–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 LAS TITULACIONES-PROFESIONES MÁS DEMANDADAS en TIC EN PRÓXIMOS AÑOS (HBR, Harvard Business Review) número de octubre de 2012 (Los datos el nuevo petróleo/oro del siglo XXI): Ciencia de los datos: Data Science (Maestría/Doctorado) … En Estados Unidos, México y Europa… ya existen iniciativas. LA PROFESIÓN MÁS SEXY DEL SIGLO XXI : EL CIENTÍFICO DE DATOS (Data Scientist) Página –118–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 INNOVACIÓN VS ESPECIALIZACIÓN INTELIGENTE* “La estrategia de especialización inteligente (RIS3 en inglés) parte de un principio básico: hace falta que haya una masa crítica de recursos para innovar y un territorio tiene que concentrar sus recursos en aquello que genera ventajas competitivas, actuales o potenciales. Más aún, en tiempos de crisis y escasez.”  *Aranguren, Navarro y Wilson (Instituto Vasco de Competitividad, Deusto Business School) en La Vanguardia, 22 de septiembre de 2013, p. 34. Página –119–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 INNOVACIÓN VS ESPECIALIZACIÓN INTELIGENTE* “El término “especialización inteligente” hace referencia a la necesidad de concentrar los recursos en determinadas apuestas. Pero toda estrategia inteligente requiere, paradójicamente, diversificar: producir otros productos y para otros mercados. Esto resulta evidente en estos momentos, en España, en que la demanda doméstica ha caído como media un 40 por ciento de los productos tradicionales” Página –120–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 INNOVACIÓN VS ESPECIALIZACIÓN INTELIGENTE* “La Unión Europea ha fijado a las regiones que elaboren una estrategia de especialización inteligente como una condicionalidad ex ante para acceder a los fondos estructurales y de inversión. […] Se trata de seguir o establecer nuevas estrategias regionales de innovación que nusca pasar de una aproximación a la estrategia de carácter tradicional, basada en el diseño y posterior ejecución de una plan, a una aproximación más dinámica y viva, que descansa en procesos participativos y en evaluación permanente” Página –121–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 INNOVACIÓN VS ESPECIALIZACIÓN INTELIGENTE* Innovaciones tecnológicas en TIC Cloud Computing Big Data Movilidad Medios sociales Internet de las cosas Ayudarán considerablemente a la potenciación de la innovación y la especialización inteligente. Página –122–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Página –123– MUCHAS GRACIAS … ¿Preguntas? Portal tecnológico y de conocimiento www.mhe.es/joyanes Portal GISSIC “El Ágora de Latinoamérica”: gissic.wordpress.com Twitter:@luisjoyanes www.slideshare.net/joyanes www.facebook.com/joyanesluis PORTAL NTICS : luisjoyanes.wordpress.com (en construcción) CORREO-e: joyanes@gmail.com
  • 124 Prof. Luis Joyanes Aguilar BIBLIOGRAFÍA
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 BIBLIOGRAFÍA BÁSICA JOYANES, Luis (2012). Computación en la nube. Estrategias de cloud computing para las empresas. México DF: Alfaomega; Barcelona: Marcombo JOYANES, Luis (2013). BIG DATA. El análisis de los grandes volúmenes de datos. México DF: Alfaomega; Barcelona: Marcombo  Colección de libros NTiCS (Negocios, Tecnología, Innovación, Conocimiento y Sociedad) dirigida por el profesor Luis Joyanes y publicada en la editorial Alfaomega de México DF. Página –125–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 BIBLIOGRAFÍA BÁSICA  JOYANES, Luis. “Computación en "Nube" (Cloud Computing) y Centros de Datos la nueva revolución industrial ¿cómo cambiará el trabajo en organizaciones y empresas?”. Sociedad y Utopía. UPSA: Madrid. , ISSN 1133-6706, Nº 36, 2010, págs. 111-127.  JOYANES, Luis (2009a) “La Computación en Nube(Cloud Computing) :El nuevo paradigma tecnológico para empresas y organizaciones en la Sociedad del Conocimiento” , ICADE, nº 76, enero- marzo 2009, Madrid: Universidad Pontificia Comillas. Página –126–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 ÚLTIMOS LIBROS DEL prof. LUIS JOYANES Ciberseguridad. Retos y desafíos para la defensa nacional en el ciberespacio. Madrid: IEEE (Instituto Español de Estudios Estratégicos). 2011. Editor y Coordinador. www.ieee.org Cuadernos de estrategia, nº 149 Página –127–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Blogs tecnológicos  TechCrunch (www.techcrunch.com)  Gizmodo (www.gizmodo.com, www.gizmodo.es)  Boing Boing (www.boingboing.com)  Engadget (www.engadget.com)  The Official Google Blog (googleblog.blospot.com)  O´Reilly (www.oreillynet.com)  Slahdot (www.slahdot.com)  Microsiervos (www.microsiervos.com)  Xataca (www.xataca.com)  All Things Digital (allthingsd.com)  Mashable (www.mashable.com) Página –128–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 LECTURAS RECOMENDADAS NIST Cloud Security Alliance ISACA BBVA, BANKINTER, Accenture… ENISA Cio.com, Computing.es, Computerworld ONTSI. Cloud computing. Retos y oportunidades. www.ontsi.red.es/ontsi/sites/default/files/1- _estudio_cloud_computing_retos_y_oportunidades_vdef.pdf Página –129–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 BIBLIOGRAFÍA  Innovation Edge , revista BBVA, junio 2013 https://www.centrodeinnovacionbbva.com/innova tion-edge/21-big-data  SOARES, Sunil (2013). Big Data Governance. An emerging Imperative. Boise, USA: MC Press.  DAVENPORT, Thomas H. y DYCHÉ, Jill. Big Data in Big Companies. SAS. International Institute for Analytics.  Datalytics. 18D – Pentaho Big Data Architecture, www.datalytics.com (Pentaho)  Gereon Vey, Tomas Krojzl. Ilya Krutov (2012) . In- memory Computing with SAP HANA on IBM eX5 Systems. ibm.com/redbooks. Draft Document for Review December 7, 2012 1:59 pm SG24-8086-00 Página –130–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 BIBLIOGRAFÍA  ZIKOPOULOS, Paul C. et al (2012). Understanding Big Data. Analytics for Enterprise Class Hadoop and Streaming Data. New York: McGraw-Hill. www-01.ibm.com/software/data/bigdata/  ZIKOPOULOS, Paul C. et al (2013). Harness the Power of Big Data. The IBM Big Data Platform. New York: McGraw-Hill. Descargable libre en IBM. Página –131–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 Página –132–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 REFERENCIAS McKinsey Global Institute . Big data: The next frontier for innovation, competition, and productivity. June 2011 James G. Kobielus. The Forrester Wave™: Enterprise Hadoop Solutions, Q1 2012, February 2, 2012. www-01.ibm.com/software/data/bigdata/  Diego Lz. de Ipiña Glz. de Artaza. Bases de Datos No Relacionales (NoSQL). Facultad de Ingeniería, Universidad de Deusto. www.morelab.deusto.es http://paginaspersonales.deusto.es/dipina Página –133–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 REFERENCIAS  Philip Russom. BIG DATA ANALYTICS. FOURTH QUARTER 2011. TDWI.org IBM. http://www-01.ibm.com/software/data/bigdata/ Página –134–
  • © Luis Joyanes Aguilar EGADE Business School /TEC Monterrey Madrid (Campus BBVA, La Moraleja), 2 d octubre de 2013 LECTURAS RECOMENDADAS (historia del cloud) KING, Rachael (2008): “How Cloud Computing is Changing the World?” en BusinessWeek, New York, 4 august, 2008  LEINWAND, Allan (2008): “It´s 2018: Who Owns the Cloud?” en BusinessWeek, New York, 4 august, 2008 THE ECONOMIST (2008): “Let it rise. A Special report on IT Corporate” en The Economist, London, October 25th 2008. Página –135–