Dualidad onda-partícula del científico de datos en la empresa

411 views

Published on

Los retos a los que se enfrenta un científico de datos en la era del Big Data son múltiples: recuperación de información, procesamiento del lenguaje natural, aprendizaje automático, programación distribuída, bases de datos no-sql, y un largo etcétera. Cuando el científico de datos además trabaja en la empresa tiene que orientar todos los resultados de sus investigaciones hacia la consecución de los objetivos empresariales, esto
es, incrementar el valor económico. Las decisiones y los plazos por lo tanto van ligados a incrementar una función económica y no sólo a empujar el estado de la cuestión. Por otro lado, la evaluación de los resultados se
efectua de manera totalmente subjetiva en base a la percepción de usuarios no siempre doctos en la materia. El resultado es por tanto que el científico de datos en la empresa tiene que desarrollar una dualidad de skills que combinan lo técnico con lo no-técnico, sufriendo una maraña de sentimientos contradictorios como euforia ante el reto y desesperación ante los imposibles.

Published in: Data & Analytics
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
411
On SlideShare
0
From Embeds
0
Number of Embeds
92
Actions
Shares
0
Downloads
3
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Dualidad onda-partícula del científico de datos en la empresa

  1. 1. Dualidad onda-partícula del científico de datos en la empresa
  2. 2. consulting, s.a. autoritas 2 Mundo Científico vs. Mundo Empresarial
  3. 3. consulting, s.a. autoritas 3 @kicorangel www.kicorangel.com
  4. 4. AUTORITAS Autoritas es una consultora tecnológica con profesionales multidisciplinares de diferentes países del mundo: - Ingenieros en Informática y Telecomunicaciones - Psicólogos - Economistas - Abogados - Politólogos
  5. 5. Nuestra sede central está en Madrid (España), y tenemos oficinas en Argentina, Brasil, Chile, México, Panamá y Reino Unido. AUTORITAS
  6. 6. Nos especializamos en : - Español - Portugués - Inglés Estamos empezando a trabajar con: - Italiano - Alemán - Francés AUTORITAS
  7. 7. La formación y la comunicación son muy importantes para nosotros. La Escucha Activa es una nueva disciplina y nosotros estamos comprometidos con su difusión y formación a los profesionales interesados en el campo. Iberolabs AUTORITAS
  8. 8. consulting, s.a. autoritas 8 ‣ COSMOS es la herramienta de Escucha Activa que ha desarrollado Autoritas Consulting. “Active Listening is more than paying attention” Margaret Mead ‣ COSMOS da orden al caos de Internet y proporciona una metodología para encontrar oportunidades ‣ COSMOS ayuda a las organizaciones a tocar Internet mediante la extracción de conocimiento para el proceso de toma de decisiones TW WWW FB TECHNOLOGICAL PLATFORM DESIGN ACTION TRAINING INFLUENCERS REPUTATION INSPIRATION DIAGNOSIS METRICS CONTENTS INNOVATION STRATEGY “ACTIVE LISTENING” ¿Qué es Cosmos?
  9. 9. consulting, s.a. autoritas 9 La Escucha Activa es... ‣ COSMOS trabaja con todo el universo de Internet, cubriendo todas las necesidades que una institución pueda tener: ‣ ¿Qué dicen de nosotros? ‣ ¿Qué impacto tiene lo que nosotros decimos? ‣ ¿De dónde nos podemos inspirar? ‣ ¿En qué está interesado nuestro target?
  10. 10. consulting, s.a. autoritas 10 No sólo consiste en responder preguntas... ...sino también en saber qué nuevas preguntas plantear
  11. 11. consulting, s.a. autoritas 11 TOMA DE DECISIONES ESTRATEGIA RECUPERACIÓN DE INFORMACIÓN FILTRADO, LIMPIEZA Y ELIMINACIÓN DE RUIDO EXTRACCIÓN DE CONOCIMIENTO Inteligencia Social Negocio Ciclo de la Inteligencia Social de Negocio
  12. 12. consulting, s.a. autoritas 12 Recuperación de Información... ...y limpieza
  13. 13. consulting, s.a. autoritas 13 OBJETIVO: Recuperar todo lo que hay que recuperar y sin recuperar nada que no se deba recuperar
  14. 14. consulting, s.a. autoritas 14 • > 500 millones de usuarios de Facebook • > 150 millones de usuarios de Twitter • > 90 millones de Webs • > 150 millones de blogs • aprox. 1000 exabytes anuales EXCESO DE INFORMACIÓN DESESTRUCTURADA Algunas cifras... (antiguas)
  15. 15. consulting, s.a. autoritas 15 Orígenes de información (canales)
  16. 16. consulting, s.a. autoritas 16 API vs. Crawler ‣API restringe el acceso a los datos: Facilitan sólo una muestra de la información existente y accesible a través de buscador ‣API restringe la cantidad de peticiones realizables ‣Crawler requiere infraestructura y solución a problemas IR (periodicidad, fechas, idiomas, almacenamiento...) ‣Crawler puede generar problemas legales API gratuita vs. pago ‣Restricción de resultados: las APIs gratuítas restringen en exceso los resultados frente a la interfaz del buscador ‣Limitaciones de licencia de las APIs gratuítas, no permitiendo por ejemplo la reordenación, mezclado y almacenamiento de datos
  17. 17. consulting, s.a. autoritas 17 Organizar orígenes Histórico de 53MM de noticias 27MM de blogs
  18. 18. consulting, s.a. autoritas 18 (Re)Clasificar lo recuperado ¿Qué pasa cuando entra una noticia desde un buscador generalista? ¿Qué canal es la url que se enlaza desde otro canal? ¿Cómo diferenciar un blog de una web corporativa? ¿Cómo determinar de qué dominio es una determinada página? Identificar Acotar Clasificar Desambiguar
  19. 19. consulting, s.a. autoritas 19 Sección de anuncios sin relevancia para el contenido Sección de última hora que distorsiona la semántica de la página Contenido útil Recuperar contenido útil
  20. 20. consulting, s.a. autoritas 20 Inglés estoy sin internet ¬¨¬¨ fuuuuck!!! Finlandés ... euskocaja, como euskolabel, euskotren, euskomueble... XDDD Portugués Flowah Powah! Alemán Vierrrrrrrrrrrrnes, egunon!! Modelos del lenguaje vs. n-Gramms vs. Machine Learning Filtrar por idioma
  21. 21. consulting, s.a. autoritas 21 Geografía de origen vs. geografía de contenido vs. geografía de perfil Filtrar por geografía
  22. 22. consulting, s.a. autoritas 22 resultados elimina url prescindibles filtra palabras marca url’s como Spam Elimina url’s Quita de la ‘vista’ los antitesauros filtra #hastags filtra influenciadores filtra localizaciones Otros filtros
  23. 23. consulting, s.a. autoritas 23 TIEMPO REAL ES CUANDO EL USUARIO ASÍ LO PERCIBE NOCHE DE ELECCIONES GENERALES 216.000 documentos analizados ‣Tweets: 176.815 ‣Posts: 7.034 ‣News: 2013 ‣Facebook: 2.184 ‣Multimedia: 671 283.000 etiquetas generadas 1.900.000 términos indexados Elevado número de usuarios concurrentes Por supuesto, en ¡¡tiempo real!!
  24. 24. consulting, s.a. autoritas 24 Creo que he resuelto el:
  25. 25. consulting, s.a. autoritas 25 Evaluación de la Recuperación de Información... ...en la ciencia
  26. 26. consulting, s.a. autoritas 26 7.000 recuperados 54 incorrectos 99.23% precisión 3.000 recuperados 50 no recuperados 98.36% alcance Evaluación de la Recuperación de Información... ...en la empresa ¡¡Estamos perdiendo credibilidad!!
  27. 27. consulting, s.a. autoritas 27 Pero es que... la recuperación de información NO es una contabilidad No me des excusas...
  28. 28. consulting, s.a. autoritas 28 =10 100 ¡¡Pero Google siempre exagera! ...porque Google dice...
  29. 29. consulting, s.a. autoritas 29 BUGS Ante un “fallo” técnico lo primero que se busca... ...no es la solución, es al culpable
  30. 30. consulting, s.a. autoritas 30 EL TÉCNICO SOPORTA EL SOPORTE TÉCNICO
  31. 31. consulting, s.a. autoritas 31 Extracción de conocimiento...
  32. 32. consulting, s.a. autoritas 32 No sólo consiste en responder preguntas... ...sino también en saber qué nuevas preguntas plantear
  33. 33. consulting, s.a. autoritas 33 ORDEN ¿Qué? -> E.g. Conceptualización de marcas ¿De qué está hablando la gente?
  34. 34. consulting, s.a. autoritas 34 ORDEN ¿De qué hablan, de la consonante, del lenguaje de programación o de la empresa de telecomunicaciones gallega?
  35. 35. consulting, s.a. autoritas 35 ORDEN ¿Cuándo? -> E.g. Gestión de crisis ¿Cuándo suceden las cosas?
  36. 36. consulting, s.a. autoritas 36 ORDEN Si la fecha va en la url es fácil saberla Eso es relativo, esta URL es de Julio o de Enero: http://xxx/07/01/2010/ crawler-403- forbidden.html
  37. 37. consulting, s.a. autoritas 37 ORDEN¿Dónde? -> Varias perspectivas ¿Dónde ocurre una conversación? ¿De dónde se habla en una conversación?
  38. 38. consulting, s.a. autoritas 38 ORDEN ¿Cómo? -> No sólo sentiment analysis La polaridad es sólo una dimensión, la emocional, la de valores, DAFO... todas ellas responden a la cuestión ¿cómo?
  39. 39. consulting, s.a. autoritas 39 ORDEN Un ejemplo: “La prima de riesgo en España está a 235” ¿Positivo, negativo, neutro o none?
  40. 40. consulting, s.a. autoritas 40 ORDEN Un ejemplo: “La prima de riesgo en España está a 235” ¿Positivo, negativo, neutro o none? Mi pregunta: ¿Para quién? - ¿Para el presidente del país? - ¿Para el líder de la oposición? - ¿Para el director del Banco de España? - ¿Para el inversor extranjero? - ¿Para el capitalista nacional? - ¿Para el que tiene una hipoteca?
  41. 41. consulting, s.a. autoritas 41 ORDEN ¿Quién? -> Análisis de Red Social Si quiero transmitir con éxito un mensaje, ¿quién me puede ayudar? Si hay un conflicto,¿a quién tengo que vigilar?
  42. 42. consulting, s.a. autoritas 42 ORDEN¿Por qué? -> Author Profiling EMOTIONAL PROFILE GENDER AGE GROUP NATIVE LANGUAGE ... ¡y mucho mucho más!
  43. 43. consulting, s.a. autoritas 43 ORDEN LA SOLUCIÓN ES EL BIG DATA ¡Todo el mundo lo dice!
  44. 44. consulting, s.a. autoritas 44 ORDEN VOLUMEN VELOCIDAD VARIEDAD VIRALIDAD VISCOSIDAD ¡Busca a Neo! ¡¡¡NOOOO!!! El Big Data es el problema...
  45. 45. consulting, s.a. autoritas 45 ORDENLas dimensiones del orden
  46. 46. consulting, s.a. autoritas 46 Biografía Localización Idioma TIME LINE Un ejemplo: Lo que creemos tener en Twitter...
  47. 47. consulting, s.a. autoritas 47 Biografía Localización Idioma • No se rellena • No contiene información significativa • No se corresponde con la realidad de sus intereses • No se rellena • Se rellena con una ubicación falsa • Se actualiza con la posición GPS • Ambigüedad de ubicación • No se rellena • Se deja por defecto EN • Se rellena con info. falsa • Se escribe en diferentes idiomas La terminología utilizada dista de cualquier lengua oficial. PSEUDO-ARGOT TL ...donde no todo lo que reluce es oro
  48. 48. consulting, s.a. autoritas 48 La realidad de Internet
  49. 49. consulting, s.a. autoritas 49 Un ejemplo, ¿quién es Milton Friedman?
  50. 50. consulting, s.a. autoritas 50 Los rumores de la red...
  51. 51. consulting, s.a. autoritas 51 Comunidades compartidas • 997 usuarios • 111.000 relaciones
  52. 52. consulting, s.a. autoritas 52 ¿Y un análisis lingüístico?
  53. 53. consulting, s.a. autoritas 53 Precisión vs. coste computacional 0 375000 750000 1125000 1500000 Approach 1 Approach 4 Approach 7 Approach 10 Approach 13 Approach 16 Approach 19 10.26minutes28.83minutes38.31minutes54.03minutes1.04hours1.09hours2.66hours3.25hours4.66hours4.86hours5.08hours5.13hours6.37hours6.56hours6.82hours17.88hours4.44days 5.19days 6.68days 9.90days11.78days 0 10 20 30 40 Approach 1 Approach 4 Approach 7 Approach 10 Approach 13 Approach 16 Approach 19 29.06 34.72 39.86 24.20 28.34 27.98 35.06 25.14 27.03 38.58 31.25 32.34 7.87 24.65 22.87 27.03 32.22 24.67 33.04 15.40 19.82 % s
  54. 54. consulting, s.a. autoritas 54 Grandes retos para el científico de datos... ...con grandes problemas más allá de la ciencia
  55. 55. consulting, s.a. autoritas 55 + Skills técnicos Skills “no-técnicos”
  56. 56. consulting, s.a. autoritas 56 SKILLS TÉCNICOS Aprendizaje Automático: Para inferir nuevos modelos a partir de los datos existentes, para dotar de inteligencia a nuestras aplicaciones Recuperación de Información: Para acceder a las enormes cantidades de información disponibles en Internet Data Mining: Para identificar patrones válidos, novedosos, potencialmente útiles y deseablemente comprensibles a partir de los datos Natural Language Processing: Porque el contenido textual de la Web está escrito en el lenguaje humano Data Visualization Collective Intelligence System Architecture User eXperience Social Investigation Social Network Analysis
  57. 57. consulting, s.a. autoritas 57 SKILLS NO TÉCNICOS http://t.co/D6KHALU3Zm
  58. 58. consulting, s.a. autoritas http://es.slideshare.net/linkedin-talent-solutions/the-modern-recruiter-is-part-artist-part-scientist-infographic La dualidad onda-partícula del científico de datos en la empresa @kicorangel

×