Datos internet

Datos e Internet Fernando Tricas Inform´tica y periodismo en la sociedad electr´nica. Curso avanzado de nuevas a o tecnolog´ y comunicaci´n ıas o Walqa, Huesca. 26 y 27 de julio de 2010

¿Y Usted que opina? http://www.flickr.com/photos/sugarpond/3060011206/

Antes de empezar... http://www.slideshare.net/fernand0

´ Indice 1. La gente 2. Datos no estructurados 3. Datos estructurados 4. APIs 5. Sentimiento 6. An´lisis de redes sociales a 7. Mundo f´ ısico

Colaboraciń o ¿Puede tener sentido resolver algunos problemas usando procesadores de la gente? SETI@home P´blico el 17 de mayo de 1999 u An´lisis de seãles recibidas en el radiotelecopio de Arecibo a n Berkeley Open Infrastructure for Network Computing Supercomputador voluntario de prop´sito ‘general’ o 435,000 computadores, 521 TFlops (12 marzo de 2007) Un montń de proyectos . . . o Supercomputador ciudadano ibercivis Confinamiento de part´ ıculas en un campo magn´tico e Unos 18,000 ordenadores

La gente est´ dispuesta . . . a Bit´coras (blogs), wikis, fotos, v´ a ıdeos . . . web 2.0 . . . compartir Incluso hay iniciativas que tratan de sacar partido de ello http://www.mturk.com/mturk/welcome

La gente est´ dispuesta . . . a http://answers.yahoo.com/

Y otras mas voluntariosas Por unos motivos . . . http://stardustathome.ssl.berkeley.edu/

Y otras mas voluntariosas O por otros: http://www.texasborderwatch.com/

Tratamiento de los datos

Soluciones de baja tecnolog´ ıa Web Scraping Bajar las p´ginas web y buscar lo que hay dentro a No todos los sitios lo permiten/ lo ven bien Herramientas: Descargar: wget, HTTrack, ... Procesar: expresiones regulares, sed, Perl, Python ...

¿Qu´ es una p´gina web? e a ...

Ejemplo. ¿C´mo son los blogueros ’populares’ ? o El nombre de las cosas Premios Blogoteca Tops Premios 20 Minutos 20 Minutos Wikio Bitacoras Blogia ** de (231) ** de (226) ** de (256) ** de (279) ** de (8380) blog (47) blog (74) blog (129) blog (112) blog (2075) ** un (37) ** un (26) cine (34) ** un (36) ** un (982) ** mi (21) ** mi (22) linux (23) ** del (29) ** mi (942) ** una (21) mundo (19) ** un (23) podcast (24) ** una (544) mundo (20) ** una (18) moda (21) viajes (20) vida (525) vida (16) vida (14) cocina (16) recetas (17) mundo (521) twitter (13) diario (13) ciencia (15) ** mi (16) diario (292) diario (12) cosas (9) mundo (14) mundo (16) bienvenidos (270) madrid (10) digital (7) salud (13) fotos (13) web (250) cine (10) madrid (6) motor (13) vida (13) club (199) rinc´n (7) o rinc´n (5) o viajes (10) digital (12) juan (189) digital (6) cocina (5) futbol (10) cocina (12) san (182) ... ies (113 + 24) 1000 1000 1546 1381 131112

Ejemplo: ¿C´mo son los blogueros ’populares’ ? o ¿Y la blogosfera? Premios Blogoteca Tops Premios 20 Minutos 20 minutos Wikio Bitacoras.com blogspot (602) blogspot (651) blogspot (463) blogspot (371) twitter (41) wordpress (43) wordpress (70) twitter (97) wordpress (41) twitter (12) diariomedico (13) wordpress (68) blogia (5) lacoctelera (10) elpais (10) salleurl (8) lacoctelera (5) clarin (5) madrimasd (7) fotolog (6) elpais (3) live (4) elleblogs (6) lacoctelera (5) tumblr (2) ecosistemaurbano (2) rtve (5) elpais (5) espacioblog (2) blogcindario (2) 20minutos (5) blogia (4) fotolog (2) blog (2) elcorreodigital (5) bitacoras (3) blogaliza (2) blip (2) publico (5) turincon (3)

Ejemplo. La lista WIP (2010-07-20) http://www.lalistawip.com/

Ejemplos Los buscadores Google News Otros... http://www.blogrunner.com/

Datos estructurados, APIs

¿Qu´ es una p´gina web? e a http://www.escolar.net/

¿Qu´ es una p´gina web? e a ... ...

Datos estructurados XML (Extensible Markup Language)

Y otros ... JSON (JavaScript Object Notation) CSV (Comma Separated Values) (Hay m´s) a

Y derivados... RSS Rich Site Summary // RDF Site Summary // Really Simple Syndication

O relacionados Microformatos

Un calendario http://elmcity.cloudapp.net/services/a2cal/html http://elmcity.cloudapp.net/

¿Qu´ se puede hacer con ellos? e http://pipes.yahoo.com/

APIs. Application Programming Interface [Bill Joy, Cofundador de Sun Microsystems] ”Most of the smart people in the world don’t work for you” [Ley de Joel Spolsky] ”Most customers use 20 % of the features. This leads many naive startups to think they can deliver a product with 20 % of the features and still capture the market. Then they crash and burn when they discover that actually everybody is using a diﬀerent 20 % subset of the features of the market leader.” [Dan Gillmor] ”My readers know more than I do”

APIs. Dejar que otros programen nuestros sistemas Permitir el acceso a los datos de nuestro sistema Utilizaci´n bienvenida o Condiciones controladas Resultados predecibles y estructurados

Ejemplo. API Flickr http://iamcaltrain.com/

Ejemplo. API Flickr Estudio sobre los turistas en las Islas Canarias (con V´ ıctor R. Ru´ ız http://linotipo.es). Flickr es un sitio (de Yahoo!) para publicar fotograf´ ıas Alojaba en 2008 m´s de 3 mil millones de im´genes. a a Usuarios 40 % de usuarios entre 25 y 44 a˜os n 40 % de usuarios m´s de 44 a˜os a n

Ejemplo. Flickr

Ejemplo. Flickr API de Flickr Descargar meta-informaci´n de las fotograf´ realizadas o ıas entre 2004 y 2008 Y los datos del perﬁl de los usuarios

Ejemplo. Flickr Resultados: 150.000 im´genes a 4.000 fot´grafos o Y sus datos (en algunos casos, geolocalizados) 217.000 etiquetas 34.000 diferentes media 14 etiquetas por foto mediana 8 etiquetas por foto

Ejemplo. Flickr

Ejemplo. Flickr Sabemos m´s: a La hora. (Hora punta: las 12.00) Vistas Pa´ de or´ ıs ıgen de los fot´grafos (incluso a nivel de regi´n, o o comunidad, ciudad, en algunos casos). A lo largo del tiempo.

Ejemplo. Flickr

Ejemplo. Flickr Sabemos: A dńde van los visitantes britńicos o a Los holandeses prefieren Lanzarote Los madrileõs tambiń. Y La Palma. n e

Ejemplo. Flickr Sabemos: A dńde van los visitantes britńicos o a Los holandeses prefieren Lanzarote Los madrileõs tambiń. Y La Palma. n e No sabemos: ¿Los visitantes repiten? ¿A qu´ otros sitios viajan? e ¿Sus amigos vienen despu´s?e ¿Y en otros destinos? http://rvr.linotipo.es/2009/10/ redes-sociales-y-turismo-flickr-y-canarias.html —————- Hay m´s gente mirando estas cosas... a D. Crandall, L. Backstrom, D. Huttenlocher, J. Kleingerg, ‘Mapping the World’s Photos’

Ejemplo. Inter´s tur´ e ıstico http://www.bluemoon.ee/~ahti/touristiness-map/ (fotos de Panoramio)

Flujos de la gente

¿S´lo fotos? Los sentimientos o

Menciones (Facebook – New York Times)

Menciones (Facebook – New York Times) Durante la ﬁnal ... Iniesta: 0,9 % de las menciones en Facebook Villa: 0.47 % Casillas: 0.45 % Torres: 0.36 % Robben: 0.27 % Forl´n: 0.19 % a Sneijder: 0.16 % http://www.nytimes.com/interactive/2010/07/02/sports/soccer/facebook-worldcup.html

Ejemplo. Google Flu Trends http://www.google.org/flutrends/

Ejemplo. Google Trends http://www.google.org/trends?q=Contador

¿C´mo es la gente? o [Consulta en Google (y sugerencias)] “Tengo 20 a˜os” n 20 30 40 50 60 70 80 Total Nunca he tenido novio X 1 Nunca he besado X 1 Nunca he tenido novia X X 2 No tengo amigos X X 2 Mi novia 15 X 1 No s´ qu´ hacer con mi vida e e X 1 Se me cae el pelo X 1 Estoy embarazada X X 2 Nunca he trabajado X X 2 Tengo acn´ e X 1 Vivo con mis padres X 1 Me siento vieja X 1 Quiero estudiar X 1 No s´ qu´ hacer con mi vida e e X 1 No puedo bajar de peso o quiero bajar de peso X X 2 Quiero embarazarme X 1 Estoy sola X 1 Busco trabajo X 1 ¿Qu´? e X 1 Me puedo jubilar X 1 Me estoy muriendo X 1 http://elaragon.wordpress.com/2010/05/12/sugerencias-de-google-por-espectro-de-edad/

Datos que no son p´blicos. Telefon´ u ıa Datos O2 en UK, volumen de SMSs http://flowingdata.com/2010/06/29/ texting-volume-during-world-cup-matches/

Ejemplo. El iPad No muy bien recibido...

Ejemplo. El iPad en Twitter La gente vota (http://www.fiascoawards.com/)

Ejemplo. El iPad La gente puede comprarlo

Ejemplo. El iPad Pasa el tiempo

Ejemplo. El iPad En resumen http://twittersentiment.appspot.com/search?query=ipad

O el iPhone

En blogs http://www.blogpulse.com/trend?query1=ipad&label1=&query2=iphone&label2=&query3=&label3=&days= 180&x=28&y=8

O deportes http://www.tweetfeel.com/

O deportes http://www.tweetfeel.com/ 2010-07-24

O deportes http://www.tweetfeel.com/ 2010-07-25

Datos privados. El f´tbol en Tuenti u

Datos privados. Google tambi´n lo sabe e 25 de junio. Partido Espa˜a – Chile. n http://googleblog.blogspot.com/2010/07/ most-world-cup-crazy-countries.html

‘Futbolosidad’

M´s deporte a http://blogpulse.com/trend?query1=casillas&label1= &query2=contador&label2=&query3=alonso&label3=&days= 90&x=31&y=14 (2010-07-21)

Lo m´s a Lo m´s visto a Lo m´s comentado a Lo m´s ... a

Lo m´s e internet a ¡Enlaces! http://www.nytimes.com/gst/mostblogged.html

No es bueno que el hombre est´ solo e [An´lisis de redes sociales] Estudio de la estructura social a de las personas (organizaciones, cosas, ...) conectadas mediante relaciones (amistad, parentesco, inter´s, ...). e Las relaciones, los contactos inﬂuyen en nosotros. No confundir con el grafo social (representaci´n visual de las o relaciones) No confundir con los sitios sociales (Facebook, Tuenti)

Relaciones en internet Blogs http://atalaya.blogalia.com/historias/8149 (Con JJ. Merelo)

Relaciones en internet http://www.deugarte.com/la-topologia-de-la-blogsfera-segun-feevy (David de Ugarte)

Relaciones en el ‘mundo real’ http://arxiv.org/abs/physics/0610104 Structure and tie strengths in mobile communication networks. Authors: J.-P. Onnela, J. Saramaki, J. Hyvonen, G. Szabo, D. Lazer, K. Kaski, J. Kertesz, A.-L. Barabasi http://www.flickr.com/photos/pietermorlion/2127296477/ http://www.flickr.com/photos/anaypacosancho/2357581936/

¿Podemos conocer mejor a la gente?

Ejemplo. Twitter Lo que dicen de s´ mismas las personas (Bio) ı

Por ejemplo, en Twitter Lo que dicen de s´ mismas las personas (Bio) ‘Tuiteros’ ı geolocalizados (A. Rivero) + Zaragozanos (J.A. Biel)

¿C´mo te sientes? o Pulse of the Nation: U.S. Mood Throughout the Day inferred from Twitter. (Verde feliz) http://www.ccs.neu.edu/home/amislove/twittermood/

Volvemos a las Islas Los nombres de las cosas

Propagaciń de Informaciń. El meme de enjut@ o o mojamut@ El objetivo del meme es conocer los usos y costumbres de los blogosferianos y ver c´mo es la relaciń de los o o hombres y las mujeres en Internet. Pregunta: ¿Cuńtas horas al d´ de media pasas conectad@ a Internet? a ıa Pregunta: ¿Cuńtas cuentas de correo tienes? a Pregunta: ¿De cuantas redes sociales eres? Pregunta: ¿Qu´ te gusta m´s para expresarte el blog, el wiki, Flickr o e a Twiter? Pregunta: ¿A cuńtas mujeres blogueras conoces personalmente? a Pregunta: ¿A cuńtas mujeres blogueras lees habitualmente? a Pregunta: ¿A quiń le paso el meme? e

Propagaci´n de Informaci´n. El meme de enjut@ o o mojamut@ http://seccionfemenina.blogspot.com/2008/05/ informe-del-meme-de-enjut-mojamut.html

Propagaciń de Informaciń. El meme de enjut@ o o mojamut@ Y diversificaciń o

Propagaci´n de Informaci´n. El meme de enjut@ o o mojamut@ http://vimeo.com/9532646 http://www.barriblog.com/wiki/index.php/Resultados_enjuta_mojamuta

Por inﬂuencia (TIER-5 el m´s inﬂuyente) a

En todo caso, el mundo es m´s complicado a http://fernand0.blogalia.com/historias/64929#570323

Mundo f´ ısico

Las cosas y la red http://www.dailymail.co.uk/sciencetech/article-1036931/ Bluetooth-Big-Brother-uses-mobiles-laptops-track-thousands-Britons. html http: //www.technovelgy.com/ct/Science-Fiction-News.asp?NewsNum=1781

Las cosas y la red y nosotros Mezclando informaci´n o Vassilis Kostakos y Panos A. Kostakos, “Intelligence gathering by capturing the social processes within prisons” “How Bluetooth Surveillance Works” http://electronics.howstuffworks.com/bluetooth-surveillance.htm/ printable

Las cosas y la red y nosotros Pronto, en su tienda m´s cercana a http://p10.hostingprod.com/@spyblog.org.uk/blog/2008/05/ path-intelligence-phorm-for-shopping-centres.html “Shops track customers via mobile phone” http://technology.timesonline.co.uk/tol/news/tech_and_web/ article3945496.ece Path Intelligence FootPath(TM) // http://www.pathintelligence.com/

Las cosas: redes de sensores Pachube http://www.pachube.com/

Pachube en Walqa http://www.pachube.com/feeds/6289 http://www.flickr.com/photos/min0n/4389892262

Los programas J.M. Gonz´lez-Barahona, G. Robles, M. Mirchlmayr, JJ. Amor, a D.M German, “Macro-level software evolution: a case study of a large software compilation”

La Wikipedia Felipe Ortega “Wikipedia: A quantitative analysis.Evoluci´n del o n´mero de autores en las 10 Wikipedias mayores. N´mero de u u autores en el ‘core’ (10 % m´s activos). a

Software libre La libertad de usar el programa, con cualquier prop´sito o (libertad 0). La libertad de estudiar c´mo funciona el programa, y o adaptarlo a tus necesidades (libertad 1). El acceso al c´digo o fuente es una condici´n previa para esto. o La libertad de distribuir copias, con lo que puedes ayudar a tu vecino (libertad 2). La libertad de mejorar el programa y hacer p´blicas las u mejoras a los dem´s, de modo que toda la comunidad se a beneﬁcie. (libertad 3). El acceso al c´digo fuente es un o requisito previo para esto.

Software libre La libertad de usar el programa, con cualquier prop´sito o (libertad 0). La libertad de estudiar c´mo funciona el programa, y o adaptarlo a tus necesidades (libertad 1). El acceso al c´digo o fuente es una condici´n previa para esto. o La libertad de distribuir copias, con lo que puedes ayudar a tu vecino (libertad 2). La libertad de mejorar el programa y hacer p´blicas las u mejoras a los dem´s, de modo que toda la comunidad se a beneﬁcie. (libertad 3). El acceso al c´digo fuente es un o requisito previo para esto. ¿Y los datos?

Datos y gente http://www.dndzgz.com/ http://www.zaragoza.es/ciudad/servicios/conjuntodatos.htm

Pero ... ¿Qu´ reutilizar? e

¡Cuidado!

Sobre los datos Si es posible, en formatos adecudos Si no lo es, al menos en forma y formatos predecibles (URLs, no cambiar las cosas de sitio, ...) Invitar a reutilizar Si hay restricciones, que est´n claras e

Al ﬁnal ... http://www.smallpieces.com/

La verdad est´ ah´ afuera... a ı http://www.flickr.com/photos/kofoed/2879669528/

¿Y ustedes c´mo lo ven? o http://www.flickr.com/photos/hryckowian/2484286303/

¿Y ustedes c´mo lo ven? o ftricas@unizar.es @fernand0 http://fernand0.blogalia.com/ http://www.flickr.com/photos/hryckowian/2484286303/

Datos internet

by fernand0 on Jul 27, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

3 Embeds 10

Statistics

Datos internet — Presentation Transcript

http://paper.li	4
http://www.todopps.info	4
http://redes.epesca.org	2