Ecossistema de Ligações da Blogosfera Portuguesa

Ecossistema de Liga¸oes c˜da Blogosfera Portuguesa Jos´ Lu´ Devezas e ısFaculdade de Engenharia da Universidade do Porto Rua Dr. Roberto Frias, s/n 4200-465 Porto, Portugal joseluisdevezas@gmail.com 22 de Mar¸o de 2010 c

Conte´dos u1 Introdu¸õ ca O que ´ a blogosfera? e Estudar a blogosfera Enunciado de tese2 Conhecer a amostra Coleçõ ca Tecnologias Extraçõ e valida¸õ do conjunto de dados ca ca3 An´lise de liga¸oes a c˜ Estrutura de dados Prepara¸õ dos dados ca Total de liga¸oes, por dia, ao longo do tempo c˜ Agrupamento de blogues N´mero de palavras por entrada, para o grafo simplificado u N´mero de palavras por entrada, para o grafo original u N´mero de entradas criadas por mˆs, para o grafo original u e N´mero mensal de liga¸oes p/entrada, para o grafo original u c˜4 Conclus˜es o Principais contribui¸oes c˜ Trabalho futuro

Introdu¸˜o ca

O que ´ a blogosfera? eDeﬁni¸˜o caA blogosfera consiste no conjunto de todos os blogues e suas interliga¸˜es. coA blogosfera ´: e Uma rede de blogues; Um conjunto de textos ricos em imagem e v´ ıdeo; Um conjunto de entradas cronologicamente ordenadas. J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 1 / 17

Estudar a blogosferaO estudo da blogosfera pode focar-se: Na evolu¸õ da coleçõ; ca ca No conte´do das entradas; u Nos coment´rios; a Na estrutura de liga¸˜es. co J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 2 / 17

Enunciado de teseAtrav´s da an´lise de liga¸˜es, identificar e caracterizar conjuntos de blogues, com e a coo objectivo de provar que:Afirma¸õ caExiste um padrõ consistente de varia¸õ de caracter´ a ca ısticas dos blogues com apopularidade. J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 3 / 17

Conhecer a amostra

Colec¸˜o ca Disponibilizada pelo SAPO; Entradas escritas em portuguˆs; e V´rios dom´ a ınios, principalmente Blogues do SAPO e Blogger; Entradas entre 1 de Mar¸o de 2006 e 1 de Outubro de 2009. c J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 4 / 17

Tecnologias Base de dados relacional MySQL. Base de dados chave ⇒ valor Berkeley DB. Dialecto GraphML para representa¸õ de grafos. ca Linguagem e ambiente R para computa¸õ estat´ ca ıstica e gr´ficos. a Biblioteca ggplot2 para cria¸õ de gr´ficos. ca a Biblioteca igraph para manipula¸õ de grafos. ca Linguagem Perl. Extraçõ e seleçõ de dados. ca ca Processamento e indexa¸õ de conte´dos. ca u Gera¸õ do documento GraphML e tabelas de entrada para o R. ca J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 5 / 17

Extraçõ e valida¸õ do conjunto de dados ca caDos 17 GB de registos sõ seleccionadas as entradas: a Cujo dom´ cont´m “blogs.sapo.pt”; ınio e Datadas entre 1 de Mar¸o de 2006 e 30 de Setembro de 2009. cÉ feita a indexa¸õ de cada blogue no formato blogue ⇒ entradas: ca blogue.blogs.sapo.pt => http://blogue.blogs.sapo.pt/112.html|2008-02-01 23:45:32t http://blogue.blogs.sapo.pt/342.html|2008-05-13 10:27:13t http://blogue.blogs.sapo.pt/678.html|2008-11-11 11:13:27 J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 6 / 17

Extraçõ e valida¸õ do conjunto de dados ca ca 700 200 600 500 150 400 Blogs Blogs 300 100 200 50 100 0 0 2006 2007 2008 2009 2006 2007 2008 2009 Years Years N´mero de blogues criados por dia ao longo dos anos. u Contagem do n´mero de blogues e entradas criados por dia. u Durante o mˆs de Setembro de 2009 observa-se um pico anormal. e Uma verifica¸õ autom´tica determina que 42% dos blogues desse mˆs nõ ca a e a existem no mˆs seguinte. e Setembro de 2009 ´ removido do estudo. e Crescimento acentudado ap´s a primeira metade de 2007. o J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 7 / 17

An´lise de liga¸˜es a co

Estrutura de dados Grafo dirigido para representar a rede de blogues. V´rtices ⇔ Blogues. e Arestas ⇔ Liga¸oes entre os blogues. c˜ (provenientes de ˆncoras, imagens e conte´do embebido no HTML das entradas) a u V´rios atributos associados aos v´rtices e arestas. a e Atributo Exemplo name blog.blogs.sapo.pt Blogues date 2007-10-11 16:22:57 hostgraph.outdegree 50.077 post.url http://blog.blogs.sapo.pt/1046448.html post.date 2008-09-09 19:14:49 Entradas post.wordcount 25 post.charcount 216 name http://outro.blogs.sapo.pt/25856.html Liga¸oes c˜ source blog.blogs.sapo.pt target outro.blogs.sapo.pt Informa¸˜o captada no grafo de blogues. ca J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 8 / 17

Prepara¸õ dos dados caPassar da tabela de entradas, dispon´ na base de dados, ao grafo de blogues ıvelenvolve: 1 Extrair e indexar as liga¸˜es no formato liga¸õ ⇒ entradas co ca http://bit.ly/23a5b => http://blogue.blogs.sapo.pt/112.html|2008-02-01 23:45:32|50|200t http://outro.blogs.sapo.pt/1243.html|2008-05-13 10:27:13|19|101t http://outro.blogs.sapo.pt/1122.html|2009-11-11 11:13:27|7|32 2 Agregar por dom´ ınio, contabilizando as liga¸˜es de entrada e de sa´ co ıda; 3 Remover dom´ ınios externos ao Blogues do SAPO e associar a data de cria¸õ ca a cada blogue; 4 Gerar um documento GraphML que represente a rede de blogues; 5 Carregar o documento GraphML no R, para ser analisado utilizando a biblioteca igraph. J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 9 / 17

Total de liga¸oes, por dia, ao longo do tempo c˜ 459.737 liga¸˜es, extra´ co ıdas de 72.591 blogues. 400,000 Taxa m´dia de crescimento mensal: e 300,000 17,88%. Total Links 200,000 Pico de utiliza¸˜o de liga¸˜es ca co durante Junho e Julho de 2008. 100,000 Resulta no aumento acentuado do n´mero de liga¸˜es. u co 2006 2007 Years 2008 2009 J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 10 / 17

Agrupamento de blogues Blogues ordenados por popularidade. N´mero de cita¸˜es como crit´rio de classifica¸õ. u co e ca Duas vers˜es do grafo de blogues: o Grafo original Uma ilustra¸õ crua da realidade da blogosfera ⇔ quantidade; ca Grafo simplificado Sem multiplicidade de arestas e auto-cita¸˜es, ignorando n´s com co o menos de duas liga¸˜es de entrada ou de saida ⇔ variedade. co Grafos de blogues partidos em fatias de 1.000 blogues. An´lise da evolu¸õ do valor m´dio e mediano de v´rias caracter´ a ca e a ısticas, para fatias progressivamente menos populares. J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 11 / 17

N´mero de palavras por entrada, para o grafo simpliﬁcado u Eixo dos XX: ordem da fatia — a fatia 0 representa o conjunto dos 1.000 blogues mais citados e a fatia 9 representa os 1.000 blogues 800 menos citados. Mean and Median Post Word Number 700 Eixo dos YY: m´dia ou mediana do e n´mero de palavras por entrada nos u 600 Mean blogues da fatia. Median 500 Ordem M´dia e Mediana 400 0 829 706 6 532 360 0 2 4 6 8 9 762 574 Slice Order J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 12 / 17

N´mero de palavras por entrada, para o grafo original u Blogues mais citados: m´dia de e 1000 Mean and Median Post Word Number 1.124 palavras por entrada. 800 Blogues restantes: m´dia entre 135 e 600 e 749 palavras. Mean Median Decr´scimo constante, mas n˜o e a 400 muito acentudado. 200 0 10 20 30 40 50 60 70 Slice Order J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 13 / 17

N´mero de entradas criadas por mˆs, para o grafo original u e Blogues mais citados: m´dia de e Mean and Median Newly Created Posts per Month 103.5 7.934 novas entradas por mˆs. e 103 Outras blogues mais citados: m´dia e 102.5 superior a 100 — 594 para a Mean 102 segunda fatia mais citada. Median 101.5 Blogues menos citados: m´dia entre e 101 5 e 30 novas entradas mensais. 100.5 0 10 20 30 40 50 60 70 Slice Order J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 14 / 17

N´mero mensal de liga¸˜es p/entrada, para o grafo original u co Blogues mais citados sõ os que a ligam mais a outros blogues. No entanto, em geral, as entradas 100 nõ contˆm um grande n´mero de a e u Mean and Median Monthly Links per Post 10−0.5 liga¸˜es. co 10−1 A fatia mais citada tem em m´dia e 10−1.5 1,15 liga¸˜es por entrada. co 10−2 Mean Median As restantes fatias tˆm uma m´dia e e 10−2.5 inferior a 0,25 liga¸˜es por entrada. co 10−3 Na fatia menos citada ´ utiliza e apenas 1 liga¸õ por cada 1.000 ca 0 10 20 30 Slice Order 40 50 60 70 entradas! J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 15 / 17

Conclus˜es o

Principais contribui¸˜es co Agrupamos blogues utilizando como crit´rio de popularidade o n´mero de e u cita¸˜es. co Blogues populares tˆm um comportamento distinto dos blogues menos e populares. Conforme passamos dos blogues mais populares para os menos populares, observ´mos um padr˜o de decr´scimo: a a e Na frequˆncia de cria¸˜o de entradas; e ca No n´mero de liga¸oes de sa´ u c˜ ıda; No tamanho das entradas. Conclui-se que existem efectivamente grupos de blogues com caracter´ ısticas distintas. J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 16 / 17

Trabalho futuro Estudar a evolu¸õ da popularidade dos blogues. ca O que influencia um blogue a tornar-se popular. Como evolui a classifica¸õ dos blogues mais populares. ca Como evoluem as suas caracter´ısticas. Estudar as comunidades portuguesas de blogues. Analisar algoritmos de deteçõ de comunidades. ca Identificar o factor de uniõ dos elementos das comunidades. a Identificar os blogues centrais de cada comunidade. J. L. Devezas (FEUP) Ecossistema de Liga¸˜es co Mar¸o 2010 c 17 / 17

Fim Quest˜es? o

Apˆndice e

Apˆndice A.1 eMet´fora de ecossistema aA blogosfera pode ser vista como um ecossistema em que os blogues s˜oaconsiderados organismos que interagem entre si, interligando-se por meio dehiperliga¸oes, no ambiente da World Wide Web. c˜

Apˆndice B.1 e Sapo Blogs A−List Walktrap Communities q qq qq q qq qq qq qq q q q q q q q q q q q q q q q q q q q q q q q qq q q q q q q qq q q q q q q q q q q q q q q q q qq q q q q q q q qqqq q q q q q q qq q q q q qqq q q q q q q q q q qq qq q q q q q q qq qq q q q qq qqq q q q q q q q q q q q q q q q qq q q q qq q q q q q q q q q qq qqq q qq q q q q q qq q q q qqqqq q q q q q q q q q qq q q qqq q q q q q q q q q q qq q q q q q q q q qqqq q q qq q q q q qq qq q q qq q q q q q qq qq q qq qqq q qqq q qq q q qqqqqq qqq q q q q q q q qq q qqq q q q q q q q q q q q q qq q qq qq q q qq q qqqq q q q q qq q qq q qq q q q qq q q q qq q qqq q q qqq q q q q qq qqq qq q q q q qq q q qqq q q q qq qqq q q qq q q qq q qq qq q q q q q q q q q qq q qq q qq q q qq qq qq q q qq q q q qq qq q q q q qqqqq qqq q q qq q q qqq q q q q qq q q q qqqq q q qq q qq q q qq qq q q q q q q q q q q q q q qq q qqq q q q q qq q qq qq qqq q q q qq q q q qq q q qqq q q q q qqq q q q q q qq qq q qq q q q q q qq q q qq qqq q qq q q q q q qq qq q q q q q q q q q qq q q q q q q q q q q q qq q q q qq qq qqq q q q q qq qq qq q q qq qq q qq q q q q q q qq q q q qq qq qq q q q q q qq q q q q q q qq q q q qqq qq q q qq q q q q q q q qq q q q q q q q q qq q q q q q q q q q qq q q q q q qq qq q q q q q q q qq q qqq q q qq q q q q q qq q qq qq q q q q qq qq qq q q q q q qq q q q q q q q q q qq q q q q qq qq q qq q q q q q q q qq q q q q qq q q qq q q qq qq q q q q q qqq q qq q q q qq q q q q q qq q q qq q q q qqq q q q q qqqq q q q q qq q q q qqq q q q qqq q q qq q q q qq qq q qq q q qq q qqq qq q q q q q q qq q qq q q qq q q q qqqqq qq qq q q q q q q q q qq q q q qqq q q qq q q q q q q qq q qqq q q q q q qq q q q q q q q q q qq q q q q q q q q q q q q q q qq qq q qq qq qq qq q q q qq qq Detec¸˜o de comunidades utilizando o algoritmo Walktrap. ca

Apˆndice B.2 e Sapo Blogs A−List Leading Eigenvector Communities q qq qq q qq qq qq qq q q q q q q q q q q q q q q q q q q q q q q q qq q q q q q q qq q q q q q q q q q q q q q q q q qq q q q q q q q qqqq q q q q q q qq q q q q qqq q q q q q q q q q qq qq q q q q q q qq qq q q q qq qqq q q q q q q q q q q q q q q q qq q q q qq q q q q q q q q q qq qqq q qq q q q q q qq q q q qqqqq q q q q q q q q q qq q q qqq q q q q q q q q q q qq q q q q q q q q qqqq q q qq q q q q qq qq q q qq q q q q q qq qq q qq qqq q qqq q qq q q qqqqqq qqq q q q q q q q qq q qqq q q q q q q q q q q q q qq q qq qq q q qq q qqqq q q q q qq q qq q qq q q q qq q q q qq q qqq q q qqq q q q q qq qqq qq q q q q qq q q qqq q q q qq qqq q q qq q q qq q qq qq q q q q q q q q q qq q qq q qq q q qq qq qq q q qq q q q qq qq q q q q qqqqq qqq q q qq q q qqq q q q q qq q q q qqqq q q qq q qq q q qq qq q q q q q q q q q q q q q qq q qqq q q q q qq q qq qq qqq q q q qq q q q qq q q qqq q q q q qqq q q q q q qq qq q qq q q q q q qq q q qq qqq q qq q q q q q qq qq q q q q q q q q q qq q q q q q q q q q q q qq q q q qq qq qqq q q q q qq qq qq q q qq qq q qq q q q q q q qq q q q qq qq qq q q q q q qq q q q q q q qq q q q qqq qq q q qq q q q q q q q qq q q q q q q q q qq q q q q q q q q q qq q q q q q qq qq q q q q q q q qq q qqq q q qq q q q q q qq q qq qq q q q q qq qq qq q q q q q qq q q q q q q q q q qq q q q q qq qq q qq q q q q q q q qq q q q q qq q q qq q q qq qq q q q q q qqq q qq q q q qq q q q q q qq q q qq q q q qqq q q q q qqqq q q q q qq q q q qqq q q q qqq q q qq q q q qq qq q qq q q qq q qqq qq q q q q q q qq q qq q q qq q q q qqqqq qq qq q q q q q q q q qq q q q qqq q q qq q q q q q q qq q qqq q q q q q qq q q q q q q q q q qq q q q q q q q q q q q q q q qq qq q qq qq qq qq q q q qq qq Detec¸˜o de comunidades utilizando o algoritmo Leading Eigenvector. ca

Apˆndice C.1 e 1 q 5 q 2 q 0 3 Classifica¸õ ca q q q 7 Nesta amostra, o n´ 2 ´ citado 8 o e vezes e o n´ 7 ´ citado 5 vezes. O o e n´ 2 ´ considerado o mais popular o e devido ` quantidade de liga¸˜es que a co 6 q apontam para ele. 4 q Amostra do grafo de blogues antes da simplifica¸õ. ca

Apˆndice C.2 e 1 q 5 q 2 q 0 3 Classifica¸õ ca q q q 7 Nesta amostra, o n´ 2 ´ citado 3 o e vezes e o n´ 7 ´ citado 4 vezes. O o e n´ 7 ´ considerado o mais popular o e devido ` variedade de liga¸˜es que a co 6 q apontam para ele. 4 q Amostra do grafo de blogues ap´s a o simplifica¸õ. ca

Apˆndice D.1 e 104 q q q 103 q Number of Blogs q q qq qq qq q qq qq q 102 q qq qq qq qq q qq qqqq q qq qq q qq qq qq q qq qq q q q q qqq q q 101 q q qq q q qq q q qq q q q qq qq q q q q q qqq q q qq q qq qq q q q q q qq qq q q q q qq q qq q q q qqqq qq q qq q q q q q qqqq q q q qqqq q q q q 100 q qqqqqqqqqqqqqqqq qqqq qqq q qq qq qqqqq qqqq qqqq qq qq qq qqq qqqqqq q qqq q qq qq qqqq qq q q qq q q q q 100 101 102 103 104 In−Degree Distribui¸˜o do grau de entrada do grafo de blogues. ca

Apˆndice D.2 e 104 q q q 103 Number of Blogs q q q qq qq q q qq q q 2 qq 10 qqq qqq qq q q q q qq q q qq q q q q qq q qq q q qq q q q q qqq qqq q qqq q q q 101 q qqq q q qq q q q q qq q q q qqq q qq q q q qq qq q qq q q q q q qqq q q q qq q qq q q q q qqq qqq q q q q qq q qq q q q q q qq qqqqqqq qq q q qqqqq qq q qq q q q 100 qqqqqqqqqq qqqqqqqq qq q qq qqq q q q qqqqqqqqq qqqqq q q q q q q qqqqqqqqq qqqq q q qqq qqqqqq q q qq q q qq q q q q qq 100 101 102 103 104 Out−Degree Distribui¸˜o do grau de sa´ do grafo de blogues. ca ıda

Apˆndice E.1 e Grafo original Grafo simpliﬁcado V´rtices e 72.591 10.937 Arestas 459.737 48.399 Densidade 8,72e-5 4,05e-4 Reciprocidade 0,31 0,15 Diˆmetro a 20 19 Liga¸˜es por blogue (m´dia) co e 6,33 4,43 Liga¸˜es por blogue (mediana) co 0 2

Apˆndice F.1 e Estudar o comportamento dos blogues dependendo da popularidade permite: Desenvolver estrat´gias de mercado para publicitar blogues proﬁssionais; e Melhorar o servi¸o de blogues, adaptando-o aos utilizadores mais activos. c Estudar as comunidades de blogues permite: Localizar um blogue na sua comunidade; Fornecer ao autor do blogue a sua vizinhan¸a; c Determinar os blogues mais centrais de cada comunidade.

Apˆndice G.1 e The Most Important Blogging Analysis Ever: http://www.viperchill.com/important-blogging-analysis/ The Secret to Building a Popular Blog (and Getting Tons of Readers): http://www.doshdosh.com/the-secret-to-building-a-popular-blog/ Why is Link Popularity Important? http://blogs.siliconindia.com/uniquesofts2010/ Why is Link Popularity Important-bid-gJ1zb05l46050252.html

Ecossistema de Ligações da Blogosfera Portuguesa

by José Devezas on Jun 27, 2011

Accessibility

Categories

Upload Details

Usage Rights

1 Embed 2

Statistics

Ecossistema de Ligações da Blogosfera Portuguesa Presentation Transcript