Gephi redes sociais

2,167 views

Published on

Published in: Data & Analytics

Gephi redes sociais

  1. 1. Análise de redes sociais para Inteligência Competitiva usando Gephi Célio Faria Jr. celiojunior.com.br arte Jen Stark jenstark.com insights aprenda a viver com a complexidade Gökçe Sargut & Rita McGrath hbr pré-leitura the network takeover Albert-Lazló Barabási barabasilab.com pré-leitura data is the new gold Neelie Kroes european digital agenda Este trabalho é publicado sob a licença Creative Commons - Atribuição - CompartilhaIgual 3.0 Não Adaptada. Todas as marcas registradas e nomes comerciais citados são de propriedade de seus respectivos detentores.
  2. 2. Quando o mundo é imprevisível, o melhor investimento pode ser aquele que minimiza a importância de projeções.   Gökçe Sargut Rita McGrath burst | jen stark
  3. 3. Structural diversity in social contagion (UGANDER et al. 2012)
  4. 4. Structural diversity in social contagion (UGANDER et al. 2012)
  5. 5. objetivo e roteiro   Explorar as capacidades do Gephi por meio da análise das métricas de grupos da rede social Facebook visando alcançar metas SMART* (BUDAN, 2010 apud DORAN, 1981).   i. Conceituação e análise de redes sociais   ii. Facebook/Netvizz/Graph API   iii. Gephi   iv. Análise de uma rede ego Facebook   v. Inteligência competitiva: análise de grupos Facebook     * Específica, Mensurável, Atingível, Realista, Tangível
  6. 6. over and out | jen stark Somos tolhidos por limites cognitivos: a maioria dos executivos se acha capaz de absorver mais informação do que estudos sugerem ser possível.   Gökçe Sargut Rita McGrath
  7. 7. convergência
  8. 8. grafos ● representam objetos e seus relacionamentos   ● os objetos são representados por pontos, chamados vértices ou nós   ● as linhas conectoras dos objetos, representando qualquer tipo de conexão entre eles, são chamadas de ‘arestas’   ● podem ser direcionados (com sentido) e/ou ponderados (com pesos nas arestas)   ● estrutura lógica que demonstra como estes elementos se relacionam
  9. 9. grafo não direcionado              
  10. 10. grafo direcionado             1 3,5 6 5 16 8
  11. 11. ciência de redes A ciência de redes pode ser descrita como o estudo disciplinado das redes, sejam de pessoas, influência ou tecnologia. Embora este seja um campo relativamente novo, suas raízes são do século XVIII, quando a matemática discreta evoluiu para o que veio a ser conhecido como teoria dos grafos. A teoria dos grafos foi usada pela primeira vez para descrever as propriedades de conexões físicas e vias -- o que hoje chamamos de redes.   Leader Profile: The Burgeoning Field of Network Science (PATTERSON, 2008)   Network Theory: The Basics (OWEN-SMITH, 2012)
  12. 12. análise de redes   ● preocupa-se com a a formulação e solução de problemas que possuem uma estrutura de rede, usualmente representada por um grafo   ● é focada nas relações entre os atores, não nos próprios atores e seus atributos   ● os atores não são (geralmente) amostrados de maneira independente, como em muitos tipos de estudos, e.g. enquetes     Network Theory: The Basics (OWEN-SMITH, 2012)        
  13. 13. redes sociais               Uma rede social é uma estrutura social composta por um conjunto de atores (e.g. indivíduos ou organizações) e as ligações diádicas entre eles (e.g. relacionamentos, conexões ou interações).   Social Network Analysis in the Social and Behavioral Sciences (WASSERMAN; FAUST, 1994)   On Network Theory (BORGATTI, 2011)
  14. 14. sítios de redes sociais         Sítios de redes sociais são serviços baseados na web que permitem:   ● construir um perfil público ou semi-público em um ambiente controlado ● articular uma lista de outros usuários com os quais desejam compartilhar uma conexão ● visualizar e navegar neste sistema por sua lista de conexões e as conexões feitas por outros.   A natureza e a nomenclatura destas conexões variam de sítio para sítio.   Social Network Sites: Definition, History, and Scholarship (BOYD; ELLISON, 2007)
  15. 15. análise de redes sociais   ● tem origem nas ciências sociais e nas teorias de redes e de grafos ● enxergar as relações sociais pela teoria de redes ○ nós e relacionamentos entre eles (conexões, arestas, links, ligações) ○ nós representam atores e relacionamentos as conexões entre eles ○ rede ego: focada em "um nó e um passo" (one-step neighborhood)   ● primeiros estudos: séc. XVIII (Émile Durkheim e Ferdinand Tönnies) ● Harvard University Department of Social Relations: ○ Mark Granovetter: The Strength of Weak Ties (GRANOVETTER, 1973) ○ Stanley Milgram: (seis graus de separação) ■ An Experimental Study of the Small World Problem (MILGRAM, 1969) ■ The Small World Problem (KLEINBERG, 2002) ■ Six Degrees of Separation (BARABÁSI, 2002)
  16. 16. análise de redes sociais (cont.)   ● falhas estruturais geram oportunidades, valor, inovações e ideias: Structural Holes and Good Ideas (BURT, 2004)   ● Brokerage and Closure: An Introduction to Social Capital (BURT, 2007)   ● Structural Holes, Technological Resources, and Innovation: a longitudinal study of an interfirm R&D network (FRANKFORT, 2007)   ● teoria do capital social, para definir e medir o valor que um indivíduo obtém da sua rede: Social Capital: Implications for Development Theory, Research, and Policy (WOOLCOCK; NARAYAN, 2000)            
  17. 17. análise de redes sociais (cont.)                               Capital social (WOOLCOCK; NARAYAN, 2000) Falhas estruturais (BURT, 2004)
  18. 18. tipos de rede e suas métricas   ● redes ○ direcionadas e não direcionadas ○ ponderadas e não ponderadas   ● métricas ○ grau: densidade de ligações de entrada e saída ○ centralidade ■ intermediação (betweeness) ■ proximidade (closeness) ■ autovetor (eigenvector) ○ autoridade (KLEINBERG, 1998): existência de dois tipos de nós ■ autoridades: nós que possuem relevância e popularidade ■ hubs: nós que referenciam várias autoridades e as "unem" ○ modularidade (BLONDEL et al., 2008): estabelece regras para a divisão da rede em comunidades (cliques)  
  19. 19. tipos de rede e suas métricas   ● centralidade de proximidade: um ator é tão mais central quanto menor o caminho que ele precisa percorrer para para alcançar os outros elos da rede. Mede sua independência em relação ao controle de outros.   ● centralidade de intermediação: é a medida do potencial de um ator de servir como intermediário, ou seja, quanto um ator facilita o fluxo de informação em uma rede. Quanto mais vezes um nó for encontrado no menor caminho entre dois nós randômicos, maior será a sua centralidade de intermediação.   ● centralidade de autovetor: encontra os atores mais centrais (localizados mais próximos dos demais) considerando-se toda a estrutura da rede (Google PageRank)   ● autoridade: Hubs e autoridades são uma extensão natural da centralidade de autovetor.São calculados dois escores para cada ator, hub e autoridade, sendo que um ator com alto hub aponta para muitas boas autoridades e um ator com alta autoridade recebe ligações de muitos bons hubs.   Introduction to Social Network Methods (HANNEMAN, 2005); Authoritative Sources in a Hyperlinked Environment (KLEINBERG, 1999)
  20. 20.   redes livres de escala (scale-free)             Uma rede livre de escala é aquela cuja distribuição de grau segue uma lei de potência (ao menos assintoticamente), ou seja, a fração P(k) dos nós da rede que possuem k conexões para outros nós quando k é grande é (BARABÁSI, 2003) Número de conexões NúmerodeNóscom kconexõesP(k) HUBS
  21. 21. redes livres de escala (scale-free)   Redes que contém esses importantes nós, chamados hubs, tendem a ser o que chamamos de "livres de escala", no sentido de que alguns desses nós tem um número de ligações aparentemente ilimitado e nenhum nó é típico em relação aos outros.   Estas redes também se comportam de certas maneiras previsíveis: são notavelmente resistentes a falhas acidentais mas extremamente vulneráveis a ataques coordenados.   Estas descobertas mudaram dramaticamente o que pensávamos que sabíamos sobre o mundo complexo e interconectado que nos rodeia. Os hubs, inexplicáveis à luz das antigas teorias de rede, oferecem provas convincentes de que vários sistemas complexos possuem uma arquitetura rigorosa, regida por leis fundamentais -- leis que parecem se aplicar iguamente a células, computadores, linguagens e sociedades.   (BARABÁSI, 2003)  
  22. 22.   rede randômica            
  23. 23. redes livres de escala (scale-free)   ● Scale-free networks (BARABÁSI, 2003) ● Scale-free networks: a decade and beyond (BARABÁSI, 2009) ● conceito oposto ao de redes randômicas ● apresentam hubs ● modularidade acima de 0,4 (Gephi) ● processos orgânicos e naturais ● ocorrem em múltiplos domínios ● sujeita a ataques aos hubs ● exemplo de geração pelo Gephi    
  24. 24.   redes mundo pequeno (small-world) seis graus de separação Frigyes Karinthy e Stanley Milgram     ● os nós em uma rede de mundo pequeno normalmente não são vizinhos, mas podem ser alcançados de qualquer outro nó em um pequeno número de passos.   ● a distância L entre dois nós escolhidos aleatoriamente (ou seja, o número de passos necessários para se alcançar um nó a partir do outro) cresce com o logaritmo do número de nós N da rede o fato de uma rede ser livre de escala é um indicativo de que sua natureza é de mundo pequeno
  25. 25. Porquê deveríamos estar interessados em visualização? Porque o sistema visual humano é um descobridor de padrões de enorme poder e sutileza.   O olho e o córtex visual do cérebro formam um processador massivamente paralelizado que provê o canal de banda mais larga até os centros cognitivos humanos. Em altos níveis de processamento, a percepção e a cognição estão intimamente relacionadas, o que é a razão pela qual as palavras "entender" e "ver" são sinônimas.   Colin Ware, apud Ben Fry how to become a millionaire in 100 days | jen stark
  26. 26. cadeia de processamento não linear design de informação computacional Ben Fry                       Computational Information Design (FRY, 2004) Infoviz, ManyEyes, datavisualization.ch
  27. 27. Facebook/Netvizz   ● Facebook ○ 901 milhões de usuários (quase o triplo da população dos EUA, seria o terceiro país mais populoso do mundo, após China e Índia)   ○ comprou 750 patentes da IBM em 2012, superou em 2012 pela primeira vez o Google em pesquisas em um fim de semana   ○ 82% dos usuários adicionam amigos porque os conhecem na vida real ○ estatísticas brasileiras (SOCIALBAKERS, 2012)   ● Netvizz ○ aplicativo Facebook para exportação de redes ego e grupos no formato GUESS (.gdf) utilizando a Graph API (FQL, JSON)   ○ necessita, como todo aplicativo, da permissão do dono da conta
  28. 28. marcas de mídias sociais mais valiosas de 2012 (HWZ, 2012)
  29. 29. Facebook   ● Why Is Facebook So Successful? Psychophysiological Measures Describe a Core Flow State While Using Facebook (MAURI et al., 2012)   Psicólogos definem "fluxo" [flow] como "estar desafiado pelo que você está fazendo no momento, mas também bastante excitado e apreciando a experiência". Outros, indo além, dizem que o fluxo é um sinal biológico que diz à sua mente para "catalogar" a experiência e repeti-la. O estado de "fluxo nuclear" [core flow] é estar focado e com desempenho máximo, experimentando subjetivamente uma alta qualidade de vida.   The Facebook flow (WELL-BEING, 2012)
  30. 30. Facebook nirvana (MAURI et al., 2012) (LANG, 1995 apud MAURI et al., 2012)
  31. 31. Um sistema complexo [...] possui aspectos que podem operar de forma padronizada, mas cuja interação está constantemente mudando.   Gökçe Sargut Rita McGrath technicolor prism | jen stark
  32. 32. sobre   Gephi é uma plataforma grátis e livre de visualização e exploração interativa para grafos dinâmicos e hierárquicos e todos os tipos de redes e sistemas complexos.   Gephi Foundation ○ Conexão acadêmica ○ Perenidade ○ Comunidade ○ GSOC ○ Roadmap (0.8.1 beta)   Plataforma Netbeans / Java ○ Windows/Linux/Mac ○ Interface ergonômica (br) ○ Plugins
  33. 33.     "Photoshop para grafos" The Noise Cluster Model (CÔME; DIEMERT,
  34. 34. gephi para apreciadores   ● The egyptian revolution on Twitter ○ Gephi < Graph Streaming Plugin < Python Server < Twitter ● The HTTP Graph plugin ● Introducing Gephi 0.7            
  35. 35.   Gephi | área de trabalho  
  36. 36.   Gephi | formatos de arquivo suportados                         (GEPHI, 2012)
  37. 37. radial reverie | jen stark Uma dificuldade significativa deste tipo de problema [grande quantidade de dados] é descobrir, tendo um conjunto de dados, como recolher informação significativa dele. Para a maioria, este processo é totalmente opaco.   Ben Fry
  38. 38. layouts   ● force-directed ○ Fruchterman-Rheingoldt (partículas de massa) ○ Force Atlas (derivado do FR) ○ Force Atlas 2 ○ OpenOrd ○ Yifan Hu ○ Yifan Hu multinível (graph coarsening)   ● estruturais ○ circular ○ radial axis ○ noverlap      
  39. 39. prática 1 | definindo a meta   ● "Para encontrar um emprego, não se leva em conta o que você conhece e sim quem você conhece"   ● meta SMART: encontrar os cinco melhores candidatos para enviar seu currículo a fim de obter um emprego que ofereça um salário melhor do que o que você atualmente ganha utilizando sua rede Facebook obtida pelo Netvizz e traçada pelo Gephi em uma hora   ● solução reducionista ambiciosa: vamos procurar entre os amigos mais próximos! ○ estarão mais dispostos a nos ajudar ○ serão mais fáceis de abordar ○ farão recomendações melhores  
  40. 40. prática 1 | Gephi   ● acessar e autorizar Netviz ● baixar arquivo GDF ● abrir Gephi ● traçar rede ● métricas básicas e modularidade ● layout ● pré-visualização      
  41. 41. prática 1 | melhorando a teoria 1 conexões sociais fracas Granovetter   ● The Strength of Weak Ties (GRANOVETTER, 1973)   ● Getting a job: weak social ties and on-line connections (WRIGHT, 2008)   ● se você quer encontrar um emprego melhor do que o seu, procure entre suas conexões sociais fracas (weak ties): pessoas conhecidas com quem convivemos esporadicamente   ● a possibilidade de se encontrar um emprego melhor é devido ao fato de que suas conexões fortes geralmente são pessoas... parecidas com você!    
  42. 42. prática 1 | Gephi   ● realizar algoritmo HITS e verificar laboratório de dados ● traçar classificação por Strongly-Connected ID ● rever possibilidades: análise visual               ATENÇÃO!!!
  43. 43. prática 1 | melhorando a teoria 2   ● Os dados da rede Facebook/Netvizz são direcionados ou não direcionados?   ● Se considerarmos a rede como direcionada, como deveria ser definido o direcionamento: ○ quem seria o nó de origem? o solicitante? quem confirmou a solicitação ? caso a caso? ○ o Netvizz representa estes dados de maneira correta?   ● Que opção devemos considerar?        
  44. 44. prática 1 | melhorando a teoria 3 centralidade de intermediação, sobreposição e imersão e intensidade declarativa ● Centralidade de intermediação   ● Social Network Analysis (KUTCHAR, 2012) ○ Neighborhood Overlap: o quanto as redes se intersecta, ou seja, como a rede se comporta em relação às falhas estruturais   ○ Neighborhood Embeddedness: comoos nós estão imersos na rede, ou seja, a medida de como as ligações são fortes   ● Declarative intensity (Netvizz): mede o quanto o ator é participativo   ● Que tal mais de um parâmetro? Laboratório de dados!      
  45. 45. prática 1 | Gephi   ● realizar modularidade ● rever possibilidades: análise visual                
  46. 46. inteligência competitiva   ● "Informação analisada que fornece insights e vantagem competitiva" (FULD, 2007) ○ A casa dos espelhos da Internet   ● "Um programa sistemático para obter e analisar informações sobre as atividades de seus competidores e as tendências do negócio para promover as metas de sua própria empresa" (KAHANER, 1997) ○ Antecipar mudanças de mercado, ações de competidores, descobrir competidores novos e/ou potenciais, aprender sobre novas tecnologias, produtos e processos que afetam seu negócio ○ Internet -- em 1997!   ● Ética, fontes públicas, estratégia  
  47. 47. prática 2 | definindo a meta   ● meta SMART: avaliar qualitativamente, em relação às métricas de redes sociais, qual das redes Facebook de dois grupos de ex- alunos de universidades, qual apresenta maior possibilidade de suportar ações de marketing de um produto educacional, utilizando o Netviz e o Gephi em uma hora   ● abordagem reducionista ambiciosa: considerar apenas o número de participantes ○ muito simples de calcular e explicar ○ pouco custosa ○ permite comparação direta ○ aparência de credibilidade    
  48. 48. prática 2 | Gephi   ● acessar e autorizar Netvizz ● baixar arquivos GDF dos grupos ● abrir Gephi ● traçar métricas básicas ● modularidade ● layout ● pré-visualização      
  49. 49. prática 2 | melhorando a teoria 1 | intermediação Fernandez and Gould   ● Structures of Mediation: a formal approach to brokerage in transaction networks (FERNANDEZ; GOULD, 1989)   ● On And Off The Beaten Path: How Individuals Broker Knowledge Through Formal And Informal Networks (AALBERS; KOPPIUS; DOLFSMA, 2006)   ● cinco tipos de intermediação (brokerage) ○ coordenador ○ porteiro ○ representante ○ consultor ○ conector  
  50. 50. prática 2 | melhorando a teoria 2   Structures of Mediation: A Formal Approach to Brokerage in Transaction Networks (FERNANDEZ; GOULD, 1989) Coordenadores Porteiros Representantes Consultores Conectores
  51. 51. prática 2 | melhorando a teoria 2   ● Coordenadores são conhecidos por uns e conhecem outros de seu mesmo grupo, que não se conhecem mutuamente: este papel é útil para aumentar (ou não) a consciência recíproca do grupo, já que atores nesta posição podem permitir (ou impedir) a circulação da informação no grupo   ● Representantes recebem e enviam conexões de dentro de seu próprio grupo, enviando conexões apenas para atores localizados fora dele. Podem permitir (ou impedir) que atores de um grupo sejam conhecidos pelos dos grupos exteriores   ● Porteiros recebem somente ligações de grupos exteriores, o que significa que podem favorecer (ou controlar) a circulação das informações em seu grupo   ● Consultores enviam e recebem conexões para atores de um grupo diferente do que aquele no qual estão incluídos e podem, portanto, aumentar ou diminuir a coesão entre outros grupos   ● Conectores enviam e recebem conexões de atores de dois grupos diferentes do seu próprio, o que lhes permite aumentar ou diminuir a coesão da rede como um todo  
  52. 52. prática 2 | melhorando a teoria 2     ● considerando redes não direcionadas   Coordenadores Porteiros Representantes Consultores Conectores Academic Inventors as Brokers (LISSONI, 2008)
  53. 53. prática 2 | Gephi   ● realizar algoritmo HITS ● realizar modularidade ● verificar laboratório de dados ● traçar classificação por modularidade ● rever possibilidades: análise visual          
  54. 54. prática 2 | melhorando a teoria 3   ● Paradoxo de Nadel: não é possível levar em conta simultaneamente as dimensões culturais e relacionais das estruturas sociais. ○ Beyond Nadel's Paradox. A computational approach to structural and cultural dimensions of social cohesion (LOZANO et al., 2008)   ● Cuidado com a abordagem estritamente estrutural: brokerage is a process not a structure; repeat after me: brokerage is a process not a… (LIZARDO, 2008) ● Abordagem evolucionária: Brokerage vs. cohesion and collaborative creativity: an evolutionary resolution (MINGO; CHEN, 2005)
  55. 55. outras possibilidades   ● Pesquisa-ação: uma introdução metodológica (TRIPP, 2005): exploração das métricas de rede e das estruturas formadas por diferentes configurações de dados   ● The 6 Factors of Social Media Influence (WU, 2010)   ● Junção de redes ego: colaborar com os amigos!   ● Análise dinâmica (temporal): suportada pelo Gephi     sunken sediment | jen stark
  56. 56. A ideia é fornecer toda a informação para ajudar os outros a julgar o valor da sua contribuição e não apenas aquelas que conduzem o julgamento em uma determinada direção.   Richard Feynman
  57. 57. celiojunior.com.br celiofariajr@gmail.com

×