Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Perspectivas para integração do Design nas Humanidades Digitais frente ao desafio da análise de artefatos visuais

162 views

Published on

Apresentação de trabalho no I Congresso Internacional em Humanidades Digitais (sessão Redes sociais e visualizações), realizado de 9 a 13 de abril na Fundação Getúlio Vargas (FGV), Rio de Janeiro.

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Perspectivas para integração do Design nas Humanidades Digitais frente ao desafio da análise de artefatos visuais

  1. 1. Perspectivas para integração do Design nas Humanidades Digitais frente ao desafio da análise de artefatos visuais Júlia Rabetti Giannella @juliagiannella juliagiannella@gmail.com
  2. 2. Doutorado em Design e Tecnologia PPDESDI - UERJ Assistente de pesquisa Visgraf - IMPA LUGAR DE FALA Julia Rabetti GiannellaHDRio2018
  3. 3. Diante de milhares de fotografias, como tornar este acervo mais explorável e compreensível? Como entender os conteúdos semânticos contidos nas imagens e como comparar ou encontrar exemplos para um determinado recorte geográfico ou temporal se não manualmente? Julia Rabetti GiannellaHDRio2018 PERGUNTA DE PARTIDA
  4. 4. UM PROBLEMA ENTRE DUAS ABORDAGENS Julia Rabetti GiannellaHDRio2018 Computação Social Humanidades Digitais Objeto: redes sociais Domina: observação quantiativa, com foco 
 nas generalizações 
 e uso de tecnolgias de reconhecimento de imagem Objeto: Patrimônio cultural Domina: observação qualitativa, com foco nas particularidades
  5. 5. Design sanar a falta de interfaces gráficas de usuário (GUI) para investigar grandes coleções fotográficas conjugando tecnologias computacionais e recursos para explorar, visualizar e comparar o acervo UM PROBLEMA ENTRE DUAS ABORDAGENS Objeto: redes sociais Domina: observação quantiativa, com foco 
 nas generalizações 
 e uso de tecnolgias de reconhecimento de imagem Objeto: Patrimônio cultural Domina: observação qualitativa, com foco nas particularidades Julia Rabetti GiannellaHDRio2018 Computação Social Humanidades Digitais
  6. 6. DISCUSSÕES PARA O CAMPO DAS HDs 1. Investigação de grandes coleções de imagens (fotografias, pinturas, ilustrações, vídeos, GIFs, etc) recorrendo a técnicas de reconhecimento de imagem derivadas de Aprendizagem de Máquina (Machine Learning); 2. Valorização de textos e mídias produzidas em redes sociais como patrimônio cultural relevante para as HDs; 3. Integração de princípios e metodologias do Design (HCI e visualização) na construção de ferramentas para recuperar, explorar e visualizar imagens. Julia Rabetti GiannellaHDRio2018
  7. 7. interfaces tradicionais (sistemas de recuperação de informação) Europeana Collections https://www.europeana.eu/portal/en ACERVOS DE IMAGEM E GUI Julia Rabetti GiannellaHDRio2018 Brasiliana Fotográfica http://brasilianafotografica.bn.br/
  8. 8. Photogrammar - Trabalho apresentado no DH2016 http://photogrammar.yale.edu/ Julia Rabetti GiannellaHDRio2018 interfaces com técnicas de visualização da informação ACERVOS DE IMAGEM E GUI
  9. 9. Julia Rabetti GiannellaHDRio2018 interfaces com técnicas de visualização de mídia e processamento de imagem para extração de cor média ACERVOS DE IMAGEM E GUI New York Public Library Visualization Tool http://publicdomain.nypl.org/pd-visualization/
  10. 10. Julia Rabetti GiannellaHDRio2018 GIANNELLA, J.; VELHO (2017). ObservatóR!O2016: Exploring Rio-2016 image dataset throughDeep Learning and visualization techniques (DH2017, Montreal) http://lvelho.impa.br/dl_rio2016/index.html interfaces com técnicas de visualização de mídia e visão computacional para reconhecimento de objeto (tocha olímpica) ACERVOS DE IMAGEM E GUI
  11. 11. LIMITAÇÕES TECNOLÓGICAS SUPERADAS Julia Rabetti GiannellaHDRio2018 https://xkcd.com/1425/ (Junho, 2014)
  12. 12. propriedades como cor, brilho, textura reconhecimento de objetos, cenas e pessoas dimensão SEMÂNTICA contribui para avançar o estado da arte da extração de características de imagen por meio do desenvolvimento e avaliação de algoritmos VISÃO COMPUTACIONAL Julia Rabetti GiannellaHDRio2018
  13. 13. propriedades como cor, brilho, textura reconhecimento de objetos, cenas e pessoas dimensão SEMÂNTICA Aprendizado de Máquina Redes Neurais Convolucionais VISÃO COMPUTACIONAL Julia Rabetti GiannellaHDRio2018
  14. 14. HDs E VISÃO COMPUTACIONAL Julia Rabetti GiannellaHDRio2018 Computer Vision in Digital Humanties Workshop - DH2017 (Montreal) https://avindhsig.wordpress.com/workshop-2017-montreal/ - 1 palestra principal - 8 apresentações de trabalho - 9 lightening talks - 1 prática envolvendo Deep Learning
  15. 15. THOMEE et al, 2015. YFCC100M: The New Data in Multimedia Research Yahoo Flickr Creative Commons 100 Million Dataset maior coleção multimídia pública já lançada para fins de pesquisa compreendendo ~ 100M de objetos de mídia (2004 - 2014) OBJETO DE INVESTIGAÇÃO: COLEÇÃO YFCC100M Julia Rabetti GiannellaHDRio2018
  16. 16. Abordagem-método para analisar grandes conjuntos de dados culturais usando técnicas computacionais e técnicas de visualização ANALÍTICA CULTURAL (Lev Manovich) Julia Rabetti GiannellaHDRio2018 1. Domínio: culturas visuais-fotográficas de diferentes cidades a partir de registros georreferenciados 2. Objeto: a coleção YFCC100M 3. Características: geo-espaciais, temporais e semânticas 4. Visualização de mídia: espaços de representação para recuperar, visualizar e comparar imagens MANOVICH, 2015. Data science and digital art history
  17. 17. MODELAGEM DAS CARACTERÍSTICAS Julia Rabetti GiannellaHDRio2018 1. Que características aparecem nas fotografias e quais são relevantes para estudar a dimensão cultural desse acervo? Lugar Onde a foto foi tirada Quando Quando a foto foi tirada Semântica Que conteúdos, objetos e cenas estão contidos nas fotos metadados fornecidos pela câmera propriedades extraídas pela máquina
  18. 18. por meio de 1.570 autotags -> Flickr Vision team ANÁLISE SEMÂNTICA Julia Rabetti GiannellaHDRio2018 MMC search: http://search.mmcommons.org/
  19. 19. RECORTE Julia Rabetti GiannellaHDRio2018 As sete capitais brasileiras com mais fotografias na coleção São Paulo 242 363 Rio de Janeiro 112 287 Salvador 47 392 Porto Alegre 44 617 Brasília 22 276 Florianópolis 15 493 Belo Horizonte 11 457 465 885 fotografias
  20. 20. DISTRIBUIÇÃO SEMÂNTICA Julia Rabetti GiannellaHDRio2018 indoor: 88 577 outdoor: 78 614 people: 51 741 nature: 35 537 architecture: 29 066 sport: 23 355 art: 22 413 text: 20 075 plant: 18 470 monochrome: 18 246 landscape: 16 997 vehicle: 16 681 surreal: 16 661 music: 16 579 food: 16 575 black: 16 410 photo border: 16 346 blackandwhite: 16 114 building: 15 486 performer: 14 861 outdoor: 64 259 nature: 32 374 indoor: 28 571 landscape: 23 361 people: 21 687 architecture: 18 154 water: 16 994 sport: 16 425 shore: 13 401 vehicle: 12 964 seaside: 10 490 art: 9 536 plant: 9 258 building: 9 084 coast: 8 747 text: 8 518 lake: 8 498 slope:8 400 mountain: 74 71 beach: 72 58 overalls: 2 anemone: 2 scallop: 2 feverfew: 2 bactrian camel: 2 sorrel horse:2 meadow cranesbill: 2 buck: 2 dik-dik: 2 elk: 2 new england aster: 2 fly agaric: 2 briefcase: 2 peacock butterfly: 2 gaillardia: 1 chicory: 1 glacier lily: 1 cornflower: 1 nigella: 1 spur gear: 1 chaetodon: 6 brain coral: 5 chest of drawers: 5 gnu: 5 jackal: 4 coltsfoot: 4 whale shark: 4 sea trout: 4 buck: 4 ram: 4 common spotted orchid: 3 chicory: 3 new england aster: 3 clipper ship: 2 water vole: 2 nigella: 2 dik-dik: 2 yacht: 2 gazelle: 2 peacock butterfly: 2 São Paulo 20 + citadas Rio de Janeiro 20 - citadas 20 + citadas 20 - citadas
  21. 21. INQUIETAÇÕES E DESAFIOS Julia Rabetti GiannellaHDRio2018 1. Existe espaço para uma curadoria semântica da máquina e até que ponto podemos utilizá-la para refletir sobre um domínio de análise a partir da perspectiva das Humanidades Digitais; 2. Como lidar com a descontinuidade semântica entre a cognição do homem e da máquina; 3. Deveríamos pensar a curadoria da máquina conjugada com outras estratégias de taxonomia (folkosonomia?); 4. Como construir GUIs que integrem objetos de mídia e suas características (temporais, espaciais e semânticas) de maneira a potencializar a experiência de consulta, exploração, comparação e visualização do acervo.
  22. 22. BLOG | MediaScopium: computer vision, information design e new media Julia Rabetti GiannellaHDRio2018 https://www.visgraf.impa.br/mediascopium/
  23. 23. OBRIGADA! juliagiannella@gmail.com @juliagiannella

×