Uma Estratégia para Representaçãoe Gerenciamento de Metadados emSistemas de Armazenamento nasNuvensCentro de InformáticaUn...
Agenda•   Computação nas Nuvens•   Armazenamento nas Nuvens•   Metadados•   Projeto Usto.re•   Estado da Arte•   Proposta•...
Universo Digital                   Status Report © 2012 - Marco André Machado   3
Universo Digital• Problemas  – Processar  – Armazenar  – Gerenciar  – Segurança  – Disponibilidade                      St...
Computação nas Nuvens• Definição (Vaquero, 2009) “Um grande conjunto de recursos virtualizados (como hardware, plataformas...
Arquitetura              Status Report © 2012 - Marco André Machado   6
Armazenamento nas Nuvens• Armazenamento em discos remotos• Acesso a partir de qualquer lugar• Benefícios:  – Facilidade de...
Armazenamento nas Nuvens• Desafios  – Segurança  – Integridade de dados  – Replicação de dados  – Custos  – Confiabilidade...
Armazenamento nas Nuvens• Arquitetura Genérica (Jones, 2012)  – Alta escalabilidade  – Multi-tenant                       ...
Armazenamento nas Nuvens• Sistemas de Arquivos Distribuídos  – Compartilhar arquivos e recursos de    armazenamento (Levy ...
Metadados• Informações estruturadas sobre dados (Duval,  2002)• Atributos  – Nome, tamanho, último acesso/modificação,    ...
Usto.re• Evolução de um algoritmo estatístico (Duarte,  2010)  – Escolher peers com “perfil compatível” ->    federações  ...
Arquitetura do Usto.re• P2P híbrida (Schollmeier, 2001)• JXTA (Gong, 2001)  – Descobrimento de serviços  – Mensagens  – Or...
Arquitetura do Usto.re• 3 tipos de peers:  – Super peer  – Peer local  – Peer servidor e proxy                            ...
Usto.re• Desafios do projeto  – Gargalos na transferência de arquivos  – Imprevisibilidade de desempenho  – Armazenamento ...
Estado da Arte• Network File System  – Funciona de modo stateless (Sandberg et. Al,    1985)• Andrew File System  – Unidad...
Estado da Arte• Lustre  – Metadados armazenados em servidores de    metadados (MDSs) e os dados são armazenados em    obje...
Estado da Arte• MSFSS  – Eficiente para Arquivos pequenos  – Guarda arquivos inteiros• HDFS e GFS  – Grandes aplicações di...
Proposta• Especificar os metadados (atributos)  – Nome, tamanho, estrutura...• Gerenciar• Indexação                       ...
Proposta• Atender aos requisitos:  – Consistência  – Sincronização de arquivos e diretórios  – Compartilhamento  – Seguran...
Cronograma1. Estudo de sistemas de arquivos distribuídos e   sistemas de armazenamento  – NFS, AFS, HDFS, GFS, Lustre, MSF...
Cronograma5. Definição e execução de um estudo   experimental.6. Melhoria na solução proposta de acordo com   os resultado...
Cronograma             Status Report © 2012 - Marco André Machado   23
Referências•   BZOCH, P., AND SAFARIK, J. State of the Art in Distributed File Systems: Increasing    Performance. 2011 Se...
Referências•   Levy , E. e Silberschatz, A., "Distributed File Systems: Concepts and Examples",    ACM Computing Surveys, ...
Upcoming SlideShare
Loading in …5
×

[Status report] uma estratégia para representação e gerenciamento de metadados em sistemas de armazenamento nas nuvens

1,271 views
1,085 views

Published on

Slides do status report apresentado em 24/03/12 do projeto "Uma Estratégia para Representação e Gerenciamento de Metadados em Sistemas de Armazenamento nas Nuvens"

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,271
On SlideShare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

[Status report] uma estratégia para representação e gerenciamento de metadados em sistemas de armazenamento nas nuvens

  1. 1. Uma Estratégia para Representaçãoe Gerenciamento de Metadados emSistemas de Armazenamento nasNuvensCentro de InformáticaUniversidade Federal de PernambucoMarco André Santos Machadomasm@cin.ufpe.br © 2012 – Marco André Machado
  2. 2. Agenda• Computação nas Nuvens• Armazenamento nas Nuvens• Metadados• Projeto Usto.re• Estado da Arte• Proposta• Cronograma Status Report © 2012 - Marco André Machado 2
  3. 3. Universo Digital Status Report © 2012 - Marco André Machado 3
  4. 4. Universo Digital• Problemas – Processar – Armazenar – Gerenciar – Segurança – Disponibilidade Status Report © 2012 - Marco André Machado 4
  5. 5. Computação nas Nuvens• Definição (Vaquero, 2009) “Um grande conjunto de recursos virtualizados (como hardware, plataformas de desenvolvimento e/ou serviços) facilmente usáveis e acessíveis” Status Report © 2012 - Marco André Machado 5
  6. 6. Arquitetura Status Report © 2012 - Marco André Machado 6
  7. 7. Armazenamento nas Nuvens• Armazenamento em discos remotos• Acesso a partir de qualquer lugar• Benefícios: – Facilidade de gerenciamento – Custo X Benefício – Interrupções e manutenções – Catástrofes – Planejamento simplificado Status Report © 2012 - Marco André Machado 7
  8. 8. Armazenamento nas Nuvens• Desafios – Segurança – Integridade de dados – Replicação de dados – Custos – Confiabilidade – Desempenho Status Report © 2012 - Marco André Machado 8
  9. 9. Armazenamento nas Nuvens• Arquitetura Genérica (Jones, 2012) – Alta escalabilidade – Multi-tenant Status Report © 2012 - Marco André Machado 9
  10. 10. Armazenamento nas Nuvens• Sistemas de Arquivos Distribuídos – Compartilhar arquivos e recursos de armazenamento (Levy e Silberschatz, 1990) – Replicação – Disponibilidade – Escalabilidade – Segurança – Metadados (Bzoch e Safarik, 2011) Status Report © 2012 - Marco André Machado 10
  11. 11. Metadados• Informações estruturadas sobre dados (Duval, 2002)• Atributos – Nome, tamanho, último acesso/modificação, estrutura• Gerenciamento – Mais de 50% dos acessos ao sistema de arquivos (Roselli e Lorch, 2000) Status Report © 2012 - Marco André Machado 11
  12. 12. Usto.re• Evolução de um algoritmo estatístico (Duarte, 2010) – Escolher peers com “perfil compatível” -> federações – Disponibilidade• Objetivo: Prover armazenamento na nuvem de forma barata Status Report © 2012 - Marco André Machado 12
  13. 13. Arquitetura do Usto.re• P2P híbrida (Schollmeier, 2001)• JXTA (Gong, 2001) – Descobrimento de serviços – Mensagens – Organização de grupos Status Report © 2012 - Marco André Machado 13
  14. 14. Arquitetura do Usto.re• 3 tipos de peers: – Super peer – Peer local – Peer servidor e proxy Status Report © 2012 - Marco André Machado 14
  15. 15. Usto.re• Desafios do projeto – Gargalos na transferência de arquivos – Imprevisibilidade de desempenho – Armazenamento escalável – Escalar para diferentes cargas – Gerenciamento de metadados Status Report © 2012 - Marco André Machado 15
  16. 16. Estado da Arte• Network File System – Funciona de modo stateless (Sandberg et. Al, 1985)• Andrew File System – Unidade básica de tráfego é o arquivo completo Status Report © 2012 - Marco André Machado 16
  17. 17. Estado da Arte• Lustre – Metadados armazenados em servidores de metadados (MDSs) e os dados são armazenados em objetos (OSDs)• ZFS – Utilizado no Solaris e OpenSolaris – Gerenciador de volumes lógicos Gerenciamento de metadados ineficiente e esquema hierárquico baseado em Hash (Yu et. Al, 2007) Status Report © 2012 - Marco André Machado 17
  18. 18. Estado da Arte• MSFSS – Eficiente para Arquivos pequenos – Guarda arquivos inteiros• HDFS e GFS – Grandes aplicações distribuídas – Alto grau de tolerância a falhas – Chunks de 64 Mb Status Report © 2012 - Marco André Machado 18
  19. 19. Proposta• Especificar os metadados (atributos) – Nome, tamanho, estrutura...• Gerenciar• Indexação Status Report © 2012 - Marco André Machado 19
  20. 20. Proposta• Atender aos requisitos: – Consistência – Sincronização de arquivos e diretórios – Compartilhamento – Segurança – Descoberta de arquivos Status Report © 2012 - Marco André Machado 20
  21. 21. Cronograma1. Estudo de sistemas de arquivos distribuídos e sistemas de armazenamento – NFS, AFS, HDFS, GFS, Lustre, MSFSS, Ceph2. Atributos e Técnicas de Gerenciamento para Metadados3. Especificar e gerenciar os metadados para o Usto.re4. Implementação no Usto.re da solução proposta Status Report © 2012 - Marco André Machado 21
  22. 22. Cronograma5. Definição e execução de um estudo experimental.6. Melhoria na solução proposta de acordo com os resultados do experimento.7. Escrita e elaboração da dissertação.8. Escrita de artigos com os resultados obtidos.9. Defesa da Dissertação. Status Report © 2012 - Marco André Machado 22
  23. 23. Cronograma Status Report © 2012 - Marco André Machado 23
  24. 24. Referências• BZOCH, P., AND SAFARIK, J. State of the Art in Distributed File Systems: Increasing Performance. 2011 Second Eastern European Regional Conference on the Engineering of Computer Based Systems (Sept. 2011), 153–154.• Duval, E., Hodgins, W., Sutton, S., and Weibel, S. 2002. Metadata Principles and Practicalities. D-Lib Magazine http://www.dlib.org/dlib/april02/weibel/04weibel. html.• DUARTE, M. Um algoritmo de disponibilidade em sistemas de backup distribuído seguro usando a plataforma peer-to-peer. Master’s thesis, Centro de Informática/ UFPE, 2010.• GANTZ, J., AND REINSEL, D. Extracting Value from Chaos State of the Universe : An Executive Summary. 1–12.• GONG, L., AND OTHERS. Project JXTA: A technology overview. Tech.rep., Technical report, SUN Microsystems, April 2001. http://www.jxta.org/project/www/docs/TechOverview. pdf, 2001• JONES, T. Anatomy of a cloud storage infrastructure. Tech. rep., IBM, 2010. "Disponível em http://www.ibm.com/developerworks/cloud/library/cl- cloudstorage/. Acessado em: Fevereivo/2012". Status Report © 2012 - Marco André Machado 24
  25. 25. Referências• Levy , E. e Silberschatz, A., "Distributed File Systems: Concepts and Examples", ACM Computing Surveys, Vol. 22, No. 4, December 1990• ROSELLI, D., AND LORCH, J. A comparison of file system workloads. Proceedings of the annual (2000).• SCHOLLMEIER, R. A definition of peer-to-peer networking for the classification of peer-to-peer architectures and applications. In Peer-to-Peer Computing, 2001. Proceedings. First International Conference on (2001), IEEE, pp. 101–102.• VAQUERO, L. M., RODERO-MERINO, L., CACERES, J., AND LINDNER, M. A Break in the Clouds : Towards a Cloud Definition. Computer Communication Review 39, 1 (2009), 50–55.• YU, L., CHEN, G., AND WANG, W. MSFSS: A Storage System for Mass Small Files. International Conference on Computer Supported Cooperative Work in Design (2007), 1087–1092.• ZENG, W., ZHAO, Y., AND OU, K. Research on cloud storage architecture and key technologies. Technology, Culture and Human (2009), 4–8. Status Report © 2012 - Marco André Machado 25

×