Big Data e Análise de Dados Massivos
Upcoming SlideShare
Loading in...5
×

Like this? Share it with your network

Share

Big Data e Análise de Dados Massivos

  • 2,620 views
Uploaded on

Artigo Científico apresentado à Faculdade de Tecnologia da Zona Sul – Fatec-ZS como exigência parcial para a obtenção do título de Tecnólogo em Informática para Gestão de Negócios. ...

Artigo Científico apresentado à Faculdade de Tecnologia da Zona Sul – Fatec-ZS como exigência parcial para a obtenção do título de Tecnólogo em Informática para Gestão de Negócios.

Orientador: Prof. Alex Macedo de Araujo.

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
  • A apresentação está disponível para download. O TCC vc pode requisitar por email, descrevendo sua pesquisa - pré-projeto, para francisco.fatec09@gmail.com , Abs
    Are you sure you want to
    Your message goes here
  • Boa noite, gostaria de saber se você poderia me passar seu tcc, estou fazendo minha monografia de pós-graduação, e gostaria de usar o seu como referencial teórico da minha pesquisa, tudo bem pra você, aguardo resposta
    Are you sure you want to
    Your message goes here
    Be the first to like this
No Downloads

Views

Total Views
2,620
On Slideshare
2,620
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
57
Comments
2
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Artigo Científico apresentado à Faculdade de Tecnologia da Zona Sul – Fatec- ZS como exigência parcial para a obtenção do título de Tecnólogo em Informática para Gestão de Negócios. Orientador: Prof. Alex Macedo de Araujo.
  • 2. “Big Data são dados que excedem a capacidade deprocessamento dos sistemas de banco de dadosconvencionais.”
  • 3.  Um problema de memória em escala global. Formação de um fenômeno Internet das coisas A web dos dados Cientistas medindo o infinito
  • 4.  Formação de um fenômeno Atualmente somam-se a esses dados estruturados informações disponíveis nos meios digitais. A internet, a melhor fonte de dados, é quase incompreensivelmente grande. Os usuários criam o conteúdo como postagens de blog, tweets, interações em redes sociais, fotos e vídeos. Servidores registram continuamente logs sobre suas ações online. registro de eventos relevantes num sistema computacional
  • 5.  Internet das coisasO termo foi cunhado em 1999 por Kevin Ashtonpara descrever um futuro onde quase tudopoderia se tornar rastreável através de umaetiqueta de RFID aplicada. Hoje, quando se falasobre a "internet das coisas", se descreve aproliferação de dispositivos conectados àinternet e sensores interligados a queatualmente conhecemos como internet.
  • 6.  A web dos dadosA Web 3.0, anunciada como a terceira onda daInternet, projeta estruturar todo o conteúdodisponível na rede mundial de computadoresdentro dos conceitos de “compreensão dasmáquinas” e "semântica das redes”.
  • 7.  Cientistas medindo o infinitoA metodologia científica exige a exaustivarepetição de testes e medições paracomprovação das teorias e evolução naspesquisas. A computação acompanha aciência intrinsecamente para executar oprocessamento de tarefas repetitivas.Descodificar o genoma humanooriginalmente levou 10 anos para oprocesso, agora pode ser conseguido emuma semana.
  • 8.  Justificativa  Compreender o fenômeno e sua conseqüência no setor de TI Metodologia  Investigação indutiva sobre o tema  Dados acadêmicos dirigidos a questões técnicas  Fontes de pesquisa no mercado de TI Objetivo  Tecer parâmetros para estratégia futuras na camada de negócios
  • 9.  Atualmente......são criadas mais informações em dois dias do que a civilização geroudesde seu início até o ano de 2003 (Schmidt, 2010). O ano de 2012 estásendo marcado pela explosão do mercado de análise de Big Data.Empresas como a Gartner e IBM já observavam em 2011 que o Big Dataera uma tecnologia emergente.
  • 10.  Um problema de memória em escala global.Big Data é uma denominação nova para um problema antigo, que adquiriuproporções maiores e que exige redobrada atenção. A possibilidade decolapso dos sistemas de tecnologia de informação exigiu um saltotecnológico na maneira de manipular dados que exercem grandeinfluência sobre os diversos aspectos da vida humana: ciência, política,economia, sociedade e comportamento e qualquer área que necessite seralimentada com dados para processamento.
  • 11. Big Data é um termo aplicado a conjuntos de dados cujo tamanho é alémda capacidade de ferramentas de software usadas para capturar, gerenciare processar os dados dentro de um tempo tolerável decorrido. Estãoconfigurados em grandes formatos de dados e em constante movimentoatualmente e variando de algumas dezenas de terabytes a petabytes demuitos dados em um único conjunto de dados.Nos próximos dez anos, só os dados digitais deverão crescer 44 vezes. Em2020, haverá 4 bilhões de pessoas on-line criando 50 trilhões de gigabytesde dados. " (HP Intelligent Research - ed. May 15 - 2012)
  • 12. CaracterísticasAté aonde (em tamanho dados): O quê está sendo analisado:Os limites atuais são da Os cientistas frequentemente vemordem de: deparam-se com este cenário em:• Petabytes• Exabytes • Meteorologia• Zettabytes • Genômica • Conectônomia • Simulações de físicas complexas • Pesquisas biológicas e ambientais • Pesquisas na Internet, finanças • Informática empresarial.
  • 13.  Tipo de dados e como lhe dar com elesUma das chaves para extrair dados não estruturados como áudio, vídeo,imagens, eventos, tweets, wikis, fóruns e blogs, e transformá-los eminformações valiosas é criar um modelo de dados semântico a partir de umacamada que fica em cima do armazenamento de dados.“Temos de reunir os dados a partir de diferentes fontes e dar sentido a eles. O modopelo qual fizemos isso e a forma que a indústria tem feito, é realizar extrações dosdados a partir de lugares diferentes e construir um repositório, depois, produzirrelatórios fora desse repositório. É um processo que consome tempo e não é umaquestão extremamente flexível.”
  • 14. TecnologiasAs tecnologias que estão sendo aplicados aos dados incluem:• Processamento Paralelo Massivo (Massively Parallel Processing, MPP);• Redes de prospecção de dados;• Sistemas de arquivos distribuídos;• Bancos de dados distribuídos;• Plataformas de computação em nuvem;• Internet;• Sistemas de armazenamento escaláveis.
  • 15.  Os cinco “Vs”
  • 16.  Os cinco “Vs”
  • 17.  Os cinco “Vs”Em termos técnicos poderíamos definir o Big Data por cinco termos quedenominamos por “3 Vs” ( Velocidade, volume e variedade). Porém, emalgumas teses veem se acrescentando mais dois “Vs” (Veracidade e valor).
  • 18.  Onde e como aplicarAtualidade - A massificação do Big Data, no entanto, ainda enfrentaobstáculos. O maior deles, como não poderia deixar de ser quando oassunto é dados, é a preocupação quanto à privacidade. Se arecomendação de links patrocinados pelo Google já parece invasiva àmaioria das pessoas, o mundo e a legislação atuais não estão preparadospara as possibilidades que o Big Data oferece de agregar e tirar conclusõesde dados até então esparsos.Fazer um balanço dos dados - Quase todas as organizações têm apossibilidade de acesso a um fluxo equilibrado de dados não estruturados,sejam eles dirigidos às redes sociais ou gerados a partir de sensores quemonitoram os andares de uma fábrica, por exemplo. Mas produzir umaenxurrada de informação não significa que é imperativo salvar e manusearcada byte gerado.
  • 19.  Primeiros negóciosMuitas das oportunidades de Big Data começaram em áreas fora da TI: osdepartamentos de marketing são exemplo. Eles têm buscado no fenômenouma forma de obter mais conhecimento sobre as necessidades dos clientese identificar tendências de compras por meio das redes sociais.1. Reavaliar as estruturas - Big Data exige grandes mudanças nainfraestrutura de servidores e armazenamento na maioria das empresas.2. Estruturar os dados – O mundo do Big Data vem com uma longa listade novas siglas e tecnologias que provavelmente nunca estiveram antes namira dos CIOs.3. Prepare sua equipe - A maioria das empresas de TI conta com apenas otalento necessário para dar os passos seguinte com Big Data. Por isso, ascapacidades analíticas são as mais cruciais e as que mais faltam às equipesde TI.
  • 20.  Analisando o Big Data AnalyticsBig Data Analytics é uma prática que cresce rápida e influentemente. Paradescobrir quantas organizações e usuários realmente o fazem, foiformulada uma pesquisa que perguntou aos entrevistados:"A sua organização executa análise avançada de dados contra grandesvolumes hoje?”
  • 21. 1. CDO - Chief Data Officer é o diretor corporativo responsável por todo oprocessamento e mineração de dados de uma empresa.2. Cientista de dados - Um novo campo foi criado em 2001, quando otermo "ciência de dados" foi usado pela primeira vez em um artigo peloestatístico William Cleveland, Data Science: Um Plano de Acção para aExpansão das Áreas Técnicas do Campo de Estatística .
  • 22. 1. Montando o Quebra Cabeça - Desde a época do boca a boca e docomércio baseado na produção artesanal, o relacionamento interpessoalentre cliente e produtor passou por diversas fases evolutivas. Transitamosda indiferença e do foco exclusivo na produção e na capitalização àdescoberta de certo controle proporcionado pela informatização dossistemas, como os de atendimento aos clientes ou Call Center/URA, deRelacionamento com os clientes CRM, de Inteligência de negócios BI e,por fim, a unificação de todas essas bases de conhecimento em umsistema ou ERP.
  • 23. 2. “O Perde e Ganha” do Social Big Data - Empresas de variados portesse aproveitam atualmente do intenso movimento social e tecnológico paraampliar bases de seguidores e fãs, unindo listagens de milhares e atémilhões de clientes.Cada um desses clientes mantém grande quantidade de dados pessoais, derelacionamento, de atividades e de hábitos de consumo disponíveis deforma pública. Porém, esses dados estão extremamente desestruturados edispostos em muitas redes sociais diferentes.As empresas que conquistaram essas bases, hoje as utilizam apenas paramanter um relacionamento através de conteúdos nos canais sociais, sembeneficiarem-se dessa riqueza de informações.
  • 24. Como consideramos os dados, ao invés de lógica de negócios, comoentidade primária em um programa, é preciso criar ou redescobrir o idiomaque nos permite concentrar os dados, ao invés de abstrações. Em outraspalavras:Escrever programas mais curtos que tornam claro o que estamosfazendo com os dados.Essas abstrações por sua vez se prestam para a criação de melhoresferramentas para não-programadores.Melhor suporte a interatividade. Se o Hadoop tem alguma fraqueza, é anatureza orientada por lotes de computação. A natureza ágil da ciência dedados irá favorecer qualquer ferramenta que permita mais interatividade.
  • 25. Questões?
  • 26. Obrigado pela atenção.