O FUTURO ESTA NOS DADOSAlexandra Alcântara da Silva*Fernando Santos**RESUMONeste artigo será abordado um assunto que está ...
2dados digitais em volume, variedade e velocidade. Essa é a nova sensação do momento‘Grandes Dados’ que quando são coletad...
3tipo de ferramenta para resolver esse problema. Outro estudo foi feito recentemente pelaOracle informavam que a falta de ...
4FONTE: VISUAL. LY – 2012.O Business Intelligence já era bem chamativo para o setor de analise de dados enegócios quando o...
5Muitas novas ferramentas foram criadas para à utilização desses métodos deanálise de grandes dados, no Vale do Silício um...
6Figura 02: Face do sistema Continuuity – EUA – 2012.FONTE: CONTINUUITY – 2012.Mas é a IBM que está investindo pesado, já ...
7entendimento. No caso do BigSheets essas respostas são bem mais rápidas e eficientesbuscando através do twitter ou facebo...
8meio empresarial está aceitando a ideia e qual as vantagens que essa nova metodologiaestá trazendo para os negócios, torn...
9FIGUEIREDO, ANDERSON. Big Data: volume de dados no mundo crescerá 60% em2012. Disponível em: http://cio.uol.com.br/tecnol...
9FIGUEIREDO, ANDERSON. Big Data: volume de dados no mundo crescerá 60% em2012. Disponível em: http://cio.uol.com.br/tecnol...
Upcoming SlideShare
Loading in …5
×

Artigo big data_final

409 views

Published on

TCC que fiz na conclusão do curso de SI.

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
409
On SlideShare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
6
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Artigo big data_final

  1. 1. O FUTURO ESTA NOS DADOSAlexandra Alcântara da Silva*Fernando Santos**RESUMONeste artigo será abordado um assunto que está sendo comentada pelo mundo Businesse pela internet, ‘grande volume de dados’, sua importância, dificuldades e como poderáser solucionado. Hoje a informação é muito mais importante que algo material, dadoscusta caro e representam para as empresas um excelente acervo estratégico para diversasáreas de negócios. Em 2013 está previsto que os dados devem dobrar e em 2015 essesdados irão triplicar ficando assim difícil de gerencia-los. Nesse trabalho iremosapresentar uma solução para isso, uma tecnologia de monitoramento chamada Big Datae a utilização das ferramentas como Hadoop, MapReduce e InfoSphere para extraçãodessas informações. Primeira etapa desse processo é coletar os dados através de ummeio de rede social como é o caso do Twitter, podendo assim fazer essa coleta deinformações, buscando por palavras chaves que formarão uma rede de características edados para se conseguir uma resposta final. O Hadoop junto com o InfoSphere da IBMfaz com que esses dados sejam coletados e dê um retorno para melhores investimentos.O controle desses dados será de suma importância para lucros futuros.Palavras-chave: Analise de dados; Grande volume de dados; Big Data; Mapeamento dedados.1. INTRODUÇÂOTratar de grandes volumes de dados e gerenciamento do mesmo sempre foi umdesafio para o mundo dos negócios, porém hoje a tecnologia tem tido grandes avançosem relação a esses problemas. Na bolsa de valores, dados, que podem chegar a mais deum Tera por ano, faz com que o gerenciamento fique difícil de ser extraído eorganizado, ou em outros casos como saber qual a melhor cotação e o histórico deempresas que estão com ações em alta. Como coletar dados tão imensos para poder terum retorno de negocio mais seguro? E o que as empresas que trabalham com a bolsa ououtros negócios estão fazendo?Apresentamos o Big Data que é visto como uma arma contra os problemassocioeconômicos. Na teoria é um conjunto de soluções tecnológicas, capaz de lidar com*Graduada em Sistema de Informação na Faculdade Joaquim Nabuco, Analista de Sistema da Apevisaemail: alexandrasilva27@gmail.com**Graduado em Sistema de Informação na Faculdade Joaquim Nabuco, Analista de Suporte, email:fernandosantosinf@gmail.com
  2. 2. 2dados digitais em volume, variedade e velocidade. Essa é a nova sensação do momento‘Grandes Dados’ que quando são coletados dão um retorno inteligente com maiorrapidez. Bem como a computação em nuvem hoje tem tido uma evolução e as empresasestão investindo pesado nela e o conceito de Big Data trabalhado em cima de CloudComputer, portanto tornando maior a busca por essa técnica. Difundindo fortemente nasorganizações, que podem ter acesso e controle dos seus dados em qualquer lugar domundo, a computação em nuvem junto com a técnica de mapeamento colabora para umcrescimento devastador da utilização desse novo meio de ‘Business Intelligence’.O objetivo desse artigo é mostrar técnicas e ferramentas para extração dessesgrandes dados, dando como exemplo a bolsa de valores, que possui um grande volumede informações relacionado a cotações e modificações das mesmas, extraindo-as deforma inteligente e rápida, com isso armazenando, gerenciando e processando essagrande massa de dados.O artigo está organizado da seguinte forma, inicialmente será abordado osgrandes volumes de dados e o mercado no tópico 2 em seguida será tratado o futurodessa técnica no 2.1 Big Data e o Futuro, no 2.2 Companies e os Dados trata o que omundo empresarial anda fazendo com a utilização do Big Data, no 2.3 Mapeando ecruzando resultados e por fim o 3.0 as Considerações finais.2. GRANDES VOLUMES DE DADOS E O MERCADOJá pensou uma situação onde dados de uma loja virtual que vende tanto para oBrasil como para o exterior, rodando numa plataforma que não suporte nem metade dasinformações contida em seu banco de dados, e ainda seu retorno e extração deveria serem tempo real?Há alguns anos atrás o mercado sofria com essas situações apesar de que seuvolume de dados não era tão imenso como é hoje, pesquisas feitas relatam que a cadadois anos o volume de dados dobra. Uma dessas pesquisas foi feita por AndersonFigueiredo analista da IDC Brasil, prevendo que esse ano será gerados 2,7 zettabytes deinformações, esse numero subirá para oito zettabytes em 2015. Com tantas informaçõespara serem gerenciadas as empresas terão que buscar um modo de lhe dar com essamontanha de informações e coletar apenas os dados de valor para os negócios,infelizmente esse pesquisa ainda afirma que 51% das empresas não adotaram nenhum
  3. 3. 3tipo de ferramenta para resolver esse problema. Outro estudo foi feito recentemente pelaOracle informavam que a falta de controle de dados faz as empresas perderem emmédia 14% de seu faturamento.Um bom exemplo mesmo é a bolsa de valores que antigamente, mesmopossuindo grandes dados, fazia suas transações de negócios na própria bolsa, em cadacidade de todos os pais, o famoso pregão viva-voz. Hoje essas transações são cada vezmais realizadas em tempo real. O mercado está cada dia mais consciente queinformação é tudo para os negócios, investir em dados está dando a muitas empresasgrandes retorno financeiro e a visão de como interagir com esses dados tirando proveitodos mesmos. Hoje as corretoras se organizam e possuem ferramentas que tem o objetivode gerenciar e retornar dados que darão um norte aqueles que pretendem investir.‘Gerenciar grandes volumes de dados com eficiência e inteligência pode serpossível com novas tecnologias de mineração. - Big Data é um grande negocio?’.Titulo de um artigo tirado da ComputerWorld EUA feito por Stacy Collet (em 02 deSetembro de 2011,s/d) que retrata se o Big Data é viável ou não.Abaixo a Figura 01 tirada do site visual.ly mostra como o Big Data pode mapeargrande informações e apresenta-los de forma simples ao mundo.Figura 01: Gráficos e imagens do site visual.ly mostra como Big Data pode dar retorno através dedados sobre o nicho de mercado. – EUA – 2012.
  4. 4. 4FONTE: VISUAL. LY – 2012.O Business Intelligence já era bem chamativo para o setor de analise de dados enegócios quando o Big Data apareceu se mostrando bem mais atrativo e rápido para asrespostas, que necessitavam de maior precisão em seu retorno. Hoje no século 21“Inteligência de Negócio” é o carro chefe tanto para o mundo Business como para omundo de TI. Na feira CeBit na Alemanha desse ano o Big Data foi mostrado como omais novo meio de pesquisa de negócios, como no filme Moneyball com Brad Pitt ondeele usa ferramentas e o conceito do Big Data para coletar dados com o objetivo deformar o melhor time de beisebol, assim popularizando a ideia. Sobre a aplicação paraextração de dados na bolsa de valores, não foi utilizado até o momento, porém em breveserá um chamativo.2.1 Big Data e o FuturoRecentemente foi anunciado que o Big Data seria utilizado na copa do mundode 2014, essa noticia mostra como o método de extração e analise de dados, esta cadavez mais tomando espaço no mercado, Marcelo Leite, diretor de produtos da BT para aAmérica Latina explica em seu artigo postado no Portal da BT a metodologia que podeprever os negócios. Também usado nos jogos olímpicos o método está crescendo cadavez mais, a empresa SAS no Brasil está focando a ideia como uma nova corrida doouro.Mas o Big Data não só serve para os negócios, o meio ambiente mesmo estátendo seus privilégios também, empresas como a OPower que tem a proposta de sercapaz de economizar um terawatt hora de energia, que é o equivalente à energiaconsumida por 100.000 lares americanos por ano até o final de 2012.O Big Data está crescendo tanto que a EMC promove escola de verão em BigData no Rio de Janeiro e a SAP seleciona estudantes para programa de estágio no Sul doPaís. Hoje a busca por cientista de dados esta imensa, salários altíssimos para essesprofissionais.Em reportagem do jornal O Globo, o executivo de operações da EMC, PatGelsinger, afirmou que o mercado global de Big Data já movimenta US$ 70bilhões por ano, e a tendência é que tenha um crescimento de quase 40% até2015. (DARROW, 2012, s/p)
  5. 5. 5Muitas novas ferramentas foram criadas para à utilização desses métodos deanálise de grandes dados, no Vale do Silício uma empresa chamada de Cloudera lançouum projeto de código aberto chamado Broca, que procura imitar a eficaz ferramenta deanálise de dados construído pelo Google que usa a metodologia do Big Data.2.2 Companies e os DadosComo foi dito anteriormente o acúmulo de dados tem sido imenso de uns tempospara cá e em 2012 esse volume absurdamente cresceu. Com estudos e pesquisa de queisso seria um problema empresas como Yahoo, Amazon, Intel, IBM e outros sededicaram a essa solução, tanto para aumento financeiro como inovação de mercado.A Amazon que oferece um conjunto de serviços baseados em Cloud Computingcomo o seu Amazon Web Services (AWS) e Amazon Elastic MapReduce, torna maisfácil e econômico aos clientes extrair e processar informações de grandes volumes dedados, volume esse que é através do AWS, tem a análise de mapeamento de genoma,análise de dados de serviços financeiros e análise de logs da web entre outros. Abaixomatéria tirada da ComputerWorld Blakeley arquiteto da Mazda mostra os investimentosdessa técnica.A Mazda Motor Corp, que possui 900 revendedores e 800 funcionários nosEUA, gerencia cerca de 90 terabytes de dados. O arquiteto de infraestruturadas operações da Mazda na América do Norte, Barry Blakeley, diz que asunidades de negócios e os revendedores estão gerando quantidades cada vezmaiores de arquivos de dados analíticos, materiais de marketing, bases dedados para inteligência de negócios, dados do Microsoft SharePoint e muitomais. "Temos tudo virtualizados, incluindo o armazenamento", afirmaBlakeley. (BRANDON,2011, s/p)Derrick Harrys escreveu no site Gigaom.com que recentemente o Yahoo e oFacebook investiram na analise de grande dados e adotaram um serviço em uma novaplataforma chamada Continuuity, sendo em nuvem é um ambiente de desenvolvimentoem tempo de execução que fica em cima da infraestrutura do Hadoop e abstrai acomplexidade de escrever apps. Abaixo a Figura 02 mostra a interface dessa ferramentaque tem como objetivo extrair grandes informações geradas por essas redes sociais.
  6. 6. 6Figura 02: Face do sistema Continuuity – EUA – 2012.FONTE: CONTINUUITY – 2012.Mas é a IBM que está investindo pesado, já tem a Web Site Educacional BigData University com direito a vídeo aulas, material, downloads das ferramentas ecertificações, mostrando como o Big Data Funciona e as ferramentas utilizadas. Abuscar por grandes dados de forma organizada estão aumentando cada vez mais entre asempresas, como é o caso da Terada, HP, Walmart, Google e muitos outros gigantes queestão aproveitando essa febre.2.3 Mapeando e cruzando resultadosTanto o BigSheets, Hadoop e o MapReduce são excelentes ferramentasutilizadas para o levantamento de grandes dados , usaremos o Hadoop na plataformaCloudera um sistema operacional Linux para os estudos do mapeamento. As cotaçõesda bolsa são gigantescas, precisando muitas vezes ser simples de ser analisada, o BigData já foi recomendando para ser utilizado na área de cotações da bolsa, mas por faltade profissionais na área encontrasse só em especulações.Ao iniciarmos o Cloudera vamos para o Hadoop e fazemos uma buscaorganizada por esses valores colocando palavras chaves como ‘compra’ e ‘alta’,retornando com isso algumas informações que ainda pode ser peneirada para um melhor
  7. 7. 7entendimento. No caso do BigSheets essas respostas são bem mais rápidas e eficientesbuscando através do twitter ou facebook dados estatísticos para ser aplicado no negocio.Um dos módulos interessantes das ferramentas do Big data é o bubble chart‘gráfico de bolhas’ ele mostra de uma forma bem macro todas as informações desejadase uma visão de como será aplicadas, pode passar o mouse sobre cada bolha para ver oque os projetos têm e quanto eles valem. Abaixo um exemplo do bubble chart é aFigura 03, que mostra resultados obtidos através do BigSheets sobre educação e osprofessores nos EUA.Figura 03: bubble chart sobre educação e professores nos EUA – 2009.FONTE: OUSEFUL.INFO – 2009.Depois de ter utilizado algumas ferramentas e as técnicas de mapeamentocitadas, pode-se observar que houve uma grande busca pela empresa de logística LLXem novembro de 2012, que teve um ótimo desempenho e aumento de acionista, outrasempresas do setor de energia teve várias buscas também, retornando assim informaçõesde forma prática e rápida. Através desses comentários tanto dos que trabalham na áreacomo os que são investidores assíduos, pode-se com isso ter retornado aos leigos ouaqueles que desejam essas informações, uma orientação em quem ou o que investir.3 CONSIDERAÇÕES FINAISOs conceitos vistos para a elaboração desse trabalho foram técnica demapeamento de análises, as ferramentas open source usadas nesse processo, como o
  8. 8. 8meio empresarial está aceitando a ideia e qual as vantagens que essa nova metodologiaestá trazendo para os negócios, tornando assim mais fácil a buscar por informações.Os resultados encontrados através da busca feita pelas ferramentas que rodam oHadoop em sua plataforma trouxeram em formas de gráficos e números dados que antesnão tinham um retorno tão direto e tão rápido, utilizado anteriormente pelas ferramentasBusiness Intelligence.Mesmo essa técnica sendo nova existe muitas empresas que estão começando abuscar informações sobre o Big Data e o valor que os dados têm para os negócios,fazendo com que seja fácil disseminar essa ideia tanto no Brasil como em outros países.A Bolsa de Valores ainda é uma área de negócios que está madura em relação à‘Grandes Dados’, porém futuramente terá um ótimo rendimento quando começar autilizar essa técnica para buscar informações em relação a cotações do dia, fazendo umaavaliação de simples palavras, cruzando assim dados e disponibilizando informaçõessobre qual empresa será mais viável para investir e uma previsão sobre o futuro dealguns investimentos.O Big Data se for usado de maneira correta, permite também aos analistasidentificar tendências e dá ideias de nicho que ajudam a criar valor e inovações muitomais rápido do que os métodos convencionais.REFERÊNCIAS BIBLIOGRÁFICASAutor não informado. Big Data na Copa do Mundo de 2014.Disponível em:http://letstalk.globalservices.bt.com/pt/2012/09/big-data-na-copa-do-mundo-de-2014Acesso em: 03 Setembro 2012.BRANDON, JOHN, Confira técnicas para vencer o desafio de gerenciar Big Data,Disponível em: computerworld.uol.com.br/tecnologia/2011/10/13/confira-tecnicas-para-vencer-o-desafio-de-gerenciar-big-data, Acesso em: 14 de Outubro de 2011.COLLET, STACY. Big Data: é um grande negócio? Disponível em:http://computerworld.uol.com.br/tecnologia/2011/09/02/big-data-e-um-g. Acessoem: 02 de Setembro de 2011.CONTINUUITY, Figura 02, Face do sistema Continuuity, Fonte:www.continuuity.com/technology.DARROW, BARB, Amazon Launches home-grown NoSQL database, Disponível em:http://gigaom.com/cloud/amazon-launches-home-grown-nosql-database, Acesso em: 18de Janeiro de 2012.
  9. 9. 9FIGUEIREDO, ANDERSON. Big Data: volume de dados no mundo crescerá 60% em2012. Disponível em: http://cio.uol.com.br/tecnologia/2012/05/27/big-data-volume-de-dados-no-mundo-crescera-60-em-2012. Acesso em: 27 de Maio de 2012.HARRYS, DERRICK. Ex-Yahoo e Facebook big data vets do Hadoop for developer,Disponível em: http://gigaom.com/data/ex-yahoo-facebook-big-data-vets-launch-paas-for-hadoop, Acesso em: 23 de Outubro de 2012.OUSEFUL, Figura 03, Burble Chat, Fonte: http://blog.ouseful.info/2009/02/27/simple-embeddable-twitter-map-mashup.VISUAL. LY, Figura01, Gráfico Big Data, Fonte: http://visual.ly/big-data.
  10. 10. 9FIGUEIREDO, ANDERSON. Big Data: volume de dados no mundo crescerá 60% em2012. Disponível em: http://cio.uol.com.br/tecnologia/2012/05/27/big-data-volume-de-dados-no-mundo-crescera-60-em-2012. Acesso em: 27 de Maio de 2012.HARRYS, DERRICK. Ex-Yahoo e Facebook big data vets do Hadoop for developer,Disponível em: http://gigaom.com/data/ex-yahoo-facebook-big-data-vets-launch-paas-for-hadoop, Acesso em: 23 de Outubro de 2012.OUSEFUL, Figura 03, Burble Chat, Fonte: http://blog.ouseful.info/2009/02/27/simple-embeddable-twitter-map-mashup.VISUAL. LY, Figura01, Gráfico Big Data, Fonte: http://visual.ly/big-data.

×