Comjovem Experience 2023 - Análise de Dados

SETCESP - Sindicato das Empresas de Transportes de Carga de São Paulo e Região
SETCESP - Sindicato das Empresas de Transportes de Carga de São Paulo e RegiãoSETCESP - Sindicato das Empresas de Transportes de Carga de São Paulo e Região
Fernando Torquato
Análise de Dados e
Inteligência Artificial
Análise de Dados + Inteligência Artificial
= Ambiente de Ciência de Dados
Machine Learning
IoT
Business Analytics
BigData
Problem
Data Analysis
Data Science
Data Scientist
Fundamental para alguns segmentos:
• Bancos de Investimentos
• Análise de Crédito
• Seguros e Fraudes
• Medicina
“Resolver Problemas de Negócios”
Análise de Dados + Inteligência Artificial
= Ambiente de Ciência de Dados
Machine Learning
IoT
Business Analytics
BigData
Problem
Data Analysis
Data Science
Data Scientist
Ciência de Dados:
Ciência de Dados:
É a arte de estudar e entender um ambiente de variáveis
e comportamentos, utilizando dados, focando na descoberta
das relações causais, para resolver problemas de negócios,
gerando previsões para tomadas de decisões.
Ciência da
Computaçã
o
Matemática e
Estatística
Conheciment
o do Negócio
Ciência de Dados:
Curiosidade - Qual relação entre a venda de sorvetes com
mortes de pessoas por ataques de tubarão?
Machine Learning
IoT
Business Analytics
BigData
Problem
Data Analysis
Data Science
Data Scientist
Problema de Negócio:
Problema de Negócio:
• Represamento de informações
• Ajuste fino de processos
• ”Porquês” sem respostas
Machine Learning
IoT
Business Analytics
BigData
Problem
Data Analysis
Data Science
Data Scientist
Cientista de Dados:
Cientista de Dados:
É o responsável por projetar, implementar e validar modelos
preditivos e algoritmos para obter insights e prever resultados
futuros. Eles trabalham com dados estruturados e não
estruturados para criar modelos de aprendizado de máquina
e análise estatística.
• Analisa dados
• Descobre Insights
• Faz previsões
Cientista de Dados:
Curiosidade – Diferença entre Ciência e Engenharia
Descoberta
(Conhecimento Científico)
Invenção
(Novas Tecnologias)
Inovação
(Econômica e Comercial)
P&D (Pesquisa e Desenvolvimento)
Machine Learning
IoT
Business Analytics
BigData
Problem
Data Analysis
Data Science
Data Scientist
IoT (internet das coisas):
IoT (internet das coisas):
É um conceito que se refere a um sistema de dispositivos
físicos (coisas), equipados com sensores, software e
conectividade às redes ou internet, que permitem a coleta,
análise e troca de dados entre si e com outros sistemas, sem
a necessidade de intervenção humana. É a grande fonte de
“matéria-prima” (dados) para Data Science.
• Coleta de dados • Conectividade
IoT (internet das coisas):
Curiosidade – Cuidado com a segurança
Machine Learning
IoT
Business Analytics
BigData
Problem
Data Analysis
Data Science
Data Scientist
BigData:
BigData:
BigData refere-se a conjuntos de dados que são tão grandes
e complexos que se tornam difíceis de serem processados
por ferramentas tradicionais (Excel e similares) de
processamento de dados. É a “matéria-prima” para
Data Science.
BigData - Curiosidade:
Machine Learning
IoT
Business Analytics
BigData
Problem
Data Analysis
Data Science
Data Scientist
Análise de Dados:
Análise de Dados:
Análise de dados é o processo de examinar, interpretar e
extrair insights valiosos a partir de conjuntos de dados para
obter informações acionáveis e tomar decisões informadas.
• Coletar dados
• Processar informações
• Analisar as estatísticas
• Entender as causas
• Contar uma história
Machine Learning
IoT
Business Analytics
BigData
Problem
Data Analysis
Data Science
Data Scientist
Machine Learning:
Machine Learning:
Aprendizado de Máquina é a arte de ensinar uma máquina a
aprender a construir um modelo matemático que explica o
comportamento e a influência dos dados, e suas dezenas de
variáveis, em relação a um problema de negócio, para efetuar
previsões.
• Python
• R
Machine Learning:
Algoritmos:
• Regressão Linear
• Regressão Logística
• Árvores de Decisão
• Random Forest
• KNN
• Gradient Boosting
• Naive Bayes
• SVM
• K-Means
• Redes Neurais
Algoritmo + Dados
Históricos
Treinamento
Modelo +
Dados Novos
Previsões
Machine Learning:
Exemplo – Venda de Imóveis
Dados históricos:
• Casa – 1 dormitório – R$ 100.000
• Casa – 2 dormitórios – R$ 150.000
• Casa – 3 dormitórios – R$ 200.000
Machine Learning:
Exemplo – Venda de Imóveis
Dados históricos:
• Casa – 1 dormitório – R$ 100.000
• Casa – 2 dormitórios – R$ 150.000
• Casa – 3 dormitórios – R$ 200.000
Novos Dados:
• Casa – 4 dormitórios – R$ ???
Machine Learning:
Exemplo – Venda de Imóveis
Dados históricos:
• Casa – 1 dormitório – R$ 100.000
• Casa – 2 dormitórios – R$ 150.000
• Casa – 3 dormitórios – R$ 200.000
Novos Dados:
• Casa – 4 dormitórios – R$ 250.000
Machine Learning
IoT
Business Analytics
BigData
Problem
Data Analysis
Data Science
Data Scientist
Análise de Negócios:
Análise de Negócios:
É o fim de todo o processo. A ideia principal do ambiente de
ciência de dados é resolver problemas de negócios, prevendo
e resolvendo antes dos custos e perdas acontecerem.
• Previsão de Economia de Diesel
• Roteirização Mais Eficiente
• Prevenção de Manutenção de Veículos
• Prevenção de Rotatividade de Funcionários
• Retenção de Clientes (Prevenção de Churn)
Análise de Negócios:
Análise de Negócios:
R$ 58 milhões
Implantação:
Transformação DataDriven
Valor
O que deve ser feito?
Acontecerá de novo?
Por que aconteceu?
O que aconteceu?
Decisão
Dados Ação
Implantação:
• Cultura de dados disseminada. Top Down.
• Capacitação e treinamento em inteligência analítica.
• IoT, armazenamentos de dados e ferramentas de análise.
• Padronização de input de dados e cadastros.
• Políticas de governança e segurança dos dados.
• Monitoramento, Correção, Evolução e Celebração.
Dashboard Torre de Controle
Implantação:
Fernando Torquato - Cientista de Dados
fernando@t4data.com.br
11-91244-9909
www.t4data.com.br
linkedin.com/in/fstorquato
Bem-vindos a 5ª revolução industrial
1780 1870 1970 2010 2023
Logística 5.0
1 of 33

Recommended

Introdução - Big Data e Business Intelligence by
Introdução - Big Data e Business IntelligenceIntrodução - Big Data e Business Intelligence
Introdução - Big Data e Business IntelligenceLeandro Guerra
2.2K views38 slides
Big Data e Data Science - Tecnologia e Mercado by
Big Data e Data Science - Tecnologia e MercadoBig Data e Data Science - Tecnologia e Mercado
Big Data e Data Science - Tecnologia e MercadoHélio Silva
2K views31 slides
Ciência de Dados: a revolução na tomada de decisões by
Ciência de Dados: a revolução na tomada de decisõesCiência de Dados: a revolução na tomada de decisões
Ciência de Dados: a revolução na tomada de decisõesMarlesson Santana
520 views37 slides
Ciência de Dados: a revolução na tomada de decisões by
Ciência de Dados: a revolução na tomada de decisõesCiência de Dados: a revolução na tomada de decisões
Ciência de Dados: a revolução na tomada de decisõesMarlesson Santana
1.1K views34 slides
Data is the new oil by
Data is the new oilData is the new oil
Data is the new oilGustavo Santade
3.4K views44 slides
Big Data e Análise de Dados Massivos by
Big Data e Análise de Dados MassivosBig Data e Análise de Dados Massivos
Big Data e Análise de Dados MassivosFrancisco Oliveira
4.4K views30 slides

More Related Content

Similar to Comjovem Experience 2023 - Análise de Dados

Palestra garimpando com pentaho data mining latinoware by
Palestra garimpando com pentaho data mining latinowarePalestra garimpando com pentaho data mining latinoware
Palestra garimpando com pentaho data mining latinowareMarcos Vinicius Fidelis
544 views64 slides
Data Developer - Engenharia de Dados em um time de Data Science - Uai python2015 by
Data Developer - Engenharia de Dados em um time de Data Science - Uai python2015Data Developer - Engenharia de Dados em um time de Data Science - Uai python2015
Data Developer - Engenharia de Dados em um time de Data Science - Uai python2015Bruno Rocha
1.9K views54 slides
Big data em 1h: conceitos, aplicações e o que vem por aí by
Big data em 1h: conceitos, aplicações e o que vem por aíBig data em 1h: conceitos, aplicações e o que vem por aí
Big data em 1h: conceitos, aplicações e o que vem por aíAllexandre Sampaio
160 views40 slides
Big Data by
Big DataBig Data
Big DataVivaldo Jose Breternitz
1.2K views36 slides
2019: LCoN - Centro de Excelência em Inteligência Artificial by
2019: LCoN - Centro de Excelência em Inteligência Artificial2019: LCoN - Centro de Excelência em Inteligência Artificial
2019: LCoN - Centro de Excelência em Inteligência ArtificialLeandro de Castro
137 views24 slides
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações by
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações FaBIana Ravanêda Vercezes
121 views26 slides

Similar to Comjovem Experience 2023 - Análise de Dados(20)

Data Developer - Engenharia de Dados em um time de Data Science - Uai python2015 by Bruno Rocha
Data Developer - Engenharia de Dados em um time de Data Science - Uai python2015Data Developer - Engenharia de Dados em um time de Data Science - Uai python2015
Data Developer - Engenharia de Dados em um time de Data Science - Uai python2015
Bruno Rocha1.9K views
Big data em 1h: conceitos, aplicações e o que vem por aí by Allexandre Sampaio
Big data em 1h: conceitos, aplicações e o que vem por aíBig data em 1h: conceitos, aplicações e o que vem por aí
Big data em 1h: conceitos, aplicações e o que vem por aí
Allexandre Sampaio160 views
2019: LCoN - Centro de Excelência em Inteligência Artificial by Leandro de Castro
2019: LCoN - Centro de Excelência em Inteligência Artificial2019: LCoN - Centro de Excelência em Inteligência Artificial
2019: LCoN - Centro de Excelência em Inteligência Artificial
Leandro de Castro137 views
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações by FaBIana Ravanêda Vercezes
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Ciência de Dados: tudo sobre a área que está mudando o futuro das organizações
Big Data para Leigos by Pedro Neto
Big Data para LeigosBig Data para Leigos
Big Data para Leigos
Pedro Neto1.4K views
Big Data Analytics - Data Science - Aplicação e Tecnologia by Hélio Silva
Big Data Analytics - Data Science - Aplicação e TecnologiaBig Data Analytics - Data Science - Aplicação e Tecnologia
Big Data Analytics - Data Science - Aplicação e Tecnologia
Hélio Silva2K views
Capitulo-01-Ciencia-de-Dados-Conceitos-Básicos.pptx by VitorFaust
Capitulo-01-Ciencia-de-Dados-Conceitos-Básicos.pptxCapitulo-01-Ciencia-de-Dados-Conceitos-Básicos.pptx
Capitulo-01-Ciencia-de-Dados-Conceitos-Básicos.pptx
VitorFaust5 views
[Business Transformation Summit 2015] Os diferentes aspectos e desafios na an... by Intelie
[Business Transformation Summit 2015] Os diferentes aspectos e desafios na an...[Business Transformation Summit 2015] Os diferentes aspectos e desafios na an...
[Business Transformation Summit 2015] Os diferentes aspectos e desafios na an...
Intelie427 views
aula1 - Bigdata.pdf by Cyberboy11
aula1 - Bigdata.pdfaula1 - Bigdata.pdf
aula1 - Bigdata.pdf
Cyberboy115 views
Bigdata alexandre v2 by alexculpado
Bigdata alexandre v2Bigdata alexandre v2
Bigdata alexandre v2
alexculpado881 views

More from SETCESP - Sindicato das Empresas de Transportes de Carga de São Paulo e Região(20)

Recently uploaded

Entender e saber distinguir conceitos rotineiramente utilizados no cotidiano ... by
Entender e saber distinguir conceitos rotineiramente utilizados no cotidiano ...Entender e saber distinguir conceitos rotineiramente utilizados no cotidiano ...
Entender e saber distinguir conceitos rotineiramente utilizados no cotidiano ...dlalicia08
6 views2 slides
020087000101011 (13).pdf by
020087000101011 (13).pdf020087000101011 (13).pdf
020087000101011 (13).pdfRenandantas16
598 views2 slides
O que é um Almoxarifado Central? Como funciona um Almoxarifado Central? Qual ... by
O que é um Almoxarifado Central? Como funciona um Almoxarifado Central? Qual ...O que é um Almoxarifado Central? Como funciona um Almoxarifado Central? Qual ...
O que é um Almoxarifado Central? Como funciona um Almoxarifado Central? Qual ...dlalicia08
22 views4 slides
ATIVIDADE 1 - PSICOLOGIA ORGANIZACIONAL - 54/2023 by
ATIVIDADE 1 - PSICOLOGIA ORGANIZACIONAL - 54/2023ATIVIDADE 1 - PSICOLOGIA ORGANIZACIONAL - 54/2023
ATIVIDADE 1 - PSICOLOGIA ORGANIZACIONAL - 54/2023AcademiaDlassessoria
8 views3 slides
Onde Encontrar.pdf by
Onde Encontrar.pdfOnde Encontrar.pdf
Onde Encontrar.pdfpastificiomontecrist
12 views1 slide
APRESENTAÇÃO PADRÃO.pdf by
APRESENTAÇÃO PADRÃO.pdfAPRESENTAÇÃO PADRÃO.pdf
APRESENTAÇÃO PADRÃO.pdfDenise Varela
12 views10 slides

Recently uploaded(9)

Entender e saber distinguir conceitos rotineiramente utilizados no cotidiano ... by dlalicia08
Entender e saber distinguir conceitos rotineiramente utilizados no cotidiano ...Entender e saber distinguir conceitos rotineiramente utilizados no cotidiano ...
Entender e saber distinguir conceitos rotineiramente utilizados no cotidiano ...
dlalicia086 views
020087000101011 (13).pdf by Renandantas16
020087000101011 (13).pdf020087000101011 (13).pdf
020087000101011 (13).pdf
Renandantas16598 views
O que é um Almoxarifado Central? Como funciona um Almoxarifado Central? Qual ... by dlalicia08
O que é um Almoxarifado Central? Como funciona um Almoxarifado Central? Qual ...O que é um Almoxarifado Central? Como funciona um Almoxarifado Central? Qual ...
O que é um Almoxarifado Central? Como funciona um Almoxarifado Central? Qual ...
dlalicia0822 views
O Atletismo precisa ser compreendido como uma expressão do movimento humano i... by mariaclarinhaa2723
O Atletismo precisa ser compreendido como uma expressão do movimento humano i...O Atletismo precisa ser compreendido como uma expressão do movimento humano i...
O Atletismo precisa ser compreendido como uma expressão do movimento humano i...
O Brasil possui uma diversidade de regiões produtoras de commodities. As regi... by dlalicia08
O Brasil possui uma diversidade de regiões produtoras de commodities. As regi...O Brasil possui uma diversidade de regiões produtoras de commodities. As regi...
O Brasil possui uma diversidade de regiões produtoras de commodities. As regi...
dlalicia088 views
O Livreiro de Cabul - Cópia (2).pptx by ivanzeco05
O Livreiro de Cabul - Cópia (2).pptxO Livreiro de Cabul - Cópia (2).pptx
O Livreiro de Cabul - Cópia (2).pptx
ivanzeco055 views

Comjovem Experience 2023 - Análise de Dados

  • 1. Fernando Torquato Análise de Dados e Inteligência Artificial
  • 2. Análise de Dados + Inteligência Artificial = Ambiente de Ciência de Dados Machine Learning IoT Business Analytics BigData Problem Data Analysis Data Science Data Scientist
  • 3. Fundamental para alguns segmentos: • Bancos de Investimentos • Análise de Crédito • Seguros e Fraudes • Medicina “Resolver Problemas de Negócios” Análise de Dados + Inteligência Artificial = Ambiente de Ciência de Dados
  • 4. Machine Learning IoT Business Analytics BigData Problem Data Analysis Data Science Data Scientist Ciência de Dados:
  • 5. Ciência de Dados: É a arte de estudar e entender um ambiente de variáveis e comportamentos, utilizando dados, focando na descoberta das relações causais, para resolver problemas de negócios, gerando previsões para tomadas de decisões. Ciência da Computaçã o Matemática e Estatística Conheciment o do Negócio
  • 6. Ciência de Dados: Curiosidade - Qual relação entre a venda de sorvetes com mortes de pessoas por ataques de tubarão?
  • 7. Machine Learning IoT Business Analytics BigData Problem Data Analysis Data Science Data Scientist Problema de Negócio:
  • 8. Problema de Negócio: • Represamento de informações • Ajuste fino de processos • ”Porquês” sem respostas
  • 9. Machine Learning IoT Business Analytics BigData Problem Data Analysis Data Science Data Scientist Cientista de Dados:
  • 10. Cientista de Dados: É o responsável por projetar, implementar e validar modelos preditivos e algoritmos para obter insights e prever resultados futuros. Eles trabalham com dados estruturados e não estruturados para criar modelos de aprendizado de máquina e análise estatística. • Analisa dados • Descobre Insights • Faz previsões
  • 11. Cientista de Dados: Curiosidade – Diferença entre Ciência e Engenharia Descoberta (Conhecimento Científico) Invenção (Novas Tecnologias) Inovação (Econômica e Comercial) P&D (Pesquisa e Desenvolvimento)
  • 12. Machine Learning IoT Business Analytics BigData Problem Data Analysis Data Science Data Scientist IoT (internet das coisas):
  • 13. IoT (internet das coisas): É um conceito que se refere a um sistema de dispositivos físicos (coisas), equipados com sensores, software e conectividade às redes ou internet, que permitem a coleta, análise e troca de dados entre si e com outros sistemas, sem a necessidade de intervenção humana. É a grande fonte de “matéria-prima” (dados) para Data Science. • Coleta de dados • Conectividade
  • 14. IoT (internet das coisas): Curiosidade – Cuidado com a segurança
  • 15. Machine Learning IoT Business Analytics BigData Problem Data Analysis Data Science Data Scientist BigData:
  • 16. BigData: BigData refere-se a conjuntos de dados que são tão grandes e complexos que se tornam difíceis de serem processados por ferramentas tradicionais (Excel e similares) de processamento de dados. É a “matéria-prima” para Data Science.
  • 18. Machine Learning IoT Business Analytics BigData Problem Data Analysis Data Science Data Scientist Análise de Dados:
  • 19. Análise de Dados: Análise de dados é o processo de examinar, interpretar e extrair insights valiosos a partir de conjuntos de dados para obter informações acionáveis e tomar decisões informadas. • Coletar dados • Processar informações • Analisar as estatísticas • Entender as causas • Contar uma história
  • 20. Machine Learning IoT Business Analytics BigData Problem Data Analysis Data Science Data Scientist Machine Learning:
  • 21. Machine Learning: Aprendizado de Máquina é a arte de ensinar uma máquina a aprender a construir um modelo matemático que explica o comportamento e a influência dos dados, e suas dezenas de variáveis, em relação a um problema de negócio, para efetuar previsões. • Python • R
  • 22. Machine Learning: Algoritmos: • Regressão Linear • Regressão Logística • Árvores de Decisão • Random Forest • KNN • Gradient Boosting • Naive Bayes • SVM • K-Means • Redes Neurais Algoritmo + Dados Históricos Treinamento Modelo + Dados Novos Previsões
  • 23. Machine Learning: Exemplo – Venda de Imóveis Dados históricos: • Casa – 1 dormitório – R$ 100.000 • Casa – 2 dormitórios – R$ 150.000 • Casa – 3 dormitórios – R$ 200.000
  • 24. Machine Learning: Exemplo – Venda de Imóveis Dados históricos: • Casa – 1 dormitório – R$ 100.000 • Casa – 2 dormitórios – R$ 150.000 • Casa – 3 dormitórios – R$ 200.000 Novos Dados: • Casa – 4 dormitórios – R$ ???
  • 25. Machine Learning: Exemplo – Venda de Imóveis Dados históricos: • Casa – 1 dormitório – R$ 100.000 • Casa – 2 dormitórios – R$ 150.000 • Casa – 3 dormitórios – R$ 200.000 Novos Dados: • Casa – 4 dormitórios – R$ 250.000
  • 26. Machine Learning IoT Business Analytics BigData Problem Data Analysis Data Science Data Scientist Análise de Negócios:
  • 27. Análise de Negócios: É o fim de todo o processo. A ideia principal do ambiente de ciência de dados é resolver problemas de negócios, prevendo e resolvendo antes dos custos e perdas acontecerem. • Previsão de Economia de Diesel • Roteirização Mais Eficiente • Prevenção de Manutenção de Veículos • Prevenção de Rotatividade de Funcionários • Retenção de Clientes (Prevenção de Churn)
  • 30. Implantação: Transformação DataDriven Valor O que deve ser feito? Acontecerá de novo? Por que aconteceu? O que aconteceu? Decisão Dados Ação
  • 31. Implantação: • Cultura de dados disseminada. Top Down. • Capacitação e treinamento em inteligência analítica. • IoT, armazenamentos de dados e ferramentas de análise. • Padronização de input de dados e cadastros. • Políticas de governança e segurança dos dados. • Monitoramento, Correção, Evolução e Celebração.
  • 32. Dashboard Torre de Controle Implantação:
  • 33. Fernando Torquato - Cientista de Dados fernando@t4data.com.br 11-91244-9909 www.t4data.com.br linkedin.com/in/fstorquato Bem-vindos a 5ª revolução industrial 1780 1870 1970 2010 2023 Logística 5.0