Aula 1 - O que é Ciência de Dados

Prévia do material em texto

INTRODUÇÃO A CIÊNCIA DE DADOS
Prazer!
Ciência de Dados
INTRODUÇÃO A CIÊNCIA DE DADOS
Ciência de Dados
É o processo de exploração, manipulação e análise dos dados para a 
descoberta e previsão através da criação de hipóteses, testes e validação com 
o objetivo de responder perguntas do negócio e / ou fazer recomendações 
capazes de serem diferenciais de negócio.
Todo esse processo precisa ter um forte embasamento estatístico e 
matemático e ser diretamento ligado ao negócio, além de poder ser feito de 
forma escalável e replicável.
INTRODUÇÃO A CIÊNCIA DE DADOS
Ciência de 
Dados
Existe um método científico! 
Observação, hipóteses, testes e 
validação, análises, monitoramento.
Precisamos que existam dados armazenados (ou pelo 
menos começar esse armazenamento).
Armazenamento, processamento, visualização.
Dados
000
Ciência de 
Dados
Existe um método científico! 
Observação, hipóteses, testes e 
validação, análises, monitoramento.
INTRODUÇÃO A CIÊNCIA DE DADOS
Precisamos que existam dados armazenados (ou pelo 
menos começar esse armazenamento).
Armazenamento, processamento, visualização.
O QUE EU QUERO
RESPONDER?
000
PYTHON IMPRESSIONADOR I HASHTAG PROGRAMAÇÃO 
Ciência de 
Dados
Existe um método científico! 
Observação, hipóteses, testes e 
validação, análises, monitoramento.
INTRODUÇÃO A CIÊNCIA DE DADOS
Precisamos que existam dados armazenados (ou pelo 
menos começar esse armazenamento).
Armazenamento, processamento, visualização.
O QUE EU QUERO
RESPONDER?
Qual a resposta da vida, do 
universo e tudo mais?
000
PYTHON IMPRESSIONADOR I HASHTAG PROGRAMAÇÃO 
Ciência de 
Dados
Existe um método científico! 
Observação, hipóteses, testes e 
validação, análises, monitoramento.
INTRODUÇÃO A CIÊNCIA DE DADOS
Precisamos que existam dados armazenados (ou pelo 
menos começar esse armazenamento).
Armazenamento, processamento, visualização.
O QUE EU QUERO
RESPONDER?
Qual a resposta da vida, do 
universo e tudo mais?
42
INTRODUÇÃO A CIÊNCIA DE DADOS
Tecnologia /
Automações
Matemática /
Estatística
Negócios
Data Science
INTRODUÇÃO A CIÊNCIA DE DADOS
Tecnologia /
Automações
Matemática /
Estatística
Negócios
Soma, media, 
estatística tradicional
Softwares tradicionais
(excel, SAS, etc)
Machine Learning
Data Science
INTRODUÇÃO A CIÊNCIA DE DADOS
Soma, media, 
estatística tradicional
Softwares tradicionais
(excel, SAS, etc)
Machine Learning
INTRODUÇÃO A CIÊNCIA DE DADOS
Soma, media, 
estatística tradicional
Softwares tradicionais
(excel, SAS, etc)
Machine Learning
O tamanho da base pode 
tornar a análise inviável
INTRODUÇÃO A CIÊNCIA DE DADOS
Soma, media, 
estatística tradicional
Softwares tradicionais
(excel, SAS, etc)
Machine Learning
Conclusões que estão corretas mas 
estatisticamente tem pouca validade
Cidade Temp Média
Cidade 1 30,5
Cidade 2 31,3
INTRODUÇÃO A CIÊNCIA DE DADOS
Soma, media, 
estatística tradicional
Softwares tradicionais
(excel, SAS, etc)
Machine Learning
Conclusões que estão corretas mas 
estatisticamente tem pouca validade
Cidade Temp Média
Cidade 1 30,5
Cidade 2 31,3
Cidade 2
Cidade 1
INTRODUÇÃO A CIÊNCIA DE DADOS
Soma, media, 
estatística tradicional
Softwares tradicionais
(excel, SAS, etc)
Machine Learning
Decisões que não fazem 
sentido para o negócio
Canal Retorno do Investimento
TV 0,8
Jornal 1,1
Blogs / Sites 2,7
Orkut 5,3
A empresa deve usar o Orkut como principal 
investimento para ações de marketing em 2022
INTRODUÇÃO A CIÊNCIA DE DADOS
Tecnologia /
Automações
Matemática /
Estatística
Negócios
Soma, media, 
estatística tradicional
Softwares tradicionais
(excel, SAS, etc)
Machine Learning
Data Science
INTRODUÇÃO A CIÊNCIA DE DADOS
Instagram: feed, reels, explorar,...
“ah, o algoritmo do Instagram...”
INTRODUÇÃO A CIÊNCIA DE DADOS
Instagram: feed, reels, explorar,...
“ah, o algoritmo do Instagram...”
Netflix: indicação de 
filmes / séries
INTRODUÇÃO A CIÊNCIA DE DADOS
Carros autônomos
INTRODUÇÃO A CIÊNCIA DE DADOS
Carros autônomos
INTRODUÇÃO A CIÊNCIA DE DADOS
Carros autônomos
CRISP-DM (CRoss Industry Standard Process for Data Mining)
Entendimento 
do negócio
Entendimento 
dos dados
Preparação
dos dados
Análise / 
Modelagem
Validação
Preparação / 
Visualização
Entendimento 
dos dados
Preparação
dos dados
Análise / 
Modelagem
Validação
Preparação / 
Visualização
Entendimento 
do negócio
CRISP-DM (CRoss Industry Standard Process for Data Mining)
Definição do 
problema
Alinhamento de 
expectativas
Análise / 
Modelagem
Validação
Preparação / 
Visualização
Entendimento 
do negócio
CRISP-DM (CRoss Industry Standard Process for Data Mining)
Entendimento 
dos dados
Preparação
dos dados
Engenharia 
de dados
Entendimento 
dos dados
Preparação
dos dados
Validação
Preparação / 
Visualização
Entendimento 
do negócio
CRISP-DM (CRoss Industry Standard Process for Data Mining)
Análise / 
Modelagem
Análise 
Exploratória
Tratamento 
dos dados
Definição do 
modelo
Preparação
dos dados
Análise / 
Modelagem
Validação
Preparação / 
Visualização
Entendimento 
do negócio
CRISP-DM (CRoss Industry Standard Process for Data Mining)
Entendimento 
dos dados
Engenharia 
de dados
Análise 
Exploratória
Tratamento 
dos dados
Entendimento 
dos dados
Preparação
dos dados
Validação
Preparação / 
Visualização
Entendimento 
do negócio
CRISP-DM (CRoss Industry Standard Process for Data Mining)
Análise / 
Modelagem
Análise 
Exploratória
Tratamento 
dos dados
Definição do 
modelo
Entendimento 
dos dados
Preparação
dos dados
Análise / 
Modelagem
Preparação / 
Visualização
Entendimento 
do negócio
CRISP-DM (CRoss Industry Standard Process for Data Mining)
Validação
Entendimento 
dos dados
Preparação
dos dados
Análise / 
Modelagem
Validação
Entendimento 
do negócio
CRISP-DM (CRoss Industry Standard Process for Data Mining)
Preparação / 
Visualização
Entendimento 
dos dados
Preparação
dos dados
Análise / 
Modelagem
Validação
CRISP-DM (CRoss Industry Standard Process for Data Mining)
Implementação
Preparação / 
Visualização
Entendimento 
do negócio
Entendimento 
dos dados
Preparação
dos dados
Análise / 
Modelagem
Validação
Preparação / 
Visualização
Entendimento 
do negócio
CRISP-DM (CRoss Industry Standard Process for Data Mining)
Melhoria 
contínua
Monitoramento
e ajustes
NOSSO PROCESSO DE CIÊNCIA DE DADOS
Definição do problema
Alinhamento de 
expectativas
Engenharia 
de dados
Entendimento 
dos dados
Preparação
dos dados
Análise ExploratóriaTratamento dos dados
Definição do 
modelo
Validação do 
modelo
Apresentação 
do resultado
Implementação
Melhoria 
contínua
Monitoramento
e ajustes
EXEMPLO PRÁTICO DE CIÊNCIA DE DADOS
EXEMPLO PRÁTICO DE CIÊNCIA DE DADOS
EXEMPLO PRÁTICO DE CIÊNCIA DE DADOS
AUMENTAR 
O ESTOQUE
EXEMPLO PRÁTICO DE CIÊNCIA DE DADOS
AUMENTAR 
O ESTOQUE
EXEMPLO PRÁTICO DE CIÊNCIA DE DADOS
AUMENTAR 
O ESTOQUE
7x
EXEMPLO PRÁTICO DE CIÊNCIA DE DADOS
AUMENTAR 
O ESTOQUE
7x
2004
AUMENTAR 
O ESTOQUE
7x
2004
ente
EXEMPLO PRÁTICO DE CIÊNCIA DE DADOS
ENTENDIMENTO DO 
PROBLEMA DE NEGÓCIO
EXISTÊNCIA DE 
DADOS HISTÓRICOS
HIPÓTESE: esse ítem vai 
aumentar as vendas no 
próximo furacão
TESTE DA HIPÓTESE: envio 
do estoque para as lojas
VALIDAÇÃO: aumento real 
da venda em 7x