Aula 2 - Estatística Para Computação

Prévia do material em texto

A IMPORTÂNCIA DA ESTATÍSTICA PARA 
TECNOLOGIA
INTRODUÇÃO • A Tecnologia busca tratar de conjuntos de dados 
extensos (Big Data), e quando temos muitos dados 
disponíveis, este tamanho pode deixar qualquer 
profissional sobrecarregado. 
INTRODUÇÃO
• Por isso, antes de sair aplicando modelos de machine 
learning em um conjunto de dados, é preciso conhecer 
a “matéria-prima” com que se está trabalhando, através 
de características que nos servem de resumo sobre sua 
natureza. A área de conhecimento que nos informa 
sobre estas características é a Estatística.
INTRODUÇÃO
• A Estatística proporciona os meios e as ferramentas 
para encontrar estrutura em dados, e assim fornecer 
insights sobre as informações mais profundas ali 
escondidas. Medidas estatísticas como média, mediana, 
moda, desvio padrão e distribuição servem para 
descrever de uma forma generalizada o comportamento 
das variáveis de trabalho, assim como identificar 
anomalias. 
INTRODUÇÃO
• Se os modelos de machine learning são as ferramentas 
que os cientistas de dados operam, a Estatística é o 
conhecimento sobre como e pq essas ferramentas 
funcionam, que permite escolher as ferramentas mais 
adequadas, e tirar o melhor proveito delas.
EXPLORAÇÃO 
DE DADOS
• A boa Ciência de Dados começa com uma boa 
exploração dos dados. Nesta etapa, o cientista tem a 
oportunidade de desenvolver uma intuição sobre os 
dados com que está trabalhando, seja isoladamente, 
seja em relações simples entre as variáveis. A 
exploração de dados ganha uma nova dimensão na 
época de big data, já que, quanto maior o número de 
amostras (ou instâncias, no caso), mais certeza se tem 
sobre as características da população inteira. 
EXPLORAÇÃO 
DE DADOS
• A maior contribuição da estatística aqui é a 
noção de distribuição. Conseguir atribuir uma 
distribuição conhecida a um conjunto de 
dados permite escolher os métodos 
estatísticos mais adequados para solucionar o 
problema, além de fornecer os parâmetros 
distribucionais que constituem conhecimento 
a priori importante para tomar as decisões 
analíticas subsequentes.
ANÁLISE 
ESTATÍSTICA
• Compreende encontrar padrões e tendências em dados. 
Encontrar estrutura em dados é a tarefa essencial que 
permite depois fazer predições. Os principais métodos 
de análise estatística e sua relação com a Ciência de 
Dados são descritos a seguir.
TESTE DE 
HIPÓTESES
• Muitas das perguntas que surgem de problemas dirigidos por 
dados podem ser traduzidas em hipóteses. Por exemplo: Amanhã 
vai chover? Qual desses produtos vende mais? Qual desses 
tratamentos médicos é melhor? As hipóteses são o link natural 
entre a teoria destes fenômenos e a Estatística. 
TESTE DE 
HIPÓTESES
• Testar uma hipótese pode nos fornecer insights poderosos sobre 
fenômenos e a inter-relação entre os agentes envolvidos, mas sua 
validade depende de um domínio estatístico compatível. Apesar 
de o teste de hipóteses ser bastante usado na indústria para dirigir 
ações de negócios, sua aplicação indiscriminada, sem rigor 
científico, pode conduzir a conclusões erradas que se revelarão 
decisões de mercado frustradas.
CLASSIFICAÇÃO
• Uma das tarefas básicas de machine learning, os 
métodos de classificação servem para encontrar 
subpopulações de dados, seja em problemas sem 
conhecimento a priori sobre estas subpopulações 
(classificação não-supervisionada), seja em problemas 
onde as subpopulações são conhecidas mas não suas 
características delineadoras (classificação 
supervisionada). 
CLASSIFICAÇÃO
• Nestes casos, o domínio estatístico é importante porque 
um número grande de instâncias de dados, ou de 
características que descrevem esses dados, como 
acontece com big data, pode levar ao consumo elevado 
de recursos computacionais e a problemas numéricos. 
CLASSIFICAÇÃO
• O bom cientista de dados deve saber como contornar 
estes entraves, seja na utilização de algoritmos com 
menor complexidade computacional, seja no reexame 
dos métodos tradicionais agora aplicados para big data.
REGRESSÃO
• Outra tarefa básica de machine learning, os métodos de 
regressão nos ajudam a encontrar relações entre as 
características que descrevem cada instância de dado 
quando a variável alvo é medida. Diferentes 
abordagens devem ser utilizadas em função da 
distribuição que se assume para os dados de trabalho. 
REGRESSÃO
• Por exemplo, se os dados forem normalmente 
distribuídos, a regressão linear pode ser aplicada, mas 
se seguirem uma distribuição exponencial, regressões 
generalizadas são mais adequadas. Além da escolha do 
método, os mesmos empecilhos que surgem nos 
problemas de classificação em big data podem afligir 
os casos de regressão. 
REGRESSÃO
• O cientista de dados deve saber como reduzir 
adequadamente o número de instâncias, ou como 
selecionar as características mais relevantes que 
descrevem estas instâncias, sem comprometer o 
desempenho do modelo.
ANÁLISE DE 
SÉRIE 
TEMPORAL
• Esta análise procura estabelecer a estrutura temporal de 
dados que têm essa natureza. Prever o comportamento 
de eventos futuros é um grande desafio para o cientista 
de dados, com importantes implicações práticas. Aqui, 
conhecimento estatístico pode ser essencial para 
desenvolver um modelo de machine learning eficiente. 
ANÁLISE DE 
SÉRIE 
TEMPORAL
• Uma variável que tenha comportamento periódico, por 
exemplo – como é o caso da flutuação de temperatura 
ao longo do dia -, pode servir para definir a janela de 
tempo que o modelo deve considerar quando estiver 
sendo ajustado.
VALIDAÇÃO 
DE MODELOS
• Nos casos onde mais de um modelo é aplicável para a resolução de um 
problema, suas performances devem ser comparadas através de testes 
estatísticos. Neste caso, não só é necessário saber qual teste aplicar em 
cada situação, mas também como interpretá-los.
VALIDAÇÃO 
DE MODELOS
• Mesmo um único modelo deve ser validado para levar em conta que, por 
mais amplo que seja o banco de dados, ele está usando apenas uma 
amostragem da população total. Aqui é importante o conceito de 
validação cruzada, cuja fundamentação também deriva do conhecimento 
estatístico sobre população e amostragem. Os métodos de validação 
cruzada, por sua vez, são dependes de características estatísticas das 
variáveis, já que estas influenciam a capacidade de generalização do 
modelo escolhido.
VISUALIZAÇÃO
• Se imagens valem mais do que mil palavras, o mesmo 
pode ser dito sobre números e tabelas. Visualizar os 
dados é fundamental para desenvolver um senso 
intuitivo sobre sua natureza, que guia nossas decisões 
sobre como abordá-los matematicamente. 
VISUALIZAÇÃO
• Isso é especialmente verdadeiro em big data, onde o 
volume de dados extrapola nossa capacidade analítica 
meramente numérica. A visualização é importante tanto 
na fase exploratória dos dados, quanto na interpretação 
dos resultados. 
VISUALIZAÇÃO
• Histogramas e boxplots são formas rápidas de entender 
a característica das variáveis de estudo e reconhecer 
dados anômalos. Problemas multidimensionais podem 
ser analisados visualmente usando técnicas de redução 
de dimensionalidade, que ainda são capazes de 
incorporar as relações entre as variáveis para indicar 
padrões e tendências. 
VISUALIZAÇÃO
• São muitas as técnicas voltadas à visualização, mas 
sem o devido conhecimento estatístico, o cientista de 
dados não saberá sua aplicabilidade e como extrair 
informações a partir destas poderosas ferramentas.
	A importância da Estatística para Tecnologia
	INTRODUÇÃO
	INTRODUÇÃO
	INTRODUÇÃO
	INTRODUÇÃO
	Exploração de dados�
	Exploração de dados�
	Análise estatística�
	Teste de hipóteses�
	Teste de hipóteses�
	Classificação
	Classificação
	Classificação
	Regressão�
	Regressão�
	Regressão�
	Análise de série temporal�
	Análise de série temporal�
	Validação de modelos�
	Validação de modelos�
	Visualização�
	Visualização�
	Visualização�
	Visualização�