Atividade A4 ESTATÍSTICA APLICADA AO DATA SCIENCE

Prévia do material em texto

Se foi útil para você deixe um joinha 
Pergunta 1)
Leia o excerto a seguir:
“Normalização: É comum normalizar (padronizar) variáveis contínuas através da subtração da média e divisão pelo desvio-padrão, ou então as variáveis com grande escala dominarão o processo de agrupamento (veja Padronização (Normalização, Escores Z), no Capítulo 6).”
 
BRUCE, Peter; BRUCE, Andrew. Estatística prática para cientistas de dados: 50 conceitos iniciais. Rio de Janeiro: Alta Books, 2019, p. 265.
 A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas.
 
I.  Sabemos que, na estatística ou na ciência dos dados, é comum normalizar (padronizar) variáveis quantitativas, ou variáveis contínuas, antes da realização de uma análise de agrupamento.
Pois
II. No conjunto de dados observados (a amostra de dados), podem existir variáveis que estão em uma escala muito maior que as outras, e a medida de distância entre observações dessas variáveis dominarão o resultado da análise de agrupamento, na formação dos grupos de observações similares entre si.
Resposta: As asserções I e II são proposições verdadeiras, e a II é uma justificativa correta da I.
Resposta correta. A alternativa está correta. Na estatística ou na ciência dos dados, é comum normalizar (padronizar) variáveis quantitativas, ou variáveis contínuas, antes da realização de uma análise de agrupamento, pois no conjunto de dados observados podem existir variáveis que estão em uma escala muito maior que as outras, e a medida de distância entre observações dessas variáveis dominarão o resultado final da análise de agrupamento se a padronização não for feita antes.
Pergunta 2)
Depois que formamos grupos de observações de um conjunto de dados (amostra), por meio de um algoritmo de agrupamento, podemos dar nomes aos mesmos, e cada indivíduo de cada grupo será classificado de acordo com esse nome. O ser humano faz isso com naturalidade, primeiro agrupar e, depois de formados os grupos, dar nomes aos grupos. Por exemplo, animais vertebrados ou invertebrados, carros ou aviões, homens ou mulheres.
 
A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas. e assinale a alternativa correta:
 
I.  Ao usarmos de algoritmos de agrupamento, depois que formados e nomeados (classificados) os grupos de observações resultantes do algoritmo, não é possível usar essas classes como variáveis respostas e, a partir desse ponto, executar tarefas preditivas com algoritmos de classificação.
Pois
II. Algoritmos de agrupamento fazem parte dos métodos da chamada aprendizagem não supervisionada. Não são modelos preditivos.
Resposta: A asserção I é uma proposição falsa, e a II é uma proposição verdadeira.
Resposta correta. A alternativa está correta, pois mesmo que algoritmos de agrupamento sejam parte dos métodos da aprendizagem não supervisionada, e não serem modelos preditivos, como afirmado na asserção II, depois que formamos e nomeamos os grupos (classificamos os grupos), podemos usar essas classes como variáveis respostas e, a partir desse ponto, executar tarefas preditivas com algoritmos de classificação. Ou seja, a asserção I é falsa.
Pergunta 3)
Quando acontece de haver várias variáveis quantitativas em uma determinada amostra de dados, é comum a realização da análise da (possível) relação entre essas variáveis por meio do cálculo de suas correlações. Neste caso, o cálculo de suas correlações sempre é feito de duas em duas variáveis. Comumente, também se apresenta a correlação de cada variável com ela mesma, o  que sempre resulta em uma correlação perfeita, igual a 1.
 
A tabela adiante mostra o resultado do cálculo das correlações entre 5 variáveis quantitativas de uma determinada amostra.
 
	 
	x1
	x2
	x3
	x4
	x5
	x1
	1,00
	- 0,85
	- 0,78
	- 0,87
	0,42
	x2
	- 0,85
	1,00
	0,79
	0,89
	- 0,43
	x3
	- 0,78
	0,79
	1,00
	0,66
	- 0,71
	x4
	- 0,87
	0,89
	0,66
	1,00
	- 0,17
	x5
	0,42
	- 0,43
	- 0,71
	- 0,17
	1,00
 
Quadro: Correlações cruzadas entre as variáveis quantitativas x1, x2, x3, x4 e x5
Fonte: Elaborado pelo autor.
 
Com respeito a essa tabela de correlações, analise as afirmativas a seguir e assinale V para a(s) Verdadeira(s) e F para a(s) Falsa(s).
 
I. ( ) Os valores 1,00 apenas indicam a correlação perfeita que existe entre uma variável e ela mesma, uma informação de pouco valor prático.
II. ( ) A maior correlação positiva é aquela entre as variáveis x2 e x4, no valor de 0,89, que indica uma forte associação entre essas duas variáveis, e que uma aumenta com um aumento da outra.
III. ( ) A maior (em valor absoluto) correlação negativa é aquela entre as variáveis x1 e x4, no valor de - 0,87, que indica uma forte associação entre essas duas variáveis, e que uma diminui quanto a outra aumenta.
IV. ( ) A menor (em valor absoluto) correlação negativa é aquela entre as variáveis x4 e x5, no valor de - 0,17, que indica uma fraca associação entre essas duas variáveis, e que uma diminui quando a outra aumenta.
Resposta: V, V, V, V.
Resposta correta.  A sequência está correta. Os valores 1,00 apenas indicam a correlação perfeita que existe entre uma variável e ela mesma. A maior correlação positiva é aquela entre as variáveis x2 e x4, indicando uma forte associação entre essas duas variáveis, e que uma aumenta com um aumento da outra. A maior (em valor absoluto) correlação negativa é aquela entre as variáveis x1 e x4, indicando uma forte associação entre essas duas variáveis, e que uma diminui quanto a outra aumenta. A menor (em valor absoluto) correlação negativa é aquela entre as variáveis x4 e x5, indicando uma fraca associação entre essas duas variáveis, e que uma diminui quando a outra aumenta.
Pergunta 4)
O Margareth H. Duham, em seu livro Data Mining - Introductory and Advanced Topics, informa que tarefas de agrupamento, ou clustering em inglês, vêm sendo aplicadas em muitos domínios, incluindo a biologia, a medicina, a antropologia, o marketing e a economia.
 
DUHAM, Margareth H. Data mining: introductory and advanced topics. Upper Saddle River (NJ): Pearson Education, 2003, p.126.
 
A respeito desses domínios de aplicação de tarefas de agrupamento, analise as afirmativas a seguir e assinale V para a(s) Verdadeira(s) e F para a(s) Falsa(s).
 
I. ( ) Observar diferentes características de doenças em vários pacientes, e depois formar diferentes grupos de pacientes - por similaridade das características de suas doenças - é uma tarefa de agrupamento.
II. ( ) Observar diferentes hábitos de consumo em várias milhares de pessoas, e depois formar grupos de pessoas - por similaridade de seus hábitos de consumo - é uma tarefa de agrupamento.
III. ( ) Observar diferentes características das linguagens faladas por membros de aldeias remotas, e depois formar grupos de linguagens - por similaridades das características das linguagens - é uma tarefa de agrupamento.
IV. ( ) Observar diferentes característica de insetos em diversos biomas, e depois formar grupos de insetos - por similaridade de suas características - é uma tarefa de agrupamento.
Resposta: 
V, V, V, V.
Resposta correta.  A sequência está correta. Observar diferentes características de indivíduos, sejam estes indivíduos doenças que se manifestam em pacientes, hábitos de consumos que se manifestam em consumidores, línguas faladas por diferentes povos, ou insetos que habitam diferentes biomas, e depois, para cada um desses exemplos, agrupar as observações feitas em grupos menores por similaridade, são tarefas de agrupamento. Sendo assim, todos os exemplos descritos são tarefas de agrupamento.
Pergunta 5)
Leia o excerto a seguir sobre as ideias-chave para agrupamento hierárquico:
 
“Começa com todos os registros. Progressivamente, os grupos são unidos aos grupos próximos até que todos os registros pertençam a um único grupo. O histórico de aglomeração é retido e plotado, e o usuário pode visualizar o número e a estrutura dos grupos em diferentes estágios. As distâncias intergrupos são calculadas de jeitos diferentes, todas baseadas no conjunto de distânciainter-registros.”
 
BRUCE, Peter; BRUCE, Andrew. Estatística prática para cientistas de dados: 50 conceitos iniciais. Rio de Janeiro: Alta Books, 2019, p. 278.
 A partir do apresentado, analise as asserções a seguir e a relação proposta entre elas.
 
I.  No agrupamento hierárquico, o usuário deve obrigatoriamente especificar o número de grupos que deseja ver o algoritmo formar.
Pois
II. O algoritmo começa com grupos formados por registros individuais e, progressivamente, os grupos são unidos aos grupos mais próximos, até que todos os registros pertençam a um único grupo.
 
Resposta: A asserção I é uma proposição falsa, e a II é uma proposição verdadeira.
Resposta correta. A alternativa está correta, pois no agrupamento hierárquico, diferentemente do que se requer para o agrupamento por k-médias, o usuário não especifica o número de grupos que o algoritmo deve formar. Em estágios progressivos, se parte de tantos grupos quanto o número de registros (observações) do conjunto de dados, formam-se sequencialmente vários agrupamentos, por fusão entre grupos mais similares entre si, até se formar um único grupo, ao final, com todos os registro do conjunto de dados analisado. Ao usuário cabe examinar essa estrutura, e decidir que agrupamentos fazem mais sentido para a sua análise.
Pergunta 6)
Na estatística ou, genericamente, na análise de dados, muito frequentemente analisamos dados ditos retangulares ou estruturados, onde as variáveis - quantitativas ou qualitativas - são dispostas nas colunas e as observações na linhas de uma tabela. Em algumas situações é vantajoso se fazer a padronização das variáveis quantitativas.
 
Assinale a alternativa correta relativamente ao assunto de padronização de variáveis quantitativas na estatística:
 
Resposta: Na padronização, se subtrai de cada variável sua média, e depois se divide o resultado pelo seu desvio padrão.
Resposta correta. A alternativa está correta. Na estatística, assim como nas suas ciências correlatas, como a ciência dos dados e a mineração de dados, a padronização de uma variável quantitativa é feita subtraindo-se dessa variável a sua média e depois dividindo-se o resultado pelo seu desvio padrão.
Pergunta 7)
A estatística, a ciência da computação, a mineração de dados e a ciência dos dados são áreas correlacionadas. Dentre essas, a mais antiga é a estatística, seguida da ciência da computação, depois da mineração de dados, e finalmente da ciência dos dados, a mais nova dessas quatro áreas de conhecimento.
 
Com referência ao relacionamento entre essas quatro áreas de conhecimento humano, analise as afirmativas a seguir:
 
I. Algoritmos de machine learning nasceram na ciência da computação. Hoje são usados na estatística, na mineração de dados e na ciência dos dados.
II. Dentre as diversas áreas citadas, é a estatística que possui os melhores fundamentos para a interpretação de fenômenos aleatórios.
III. A estatística é considerada a mais sutil, e a mais ampla, quando nos referimos a análise de dados. É aplicada a todas áreas de atividade humana.
IV. Sabemos que, na ciência dos dados, podem-se utilizar de muitos termos diferentes, herdados das outras áreas, para se referir a um mesmo conceito.
 
Resposta: 
I, II, III e IV.
Resposta correta. A alternativa está correta, pois algoritmos de machine learning nasceram na ciência da computação e hoje são usados na estatística, na mineração de dados e na ciência dos dados. De fato, é a estatística que possui os melhores fundamentos para a interpretação de fenômenos aleatórios, e é considerada a mais sutil, e a mais ampla, quando nos referimos a análise de dados. Já há muitos anos é aplicada a todas áreas de atividade humana. Por outro lado, também sabemos que, na ciência dos dados, podem-se utilizar de muitos termos diferentes, herdados das outras áreas, para se referir a um mesmo conceito.
Pergunta 8)
Os métodos de aprendizagem estatística (statistical learning, em inglês) são divididos em métodos de aprendizagem supervisionada e métodos de aprendizagem não supervisionada. Para cada uma dessas diferentes abordagens, há uma coleção relativamente grande de diferentes métodos, cada um com seu próprio jeito de funcionamento.
 
Assinale a alternativa que indica um problema de aprendizagem não supervisionada:
Resposta: 
Desejamos entender se há similaridade entre observações (indivíduos) de uma certa amostra de dados.
Resposta correta. A alternativa está correta, pois entender se há similaridade entre observações (indivíduos) de uma amostra é o mesmo que tentar agrupar os indivíduos similares, o que é um problema de aprendizagem não supervisionada. Todos os demais problemas propostos são problemas de aprendizagem supervisionada, em que há uma variável resposta supervisora, quantitativa ou qualitativa, para o treinamento do algoritmo preditivo.
Pergunta 9)
Quando os dados se referem a múltiplas variáveis quantitativas, é possível calcular a correlação entre pares dessas variáveis, duas a duas. No software estatístico R, isto pode ser feito com a função cor(). Adiante apresentamos um output típico da função cor() quando aplicada ao cálculo da correlação entre quatro variáveis quantitativas de um determinado conjunto de dados.
	 
	Murder
	Assault
	UrbanPop
	Rape
	Murder 
	1.00
	0.80
	0.07
	0.56
	Assault
	0.80
	1.00
	0.26
	0.67
	UrbanPop  
	0.07
	0.26
	1.00
	0.41
	Rape     
	0.56
	0.67
	0.41
	1.00
                                  
A respeito deste output típico da função cor() do software estatístico R, para o cálculo da correlação entre múltiplas variáveis quantitativas, analise as afirmativas a seguir e assinale V para a(s) Verdadeira(s) e F para a(s) Falsa(s).
 
I. ( ) Todas correlações são positivas, o que indica que, para todas variáveis quantitativas dessa amostra, quando uma aumenta, a outra também aumenta.
II. ( ) Uma correlação igual a 1 entre uma variável e ela mesma apenas indica uma correlação perfeita dela com ela mesma.
III. ( ) A maior correlação positiva entre essas variáveis é aquela entre Murder e Assault, cujo valor é de 0,80.
IV. ( ) A segunda maior correlação positiva entre essas variáveis é aquela entre Rape e Assault, cujo valor é de 0,67 e não de 0,56.
Resposta: V, V, V, F.
Resposta correta.  A sequência está correta. Todas correlações são positivas, indicando que, para todas variáveis quantitativas dessa amostra, quando uma aumenta, a outra também aumenta. Uma correlação igual a 1 entre uma variável e ela mesma apenas indica uma correlação perfeita dela com ela mesma. A maior correlação positiva entre essas variáveis é aquela entre Murder e Assault, cujo valor é de 0,80. E, finalmente, a segunda maior correlação positiva entre essas variáveis é aquela entre Rape e Assault, mas o valor  é 0,67 e não 0,56, que se refere à correlação entre as variáveis Murder e Rape.
Pergunta 10)
Leia o excerto a seguir:
“Exploração de dados é a arte de olhar os seus dados, rapidamente gerar hipóteses sobre eles, e rapidamente testar essas hipóteses. E repetir isso outra vez, outra vez, outra vez. O objetivo da exploração de dados é a geração de pistas sobre o que os dados nos revelam, pistas que você poderá explorar, mais tarde, em maior profundidade.”
WICKHAM, Hadley; GROLEMUN, Garret. R for data science: import, tidy, transform, visualize, and model dada. Sebastopol (CA): O’Reilly Media, 2017, p.1.
 
A respeito das fontes que originaram os contos de fadas, analise as afirmativas a seguir e assinale V para a(s) Verdadeira(s) e F para a(s) Falsa(s).
 
I. ( ) Análise estatística descritiva é parte da análise exploratória de dados, frequentemente entendida como a exploração inicial dos dados.
II. ( ) Além dos métodos da estatística descritiva, algoritmos de agrupamento também são parte da análise exploratória de dados.
III. ( ) A análise exploratória dos dados permite a geração de hipóteses sobre os dados, para posterior investigação mais detalhada.
IV. ( ) Gerar hipóteses sobre dados significa gerar afirmações sobre possíveis padrões e descobertas reveladas pelos dados, a seremmelhor investigadas e comprovadas.
Resposta: 
V, V, V, V.
Resposta correta.  A sequência está correta. É correto afirmar que a análise estatística descritiva é parte da análise exploratória de dados, assim como dizer que algoritmos de agrupamento também o são. Também é correto dizer que a análise exploratória dos dados permite a geração de hipóteses sobre os dados, que devem ser melhor investigadas para comprovação posteriormente, e que gerar hipóteses sobre dados significa gerar afirmações sobre possíveis padrões e descobertas reveladas pelos dados.