Simulado 06 - Machine Learning MLlib

Prévia do material em texto

Simulado 06: Machine Learning em Escala com PySpark MLlib
Tópicos de Big Data em Python — Avaliação Prática
QUESTÃO 01
Na biblioteca PySpark MLlib, qual é a principal exigência no formato dos dados de entrada antes de passar as
variáveis preditivas para um algoritmo de Machine Learning (ex: RandomForestClassifier)?
A Todas as variáveis numéricas devem ser normalizadas entre 0 e 1 em colunas separadas do tipo Float.
B As colunas de features devem ser combinadas em uma única coluna do tipo vetor
denso/esparso, geralmente via
VectorAssembler.
C Os dados devem ser convertidos obrigatoriamente para NumPy Arrays no Driver Node.
D É necessário converter todas as variáveis categóricas em arquivos JSON separados antes do treino.
QUESTÃO 02
Qual é a diferença conceitual entre um Transformer e um Estimator na API de Pipelines do PySpark
MLlib?
A UmTransformerimplementa
o método
transform()(ex: StringIndexer
fitted), enquanto um
Estimatorpossui o
método
fit()para treinar e
produzir um
Transformer.
B UmTransformerroda exclusivamente em GPUs, enquanto umEstimatorexecuta apenas na CPU do Driver.
C Estimatoré usado para regressão linear
e
Transformeré usado apenas para algoritmos de agrupamento (K-
Means).
D Não há diferença; ambos são sinônimos na API do Spark.
QUESTÃO 03
Ao treinar um modelo preditivo com busca de hiperparâmetros usando CrossValidator no PySpark MLlib
em um cluster grande, qual parâmetro permite paralelizar a avaliação dos modelos?
A numFolds=10
B parallelism=N(onde N é o grau de paralelismo desejado)
C setBatchSize(1000)
D enableDistributedThreads(True)
QUESTÃO 04
Para transformar uma coluna contendo rótulos categóricos em texto (ex: "baixo", "médio", "alto") em índices
numéricos para modelagem e posteriormente reverter o processo, quais classes do PySpark MLlib devem ser
usadas em conjunto?
A OneHotEncodereStandardScaler
B StringIndexereIndexToString
C TokenizereStopWordsRemover
D PCAePolynomialExpansion
Simulado Tópicos de Big Data em Python — Módulo 6 Página 1 de 1