Big Data em Python

Prévia do material em texto

PÓS-GRADUAÇÃO
CIÊNCIA DE DADOS E ENGENHARIA DE SOFTWARE
BIG DATA COM PYTHON: FUNDAMENTOS,
ARQUITETURAS DISTRIBUÍDAS E ANÁLISE DE DADOS
um estudo bibliográfico sobre IoT, nuvem, Hadoop, Apache Spark, Pandas e
aprendizado de máquina
2026
RESUMO
O crescimento do volume, da velocidade e da variedade dos dados impôs limites aos métodos
tradicionais de gestão da informação e estimulou o desenvolvimento de arquiteturas e
ferramentas específicas. Este estudo tem como objetivo analisar, de forma integrada, os
princípios do Big Data e as principais tecnologias de armazenamento, processamento e análise
associadas à linguagem Python, abrangendo Internet das Coisas, computação em nuvem,
streaming, Hadoop, Apache Spark com PySpark, Pandas, Scikit-Learn e TensorFlow. Trata-se
de pesquisa bibliográfica, de abordagem qualitativa e de caráter exploratório e descritivo. Os
resultados indicam que essas tecnologias ocupam etapas complementares de um mesmo ciclo
de vida do dado: geração e coleta, com IoT e streaming; armazenamento distribuído, com
HDFS e data lakes; processamento paralelo, com MapReduce e Spark; preparação, com
Pandas; e descoberta de conhecimento, orientada por KDD e CRISP-DM. Conclui-se que o
valor do Big Data depende da articulação entre arquitetura, qualidade dos dados e método
analítico, sendo o pré-processamento a etapa decisiva para a confiabilidade dos resultados.
Palavras-chave: Big Data; Python; Hadoop; Apache Spark; aprendizado de máquina.
ABSTRACT
The growth in the volume, velocity and variety of data has imposed limits on traditional
information management methods and has stimulated the development of specific
architectures and tools. This study aims to analyze, in an integrated manner, the principles of
Big Data and the main storage, processing and analysis technologies associated with the
Python language, covering the Internet of Things, cloud computing, streaming, Hadoop,
Apache Spark with PySpark, Pandas, Scikit-Learn and TensorFlow. It is a bibliographic
research, with a qualitative approach and an exploratory and descriptive character. The results
indicate that these technologies occupy complementary stages of the same data life cycle:
generation and collection, with IoT and streaming; distributed storage, with HDFS and data
lakes; parallel processing, with MapReduce and Spark; preparation, with Pandas; and
knowledge discovery, guided by KDD and CRISP-DM. It is concluded that the value of Big
Data depends on the articulation among architecture, data quality and analytical method, with
preprocessing being the decisive stage for the reliability of the results.
Keywords: Big Data; Python; Hadoop; Apache Spark; machine learning.
SUMÁRIO
1 INTRODUÇÃO 5
2 FUNDAMENTOS DE BIG DATA 6
2.1 Conceito e modelo dos cinco Vs 6
2.2 Arquitetura, aplicações e privacidade 6
3 INTERNET DAS COISAS, COMPUTAÇÃO EM NUVEM E STREAMING 8
3.1 Internet das Coisas e computação distribuída 8
3.2 Computação em nuvem 8
3.3 Processamento de fluxos 9
4 HADOOP E ARMAZENAMENTO DISTRIBUÍDO 10
4.1 Arquitetura e componentes 10
4.2 HDFS, bancos relacionais e data lake 10
5 APACHE SPARK E PYSPARK 12
5.1 Origem e arquitetura 12
5.2 Programação com PySpark 12
6 ANÁLISE DE DADOS COM PANDAS 14
7 BIG DATA ANALYTICS COM SCIKIT-LEARN E TENSORFLOW 15
7.1 Inteligência artificial e aprendizado de máquina 15
7.2 KDD e CRISP-DM 15
7.3 Scikit-Learn e TensorFlow 16
8 DISCUSSÃO APLICADA 17
9 CONSIDERAÇÕES FINAIS 18
REFERÊNCIAS 19
5
1 INTRODUÇÃO
A difusão da Internet, dos dispositivos móveis e dos sensores conectados transformou
a escala em que os dados são produzidos. Transações financeiras, redes sociais, monitores de
saúde e equipamentos industriais passaram a gerar fluxos contínuos, heterogêneos e com
exigências de resposta cada vez mais curtas. A expressão Big Data consolidou-se para
designar conjuntos de dados que não podem ser adquiridos, gerenciados e processados em
tempo aceitável pelos métodos tradicionais, bem como as tecnologias criadas para enfrentá-
los. Essa resposta tecnológica, porém, não se concentra em uma única ferramenta, o que
dificulta compreender em que momento do ciclo de vida do dado cada solução se torna
adequada.
Formula-se, assim, o seguinte problema: de que modo os princípios do Big Data e as
tecnologias disponíveis no ecossistema Python se articulam para transformar grandes volumes
de dados em conhecimento útil à decisão? O objetivo geral é analisar, de forma integrada,
esses fundamentos e tecnologias. Os objetivos específicos são: a) caracterizar o conceito de
Big Data e o modelo dos cinco Vs; b) descrever o papel da IoT, da nuvem e do streaming; c)
examinar o Hadoop, o HDFS e o data lake; d) apresentar a arquitetura do Spark e o PySpark;
e) discutir a preparação de dados com Pandas; e f) analisar a descoberta de conhecimento com
Scikit-Learn e TensorFlow.
O estudo justifica-se porque a escolha inadequada de ferramentas, ou a negligência
com a qualidade dos dados, compromete a confiabilidade das análises. Trata-se de pesquisa
bibliográfica, de abordagem qualitativa e de caráter exploratório e descritivo; os trechos de
código têm finalidade ilustrativa. As seções 2 a 7 tratam dos assuntos enumerados nos
objetivos, a seção 8 apresenta uma discussão aplicada e a seção 9, as considerações finais.
6
2 FUNDAMENTOS DE BIG DATA
2.1 Conceito e modelo dos cinco Vs
Big Data não se reduz ao volume: abrange a velocidade de geração, a diversidade das
fontes e a multiplicidade de formatos, além da forma como os dados são disponibilizados e da
necessidade de técnicas adequadas para dados não estruturados que exigem respostas rápidas.
Seu principal estímulo é a descoberta de oportunidades, como segmentação de mercado,
engajamento do público-alvo e identificação de valores ocultos, por meio de um ciclo em que
o dado se converte em informação e esta em conhecimento.
A caracterização do fenômeno evoluiu por meio do modelo dos Vs. Em 2001, Doug
Laney, do META Group, atual Gartner, propôs as dimensões Volume, Velocidade e Variedade
(LANEY, 2001). Em 2011, um relatório da IDC acrescentou o Valor, associando o Big Data a
tecnologias projetadas para extrair valor de grandes volumes e variedades de dados (GANTZ;
REINSEL, 2011), e, no mesmo ano, incluiu-se a Veracidade (RUSSOM, 2011). Esse modelo é
retomado pela literatura sobre Hadoop como descrição das características fundamentais das
aplicações de Big Data (ISHWARAPPA; ANURADHA, 2015).
Quadro 1 – O modelo dos cinco Vs do Big Data
Característica Descrição
Volume Escala de geração e coleta, em geral na ordem de petabytes (1 PB = 1.024 TB)
Velocidade Rapidez de geração e de processamento, que exige equilíbrio entre produtor e consumidor
dos dados
Variedade Dados estruturados (tabelas relacionais e SQL), semiestruturados (XML, JSON) e não
estruturados (imagens, áudio, logs), estes frequentemente em bancos NoSQL
Veracidade Qualidade, integridade e precisão dos dados, que definem o grau de confiança da decisão
Valor Benefício extraído dos dados; considerada a característica principal, pois justifica todo o
esforço
Fonte: elaborado pelo autor com base em Laney (2001), Gantz e Reinsel (2011) e Russom (2011).
2.2 Arquitetura, aplicações e privacidade
A arquitetura de Big Data compreende sete componentes: fontes de dados,
armazenamento, processamento em lote, ingestão de mensagens, processamento de fluxo,
armazenamento analítico e análise e relatórios, esta última frequentemente apoiada em painéis
com indicadores-chave de desempenho estratégicos, táticos e operacionais. As fontes não
garantem a integridade dos dados, e a arquitetura deve assegurar que apenas pessoas
autorizadas tenham acesso a eles. As aplicações abrangem saúde, governo e mídia. Como o
cruzamento de fontes permite mapear detalhadamente o comportamento das pessoas, a
7
privacidade torna-se requisito de projeto, regulado no Brasil pela Lei Geral de Proteção de
Dados Pessoais (BRASIL, 2018).
8
3 INTERNET DAS COISAS, COMPUTAÇÃO EM NUVEM E STREAMING
3.1 Internetdas Coisas e computação distribuída
A Internet das Coisas (IoT) é a infraestrutura que viabiliza a conexão e a comunicação,
via Internet, de objetos remotos, como sensores de temperatura, de poluição do ar ou de
pressão arterial. Esses dispositivos têm restrições de memória e processamento e executam
tarefas específicas, o que torna suas aplicações naturalmente distribuídas. A IoT combina
quatro componentes, objetos físicos, computação, protocolos de comunicação e serviços, e
alimenta diretamente os Vs: fontes diferentes permitem verificar a veracidade, formatos
distintos correspondem à variedade e a frequência de geração, à velocidade.
A computação distribuída é o modelo mais adequado para gerenciar unidades não
centralizadas, com distribuição de armazenamento e processamento, pré-processamento em
nós menos onerosos, tolerância a falhas e baixo consumo de energia. Sua arquitetura organiza-
se em quatro camadas, nuvem, névoa (fog), borda (edge) e sensores e controladores, cada uma
com atividade específica e com velocidade de fluxo maior nas camadas inferiores. Na
comunicação, destacam-se o HTTP, baseado em solicitação e resposta; o MQTT, de
publicação e assinatura; o CoAP, protocolo aberto e leve; e o XMPP-IoT, que opera sobre
TCP.
3.2 Computação em nuvem
A computação em nuvem oferece serviços computacionais sob demanda pela Internet,
com redução de custos e aumento da confiabilidade. Além de DaaS e XaaS, três modelos de
serviço predominam, diferenciados pelo grau de responsabilidade do provedor.
Quadro 2 – Modelos de serviço em nuvem
Modelo O que é oferecido Responsabilidade do cliente
IaaS Infraestrutura virtualizada: servidores, rede e
armazenamento
Plataforma, aplicação e dados
PaaS Plataforma para desenvolver e implantar aplicações A aplicação
SaaS Aplicação pronta, paga conforme o uso Apenas o uso; o provedor cuida de toda a
pilha
Fonte: elaborado pelo autor com base na literatura consultada.
Quanto à implantação, a nuvem pública atende empresas em crescimento ou com
demanda instável, sem investimento inicial; a privada atende organizações com dados
confidenciais; e a híbrida mantém os dados sensíveis na privada e o restante na pública.
Provedores como Amazon AWS, Microsoft Azure e Google Cloud Platform oferecem o data
lake como recurso essencial.
9
3.3 Processamento de fluxos
O streaming é a transmissão de um fluxo contínuo de dados ordenados no tempo, em
que cada evento representa uma mudança de estado. Suas características são sensibilidade ao
tempo, continuidade, heterogeneidade, imperfeição e volatilidade, das quais derivam os
desafios de escalabilidade, ordenação, consistência e durabilidade e tolerância a falhas. Ao
contrário do data warehouse, orientado ao processamento em lote, o streaming atende
situações urgentes, como serviços essenciais e monitoramento de saúde. Sua combinação com
aprendizado de máquina favorece algoritmos incrementais, como k-vizinhos mais próximos e
Naive Bayes, e permite identificar perfis, estimar demandas e detectar falhas.
10
4 HADOOP E ARMAZENAMENTO DISTRIBUÍDO
4.1 Arquitetura e componentes
O Apache Hadoop é um framework de software livre para o processamento distribuído
de grandes conjuntos de dados em clusters, com modelos de programação simples. Seu
sistema funciona como uma arquitetura mestre-escravo, que permite armazenar e processar
grandes volumes em paralelo (WHITE, 2015). Quatro componentes o estruturam: o
MapReduce, modelo de programação paralela; o HDFS, sistema de arquivos distribuído; o
YARN, responsável pelo agendamento de tarefas e pelo gerenciamento de recursos; e o
Hadoop Common, conjunto de bibliotecas de suporte.
O MapReduce, introduzido pela Google por volta de 2004, aplica a lógica de dividir
para conquistar (HAMSTRA et al., 2015): o mapeamento converte a entrada em pares de
chave e valor, e a redução consome esses pares até o resultado final, passando por
embaralhamento e classificação. No HDFS, o NameNode, mestre, guarda os metadados e
gerencia operações sobre arquivos, enquanto os DataNodes, escravos, armazenam os dados,
com replicação que garante tolerância a falhas em hardware comum. Entre as vantagens do
Hadoop estão escalabilidade, baixo custo e flexibilidade; entre as desvantagens, segurança
desabilitada por padrão e ineficiência com pequenos volumes.
4.2 HDFS, bancos relacionais e data lake
Os sistemas gerenciadores de bancos relacionais (RDBMS), como Oracle, MySQL e
PostgreSQL, organizam os dados em tabelas com regras de integridade, em arquitetura
cliente-servidor, e garantem as propriedades ACID: atomicidade, consistência, isolamento e
durabilidade. O HDFS não os substitui, pois cada estrutura atende a necessidades distintas. O
data lake, por sua vez, centraliza dados em formato original como objetos com metadados e
identificador único, oferecendo escalabilidade, velocidade de aquisição e acesso aos dados
originais para análise (SINGH; AHMAD, 2019). Organiza-se em camadas de governança e
segurança, metadados e ciclo de vida da informação, e em níveis sequenciais de ingestão,
gerenciamento e consumo.
Quadro 3 – Comparação entre estruturas de armazenamento
Estrutura Organização Tipos de dados Uso indicado
RDBMS Tabelas com integridade e
transações ACID
Estruturados Dados que exigem integridade
HDFS Blocos em DataNodes, metadados
no NameNode
Todos os tipos Grandes volumes, escala por
adição de nós
Data
warehouse
Hierárquica, com arquivos e pastas Dados previamente
tratados
Análises históricas em lote
11
Estrutura Organização Tipos de dados Uso indicado
Data lake Plana, com objetos e metadados Formato original Exploração de dados
heterogêneos
Fonte: elaborado pelo autor com base em Singh e Ahmad (2019) e White (2015).
12
5 APACHE SPARK E PYSPARK
5.1 Origem e arquitetura
O Apache Spark é um framework de código aberto de computação distribuída de uso
geral, desenvolvido em Scala e baseado no modelo MapReduce. Iniciado em 2009 em
Berkeley e incorporado à Apache Software Foundation em 2013, supera o Hadoop em
eficiência graças ao cache em memória e a algoritmos otimizados, com a contrapartida de
exigir hardware mais caro, com muita memória RAM. É adequado para integração de dados,
streaming, aprendizado de máquina e análise interativa, mas exige configuração de memória,
núcleos e partições para evitar falhas.
Sua arquitetura mestre-escravo apoia-se em duas abstrações: o RDD (Resilient
Distributed Dataset), conjunto de dados resiliente, distribuído e mantido na memória dos nós;
e o DAG (Directed Acyclic Graph), em que os nós são partições de RDD e as arestas,
transformações. O Driver Program converte a aplicação em DAG, cria o SparkContext e
distribui as tarefas; o Cluster Manager ativa os executores; e os executores realizam as tarefas.
O ecossistema compreende Spark Core, Spark SQL, Spark Streaming, MLlib e GraphX
(CHELLAPPAN; GANESAN, 2018).
5.2 Programação com PySpark
O PySpark é a interface Python para o Spark. O SparkSession é o ponto de entrada
para suas funcionalidades, e o Spark DataFrame, construído sobre RDDs e semelhante a uma
tabela SQL, é otimizado automaticamente. O exemplo a seguir conta palavras com o
paradigma MapReduce, cujas etapas são entrada, separação, mapeamento, embaralhamento,
redução e resultado.
from pyspark import SparkContext
from operator import add
spark_contexto = SparkContext()
paralelo = spark_contexto.parallelize(['distribuida', 'distribuida', 'spark',
 'rdd', 'spark', 'spark'])
mapa = paralelo.map(lambda x: (x, 1)).reduceByKey(add).collect()
# resultado: distribuida: 2 | spark: 3 | rdd: 1
Os RDDs são imutáveis e seguem a avaliação preguiçosa: as transformações só são
executadas quando uma ação é solicitada.
Quadro 4 – Transformações e ações no Spark
Aspecto Transformação Ação
Finalidade Criar novo RDD a partir de um existente Calcular e devolver o resultado ao Driver
Program
13
Aspecto Transformação Ação
Execução Preguiçosa, registrada no DAG Imediata, materializando as transformações
Retorno RDDValor
Exemplos map, flatMap, filter (estreitas); reduceByKey, join
(amplas)
first, take, reduce, collect, count
Fonte: elaborado pelo autor com base em Chellappan e Ganesan (2018).
As transformações estreitas dependem de uma única partição, enquanto as amplas
movimentam dados entre partições. Uma estratégia recorrente consiste em processar o grande
volume com PySpark e converter subconjuntos para Pandas com o método toPandas, a fim de
realizar análises locais.
14
6 ANÁLISE DE DADOS COM PANDAS
Python é uma linguagem de alto nível, de tipagem dinâmica e forte, em que a
indentação integra a sintaxe. O ambiente de análise é gerenciado com pip, venv e Jupyter, e a
biblioteca Pandas, construída sobre o NumPy, oferece DataFrames para tabelas numéricas e
séries temporais. A coleta de dados consiste na medição sistemática de variáveis de interesse
para responder a perguntas de pesquisa e testar hipóteses (KABIR, 2016), e a preparação
exige decisões sobre dados nulos, repetidos e discrepantes.
Quadro 5 – Tratamento de dados nulos ou corrompidos
Situação Conduta Limitação
Base com cerca de 10.000 registros ou mais e
até 10% de nulos
Remover os registros Perda de dados
Base grande com proporção maior de nulos Preencher por regressão ou
classificação
Sensível à variância
elevada
Base com cerca de 1.000 registros ou menos Preencher ou retornar à coleta Risco de viés ou maior
custo
Base precária Retornar à coleta Maior lentidão
Fonte: elaborado pelo autor com base na literatura consultada.
Registros repetidos devem ser eliminados após estudo dos metadados, e os outliers
podem ser removidos ou atenuados pela regularização, que coloca os atributos em escala
comum; no método min-max, os valores passam a variar entre 0 e 1. A manipulação de
DataFrames assemelha-se às operações de projeção, seleção, deleção e junção em tabelas
relacionais.
import pandas as pd
df = pd.read_csv('./DIRETÓRIO_DE_DADOS/ARQUIVO.csv')
df.query('A > B') # seleção
df = df.drop(columns=['col1', 'col2']) # deleção
grouped = df.groupby(['Animal'])
grouped.agg(['mean']) # agregação
Para visualização, a biblioteca Plotly gera gráficos interativos, escolhidos conforme os
dados sejam numéricos, categóricos ou temporais.
15
7 BIG DATA ANALYTICS COM SCIKIT-LEARN E TENSORFLOW
7.1 Inteligência artificial e aprendizado de máquina
O Big Data consolidou-se com a Web 2.0 e a difusão dos smartphones, por volta de
2007, e a Web 3.0, marcada pela hiperpersonalização e por algoritmos de recomendação,
reaqueceu a inteligência artificial. Segundo Russel e Norvig (2013), a IA busca métodos ou
dispositivos que possuam ou multipliquem a capacidade racional humana. Distinguem-se a IA
simbólica, que aprende com regras e lógica, e a subsimbólica ou conexionista, que aprende
diretamente dos dados (WNEK; MICHALSKI, 1992; BABBAR et al., 2018). O aprendizado
de máquina implementa esses processos cognitivos por diferentes métodos.
Quadro 6 – Métodos de aprendizado de máquina
Método Dados Técnicas
Supervisionado Exemplos previamente rotulados Classificação e regressão
Não supervisionado Dados sem rótulo, agrupados por similaridade Agrupamento
Semissupervisionado Pequena parte rotulada e maioria sem rótulo Combinação das anteriores
Por reforço Interação com o ambiente, com recompensas e punições Agentes adaptativos
Fonte: elaborado pelo autor com base em Amaral (2016) e Russel e Norvig (2013).
7.2 KDD e CRISP-DM
O KDD (Knowledge Discovery in Databases) é o processo popularmente chamado de
mineração de dados (FAYYAD; PIATETSKY-SHAPIRO; SMYTH, 1996; AMARAL, 2016).
Na organização adotada pela literatura consultada, compreende coleta, seleção, pré-
processamento, transformação, mineração e avaliação, sendo o pré-processamento a fase mais
longa, com cerca de 70% do tempo do cientista de dados. O CRISP-DM organiza-se em
entendimento do negócio, entendimento dos dados, preparação, modelagem, avaliação e
implantação (WIRTH; HIPP, 2000) e é considerado uma instanciação industrial do KDD
(AZEVEDO; SANTOS, 2008).
Quadro 7 – Comparação entre KDD e CRISP-DM
Aspecto KDD CRISP-DM
Preparação Seleção, pré-processamento e transformação Preparação dos dados
Núcleo analítico Mineração de dados Modelagem
Implantação Inexistente Presente
Entrega Conhecimento Artefato: o modelo
Ambiente preferencial Academia Indústria
Fonte: elaborado pelo autor com base em Wirth e Hipp (2000) e Azevedo e Santos (2008).
16
7.3 Scikit-Learn e TensorFlow
No Scikit-Learn, a classificação do conjunto Íris ilustra a etapa de mineração com
máquina de vetor de suporte, avaliada por validação cruzada, que alterna partições de treino e
teste.
from sklearn.datasets import load_iris
from sklearn.model_selection import cross_val_score
from sklearn.svm import SVC
data = load_iris()
svc = SVC(gamma='auto')
cv_result = cross_val_score(svc, data.data, data.target, cv=10, scoring='accuracy')
print('Acurácia com cross validation:', cv_result.mean()*100)
O aprendizado profundo, ramo do aprendizado de máquina, modela abstrações de alto
nível em múltiplas camadas e incorpora às camadas ocultas o pré-processamento e a geração
de características. Destacam-se o perceptron, criado em 1958 por Frank Rosenblatt; as redes
convolucionais, que aprendem seus próprios filtros para imagens; e as recorrentes, como a
LSTM, voltadas a sequências. O TensorFlow, biblioteca de código aberto executável em CPU
ou GPU, e o Keras, que abstrai a construção de camadas, permitem treinar uma rede densa
sobre o conjunto MNIST, com 70.000 dígitos manuscritos, arquitetura de 784, 256, 128 e 10
neurônios, cem épocas e acurácia relatada de 92%. As redes neurais, contudo, tendem ao
superajuste.
17
8 DISCUSSÃO APLICADA
Considere-se um analista de uma empresa de tecnologia que recebe dados financeiros,
de marketing e de operações desorganizados, com valores faltantes e inconsistências, sob
pressão por resultados rápidos. O KDD oferece um roteiro para conciliar agilidade e
qualidade: a seleção restringe a análise aos atributos relevantes e reduz o esforço de limpeza,
enquanto o pré-processamento, embora longo, não pode ser suprimido sem comprometer a
veracidade dos dados. A remoção de registros é rápida, mas perde informação; o
preenchimento por regressão ou classificação preserva o volume, mas sofre com a variância; e
a recoleta é a mais confiável, porém a mais lenta. Uma solução equilibrada combina essas
estratégias conforme o atributo e a fonte, seguida de regularização antes da mineração.
A infraestrutura participa do mesmo equilíbrio. Se o volume exceder uma única
máquina, o processamento distribuído com PySpark e a conversão de subconjuntos para
Pandas conciliam escala e conveniência; se as fontes forem heterogêneas e contínuas, o data
lake preserva os dados originais para reprocessamento. Em qualquer caso, a segurança deve
ser configurada explicitamente e observar a proteção de dados pessoais (BRASIL, 2018). Se o
objetivo for apenas descobrir padrões, o KDD é suficiente; se for implantar um modelo, o
CRISP-DM é mais apropriado.
18
9 CONSIDERAÇÕES FINAIS
O estudo buscou compreender como os princípios do Big Data e as tecnologias do
ecossistema Python se articulam para transformar dados em conhecimento. Verificou-se que
essas tecnologias não concorrem entre si, mas ocupam posições complementares em um ciclo
de vida que vai da geração à descoberta de conhecimento. O Big Data define-se pelos cinco
Vs, com destaque para o valor; a IoT, a nuvem e o streaming respondem pela geração e pelo
transporte dos dados; o Hadoop e o data lake consolidam o armazenamento distribuído, sem
substituir os bancos relacionais; o Spark aprimora o MapReduce com processamento em
memória e avaliação preguiçosa; o Pandas concentra as decisões de preparação; e o KDD e o
CRISP-DM orientam a aplicação de Scikit-Learn e TensorFlow.
Conclui-se que o valor do Big Data depende da articulação coerente entre arquitetura,
qualidade dos dados e método analítico, sendo o pré-processamentoa etapa decisiva para a
confiabilidade dos resultados. Como limitação, registra-se o caráter exclusivamente
bibliográfico da pesquisa. Recomenda-se, em trabalhos futuros, a comparação empírica entre
Hadoop e Spark e a avaliação do impacto de estratégias de pré-processamento sobre modelos
de aprendizado de máquina.
19
REFERÊNCIAS
AMARAL, F. Aprenda mineração de dados: teoria e prática. Rio de Janeiro: Alta Books,
2016. v. 1.
AZEVEDO, A. I. R. L.; SANTOS, M. F. KDD, SEMMA and CRISP-DM: a parallel
overview. IADS-DM, 2008.
BABBAR, P. et al. Connectionist model in artificial intelligence. International Journal of
Applied Engineering Research, v. 13, n. 7, p. 5154-5159, 2018.
BRASIL. Lei nº 13.709, de 14 de agosto de 2018. Dispõe sobre a proteção de dados pessoais
e altera a Lei nº 12.965, de 23 de abril de 2014 (Marco Civil da Internet). Diário Oficial da
República Federativa do Brasil, 15 ago. 2018. Acesso em: 10 set. 2021.
CHELLAPPAN, S.; GANESAN, D. Practical Apache Spark: using the Scala API. [S. l.]:
Apress, 2018.
FAYYAD, U.; PIATETSKY-SHAPIRO, G.; SMYTH, P. The KDD process for extracting
useful knowledge from volumes of data. Communications of the ACM, v. 39, n. 11, p. 27-
34, 1996.
GANTZ, J.; REINSEL, D. Extracting value from chaos. IDC iView, p. 1-12, 2011.
HAMSTRA, M.; KARAU, H.; ZAHARIA, M.; KONWINSKI, A.; WENDELL, P. Learning
Spark: lightning-fast big data analytics. [S. l.]: O'Reilly Media, 2015.
ISHWARAPPA, K.; ANURADHA, J. A brief introduction on Big Data 5Vs characteristics
and Hadoop technology. Procedia Computer Science, v. 48, p. 319-324, 2015.
KABIR, S. M. S. Methods of data collection. In: KABIR, S. M. S. Basic guidelines for
research: an introductory approach for all disciplines. 1. ed. Chatigão: Book Zone
Publication, 2016. cap. 9, p. 201-275.
LANEY, D. 3-D data management: controlling data volume, velocity and variety. META
Group Research Note, 2001.
RUSSEL, S.; NORVIG, P. Inteligência artificial. 3. ed. São Paulo: GEN LTC, 2013.
RUSSOM, P. Big Data Analytics. TDWI Best Practices Report, Fourth Quarter 2011. [S. l.]:
TDWI Research, 2011.
SINGH, A.; AHMAD, S. Architecture of data lake. International Journal of Scientific
Research in Computer Science, Engineering and Information Technology, v. 5, n. 2, p.
411-414, 2019.
WHITE, T. Hadoop: the definitive guide. [S. l.]: O'Reilly Media: Yahoo! Press, 2015.
WIRTH, R.; HIPP, J. CRISP-DM: towards a standard process model for data mining. In:
INTERNATIONAL CONFERENCE ON THE PRACTICAL APPLICATIONS OF
KNOWLEDGE DISCOVERY AND DATA MINING, 4., 2000, London. Proceedings [...].
London: Springer-Verlag, 2000.
20
WNEK, J.; MICHALSKI, R. S. Comparing symbolic and subsymbolic learning: three
studies. Fairfax: George Mason University, 1992.