Fundamentos de Big Data

Esta é uma pré-visualização de arquivo. Entre para ver o arquivo original

fundamentos big data
Se diferencia do Machine Learning, pois faz uso de uma rede neural artificial, cujo funcionamento
parecido com a rede de neurônios do cérebro humano.
- Deep Learning
Sua premissa é uma argumentação ativa, isto é, em vez do usuário definir o problema, selecionar os
dados e as ferramentas para analisar tais dados, as suas ferramentas pesquisam automaticamente os
mesmos a procura de anomalias e possíveis relacionamentos, identificando assim problemas que não
tinham sido identificados pelo usuário:
- Data Mining
REZENDE (2002) o(a) definiu como a habilidade de criar um modelo mental que descreve os objetos que
estão ao redor do homem:
- conhecimento;
Armazena dados consolidados de diversas fontes, mas interligados 
pelo ambiente de uma corporação:
- Data Warehouse;
Qual dos exemplos abaixo não apresenta os dados de forma estruturada:
- documentos de texto.
São os dados gerados por: geladeiras, carros, TVs e outros dispositivos que estão conectados à internet
e conversam entre si:
- Personal Data;
Que conceito corresponde a seguinte definição, criada por James Dixon, CTO do Pentaho?
"São os dados em grandes volumes e em seu estado natural, vindos de todos os tipos de fontes, onde os
usuários podem 'mergulhar' e tirar amostras".
- Data Lake;
São os dados gerados por empresas a todo momento, que podem ser essenciais para medir
produtividade das equipes e descobrir alguns gargalos:
- Enterprise Data.
Processo analítico projetado para explorar grandes quantidades de
dados (tipicamente relacionados a negócios, mercado ou pesquisas
científicas), na busca de padrões consistentes e/ou relacionamentos
sistemáticos entre variáveis e, então, validá-los aplicando os padrões
detectados a novos subconjuntos de dados:
- Data Mining
Processo orientado a negócios para a detecção de padrões e
anormalidades por meio da visualização de dados:
- Data Discovery
No que se refere a aprendizagem não supervisionada, analise as
sentenças a seguir:
I - Na aprendizagem não supervisionada não existe um resultado
específico esperado.
II - Nesse tipo de aprendizagem os dados são agrupados e os
resultados mudam de acordo com as variáveis.
III - Não é possível prever os resultados do cruzamento das informações.
Estão corretas as sentenças:
- I, II e III
No que se refere a aprendizagem supervisionada, analise as sentenças
a seguir:
I - Na aprendizagem supervisionada existe um conjunto prévio de dados
inseridos na máquina.
II - As informações são usadas para prever um resultado esperado pelo
usuário ou para fazer a classificação de elementos usados.
III - As sugestões que serão dadas ao usuário não necessitam ser
parecidas com os dados registrados.
Estão corretas as sentenças:
- I e II, apenas
Suas ferramentas analisam os dados, descobrem problemas ou
oportunidades escondidas nos relacionamentos dos dados, e então
diagnosticam o comportamento dos negócios, requerendo a mínima
intervenção do usuário. Assim, ele se dedicará somente a ir em busca
do conhecimento e produzir mais vantagens competitivas.
- Data Mining
Utilização de dados de uma empresa para rotinas de inteligência de
negócio:
- Business Intelligence errada
é analise aprimorafa de dados brutos, objetivando apresentar conclusões
sobre as informações estudadas:
- data analytics
para LE COADIC (2004), eles são uma representação composta de
informação codificada de uma forma a permitir coloca-las sob
processamento eletronico:
- dados
um banco de dados de big data deve possuir pelo menos 3
aspectos, os chamados 3vs do big data que são:
- velocidade, volume, variedade
Os termos Business Intelligence (BI) e Big Data confundem-se em certos
aspectos. Uma conhecida abordagem para identificação dos pontos
críticos de cada paradigma é conhecida como 3V, e destaca:
- variedade, velocidade, volume;
No que se refere a NoSQL, analise as sentenças a seguir:
I - Os sistemas NoSQL não suportam totalmente essas regras ACID,
além de não existir um conceito de transação em muitos sistemas
NoSQL.
II - Os dados nos sistemas de gerenciamento de banco de dados
relacionais estão localizados em tabelas e colunas fixas enquanto os
sistemas NoSQL não dependem de tabelas e colunas fixas.
III - Os sistemas NoSQL não acessam os dados através das chaves
primárias.
Estão corretas as sentenças:
- I e II apenas
são dados basicamente oriundos das pessoas e tipos de informações
que decifram comportamentos:
- social data
No que se refere a bancos de dados orientados a chave-valor, analise
as sentenças a seguir:
I - Uma chave pode apontar para qualquer tipo de dado.
II - A desvantagem do uso de armazenamento valor-chave é que eles
são difíceis de implementar e adicionar dados.
III - A vantagem é que você consegue encontrar elementos com base
nos valores armazenados.
Estão corretas as sentenças:
- I apenas
segundo ZEMAM ( 1970) ele da forma e representa uma ideia
- informação
para processamento de grandes massas de dados, no contexto de
big data, é muito utilizada uma plataforma de software em java, de
computação distribuida, voltada para clusters, inspirada no map reduce
e no googlefs, esta plataforma é o
- hadoop
Extensão do conceito de conhecimento; na verdade, ele(a) é o
conhecimento acrescido de ética e valores:
- sabedoria
tem como objetivo não apenas reportar e monitorar a performance da
organização, mas tambem explorar todo o valor dos dados na
otimização de processos de negocios:
- data discovery
Extensão do conceito de conhecimento; na verdade, ele(a) é o
conhecimento acrescido de ética e valores:
- dados;
Conjuga Inteligência Artificial e Computação Cognitiva para a solução
de problemas com base em banco de dados confiável, testado
exaustivamente e com robustos algoritmos para combinação de
informações:
- Machine Learning
A principal definição de Big Data parte de três características,
conhecidas como 3Vs do Big Data, a saber: velocidade, variedade e
volume. O termo velocidade refere-se, principalmente, à:
- necessidade das aplicações de gerar respostas rapidamente, a partir
de grandes massas de dados.
Campo que abrange as atividades relacionadas à limpeza, preparação
e análise de dados:
- Data Science;
Plataforma de software de código aberto para o armazenamento e
processamento distribuído de grandes conjuntos de dados, utilizando
clusters de computadores com hardware commodity, isto é,
computadores de baixo custo:
- Hadoop;
Componente de Data Warehouse que realiza a leitura, gravação e
gerenciamento de grandes conjuntos de dados em um ambiente
distribuído usando uma interface semelhante a SQL.
- Hive
Qual benefício do Apache Hadoop é atendido pelo armazenamento de
dados em qualquer formato, incluindo formatos semiestruturados e não
estruturados?
- Flexibilidade;
Qual benefício do Apache Hadoop é atendido pelo armazenamento dos 
dados em cada nó em um cluster Hadoop?
- Confiabilidade;
Qual benefício do Apache Hadoop é atendido pelo fato do Hadoop ser
um software open source e executado em hardware commodity de baixo
custo?
- Baixo Custo;
Qual benefício do Apache Hadoop é atendido pelo redirecionamento e
replicação dos dados entre os nós do cluster Hadoop?
- Confiabilidade;
No que se refere ao ecossistema do Hadoop, analise as sentenças a
seguir:
I - O Apache Solr é baseado em Java, o que também ajuda na
verificação ortográfica
II - O Apache Lucene usa a biblioteca de pesquisa do Solr Java como
um núcleo para pesquisa e indexação completa
O Apache Atlas é um conjunto escalável e extensível de serviços
fundamentais de governança de base
III - O Apache Ranger é um framework para ativar, monitorar e
gerenciar a segurança abrangente de dados na plataforma Hadoop.
Estão corretas as sentenças:
- III, apenas
No que se refere ao ecossistema do Hadoop, analise as sentenças a
seguir:
I - O Hadoop Distributed File System (HDFS) fornece armazenamento
escalável
e tolerante a falhas, o custo-eficiente para o seu Data Lake.
II - O MapReduce é o quadro original para escrever aplicações
massivamente paralelas que processam grandes quantidades de
dados estruturados e não estruturados armazenados no HDFS.
III - O HIVE é um componente de Data Warehouse que realiza a
leitura, gravação e gerenciamento de grandes conjuntos de dados em
um ambiente distribuído usando uma interface semelhante a SQL.
Estão corretas as sentenças:
- I, II e III
No que se refere ao ecossistema do Hadoop, analise as sentenças a seguir:
I - A visão do Ranger é fornecer segurança abrangente em todo o ecossistema do Apache Hadoop.
II - O Apache Atlas é um conjunto escalável e extensível de serviços fundamentais de governança de
base.
III - O HIVE fornece um único ponto de acesso para todas as interações REST e HTTP com os clusters
do Apache Hadoop.
Estão corretas as sentenças:
- I e II, apenas
No que se refere a bancos de dados de armazenamento de documento, analise as sentenças a seguir:
I - Os bancos de dados orientado a documentos aplicam uma abordagem orientada a documentos para armazenar
dados.
II - Inclui a capacidade de ter subdocumentos.
III - Sua forma de armazenamento evita que ocorra redundância e inconsistência.
Estão corretas as sentenças:
- I e II, apenas
TURBAN (2003) os considerou com a matéria prima da informação:
- dados;
discursivas
Defina Social Data:
A Social Data são dados que veio das pessoas são dados diversos
com diversas informações que nos mostra translucidando o
comportamento do indivíduo. Ou seja, aqui conseguimos identificar
perfis para trabalhar de forma mais direcionada. Há inúmeros exemplo
no dia a dia sobre esses dados como: Pesquisas na internet, curtidas
nas redes social, compartilhamentos entre outras coisas.
Cite 2 (DUAS) diferenças entre Big Data e BI (Business Intelligence):
Mesmo sabendo que os 2 se completam, as diferença são que,
enquanto o Big Data serve para minerar dados mais preciso o BI
analisam e condensam esses dados para tomada de decisões, uma
trabalha de forma sistémica e contínua e a outra trabalha com um
objetivo específico.
O BI foca na coleta, organização, transformação, disponibilização dos
dados já estruturados para a tomada de decisões já o foco do Big Data
é o processamento de dados em um curto prazo para descobrir as
correlações e caminhos antes desconhecidas nos grandes volumes de
dados. Assim a empresa consegue uma vantagem altamente
competitiva.
cite 3 exemplos de dados estruturados
planilhas eletronicas excel
arquivos xml
banco de dados
Cite 3 (TRÊS) exemplos de dados semiestruturados:
Vídeos, imagens e arquivos de texto são exemplos de dados
semiestruturados.
O que significa o termo o termo Big Data Analytics?
Trata-se de uma união de soluções de Businnes Intelligence (BI), Data
Mining e Datawarehouse, as quais estão presentes no cotidiano
empresarial. Onde o Data Analytics trouxe a valorização dos resultados
da aplicação dessas tecnologias para todas as vertentes da gestão de
um negócio, como na área financeira, de marketing, de logística, no
jurídico e no relacionamento com o cliente. Esta é baseado em algoritmos
complexos, que consideram o maior número possível de variáveis de
interesse do negócio/empresam, a qual ainda considera, fórmulas para
responder a questões estratégicas e antecipar movimentos e tendências
no mercado.
cite 3 serviços fornecidos pelo hadoop
MAP REDUCE
Computação Distribuída (Cluster, conjunto de computadores)
HDFS - 
Hadoop Distributed File System (HDFS), é responsável por gerenciar o
disco das máquinas que compõem o Cluster. HDFS também serve
para leitura e gravação dos dados.
Spark
Apache Spark, é uma ferramenta Big Data para o processamento de
grandes conjuntos de dados. Foi desenvolvido para substituir o
MapReduce, pois processa 100x mais rápido que o MapReduce
defina enterprise data
São os dados gerados por empresas a todo momento (dados do
financeiro, recursos humanos, operações etc). Muitos não dão a
devida importância para esses dados, mas eles podem medir
produtividade das equipes e descobrir alguns gargalos