Exercícios sobre Hadoop

Prévia do material em texto

Lista de exercícios ≡ Hadoop e Armazenamento De DadosVocê acertou 9 de 10 questões Verifique o seu desempenho e continue treinando! Você pode refazer o exercício quantas vezes quiser. Verificar Desempenho 1 Marcar para revisão Hadoop é um framework de código aberto voltado para aplicações de Big Data. Neste sentido, selecione a alternativa correta que apresenta um grande desafio no processo de configuração e gerenciamento do Hadoop. A Processos de extração, transformação e carregamento dos dados. Mecanismo para melhorar o processamento dos dados. Aplicar políticas de segurança. D Gerenciamento do armazenamento de dados. E Tratar dados não-estruturados. Resposta correta Parabéns, você selecionou a alternativa correta. Confira o gabarito comentado! Gabarito Comentado desafio de aplicar políticas de segurança no Hadoop é significativo, pois envolve a configuração de um sistema que lida com problemas complexos de Big Data. A segurança da informação é um aspecto crítico em qualquer sistema de dados, e no caso do Hadoop, isso se torna ainda mais desafiador devido à sua natureza de lidar com grandes volumes de dados, muitas vezes não estruturados. Portanto, o profissional responsável por essa etapa precisa ter um alto nível de conhecimento e habilidade para garantir a segurança adequada dos dados. 2 Marcar para revisão Em relação às fases do Hadoop, selecione a opção correta que apresenta componente responsável pela geração de pares intermediários de valor e chave. ACombinação Agrupamento D Redução E Gravação da saída X Resposta incorreta A alternativa correta é a letra Confira gabarito comentado! Gabarito Comentado processo de embaralhamento, também conhecido pelo termo em inglês "shuffling", é o componente do Hadoop responsável pela geração de pares intermediários de valor e chave. Esses pares são transferidos para a fase de redução. Este processo ocorre em paralelo com outras tarefas da fase de mapeamento, otimizando o uso dos recursos e aumentando a eficiência do processamento de dados. Portanto, a alternativa correta é a "A: Embaralhamento". 3 Marcar para revisão A arquitetura do Hadoop é projetada para garantir alto desempenho na manipulação de grandes volumes de dados distribuídos. Um de seus principais diferenciais é a capacidade de dividir tarefas entre diversos nós do cluster. Qual componente da arquitetura Hadoop é responsável por gerenciar os recursos computacionais disponíveis e monitorar uso de CPU, memória e disco em cada máquina do cluster? A NameNode NodeManager DataNode D TaskTracker E Mapper Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado NodeManager atua como agente em cada máquina (nó) do cluster, sendo responsável por monitorar os recursos locais e repassar essas informações ao ResourceManager, parte integrante do YARN. Ele asseguraque os containers sejam gerenciados com base na capacidade da maquina, otimizando a alocação de tarefas. 4 Marcar para revisão Organizações que lidam com grandes volumes de dados, como redes sociais e plataformas de streaming, frequentemente adotam soluções específicas para garantir desempenho, escalabilidade e tolerância a falhas. Uma dessas soluções é o Hadoop, cuja arquitetura é composta por diversos componentes que trabalham em conjunto. Considerando a função desses componentes, qual deles é responsável por armazenar os dados efetivos dentro do cluster Hadoop? A YARN, por ser o componente responsável pelo agendamento e gerenciamento de tarefas distribuídas NameNode, por conter os metadados que descrevem a localização dos arquivos armazenados MapReduce, por possibilitar a divisão das tarefas em pares chave-valor para processamento paralelo D DataNode, por ser responsável direto pelo armazenamento físico dos dados no cluster E Hadoop Common, por fornecer bibliotecas e scripts necessários à execução dos demais componentes Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado DataNode é componente da arquitetura Hadoop responsável por armazenar os dados reais em cada nó do cluster. Ele atua como "escravo" na estrutura mestre-escravo, sendo coordenado pelo NameNode, que apenas gerencia metadados. Enquanto outros componentes como YARN e MapReduce se concentram em processamento e gerenciamento, DataNode se encarrega do armazenamento em si. 5 Marcar para revisão A respeito do HDFS, selecione a opção correta cujo componente lógico mantém os dados do usuário na forma de blocos de dados. A YARN NameNode Bloco de dadosD Replicação E DataNode Resposta correta Parabéns, você selecionou a alternativa correta. Confira o gabarito comentado! Gabarito Comentado componente lógico que mantém os dados do usuário na forma de blocos de dados no HDFS é DataNode. Ele é uma parte essencial da arquitetura do HDFS, pois é responsável pelo armazenamento dos dados. Cada arquivo no HDFS é dividido em blocos de dados, que são armazenados em DataNodes. Portanto, a alternativa correta é a E, que menciona o DataNode. 6 Marcar para revisão A respeito do Hadoop, selecione a opção correta com o componente que faz o rastreamento de tarefas. A MapReduce HDFS Task manager D Camada de ingestão E Mrjob Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado MapReduce é o componente do Hadoop responsável pelo rastreamento de tarefas. Ele opera por meio de dois tipos de rastreadores: os Task Trackers, que rastreiam tarefas individuais, e os Job Trackers, que rastreiam trabalhos completos. Este mecanismo permite a distribuição eficiente de tarefas em um cluster. As demais alternativas, HDFS, Task manager, Camada de ingestão e Mrjob, embora estejam relacionadas ao Hadoop, não possuem a funcionalidade específica de rastreamento de tarefas. 7 Marcar para revisão O Hadoop é uma tecnologia especializada em atender as demandas de Big Data. Selecione a opção correta que - de dea para A Python Java Lua D JavaScript E Perl Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado Hadoop foi originalmente desenvolvido utilizando a linguagem de programação Java, pela Apache Foundation. Com passar do tempo, diferentes versões do framework foram implementadas em várias linguagens, incluindo Python. No entanto, a linguagem de programação principal e mais utilizada para desenvolvimento e implementação do Hadoop continua sendo Java, tornando a alternativa a resposta correta para esta questão. 8 Marcar para revisão Reconhecer os conceitos de Data Lake é fundamental para profissional de Tecnologia da Informação. Selecione a opção correta a respeito do Data Lake. A Possui alta latência para acesso dos dados. Aplica processos de tratamento nos dados. Armazena os dados de modo eficiente. D Demanda por equipamentos especiais. E São exclusivos da distribuição Hadoop Apache. Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabaritoconceito de Data Lake se refere a um sistema de armazenamento que é capaz de guardar uma grande quantidade de dados brutos, em seu formato original. A alternativa correta é a letra C, que afirma que Data Lake armazena os dados de modo eficiente. Isso ocorre porque o Data Lake é projetado para armazenar grandes volumes de dados de maneira eficaz, permitindo que os usuários acessem e analisem esses dados rapidamente. Além disso, é importante ressaltar que o Data Lake não demanda por equipamentos especiais e não é de uso exclusivo da distribuição Hadoop Apache, contrariando as afirmações das alternativas D e E, respectivamente 9 Marcar para revisão Em relação ao Data Lake, selecione a opção correta que contenha o(s) formato(s) de dados que pode(m) ser armazenado(s) nele. A Apenas estruturado Estruturado e semiestruturado Estruturado, não estruturado e semiestruturado D Apenas não estruturado E Apenas tabelas relacionais Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado Data Lake é uma solução de armazenamento de dados que permite a inclusão de diferentes formatos de dados, sejam eles estruturados, semiestruturados ou não estruturados. Essa característica de variedade dos dados é uma das principais vantagens do Data Lake, especialmente em aplicações de Big Data, onde a diversidade de formatos de dados é uma constante. Portanto, a alternativa correta é a C, que afirma que Data Lake pode armazenar dados estruturados, semiestruturados e não estruturados. 10 Marcar para revisão Durante a execução de aplicações com Hadoop, a fase de redução desempenha papel fundamental no processamento final dos dados. Essa etapa é precedida por um processo que organiza e redistribui os pares chave- valor gerados pelas tarefas de mapeamento, otimizando a carga de trabalho entre os nós. Qual é o nome desse processo e qual é sua principal contribuição? A Combinação reduz a quantidade de tarefas no redutor ao eliminar duplicatasB Classificação - organiza os dados em ordem alfabética antes da gravação final Embaralhamento - redistribui os dados intermediários para os redutores corretos D Particionamento - - divide os dados em grupos com base em similaridade semântica E Agendamento - determina quais tarefas devem ser executadas com prioridade Resposta correta Parabéns, você selecionou a alternativa correta. Confira gabarito comentado! Gabarito Comentado embaralhamento (ou shuffle) é o processo em que os pares chave-valor intermediários, gerados pelos mapeadores, são redistribuídos entre os redutores conforme a chave. Essa etapa garante que todos os valores de uma mesma chave sejam processados juntos, permitindo uma redução eficaz e consistente dos dados. com VLibras