Big Data Analytic e a Tomada de Decisões (17324)

Prévia do material em texto

<p>Prova Impressa</p><p>GABARITO | Avaliação da Disciplina (Cod.:645387)</p><p>Peso da Avaliação 10,00</p><p>Prova 73836601</p><p>Qtd. de Questões 20</p><p>Nota 10,00</p><p>A análise de cluster pode ser utilizada em inúmeras aplicações do cotidiano. Além disso, as técnicas e</p><p>algoritmos que podem ser empregados precisam ser bem escolhidos para aumentar as chances de</p><p>sucesso. Diante disso, no que é necessário refletir antes de implementar uma aplicação para análise</p><p>de cluster?</p><p>A partir das alternativas abaixo, assinale a CORRETA:</p><p>A Garantir uma arquitetura robusta para suportar o volume e variedade dos dados, bem como optar</p><p>por uma ferramenta que possa fornecer suporte à análise paralela em cluster.</p><p>B</p><p>Checar a quantidade de parâmetros que serão úteis para a aplicação, decidir que tipo de banco de</p><p>dados (relacional ou não relacional) será utilizado e estruturar uma arquitetura capaz de suportar o</p><p>tráfego de dados.</p><p>C Verificar e validar requisitos da aplicação, assim como selecionar uma ferramenta de Big Data</p><p>adequada para garantir o rápido armazenamento e processamento dos dados.</p><p>D</p><p>Verificar a quantidade de dados que será processada, bem como a variedade, mensurar os</p><p>parâmetros que serão necessários para as próximas etapas, assim como avaliar a</p><p>dimensionalidade.</p><p>A transição da Web representou um importante mecanismo para a revolução dos dados e expôs um</p><p>novo cenário de explosão e novos formatos para análise de dados nos meios digitais.</p><p>Nesse sentido, dentre as três fases da web, qual destas representou a gênese para explosão dos dados?</p><p>A partir das alternativas abaixo, assinale a CORRETA:</p><p>VOLTAR</p><p>A+ Alterar modo de visualização</p><p>1</p><p>2</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 1/15</p><p>A Na Web 3.0 a partir da geração de conteúdo por parte do usuário e a compreensão semântica de</p><p>suas atividades na rede.</p><p>B Na Web 1.0 que representou o primeiro contato dos usuários em relação à web.</p><p>C Entre a Web 1.0 e Web 2.0 com o surgimento das primeiras redes sociais.</p><p>D Na Web 2.0 onde os usuários passaram a gerar conteúdo a partir de sistemas dinâmicos.</p><p>Grande parte do sucesso do Spark está relacionado à sua estrutura, que é composta por alguns</p><p>componentes. O principal deles é o RDD.</p><p>Sobre este componente, classifique V para as sentenças verdadeiras e F para as falsas:</p><p>( ) É uma estrutura física do Spark que guarda informações dos objetos do Spark. Sua única</p><p>limitação é não possuir um mecanismo para tratamento de falhas.</p><p>( ) Possui uma estrutura similar a uma tabela, conhecida como dataset que pode armazenar dados de</p><p>diferentes tipos.</p><p>( ) Fornece suporte a dois tipos de operações: transformação e ação. Quando se aplica uma</p><p>transformação um novo RDD é criado, mas o conjunto de dados só é alterado se for aplicada uma</p><p>etapa de ação.</p><p>( ) Algumas operações de transformação são: SortByKey, FlatMap e GroupByKey enquanto que</p><p>collect, count e CountByKey são operações de ação.</p><p>A partir das alternativas abaixo, assinale a CORRETA:</p><p>A F – V – V – F.</p><p>B F – V – V – V.</p><p>C V – V – V – F.</p><p>D F – F – V – V.</p><p>3</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 2/15</p><p>Em épocas passadas as empresas conviviam com certas limitações, em termos de tecnologia, para que</p><p>pudessem analisar seus dados.</p><p>Por outro lado, nos dias atuais, as tecnologias possibilitaram e estimularam a produção de conteúdo.</p><p>Tendo isso em mente, classifique V para as sentenças verdadeiras e F para as falsas:</p><p>( ) As empresas precisam lidar com o alto volume e variedade de dados digitais propondo soluções</p><p>automáticas de análise a fim de se manterem competitivas.</p><p>( ) As empresas orientadas a dados têm à disposição uma massiva quantidade de dados, porém, em</p><p>muitos casos não sabem como gerenciá-los.</p><p>( ) A elevada produção de conteúdo implica em um problema de sobrecarga de informação,</p><p>evidenciando as limitações da ação humana para lidar com isso.</p><p>Assinale a alternativa correta:</p><p>A V – V – V.</p><p>B V – F – F.</p><p>C V – F – V.</p><p>D F – V – V.</p><p>Apesar do grande crescimento, o Big Data é um conceito amplo que se refere à forma como lidamos</p><p>com a grande quantidade de dados disponível para uso. Além disso, a empresa precisa construir uma</p><p>infraestrutura para lidar com uma infinidade de fontes e processá-las em um tempo razoável.</p><p>Diante disso, em qual cenário uma empresa pode estar diante de um Big Data? A partir das</p><p>alternativas abaixo, assinale a CORRETA:</p><p>4</p><p>5</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 3/15</p><p>A Em situações onde a infraestrutura de dados da empresa apresenta elevada taxa de latência e/ou</p><p>inviabilidade para análises de dados de grande volume e em diferentes formatos e estruturas.</p><p>B</p><p>Em circunstâncias onde o volume de dados da organização aumente significativamente,</p><p>tornando-se possível comprar novos servidores, o que poderia diminuir os custos com</p><p>armazenamento.</p><p>C Quando a análise de dados tradicional não estiver mais trazendo real valor para a organização, o</p><p>que poderia indicar a possibilidade de trazer inovação com novas formas de analisar os dados.</p><p>D Quando o conjunto de dados ultrapassar a casa dos 1PB e a empresa precise lidar com dados</p><p>estruturados, semiestruturados e/ou não estruturados.</p><p>Dados não estruturados ou desestruturados compreendem cerca de 80% de toda gama de dados</p><p>disponíveis para extração e análise de dados.</p><p>Em relação a esses tipos de dados é correto afirmar que:</p><p>A</p><p>São pouco percebidos pelas empresas por conta da complexidade em lidar com essas estruturas.</p><p>São extremamente custosos se comparados ao formato estruturado e carecem de técnicas para</p><p>melhorar o processo de análise.</p><p>B Apresentam formato livre e são produzidos pela linguagem humana. Para que seja possível</p><p>realizar a análise existe a necessidade de transformá-los em um formato estruturado.</p><p>C</p><p>São de vital importância para as empresas, porém, são pouco explorados e apresentam baixo</p><p>poder de aplicabilidade. Google e IBM são algumas das poucas empresas que investem recursos</p><p>em análise de dados textuais.</p><p>D</p><p>São dados difíceis de serem decifrados ou compreendidos pela máquina, por conta da sua</p><p>estrutura. A linguagem humana é incompreensível pela máquina, o que torna o processo de</p><p>descoberta de conhecimento inviável.</p><p>Existem diversos métodos tradicionais que podem ser empregados para análise em cluster e são</p><p>potencialmente interessantes em cenários de baixa complexidade - com quantidade de dados reduzida.</p><p>6</p><p>7</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 4/15</p><p>Em relação aos métodos hierárquicos é CORRETO afirmar que:</p><p>A Divide o cluster através de níveis, onde os objetos alocados nos níveis superiores da árvore são</p><p>mais próximos entre si.</p><p>B Agrupa um conjunto de pontos de dados em uma estrutura de árvore (dendograma) e fornece boa</p><p>capacidade para comunicação dos resultados.</p><p>C Apresenta como vantagem a simplicidade e o fato de ser eficiente, mesmo em situações onde o</p><p>conjunto de dados é significativo.</p><p>D Define aleatoriamente um ponto de partida para o parâmetro K e assim tenta otimizar o</p><p>resultado ao longo das iterações.</p><p>As métricas de segmentação representam outra classe de medidas para análise de redes sociais.</p><p>Em relação a essas métricas, associe os itens, conforme o código abaixo:</p><p>I – Coeficiente de agrupamento.</p><p>II – Coesão.</p><p>III – Clique.</p><p>( ) É uma medida que representa o grau de ligação existente entre dois vértices.</p><p>( ) É uma medida que indica a probabilidade de formação de clusters entre os vértices.</p><p>( ) Quando um determinado vértice está diretamente conectado a todos os outros vértices.</p><p>A partir das alternativas abaixo, assinale a CORRETA:</p><p>8</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 5/15</p><p>A I – II – III.</p><p>B II – I – III.</p><p>C III – II – I.</p><p>D II – III – I.</p><p>Empresas de muitos ramos têm investido em tecnologias e análise de dados para expandirem seus</p><p>negócios. Em geral, que circunstâncias-chave tem incentivado empresas a investirem parte de seus</p><p>recursos</p><p>em análise de dados?</p><p>A partir das alternativas abaixo, assinale a CORRETA:</p><p>A Automatização de processos, incentivos fiscais e mão de obra barata.</p><p>B Algoritmos cada vez mais inteligentes, redução de mão de obra e incremento tecnológico.</p><p>C Melhoria dos processos de negócio, aumento de competitividade e o valor que pode ser obtido.</p><p>D Mensurar retorno de investimentos, incentivos governamentais e garantia de lucro.</p><p>O HDFS é um sistema de arquivos do Hadoop que permite armazenar grandes volumes de dados e</p><p>possui uma arquitetura que apresenta alguns componentes importantes.</p><p>Dentre os componentes principais da arquitetura do HDFS, assinale a alternativa CORRETA.</p><p>9</p><p>10</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 6/15</p><p>A</p><p>O HDFS é formado pelo NameNode e DataNode. O primeiro é considerado mestre porque</p><p>controla todas as atividades relacionadas ao armazenamento físico dos dados em cada nó,</p><p>enquanto o segundo processa os dados e comunica ao mestre.</p><p>B</p><p>O HDFS é formado pelo JobTracker e o TaskTrack. O primeiro está relacionado ao</p><p>armazenamento e processamento dos dados diretamente no cluster “pai”, enquanto que o segundo</p><p>apenas obedece às instruções do pai e o notifica quando for o caso.</p><p>C</p><p>O HDFS é formado pelo NameNode e DataNode. O primeiro é considerado vital, pois gerencia</p><p>todos os dados que chegam ao sistema e notifica aos escravos (Data Node) em caso de falha.</p><p>Estes apenas executam as tarefas solicitadas.</p><p>D</p><p>O HDFS é formado pelo JobTracker e o TaskTrack. O primeiro é responsável por agendar e</p><p>gerenciar as tarefas de armazenamento, enquanto que o segundo realiza as atividades diretamente</p><p>nas máquinas destino.</p><p>Os métodos tradicionais de agrupamento (clustering) podem ser implementados por uma diversidade</p><p>de algoritmos.</p><p>Relacione a classe de algoritmos com os métodos, associando os itens, conforme o código abaixo:</p><p>I – Algoritmos DIANA, ROCK.</p><p>II – Algoritmos DBSCAN, OPTICS.</p><p>III – Algoritmos Expectation-Maximization (EM), Self-Organization Map (SOM)</p><p>IV – Algoritmos K-Means, CLARANS.</p><p>V – Algoritmos STING, WAVECLUSTER.</p><p>( ) Métodos hierárquicos.</p><p>( ) Métodos baseados em grid.</p><p>( ) Métodos de particionamento.</p><p>( ) Métodos baseados em modelos.</p><p>( ) Métodos baseados em densidade.</p><p>11</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 7/15</p><p>Assinale a alternativa que apresenta a sequência CORRETA:</p><p>A III – IV – II – I – V.</p><p>B II – V – III – IV – I.</p><p>C I – V – IV – III – II.</p><p>D I – IV – V – II – III.</p><p>A demanda por profissionais de análise de dados ampliou o escopo de exigências destes profissionais.</p><p>As empresas estão interessadas em profissionais capacitados e que tenham habilidades em trabalhar</p><p>com dados. Tendo isso em mente, quais são as principais habilidades requeridas para um</p><p>profissional de dados?</p><p>A partir das alternativas abaixo, assinale a CORRETA:</p><p>A</p><p>Domínio de técnicas de aprendizagem de máquina, amplo conhecimento em matemática,</p><p>experiência com todos os tipos de dados ou banco de dados (extração e manipulação) e amplo</p><p>conhecimento do negócio.</p><p>B Raciocínio lógico apurado, capacidade para extrair insights de dados não estruturados,</p><p>experiência prévia em aprendizagem de máquina e pouco conhecimento do conceito de Big Data.</p><p>C</p><p>Forte capacidade analítica, amplo conhecimento em ferramentas de visualização de dados e</p><p>frameworks de Big Data como Apache Spark e PowerBI e domínio de bancos de dados não</p><p>relacionais.</p><p>D</p><p>Capacidade para manipulação de dados, conhecimentos em estatística e aprendizado de máquina,</p><p>habilidades com ferramentas e/ou linguagens de programação e capacidade para transmitir</p><p>resultados.</p><p>No dia a dia as decisões para análise de Big Data precisam ser assertivas, ou seja, é necessário saber</p><p>qual o objetivo da análise para que as soluções realmente possam atender ao real desejo da</p><p>organização.</p><p>12</p><p>13</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 8/15</p><p>Nesse sentido, imagine um pequeno cenário: - Um gestor de uma grande empresa alimentícia possui</p><p>diversos sistemas com grandes volumes de dados de TI (CRM, ERP, Bases relacionais e diversos</p><p>formatos de arquivos). Ele gostaria de monitorar os clientes que são mais aderentes (ou mais fiéis) à</p><p>empresa, com informações mais atualizadas possíveis. O objetivo é, além de manter aqueles clientes</p><p>com maior aderência, aproximar aqueles que porventura estejam um pouco mais distantes da empresa</p><p>e com real possibilidade de deixarem de ser clientes fixos.</p><p>Qual seria a solução mais viável para auxiliar esse gestor? A partir das alternativas abaixo, assinale a</p><p>CORRETA:</p><p>A</p><p>Coleta dos dados estruturados utilizando o HiveQL e armazenamento em batch (lote) utilizando</p><p>o HDFS do Hadoop e análise tradicional em cluster para agrupar clientes com mais fidelidade em</p><p>um mesmo grupo, enquanto que outros formam um segundo grupo.</p><p>B</p><p>Aplicação de processos tradicionais de ETL e armazenamento de dados no Data Lake ou Data</p><p>Warehouse. Posteriormente esses dados podem ser processados via Hadoop MapReduce. Além</p><p>disso, modelos de Machine Learning podem ser aplicados para prever se um cliente sairá ou não</p><p>da empresa.</p><p>C</p><p>Monitoramento das atividades dos clientes nas redes sociais através da coleta de dados via Spark</p><p>Streaming, armazenar todos os dados (externos e internos) no HDFS para manter uma base</p><p>histórica e realizar análises preditivas atribuindo scores para mensurar a aderência do cliente à</p><p>organização.</p><p>D</p><p>Construção de uma arquitetura de BI híbrida (lote e dados em tempo real). A coleta de dados</p><p>poderia ficar a cargo do Sqoop e o armazenamento de dados a cargo do Spark. Os dados podem</p><p>ser analisados por algoritmos de mineração de dados para mapear as atividades dos clientes.</p><p>A clusterização é uma técnica de aprendizagem não supervisionada que visa classificar um conjunto</p><p>de dados semelhantes em um mesmo grupo.</p><p>No que se refere à clusterização é CORRETO afirmar que:</p><p>A Dados que fazem parte do mesmo grupo apresentam um grau de similaridade ou</p><p>dissimilaridade elevado.</p><p>B É empregada em situações onde não há conhecimento prévio de uma classe. A classificação é</p><p>feita mediante agrupamento através de alguma medida de distância.</p><p>14</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 9/15</p><p>C Composto por várias medidas de distância, entre estas a distância Euclidiana que, devido à sua</p><p>popularidade, pode se aplicar a praticamente todas as classes de problemas.</p><p>D É útil para classificar um grupo de objetos com classes já definidas, por exemplo, prever a média</p><p>de vendas de casas em uma determinada região.</p><p>O Apache Spark oferece não somente a capacidade de processamento, como também a possibilidade</p><p>de realizar análises mais avançadas através de um conjunto de bibliotecas. Considerando isso,</p><p>associe os itens, conforme o código abaixo:</p><p>I – Spark SQL.</p><p>II – Spark Streaming.</p><p>III – Spark MLlib.</p><p>IV – Spark GraphX.</p><p>( ) Contém um conjunto de algoritmos otimizados de Machine Learning projetados para trabalharem</p><p>em paralelo.</p><p>( ) Projetadas para processar estruturas em rede de forma otimizada e com elevada eficiência.</p><p>( ) É possível realizar consultas e processar dados estruturados em ambiente Big Data de forma ágil.</p><p>( ) Útil para manipular e processar dados de tempo real, analisando microbacths de dados de tempos</p><p>em tempos.</p><p>A partir das alternativas abaixo, assinale a CORRETA:</p><p>A IV – III – I – II.</p><p>B II – III – IV – I.</p><p>C III – II – I – IV.</p><p>D III – IV – I – II.</p><p>15</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 10/15</p><p>Os métodos tradicionais de agrupamento (clustering) podem ser implementados por uma diversidade</p><p>de algoritmos. Relacione a classe de algoritmos com os métodos, associando os itens, conforme o</p><p>código abaixo:</p><p>I – Algoritmos DIANA, ROCK.</p><p>II – Algoritmos DBSCAN, OPTICS.</p><p>III – Algoritmos Expectation-Maximization (EM), Self-Organization Map (SOM)</p><p>IV – Algoritmos K-Means, CLARANS.</p><p>V – Algoritmos STING, WAVECLUSTER.</p><p>( ) Métodos hierárquicos.</p><p>( ) Métodos baseados em grid.</p><p>( ) Métodos de particionamento.</p><p>( ) Métodos baseados em modelos.</p><p>( ) Métodos baseados em densidade.</p><p>Assinale a alternativa que apresenta a sequência CORRETA:</p><p>A I – IV – V – II – III.</p><p>B I – V – IV – III – II.</p><p>C II – V – III – IV – I.</p><p>16</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 11/15</p><p>D III – IV – II – I – V.</p><p>Uma das principais vantagens da clusterização baseada em MapReduce é, sem dúvida, a transparência</p><p>de toda complexidade de implementação envolvida com a distribuição dos dados entre os clusters ou</p><p>mesmo a capacidade para detectar e corrigir falhas que eventualmente possam ocorrer durante o</p><p>processo.</p><p>Relacione as técnicas com os algoritmos que as compõem, associando os itens, conforme o código</p><p>abaixo:</p><p>I – Clusterização Paralela.</p><p>II – Clusterização baseada em MapReduce.</p><p>( ) GPMR.</p><p>( ) PBIRCH.</p><p>( ) MR-DBSCAN.</p><p>( ) G-DBSCAN.</p><p>A partir das alternativas abaixo, assinale a CORRETA:</p><p>A I – II – I – II.</p><p>B I – II – II – I.</p><p>C II – I – I – II.</p><p>17</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 12/15</p><p>D II – I – II – I.</p><p>“Estruturas teóricas linguísticas como a Teoria Texto-Sentido (MTT) para a construção de modelos de</p><p>linguagem natural têm permitido que computadores possam processar a linguagem natural e começar</p><p>a compreender o significado sobre a linguagem humana.”</p><p>INBENTA. Disponível em: .</p><p>“Ainda que o processamento de linguagem natural não seja uma ciência nova, essa tecnologia está</p><p>avançando rapidamente graças ao interesse cada vez maior na comunicação homem-máquina,</p><p>paralelamente à disponibilidade de big data, computação mais poderosa e algoritmos aprimorados.”</p><p>SAS.</p><p>Disponível em: .</p><p>Os textos acima expõem conceitos relacionados ao Processamento de Linguagem Natural (PLN), em</p><p>relação a esse conceito e suas aplicações é correto afirmar que:</p><p>A</p><p>Basicamente, realiza a análise de texto em grandes volumes de dados, por exemplo, análise de</p><p>posts no Facebook. A PLN é um campo definitivamente consolidado e, portanto, a comunicação</p><p>homem-máquina é perfeitamente compreendida.</p><p>B</p><p>Tem como fundamento compreender o contexto no qual um discurso foi empregado, por meio de</p><p>análises léxicas, sintáticas, semânticas, etc., como é caso quando deseja-se converter voz em</p><p>texto.</p><p>C Pode ser aplicada tanto em análise de dados estruturados como não estruturados e realiza</p><p>algumas etapas, como a extração semântica no texto que observa padrões de escrita em uma frase.</p><p>D</p><p>Um dos campos de aplicação é a análise de sentimentos, ao considerar a questão subjetiva</p><p>extraindo emoções de um discurso. É um tipo de aplicação ainda pouco consolidada e não possui</p><p>muitos cases, porém, apresenta grande potencial.</p><p>As fontes de dados podem ser externas - quando se referem a fontes em que a organização não tem</p><p>total controle – ou internas, quando a organização possui total controle. Ambas são úteis para análise</p><p>18</p><p>19</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 13/15</p><p>em Big Data, visto que podem fornecer uma visão mais ampla de como o negócio está posicionado no</p><p>mercado. Sobre a estrutura dos dados contidos nas fontes, é possível classificar em: dados</p><p>estruturados, semiestruturados e não estruturados.</p><p>Com base nisso, associe os itens I,II e III com as descrições correspondentes abaixo:</p><p>I – Dados estruturados.</p><p>II – Dados semiestruturados.</p><p>III – Dados não estruturados.</p><p>( ) São dados que apresentam uma estrutura flexível e autodescritiva.</p><p>( ) São dados que apresentam uma estrutura bem definida com tamanho fixo.</p><p>( ) São dados que não apresentam uma estrutura e são descritos em linguagem natural.</p><p>Assinale a alternativa que apresenta a sequência CORRETA dos itens:</p><p>A II – III – I.</p><p>B I – III – II.</p><p>C II – I – III.</p><p>D I – II – III.</p><p>As técnicas de Multi Machine Clustering surgiram para otimizar e melhorar a escalabilidade e o</p><p>desempenho das análises em cluster para atender às demandas do Big Data. Em relação às técnicas</p><p>de Multi Machine Clustering, o que é possível afirmar?</p><p>A partir das alternativas abaixo, assinale a CORRETA:</p><p>A É composta pela clusterização paralela e pela clusterização baseada em MapReduce. A segunda,</p><p>inclusive, torna o processo de paralelização mais transparente para o desenvolvedor.</p><p>B É constituída pelas técnicas de clusterização paralela e baseada em MapReduce que tornam o</p><p>processo de paralelização menos complexo para o desenvolvedor.</p><p>20</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 14/15</p><p>C Apresentam como grande característica o alto poder de processamento com implementação de</p><p>baixa complexidade e algoritmos como PAM, DBSCAN e PIRBICH.</p><p>D São mais velozes que as abordagens tradicionais de agrupamento, no entanto, a alta</p><p>complexidade de implementação inviabiliza projetos de análises mais amplos.</p><p>Imprimir</p><p>01/10/2024, 21:48 Avaliação da Disciplina</p><p>about:blank 15/15</p>