Prévia do material em texto
Linguagens de programação para ciência de dados (Python com Spark) Professor(a): Yuri Vasconcelos de Almeida Sá (Especialização) 1) 2) 3) Prepare-se! Chegou a hora de você testar o conhecimento adquirido nesta disciplina. A Avaliação Virtual (AV) é composta por questões objetivas e corresponde a 100% da média final. Você tem até cinco tentativas para “Enviar” as questões, que são automaticamente corrigidas. Você pode responder as questões consultando o material de estudos, mas lembre-se de cumprir o prazo estabelecido. Boa prova! Os DataFrames são uma maneira de armazenar dados em formato de tabela de dados que podem ser facilmente visualizadas. Cada linha dessas tabelas corresponde a uma instância do dado, enquanto cada coluna é um vetor que contém dados para uma variável específica. Com relação a essas características, podemos afirmar sobre Python: I. DataFrames estão disponíveis na biblioteca Pandas. II. DataFrames armazenam apenas um tipo de dado, independentemente da quantidade de colunas. III. DataFrames são estruturas de dados rotuladas bidimensionais com colunas de tipos potencialmente diferentes. IV. O DataFrame tem três componentes principais: dados, índice e colunas. V. DataFrame não possibilita a exclusão de colunas. São verdadeiras: Alternativas: Código da questão: 48952 Estatística e probabilidade são extremamente importantes para trabalhar na área de ciência de dados, assim como em outras áreas, como medicina, ciências biológicas, psicologia, engenharia, computação etc. Sobre Estatística, Probabilidade e Python, assinale a alternativa correta. Alternativas: Código da questão: 48960 Alternativas: I - III - IV - V. I - III - IV. CORRETO I - II. V. IV - V. A biblioteca NumPy é bastante utilizada para realizar cálculos em arrays e matrizes multidimensionais e faz parte do pacote principal do Python, não sendo necessária sua instalação. A estatística é a área responsável pela coleta, organização e interpretação de dados experimentais e pela extrapolação dos resultados da amostra para a população. CORRETO A biblioteca Pandas é um módulo Python que fornece classes e funções para a estimativa de muitos modelos estatísticos, bem como para a realização de testes e a exploração de dados estatísticos. A estatística é uma área da matemática que estuda as chances de ocorrência de um determinado experimento ou evento. O desvio padrão é usado quando queremos separar a metade maior e a metade menor de uma amostra, uma população ou uma distribuição de probabilidade. Todas as afirmações são verdadeiras. Apenas III. 03/08/2024, 19:56 Cosmos · Cosmos https://kroton.platosedu.io/lms/m/aluno/disciplina/index/3265828/10476755 1/4 4) 5) 6) Código da questão: 48964 Analise as sentenças sobre o framework Apache Spark e a linguagem de programação Python. I. O framework Apache Spark tem suporte para outras ferramentas de armazenamento de Big Data, como o Elasticsearch, Cassandra e MongoDB. II. O framework Apache Spark tem como principal característica o processamento de grande quantidade de dados (Big Data) com alta latência e tem suporte para as seguintes linguagens de programação: C, Java, R, Python, Scala e Matlab. III. Spark Context é o objeto (ou uma classe) que faz a conexão do Spark ao algoritmo que está sendo desenvolvido. Ele pode ser acessado como uma variável em um programa para utilizar os seus recursos. IV. Utilizando a biblioteca Spark SQL é possível obter os dados de arquivos semiestruturados (XML, CSV e JSON) e salvar essas informações em um banco de dados relacional (MySQL, Postgres, Oracle). Assinale todas as afirmações verdadeiras Alternativas: Código da questão: 48974 Sobre os conceitos de Estatística, Probabilidade e bibliotecas do Python, considere as seguintes afirmações: ( ) Utilizando algumas bibliotecas do Python como Numpy, pandas e Matplotlib é possível criar e visualizar histogramas. ( ) Na distribuição normal, o valor da média, moda e mediana são sempre iguais. ( ) Na correlação, se o valor da magnitude se aproxima de 1 ou -1, indica que temos uma correlação fraca. ( ) A biblioteca Pandas é uma poderosa biblioteca do Python usada principalmente para realizar cálculos em arrays e matrizes multidimensionais. Assinale a alternativa que contenha a sequência correta. Alternativas: Código da questão: 48963 Além da criação manual de Dataframes através de listas é possível criar Dataframes importando dados de arquivos, como, por exemplo, arquivos CSV que são muito utilizados para armazenamento de dados em formato texto. Assinale como verdadeira (V) ou falsa (F) as características mencionadas a seguir: ( ) O comando read_csv importa dados de um arquivo para uma estrutura de um Dataframe. ( ) A importação de dados exige que todas as colunas de dados sejam de um mesmo tipo. ( ) É possível criar funções lambda para a formatação de colunas do Dataframe. ( ) Após a utilização de um Dataframe é possível exportá-lo no formato CSV através do comando to_csv. ( ) Além de comando para exportação CSV é possível exportar arquivos de formato de MS Excel. Alternativas: III - IV. CORRETO I - II - IV. Apenas I. Apenas IV. I - III - IV. CORRETO I - II - III. Apenas I. I - II. F – F – V – V. V – F – F – V. V – V– F – F. CORRETO V – V – V – F. F – F – F – V. F – V – V – V – V. V – F – V – V – V. CORRETO V – V – V – V – F. F – V – F – V – F. F – F – V – V – F. 03/08/2024, 19:56 Cosmos · Cosmos https://kroton.platosedu.io/lms/m/aluno/disciplina/index/3265828/10476755 2/4 7) 8) 9) 10) Código da questão: 48954 Uma das principais estruturas que o Pandas disponibiliza para a utilização são os__________. Os __________ têm estruturas que trabalham de maneira__________. Sendo assim, eles são organizados em __________ e __________, onde cada linha é um registro e cada coluna um campo. Assinale a alternativa que completa adequadamente as lacunas.: Alternativas: Código da questão: 48951 O Spark tem algumas características que podem ser citadas, como, por exemplo, o armazenamento é realizado primeiramente em memória e somente após o processamento passa a enviar os dados para memória, agilizando o processamento das informações. Além dessas características, assinale como verdadeira ou falsa as outras mencionadas a seguir: ( ) Otimização de operações para grafos. ( ) Suporte para funções que vão além do Map e Reduce. ( ) Disponibiliza um Shell interativo para as linguagens Python e Scala. ( ) A avaliação de consultas para Big Data sob demanda, contribuindo para a otimização do fluxo do processamento de dados. ( ) O Spark não suporta armazenamento de dados distribuídos. Alternativas: Código da questão: 48947 I. O framework Apache Spark Streaming tem suporte para outras ferramentas de armazenamento de Big Data como o Cassandra e MongoDB e Apache Kafka. II. Os principais recursos do Apache Kafka são as mensagens. Cada mensagem em Kafka consiste em uma chave, um valor e data/hora. Todos os eventos podem ser resumidos em mensagens, sendo consumidas e produzidas através de tópicos. III. O Elasticsearch é uma ferramenta de distribuição gratuita e utilizada para realização de buscas e análise de dados em grandes volumes de dados. Para sua instalação, é necessária a instalação de uma JVM (Java Virtual Machine). IV. Para fazer a integração do Elasticsearch com Apache Spark, é necessário fazer o download do conector/adaptador chamado elasticsearch- hadoop, podendo ser feito via comando pip install elasticsearch-hadoop. Assinale a alternativa correta. Alternativas: Código da questão: 48979 I. O aprendizado de máquina (machine learning) é largamente utilizado para resolver problemas complexos em diversas áreas do conhecimento (engenharia, psicologia, medicina e computação), que muitas vezes seria impossível de se resolver ou demoraria muito tempo para serem resolvidos. Exemplo de aplicação bastante utilizada são sistemas para reconhecimento facial e aplicações para segurança em diversos países. II. Kyoto é um importante destino turístico que recebe mais de 8,7 milhõesde visitantes por ano - um número impressionante, mesmo para os padrões globais. A Prefeitura se juntou à companhia japonesa para desenvolver o projeto denominado "Criando espaços públicos e cidades Dataframes; Dataframes; linear; linhas; colunas. Dataframes; Dataframes; tabular; linhas; colunas. CORRETO Repositórios; Repositórios; linear; colunas; linhas. Frames; Frames; organizada; x; y. Dataframes; Repositórios; tabular; X; Y. F – V – V – V – V. V – V – V – V – F. CORRETO F – V – F – V – F. V – F – V – V – V. F – F – V – V – F. Apenas IV. I - III - IV. INCORRETO Todas as afirmações estão corretas. I - IV. I - II - III. 03/08/2024, 19:56 Cosmos · Cosmos https://kroton.platosedu.io/lms/m/aluno/disciplina/index/3265828/10476755 3/4 seguras". O sistema combina teoria criminal com dados sobre crimes cometidos em todas as áreas da cidade e analisa esses dados para prever quando e onde certos tipos de crimes tendem a acontecer. (Fonte: NEC. Tecnologia de reconhecimento facial movida a IA e machine learning. 06/03/2018. Disponível em: https://computerworld.com.br/brandpost/tecnologia-de-reconhecimento-facial-movida-ia-e-machine-learning/. Acesso em: 13 nov. 2019). III. Entretanto, algumas questões relacionadas com moralidade e ética precisam ser levadas em consideração antes do desenvolvimento de aplicações que usam IA. Muitas vezes, nem percebemos que estamos sendo manipulados e monitorados o tempo todo por aplicações desenvolvidas utilizando inteligência artificial. IV. Um drone militar americano, em 2011, eliminou, por comportamento suspeito, um grupo de homens em Datta Khel, no Paquistão, que estavam em assembleia para resolver um conflito local; o Google, em 2017, estava sendo processado na Inglaterra em uma ação coletiva por coletar dados de 5,4 milhões de usuários de iPhone, teoricamente protegidos por políticas. (Fonte: KAUFMAN, Dora. A ética e a inteligência artificial. Valor, 21/12/2017. Disponível em: https://valor.globo.com/eu-e/noticia/2017/12/21/a-etica-e-a-inteligencia-artificial.ghtml. Acesso em: 13 nov. 2019). Assinale a alternativa acerca das asserções supracitadas, bem como a relação entre elas. Alternativas: Código da questão: 48969 A primeira asserção está correta, na segunda e quarta são citados exemplos para confirmação para a terceira. A primeira asserção está correta, a segunda são exemplos de contradição para a primeira, a terceira é a confirmação da primeira e a quarta são citados exemplos para confirmação para a terceira. A primeira asserção está incorreta, a segunda é complemento para a primeira, a terceira é a contradição da primeira e a quarta são citados exemplos para confirmação para a terceira. A primeira asserção está correta, a segunda são exemplos para ajudar na confirmação para a primeira, a terceira é a contradição da primeira e na quarta são citados exemplos para confirmação para a terceira. A primeira asserção está incorreta, na segunda e na quarta são citados exemplos para confirmação para a terceira. INCORRETO Arquivos e Links 03/08/2024, 19:56 Cosmos · Cosmos https://kroton.platosedu.io/lms/m/aluno/disciplina/index/3265828/10476755 4/4