big data

Prévia do material em texto

SIG: BIG DATA
Aluna: Bárbara Gouvêa Martins de Almeida
1) Explique o significado de "Big Data" segundo seu entendimento.
Processamento de dados muito grandes, que não podem ser processados por ferramentas utilizadas no nosso dia a dia.
2) O que você entende por "Internet das coisas"?
É uma novidade tecnológica que conecta os itens que usamos em nosso dia a dia á rede mundial de computadores. A ideia é unir o mundo físico com o digital.
3) Quais as dimensões do Big Data atualmente? Descreva cada uma delas.
Volume: Em 2012 foram gerados cerca de 2,8 Exabytes. Estima-se que este volume dobre a cada 14 meses e em 2020 seja gerado anualmente mais de 40.026 Exabytes de informações. A tecnologia do Big Data serve exatamente para lidar com esse volume de dados, guardando-os em diferentes localidades e juntando-os através de software.
Velocidade: Se refere à velocidade com que os dados são criados. São mensagens de redes sociais se viralizando em segundos, transações de cartão de crédito sendo verificadas a cada instante ou os milissegundos necessários para calcular o valor de compra e venda de ações. O Big Data serve para analisar os dados no instante em que são criados, sem ter de armazená-los em bancos de dados.
Variedade: No passado, a maior parte dos dados era estruturada e podia ser colocada em tabelas e relações. Hoje, 80% dos dados do mundo não se comportam dessa forma. Com o Big Data, mensagens, fotos, vídeos e sons, que são dados não estruturados, podem ser administrados juntamente com dados tradicionais.
Veracidade: Veracidade porque precisamos ter certeza que os dados fazem sentido e são autênticos.
Valor: tudo bem ter acesso a uma quantidade massiva de informação a cada segundo, mas isso não adianta nada se não puder gerar valor. É importante que empresas entrem no negócio do Big Data, mas é sempre importante lembrar dos custos e benefícios e tentar agregar valor ao que se está fazendo.
4) Cite pelo menos 5 das principais ferramentas voltadas para BigData.
Tableau; Watson Analytics; Sisense; Qlik View; Oracle BI.
5) Cite 2 bancos de dados NoSQL existentes atualmente, bem como suas principais caracteristicas.
Bancos de Dados orientados a documentos: mais popular atualmente,  permite a criação de consultas e filtros sobre os valores armazenados; permite trabalhar com a replicação dos dados em um cluster, e assim garantir que o dado ficará disponível mesmo com a ocorrência de falha em um dos servidores; esse modelo é indicado para realizar o armazenamento de conteúdo de páginas Web, etc.
Bancos de Dados orientados a Grafos: com foco no relacionamento dos dados; é o mais especializado; possuem uma estrutura definida na teoria dos grafos, usando vértices e arestas para armazenar os dados dos itens coletados e os relacionamentos entre esses dados, respectivamente; esse modelo oferece maior desempenho nas aplicações que precisam traçar os caminhos existentes nos relacionamentos entre os dados.
6) Hadoop seria a principal ferramenta para Big Data atualmente? Como ela funciona? Apresente uma breve visão sobre a ferramenta.
Sim. É conjunto de programas e procedimentos open source disponível de graça para que todos usem e modifiquem que servem como estrutura para operações de dados. A natureza flexível de um sistema Hadoop permite que as empresas possam adicionar ou modificar seu sistema de dados à medida que suas necessidades mudam, usando peças baratas e prontamente disponíveis de qualquer fornecedor de TI.
7) O que são MapReduce e HDFS?
MapReduce é um modelo de programação desenhado para processar grandes volumes de dados em paralelo, dividindo o trabalho em um conjunto de tarefas independentes. Programas MapReduce são escritos em um determinado estilo influenciado por construções de programação funcionais, especificamente expressões idiomáticas para listas de processamento de dados. Este módulo explica a natureza do presente modelo de programação e como ela pode ser usada para escrever programas que são executados no ambiente Hadoop.
O HDFS (Hadoop Distributed File System) é um sistema de arquivos distribuído, projetado para armazenar arquivos muito grandes,  com padrão de acesso aos dados streaming , utilizando clusters de servidores facilmente encontrados no mercado e de baixo ou médio custo.  Não deve ser utilizado para aplicações que precisem de acesso rápido a um determinado registro e sim para aplicações nas quais é necessário ler uma quantidade muito grande de dados.
8) Descreva resumidamente sobre o Cientista de Dados, bem como suas atividades e conhecimentos.
Os cientistas de dados são uma nova geração de especialistas analíticos que possuem as habilidades técnicas para resolver problemas complexos – e a curiosidade para explorar quais problemas precisam ser resolvidos.
Um Cientista de Dados podem adquirir massas de dados de diversas fontes e então limpar, tratar, organizar e preparar os dados; e, em seguida, explorar as suas habilidades em Matemática, Estatística e Machine Learning para descobrir insights ocultos de negócios e gerar inteligência.
9) Cite 3 projetos utilizando BigData, bem como os resultados obtidos. (nao citar os contidos no slide)
1.Para passear por uma cidade sem atalhos de tráfego: Por exemplo, quando a Yandex melhorou suas habilidades em análise de dados, decidiu ver-los de uma perspectiva diferente. Assim nasceu a solução Yandex Traffic. Essa técnica analisa a informação de diferente fontes e mostra a imagem das condições do trânsito de uma cidade em tempo real, num mapa.
2. Para lutar contra as epidemias de malária na África: Um grande projeto patrocinado pela Google utiliza a tecnologia Big Data para solucionar problemas de saúde global. Muitos africanos contam com telefonia móvel, inclusive em lugares muito ilhados. Este segmento da população envia mensagens de texto sobre a medicação que estão tomando com o objetivo de ajudar os cientistas a curar as doenças que sofrem em determinada região.
3. Para salvar animais raros: Os caçadores estão à espreita de trigres indianos em extinção com o objetivo de fazer medicamentos a partir de seus ossos (muito populares entre os chineses superticiosos). Todos conhecem os esconderijos que esses animais habitam e seria muito difícil de pegar-los sem… Big Data.
10) BigData seria um tipo de tecnologia "modista", ou seja, logo caira no esquecimento por utilizar tecnologias muito diferentes das que utilizadas atualmente por profissionais de TI. De a sua opiniao a respeito.
Acredito que toda tecnologia no decorrer do tempo ‘fica para trás’e sempre vão aparecer novas melhores que essa. No entanto, acredito que isso ainda vai demorar a acontecer com o BigData, apesar de ela já ser bastante popolar, ainda não é bem compreendida por todos. Além de ser uma tecnologia que está sendo bastante utilizada pelas grandes organizações e está movimentando bastante dinheiro.