Tudo sobre Big Data

Prévia do material em texto

<p>CIn.ufpe.br</p><p>Big Data – Definição, Desafios e Análise de</p><p>dados</p><p>Seminário da disciplina IN940 - Banco de Dados</p><p>Aluno: Victor Santos</p><p>Professor: Ana Carolina | Fernando Fonseca</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>1 - O que é Big Data?</p><p>2 - Impactos do uso de Big Data</p><p>3 - Recomendações para Big Data</p><p>4 - Tecnologias para Big Data</p><p>5 - Análise Big Data</p><p>6 - Algoritmos de Mineração de Dados</p><p>para Big Data</p><p>7 - Computação em Nuvem</p><p>7.1 - Computação em Nuvem</p><p>Desvantagens</p><p>8 - Hadoop</p><p>8.1 - Componentes do Hadoop</p><p>8.2 - HDFS</p><p>8.3 - Map-Reduce</p><p>9 - Oportunidades</p><p>10 - Desafios</p><p>Referências</p><p>AGENDA</p><p>2</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>O que é Big Date?</p><p>3</p><p>“Big Data não é um grande data warehouse?”</p><p>“Big Data não é apenas um BI em cima de um data</p><p>set de terabytes de dados?”</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>Big Data é um volume de dados muito significativo, porém além</p><p>desse grande volume de dados outras variáveis importantes fazem</p><p>a composição do Big Data como:</p><p>• Dados coletados de sensores;</p><p>• ERPs (enterprise resource planning) – Sistema que integra</p><p>todos os dados e processos de uma organização em um único</p><p>sistema.</p><p>O que é Big Data?</p><p>4</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>O que é Big Data?</p><p>5</p><p>Valor</p><p>Volume</p><p>Velocidade</p><p>Veracidade Variedade</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>Volume – se não houver um volume mínimo de dados como</p><p>poderemos inferir estatisticamente se as tendências detectadas</p><p>estão corretas?</p><p>Velocidade – a necessidade de obtermos dados, inclusive em</p><p>tempo real, sua gravação, alteração ou substituição deve ser feito</p><p>em tempo hábil para que gere ganhos reais. Imagine o transtorno</p><p>que uma operadora de cartão de crédito teria – e causaria – se</p><p>demorasse horas para aprovar uma transação de um cliente pelo</p><p>fato de o seu sistema de segurança não conseguir analisar</p><p>rapidamente todos os dados que podem indicar uma fraude.</p><p>O que é Big Data?</p><p>6</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>Variedade – é outro aspecto importante. Os dados podem e</p><p>devem ser tratados conforme sua origem – estruturados e não</p><p>estruturados. Os dados estruturados são aqueles cuja origem é</p><p>oriunda de bancos de dados relacionais ou não (Oracle,</p><p>SQLSERVER, etc.) e de dados esparsos como, por exemplo,</p><p>vídeos, e-mails, documentos, imagens, etc.</p><p>Veracidade – De nada obtermos um alto volume de dados se os</p><p>mesmos não são confiáveis.</p><p>Valor – informação não é só poder, informação também é</p><p>patrimônio. A combinação “volume + velocidade + variedade +</p><p>veracidade”, além de todo e qualquer outro aspecto que caracteriza</p><p>uma solução de Big Data, se mostrará inviável se o resultado não</p><p>trouxer benefícios significativos e que compensem o investimento.</p><p>O que é Big Data?</p><p>7</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• McKinsey Global Institute define Big Data como “A intensa</p><p>utilização de redes sociais online, de dispositivos móveis para</p><p>conexão à Internet, transações e conteúdos digitais e também o</p><p>crescente uso de computação em nuvem tem gerado</p><p>quantidades incalculáveis de dados. O termo Big Data refere-se</p><p>a este conjunto dedados cujo crescimento é exponencial e cuja</p><p>dimensão está além da habilidade das ferramentas típicas</p><p>de capturar, gerenciar e analisar dados”.</p><p>O que é Big Data</p><p>8</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>Big Data</p><p>9</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>Big Data</p><p>10</p><p>Ano Arquivo Digitalização</p><p>2000 75% 25%</p><p>2007 7% 93%</p><p>2013 2% 98%</p><p>2015 ~0,1% ~99,9%</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>Portanto, Big Data = volume + variedade + velocidade +</p><p>veracidade, tudo agregando +valor.</p><p>Big Data</p><p>11</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Maior Transparência - A simples disponibilização de muito mais dados, antes</p><p>inacessíveis, possibilita que o setor público, por exemplo, cruze informações antes is</p><p>oladas em silos departamentais, abrindo novas oportunidades de integração e</p><p>melhoria da gestão das cidades e órgãos.</p><p>• Segmentação bem mais precisa da população, chegando ao</p><p>nível do próprio indivíduo - Com Big Data as fontes de informação se</p><p>ampliam consideravelmente. Além disso, podemos chegar ao indivíduo. Capturando</p><p>dados de rastreamento na Internet podemos inclusive dar outro sentido à palavra</p><p>“anonimato”. A capacidade cada vez maior de associarmos a identidade da vida real</p><p>das pessoas com seus hábitos de compra marca uma virada na área de privacidade,</p><p>desfazendo a fronteira cada vez mais nebulosa entre público o privado.</p><p>Impactos do uso de Big Data</p><p>12</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Maior potencial de análises preditivas – É possível desenvolver projetos</p><p>usando informações coletadas de mídias sociais como Twitter e Google.</p><p>• Substituindo/complementando decisões humanas com</p><p>algoritmos automatizados - Algoritmos sofisticados, suportados por</p><p>imensos volumes de dados permitem automatizar diversas funções, como</p><p>gerenciamento de processos, de tráfego nas ruas e assim por diante.</p><p>• Criar novos modelos de negócio - Big Data permite a criação de novos</p><p>modelos de negócio baseados no valor das informações armazenadas e analisadas.</p><p>Impactos do uso de Big Data</p><p>13</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>Será que sei realmente o que fazer com a tecnologia? Devo</p><p>começar analisando os dados para tentar descobrir alguma coisa?</p><p>1 - Fazer uma pergunta precisa sobre seu problema e o escopo do</p><p>problema (quanto mais precisa, mais valiosa será sua resposta)</p><p>2 - Que dados serão necessários para que a resposta seja</p><p>alcançada? Quais os dados realmente disponíveis? Estão dentro de</p><p>casa ou fora? São acurados? Podem ser utilizados sem nenhuma</p><p>violação da legislação para sua indústria?</p><p>3 - Definir algoritmos e tecnologias necessárias</p><p>4 - Implementar, ou seja, gerar dados corretos, operar os</p><p>algoritmos em cima deles e agir à luz dos resultados obtidos</p><p>Recomendações para Big Data</p><p>14</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• NoSQL Databases</p><p> MongoDB, CouchDB,</p><p>Cassandra</p><p>• Map Reduce</p><p> Hadoop, Hive, Pig</p><p>• Storage</p><p> S3, Hadoop Distributed File</p><p>System</p><p>• Servers</p><p> EC2, Google App Engine</p><p>• Processing</p><p> R, Yahoo! Pipes</p><p>• NLP</p><p> NL Toolkit, OpenNLP</p><p>• Machine Learning</p><p> WEKA, Mahout</p><p>• Visualization</p><p> Gephi, GraphViz</p><p>• Serialization</p><p> JSON, BSON</p><p>Tecnologias para Big Data</p><p>15</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Processamento centralizado não é adequados para Big Data;</p><p>• Objetivo: elencar um conjunto de boas práticas para que esses</p><p>algoritmos sejam modificados e satisfatórios para o contexto de</p><p>Big Data.</p><p>Análise em Big Data</p><p>16</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• 1º passo</p><p>– Utilizar paralelismo e o paradigma de “dividir para</p><p>conquistar”, uma forma de alcançar isso é fazer uso do</p><p>MapReduce.</p><p>Análise em Big Data</p><p>17</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• 2º passo - Distribuição/particionamento dos dados deve ser</p><p>balanceado entre os nós do cluster, a fim de evitar sobrecarga</p><p>em um nó em particular. É necessário nesse caso observar o</p><p>desvio da distribuição do dado.</p><p>Análise em Big Data</p><p>18</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• 3º passo – Evitar replicação de dados pois isso pode resultar</p><p>em crescimento exponencial da quantidade de dados a se</p><p>processar</p><p>Análise em Big Data</p><p>19</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• 4º passo – Utilizar sistemas que sejam satisfatórios na análise</p><p>de dados Big Data</p><p> Magnetic</p><p> Agile</p><p> Deep</p><p> Data-lifecycle- awareness</p><p> Elasticity</p><p> Robustness</p><p>20</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Magnetic:</p><p> Capacidade de manipular qualquer fonte de dados;</p><p>• Agile:</p><p> Adaptação a evolução dos dados;</p><p>• Deep:</p><p> Suporte a análises complexas;</p><p>Análise em Big Data</p><p>21</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Data-lifecycle-awareness:</p><p> Otimização da movimentação, armazenamento e processamento dos</p><p>dados BigData;</p><p>• Elasticity:</p><p> Ajustar o uso dos recursos aos requisitos dos usuários e do</p><p>processamento da carga de trabalho;</p><p>• Robustness:</p><p> Prover serviços mesmo com adversidades (falhas);</p><p>Análise em Big Data</p><p>22</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Itens Frequentes/Regras de Associação</p><p>• Classificação</p><p>• Clusterização</p><p>– k-means</p><p>– DBSCAN</p><p>Algoritmos de Mineração de Dados para Big Data</p><p>23</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>Onde e como armazenar, processar e</p><p>analisar este volume de dados?</p><p>24</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>É a capacidade de computação infinitamente disponível e flexível. A</p><p>nuvem é tudo aquilo que fica por detrás da conexão. As</p><p>preocupações com a largura de banda, espaço de armazenamento,</p><p>poder de processamento, fiabilidade e segurança, são postas de</p><p>parte. Basta uma ligação à nuvem, e as necessidades, em termos</p><p>de tecnologias de informação, são satisfeitas.</p><p>Computação em Nuvem</p><p>25</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Privacidade</p><p>– Dados armazenados no provedor</p><p>• Dependência de provedor em nuvem</p><p>Computação em Nuvem - Desvantagens</p><p>26</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>27</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• É uma plataforma de software em Java de computação</p><p>distribuída voltada para clusters e processamento de grandes</p><p>massas de dados. Foi inspirada no MapReduce e no GoogleFS</p><p>(GFS). Trata-se de um projeto da Apache de alto nível, que vai</p><p>sendo construído por uma comunidade de contribuidores e</p><p>utilizando a linguagem de programação Java.</p><p>Hadoop</p><p>28</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>O framework do Hadoop é formado por dois componentes</p><p>principais: armazenamento e processamento. O primeiro é o HDFS</p><p>(Hadoop Distributed File System), que manipula o armazenamento</p><p>de dados entre todas as máquinas na qual o cluster do Hadoop</p><p>está sendo executado. O segundo, o Map-Reduce, manipula a</p><p>parte do processamento do framework.</p><p>Componentes do Hadoop</p><p>29</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>O HDFS é um sistema de arquivos escalonável e distribuído, cujo</p><p>desenho é baseado fortemente no GFS (Google File System), que</p><p>também é um sistema de arquivo distribuído.</p><p>HDFS (Hadoop Distributed File System)</p><p>30</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>Map-Reduce é um paradigma de programação em que cada tarefa</p><p>é especificada em termos de funções de mapeamento e redução.</p><p>Ambas as tarefas rodam paralelamente no cluster. O</p><p>armazenamento necessário para essa funcionalidade é fornecido</p><p>pelo HDFS.</p><p>Map-Reduce</p><p>31</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>Um exemplo interessante do uso de Big Data na pesquisa de</p><p>medicamentos é o cruzamento de informações entre usuários de</p><p>diversas drogas. Suponhamos que uma pessoa que sofra</p><p>de pressão alta tome determinado medicamento. Ela é alertada de</p><p>efeitos colaterais como palpitações. Um outro indivíduo está se</p><p>medicando com antidepressivos e também é alertado de efeitos</p><p>colaterais. Mas, se uma pessoa está tomando os dois remédios ao</p><p>mesmo tempo? Qual o feito colateral resultante?</p><p>Oportunidades – Saúde</p><p>32</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Eficientes e mais transparentes</p><p>• Lei de Acesso à Informação - Lei 12.527 promulgada em 18 de</p><p>novembro de 2011</p><p>• Atua de forma Isolada</p><p>• Exemplo</p><p>Com base em associações e cruzamentos de dados, podem-se</p><p>identificar situações anômalas como, por exemplo, um funcionário</p><p>público acumulando cargos indevidamente ou um cidadão que</p><p>obtém salário desemprego ao mesmo tempo em que apresenta</p><p>atestado de acidente de trabalho.</p><p>Oportunidades – Administração Pública</p><p>33</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Soluções inovadoras para transporte e trânsito</p><p>• Exemplo</p><p>Em Singapura, um sistema pode prever velocidades no tráfego</p><p>com precisão de 90%.</p><p>Oportunidades – Administração Pública</p><p>34</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Exemplo</p><p>Dados coletados de diversas fontes, que vão de câmeras nas ruas</p><p>a comentários e posts publicados em mídias sociais, as agências</p><p>de inteligência e de segurança pública podem detectar e se</p><p>antecipar a atividades ilícitas, evitando que ocorram.</p><p>Oportunidades – Segurança Pública</p><p>35</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Exemplo</p><p>Durante um desastre natural, como uma enchente (felizmente não</p><p>temos terremotos no Brasil) dados gerados por GPS embutidos em</p><p>smartphones e sensores e câmeras que analisam o fluxo de</p><p>veículos podem contribuir para facilitar a evacuação de pessoas</p><p>das áreas atingidas, bem como diminuir o tempo para o socorro</p><p>chegar a estas áreas.</p><p>Oportunidades – Defesa Civil</p><p>36</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Exemplo</p><p> Uso no combate as fraudes.</p><p> Stream computing</p><p>Oportunidades - Segurança</p><p>37</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Exemplo</p><p>Tentar “perceber” o que a multidão (milhares de pessoas) está</p><p>pensando sobre um determinando tema ou fato.</p><p>Oportunidades – “Sentimentos das Multidões”</p><p>38</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Exemplo</p><p>Sugerir,</p><p>baseado em padrões de milhões de alunos, quais as</p><p>profissões que melhor se adéquem a cada pessoa</p><p>Oportunidades - Educação</p><p>39</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Exemplo</p><p>A utilização de Big Data em TI permite um autogerenciamento, é</p><p>possível, por exemplo, analisar todos os logs gerados pelas</p><p>tecnologias, detectando eventuais problemas antes que eles</p><p>aconteçam.</p><p>Oportunidades - TI</p><p>40</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Gerenciamento e Armazenamento</p><p> Tecnologias atuais não são adequadas para Big Data;</p><p> Capacidade de armazenamento cresce mais lentamente do que a</p><p>quantidade de dados;</p><p> Algoritmos não são eficientes para trabalhar com heterogeneidade de</p><p>dados;</p><p> Incompletude dos dados;</p><p>Desafios</p><p>41</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Computação e Análise dos Dados</p><p> Velocidade;</p><p> Utilização de índice não é adequada para dados complexos;</p><p> Construir e adaptar algoritmos para trabalhar de forma paralela;</p><p> Aproveitar a infraestrutura em nuvem;</p><p> Desempenho</p><p> Congestionamento da rede</p><p>Desafios</p><p>42</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Segurança</p><p> Permitir análise de dados sem informações confidenciais;</p><p> Tecnologias atuais para proteção da privacidade consideram dados</p><p>estáticos;</p><p>• Escalabilidade</p><p> Construir sistemas para processar um volume crescente de dados;</p><p> Volume está aumentando em uma velocidade maior do que os recursos</p><p>computacionais;</p><p> Crowd-sourcing</p><p>Desafios</p><p>43</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Análise para Big Data</p><p> Alta dimensionalidade dos dados;</p><p> Acúmulo de outliers;</p><p> Correlação incorreta dos dados;</p><p> Alto custo computacional;</p><p> Necessidade de algoritmos complexos;</p><p>• Heterogeneidade</p><p> Múltiplas fontes, diferentes pontos de tempo e diferentes tecnologias;</p><p> Necessidade de procedimentos robusto e adaptáveis;</p><p>Desafios</p><p>44</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>• Big Data e Cloud</p><p> Necessidade de gerenciar grandes infraestruturas;</p><p> Hadoop é complexo e sem suporte gerencial;</p><p> Mais de 150 variáveis a serem configuradas;</p><p>Desafios</p><p>45</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>REFERÊNCIAS</p><p>A tecnologia transforma a vida das pessoas e das empresas e o Big data revoluciona o marketing. Disponível em:</p><p><http://tendenciaoubobagem.com.br/files/02%20CESAR%20TAURION%20Big%20Data%20evento%20POA.pdf> Acesso</p><p>dia 28 de junho de 2015.</p><p>Big Data. Disponível em:</p><p><http://ai.arizona.edu/mis510/other/Big%20Data%20%20The%20Management%20Revolution.pdf> Acesso dia 20 de</p><p>junho de 2015.</p><p>Big data analysis. Disponível em: <http://www.ejst.tuiasi.ro/Files/48/15_Trnka.pdf> Acesso em 20 de junho de 2015.</p><p>Big Data and Cloud Computing: Current State and Future Opportunities. Disponível em:</p><p><http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.188.5819&rep=rep1&type=pdf> Acesso em 28 de junho</p><p>de 2015.</p><p>Big data: bringing new opportunities and challenges. Disponível em:</p><p><http://www.infoteca.inf.br/contecsi/smarty/templates/arquivos_template/upload_arquivos/acervo/docs/PDFs/157.pdf>A</p><p>cesso dia 16 de junho de 2015</p><p>Big Data Challenges. Disponível em: <http://www.warse.org/pdfs/2013/icacsesp108.pdf> Acesso dia 18 de junho de</p><p>2015.</p><p>Big data – como utilizar a extraordinária quantidade de informações coletadas por novas tecnologias para obter</p><p>vantagens competitivas. Disponível em: <http://revistapensar.com.br/tecnologia/pasta_upload/artigos/a69.pdf> Acesso</p><p>dia 16 de junho de 2015</p><p>46</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>REFERÊNCIAS</p><p>Big data: um novo conceito gerando oportunidades e desafios. Disponível em <http://revista-</p><p>fatecjd.com.br/retc/index.php/RETC/article/view/74/pdf>Acesso dia 16 de junho de 2015</p><p>Business intelligence and analytics: from big data to big impact. Disponível em:</p><p><http://hmchen.shidler.hawaii.edu/Chen_big_data_MISQ_2012.pdf> Acesso em 15 de junho de 2015.</p><p>Challenges and Opportunities with Big Data. Disponível em:</p><p><http://www.purdue.edu/discoverypark/cyber/assets/pdfs/BigDataWhitePaper.pdf> Acesso dia 27 de junho de 2015.</p><p>Recomendações para Big Date. Disponível em: <http://imasters.com.br/gerencia-de-ti/recomendacoes-para-o-big-</p><p>data/?trace=1519021197&source=author-archive> Acesso dia 19 de junho de 2015.</p><p>The Age of Big Data. Disponível em: <http://wolfweb.unr.edu/homepage/ania/NYTFeb12.pdf> Accesso em 19 de junho</p><p>de 2015.</p><p>The Meaningful Use of Big Data: Four Perspectives - Four Challenges. Disponível em:</p><p><http://www.researchgate.net/publication/220415372_The_Meaningful_Use_of_Big_Data_Four_Perspectives_-</p><p>_Four_Challenges> Acesso em 19 de junho de 2015</p><p>Transforme os dados e a análise em uma vantagem competitiva. Disponível em: <http://www.ibm.com/big-</p><p>data/br/pt/big-data-and-analytics/> Acesso dia 28 de junho de 2015.</p><p>47</p><p>BIG Data – Definição, Desafios e Análise de Dados</p><p>IN0940 – Banco de Dados</p><p>CIn.ufpe.br</p><p>Recife/PE – 29/06/2015</p><p>48</p><p>Dúvidas e sugestões?</p>