Baixe o app para aproveitar ainda mais
Prévia do material em texto
BIG DATA VISÃO GERAL NEAD - Núcleo de Educação a Distância Av. Guedner, 1610, Bloco 4 - Jardim Aclimação - Cep 87050-900 Maringá - Paraná | unicesumar.edu.br | 0800 600 6360 DIREÇÃO Reitor Wilson de Matos Silva Vice-Reitor Wilson de Matos Silva Filho Pró-Reitor de Administração Wilson de Matos Silva Filho Pró-Reitor de EAD Willian Victor Kendrick de Matos Silva Presidente da Mantenedora Cláudio Ferdinandi Diretoria Operacional de Ensino Kátia Coelho Diretoria de Planejamento de Ensino Fabrício Lazilha Head de Produção de Conteúdos Rodolfo Pinelli Head de Planejamento de Ensino Camilla Cocchia Gerente de Produção de Conteúdos Gabriel Araújo Supervisão de Produção de Conteúdos Nádila Toledo Supervisão de Projetos Especiais Daniel Hey Projeto Gráfico Thayla Guimarães Design Educacional Yasminn Talyta Tavares Zagonel Design Gráfico Isabela Mezzaroba Belido Qualidade Textual Talita Dias Tomé NEAD - NÚCLEO DE EDUCAÇÃO A DISTÂNCIA 7| RAZÕES E OS DESAFIOS DO BIG DATA 15| VISÃO GERAL DA PLATAFORMA HPE HAVEN 23| POR ONDE COMEÇAR Big Data Visão Geral6 Razões E Os Desafios Do Big Data 7 RAZÕES E OS DESAFIOS DO BIG DATA A cada 60 segundos são realizados mais de 98 mil tweets, 695 mil updades de facebook, 11 milhões de mensagens, 168 milhões de e-mails e 1.820 Terabytes de dados. Esse volume monu- mental de dados torna necessário a utilização de uma nova escala de medida, os Yottabytes. A cada 7 anos, a tecnologia de entrega sofre uma mudança tectônica, que abre novos negócios e modelos de acesso. Um salto que muda a maneira como a tecnologia é con- sumida e o valor que ela pode trazer. Uma mudança no que é possível. A remoção de inibidores que libertam o poder da inovação. Hoje, a mobilidade, redes sociais, big data e o advento da computação em nuvem são representativos de tais mudanças, oferecendo um novo meio para a TI ajudar as organizações a acelerar o progresso na solução de seus de- safios mais urgentes (incluindo a aceleração da inovação, agilidade e melhoria da gestão financeira). Essas mudanças podem liberar o poder da TI para não apenas apoiar, mas ajudar a moldar o negócio. Tem havido muita confusão no mercado sobre o que é Big Data e como gerenciá-lo. Muitos afirmam que há uma única ferramenta Big Data Visão Geral8 que pode atender a todos os requisitos Big Data e fornecer uma solução para todas as suas necessidades. As soluções Big Data precisam incorporar muitos tipos de dados: O uso de análise de dados históricos para previsão e tomada de decisão (Business Inteligence) através de grandes bancos dados (Data Warehouse) não é um processo novo, mas essencialmente era feito a partir de dados numéricos. Hoje, com as diferentes mídias impressas, rádios, tvs, internet e redes sociais, temos um volume imenso de informações a serem ana- lisadas, que são geradas ininterruptamente e que precisam ser interpretadas de maneira autônoma e rápida, para efetivamente serem aproveitadas. Por isso a definição de “BIG DATA” é apre- sentada como recursos de informação de alto volume, de velocidade e variedade. Isso exige formas inovadoras de processamento de infor- mações com custo efetivo para uma melhor compreensão e tomada de decisões Então, como você sabe se você tem apenas “um monte de informações” ou um “Big Data”? Se a informação que sua organização está gerando pode ser capturada e analisada, já não é apenas um monte de palavras, você tem um Big Data! • Dados de mídia social. • Documentos incompatíveis. • Dados do registro da Web. • Interações móveis. • Informações de localização geoespaciais. • Várias Instruções de Segurança. Razões E Os Desafios Do Big Data 9 Big Data se refere a grandes quantidades, pelo menos terabytes, de dados poliestruturados que fluem continuamente através e em torno de or- ganizações, incluindo vídeo, texto, registros de sensores e registros transacionais. Os benefícios do negócio de analisar esses dados podem ser significativos. Muitas organizações possuem diversos sistemas de controle de compras, vendas e produção (ERP) e relacionamento com o cliente (CRM), mas ainda não são capazes de armazenar e analisar outras fontes de informação que têm valor para seu negócio. Quantidades enormes de dados úteis estão se perdendo. Pesquisas da IDC mostram que, em média, apro- ximadamente 23% dos dados de uma empresa seriam potencialmente úteis se corretamente armazenados, identificados e analisados, mas apenas 3% dos dados estão realmente sendo ta- gueados para uso no Big Data. Desse total, apenas 0,5% do universo digital está realmente sendo marcado e analisado. Fonte: IDC O Universo Digital em 2020, dezembro de 2012 https://www.emc.com/collateral/analys- t-reports/idc-the-digital-universe-in-2020.pdf Fonte: IDC (2012, on-line)1 Big Data Visão Geral10 Os mais diferentes ramos de Mercado têm se beneficiado com os recursos do Big Data, desde tradicionais consumidores de Tecnologia, como a indústria e telecomuni- cação, passando por grandes geradores de dados, como Governo e Mercado financeiro, até mercados pouco lembrados nessa área, tais como energia e saúde. Da mesma forma, os casos de sucesso se tornam cada vez mais variados, revolucio- nando desde a forma de prever as vendas e eventuais crises, passando por atividades de contra terrorismo até o desenvolvimento de novos medicamentos. Está acontecendo em todas as indústrias. E a HPE está ajudando a fazer isso acontecer. Os analistas de negócios de uma grande empresa, como a Intel, por exemplo, com seu mercado global e sua cadeia de suprimentos complexa, procuraram há muito tempo a per- cepção da demanda dos clientes, analisando pontos de dados distantes, retirados de infor- mações de mercado e transações comerciais. Cada vez mais, os dados que precisamos estão incorporados em relatórios econômicos, fóruns de discussão, sites de notícias, redes sociais, re- latórios de tempo, wikis, tweets e blogs, bem como transações. Ao analisar todos os dados disponíveis, os tomadores de decisão podem avaliar melhor as ameaças competitivas, an- tecipar as mudanças no comportamento do cliente, fortalecer as cadeias de suprimentos e melhorar a eficácia do marketing. Razões E Os Desafios Do Big Data 11 Vamos entender, afinal, por que apenas 0,5% dos dados estão sendo analisados? Os obs- táculos são diversos, os diferentes formatos, diferentes bases de dados próprias e de ter- ceiros, o sigilo necessário para informações confidenciais e a união de tantas e tão dife- rentes informações. Desafios principais: • Novos formatos de dados: registrar e in- terpretar bancos de dados, sites, e-mails, áudio, vídeo, redes sociais, conversas de call center, imagens de CFTV e reconhe- cimento facial. • Acesso diferenciado: problemas organi- zacionais ou tecnológicos que causaram o bloqueio de informações em bancos departamentais ou acumulados por uni- dades de negócios • Conjuntos de dados incompatíveis: racio- nalização de dados entre locais, estrutura de informações internas com dados ex- ternos não estruturados, muitas vezes na nuvem. • Ligações difíceis: os usuários de TI e de negócios lutam para estabelecer co- nexões entre os silos de conjuntos de dados em seus bancos de dados de CRM, Supply Chain, Financials, Sales, Marketing e Call Centers. • Juntamente com diferentes desafios or- ganizacionais, incluindo a necessidade de uma nova liderança em torno do Big Data, e a necessidade de novas habili- dades para analisar dados e os desafios gerais de infraestrutura e arquitetura. Big Data Visão Geral12 O Mercado de Big Data traz inúmeros desafios e adequações às companhias, por isso, muitas ainda não podem implantar um Sistema de Big Data sem grandes preparati- vos, entre eles: • Exige armazenamento e processamento em uma escala diferente dostradicionais sistemas de data warehouse e bancos de dados OLTP - tentar utilizar a mesma estru- tura é muito ineficiente e caro. Enquanto Sistemas tradicionais trabalham com Teras de informação, hoje, precisamos de Peta ou Yotabytes de espaço. • Há uma escassez de profissionais. Você precisa de um parceiro de consultoria confiável que possa trazer alguma ajuda do Big Data para obter esses projetos e ajudá-lo a priorizar os casos de uso com o maior ROI. • Embora alguns Wharehouses de dados empresariais convencionais tenham ex- cedido um petabyte em tamanho, a maioria não foi projetada economica- mente para lidar com volumes de dados além do nível de gigabyte ou terabyte - com os custos típicos de licenciamento e armazenamento de armazéns de dados de empresas comerciais que variam de US $ 20.000 a US $ 50.000 por terabyte. • Não existem requisitos regulamentares - Na maioria dos casos, as plataformas de armazenamento de dados comerciais SQL existentes não tem custo beneficio para os dados ao vivo. Razões E Os Desafios Do Big Data 13 Os benefícios do Big Data, muitas vezes, não são atingidos devido à dificuldade em lidar com a magnitude dos dados, velocidade com que inundam os banco de dados, demora na integração de dados e à incapacidade de pro- teger adequadamente esses dados. Isso sem mencionar a necessidade de análise de infor- mações em tempo real. Na maioria das vezes, 80 % do esforço de desenvolvimento em um grande projeto de dados vai para a integração de dados e apenas 20 por cento vai para análise de dados em sí. Além disso, uma plataforma EDW tradicional pode custar mais de USD 60K por terabyte. Analisar um petabyte - a quantidade de dados processados pelo Google em 1 hora - custa- ria US $ 60 milhões. As novas Tecnologias de armazenamento de dados, mais simples e baratas, utilizando hardware comoditie e software livre diminuí- ram drasticamente o custo de implantação, fazendo com que as companhias possam se preocupar menos com o preço e mais com o máximo aproveitamento dos dados. Ainda assim, as estruturas que hoje dão suporte aos Sistemas tradicionais se mostram insuficien- tes ou ineficazes para trabalhar com Big Data, demandando novas soluções. Big Data Visão Geral14 Antes que as aplicações possam ser construí- das, a integração dessas novas fontes de dados BIG deve ser combinadas com a compreen- são do que fazer com os dados. É preciso permitir que toda a informa- ção, em todas as mídias, sejam elas quais forem, possam ser capturadas, armazenadas e analisadas. As tecnologias antigas não estão funcio- nando, especialmente quando se trata de tipos de dados - sensores, logs, vídeo, áudio. Eles estão tentando, mas sua arquitetura torna ineficaz. Visão Geral Da Plataforma Hpe Haven 15 VISÃO GERAL DA PLATAFORMA HPE HAVEn O “Big Data Refinery System” é o modelo de re- ferência de infraestrutura da HPE para Big Data. Devido à centralidade dos dados, o Sistema de Big data está localizado entre as fontes de dados tradicionais da Empresa (dados tran- sacionais e analíticos) e fontes de dados inovadoras, como dados externos e dados internos, frequentemente desestruturados e atualmente abandonados como suporte às decisões empresariais. O Big Data Refinery System tem três com- ponentes principais: • Big Data Processing • Big Data Management • Refinery System Integration Platform Os dois primeiros componentes abrangem a solução Big Data em si, que inclui a grande capacidade de armazenamento e processa- mento de dados. O terceiro componente lida com a interfa- ce de comunicação entre as fontes de dados e os destinos externos, conforme exigido pela solução Big Data. As informações obtidas de todas as fontes existentes e devidamente analisada pode ser consultada por diferentes Sistemas de data warehouse, aplicativos de terceiros e usuá- rios diretamente. Big Data Visão Geral16 A HPE oferece o caminho mais curto para o sucesso de projetos de Big data. The Apache Hadoop é um framework para Big data programado em Java, que permite o processamento distribuído em cluster. Ele é desenhado para escalar de um até milhares de servidores, sendo que cada um deles prova processamento e armazenamento distribuído, tolerante a falha e com alta disponibilidade. A HPE tem parceria com três das me- lhores distribuições do Hadoop no mundo, adicionando ferramentas de monitoramento e gerenciamento de sistemas, além de servi- ços, para garantir que nossos clientes tenham a implementação mais suave possível e alcan- cem desempenho, escala e segurança que desejam. A implantação pode ser realizada em poucos dias, e não em meses, com a escolha de nossas soluções de implementação por Virtual appliance, serviços de consultoria, so- luções de armazenamento 3PAR e soluções de hardware e software integradas. A solução conta com o HPE Insight CMU, um software dedicado à administração de HPC (High-Performance Computing) e grandes clusters Linux, permite escalar a milhares de nós com a facilidade de apertar um botão. Importando, configurando novos equipamen- tos no cluster e gerenciando todos os nós em um único painel. Visão Geral Da Plataforma Hpe Haven 17 O QUE É HAVEN: HAVEN É A PLATAFORMA # 1 PARA BIG DATA NA INDÚSTRIA. HAVEn significa Hadoop, Autonomy, Vertica, Enterprise Security e qualquer n número de aplicações. Ele não é um único produto - é uma plataforma que consiste em vários componentes. Para entender um pouco melhor sobre o que HAVEn é capaz, vamos citar o exemplo de um Banco que o utiliza. Quando um cliente liga para o Call center o Sistema realiza 3 coisas em paralelo: • Sua chamada é registrada no Hadoop para conformidade. • Sua chamada é analisada através da Autonomy - para determinar se o cliente está feliz ou infeliz - e esta informação é inserida no Vertica para analise em tempo real. • Simultaneamente, outro segmento recebe informações de outros negócios sobre este cliente e mescla-o ao conjun- to para descobrir se você é um cliente rentável. Essa informação, juntamente com outras, é analisada no Vertica em tempo real para de- terminar como lidar com o cliente. Se deve ser oferecida qualquer promoção ou descontos. Big Data Visão Geral18 do Hadoop pelo do Vertica, pois o ganho de velocidade é brutal. Autonomy tem os prin- cipais algoritmos protegidos por dezenas de patentes para processamento de informa- ções humanas - vídeo, áudio, texto. Exemplo: nos Jogos Olímpicos de Londres, imagens de câmeras capturadas em Londres foram com- binadas em tempo real com base de dados terroristas. O impacto - salvar vidas. É uma tec- nologia amável. O Vertica foi desenvolvida nos últimos dez anos no MIT. E projetado para a onda peta byte para ardência rápida em tempo real analítica em peta byte tamanho conjuntos. Ele é proje- tado como plataforma de análise que suporta SQL / JDBC / ODBC e R nativamente. Porém o mais importante, é que ele é projetado para grandes dados analíticos, e você pode fazê-lo em uma fração do que os sistemas legados custam. DETALHES SOBRE OS COMPONENTES DO HAVEN Temos 400 conectores da Autonomy e 300 da Arcsight que ajudam você a trazer todos os tipos de dados. Com esses diversos conecto- res, é altamente provável que você seja capaz de ter um conector pronto para seus dados, mas você também pode criar conectores per- sonalizados. Além disso, a plataforma HAVEn suporta frameworks populares, tais como Hadoop flume e Chukwa. E está aberto a todos os frameworks ETL. A HPE utiliza o Hadoop das principais com- pilações do Mercado - Cloudera, Horton works e MapR, pois entende que ele é ótimo como armazenamento de todos os tipos de dados e para ETL, mas opta por trocar o processamento Visão Geral Da Plataforma Hpe Haven 19 O IDOL indexa uma vasta gama de infor- maçõessobre seres humanos e máquinas e utiliza a sua tecnologia de correspondência de padrões patenteada para formar uma com- preensão conceptual e contextual de todo o conteúdo, independentemente da lingua- gem ou formato, permitindo, assim, que as pesquisas sejam realizadas conceitualmen- te. Uma vez que a pesquisa conceitual pode encontrar informações baseadas em palavras não localizadas no documento, não é vítima das limitações dos métodos herdados. Temos 400 conectores para várias fontes de dados e suporte a mais de 1000 tipos de arquivos. Plataforma Vertica Analytics Nossa plataforma de análise alavanca Storage Columnar & Execution » Executa con- sultas de 50x a 1000x mais rápido do que as bases de dados tradicionais. HPE ArcSight Logger O Logger é uma tecnologia revolucionária que proporciona melhorias na magnitude da correlação log e armazenamento, ajudando os administradores de segurança a frustrar em as complexas ameaças que enfrentam hoje. Você pode detectar, registrar e fazer sentido de milhões de eventos diários de se- gurança em toda a sua empresa (a uma taxa de cerca de 100.000 eventos por segundo), seja por meio de um golpe de identificação, algum log em um sistema ou um ataque de hackers. Big Data Visão Geral20 Nossa solução de Centro de Comando de Mídia Interativa (IMCC), também chamado de Fan and Media Engagement Center (FMEC), é uma abordagem de negócios para aproveitar dados sociais, digitais, tradicionais e transacio- nais para ajudar as empresas a aumentarem o envolvimento do cliente. Ao reunir os dados estruturados e não estruturados de dentro e fora da empresa (social, imprensa, vídeo, áudio, conteúdo e muito mais), você pode entender o que o seu cliente realmente quer, se ele está contente ou não, e reagir rapidamente. A Nascar (National Association for Stock Car Auto Racing) escolheu o IMCC para ge- renciar seu big data e relacionamento com fã, de forma que a tomada de decisão é to- talmente apoiada em informação em tempo real. Isso maximiza o valor do espaço publicitá- rio, identifica o perfil da audiência, personaliza conteúdo, identifica e mitiga cenários de crise, entre outras possibilidades. Visão Geral Da Plataforma Hpe Haven 21 Com o Fan and Media Engagement Center (FMEC) você pode avaliar em tempo real, de forma gráfica e interativa tudo o que envolve a marca, mão apenas relacionando informações, não também usando a inteligência artificial para interpretar o sentimento dos fãs. Ele não apenas contabiliza palavras, ele procura entender o contexto das frases e capturar as informações para exibir em gráficos. Diversos contextos são aproveitados, se o comentário foi feito por alguém que está no autódromo, em que parte, se está em casa vendo pela tv e qual canal etc. Big Data Visão Geral22 Por Onde 23 POR ONDE COMEÇAR A implantação de uma solução de big data pode ser algo muito demorado e demandar meses de planejamento e montagem, pois envolve dezenas de servidores, storage, redes, hypervisor e softwares diferentes e complexos. Para facilitar a implantação, a HPE oferece os softwares em formato de virtual apliance, isto é, arquivos de disco virtual de hypervisors padrão de mercado, como por exemplo VMware, onde o sistema operacional necessário já está ins- talado, atualizado e configurado todos os aplicativos e ajustes já foram realizados. A implantação do sistema pode ser realiza- da em hardware próprio, no local, por meio de virtualização, alocação de recursos em nuvem privada, pública (Amazon AWS, Microft Azure) ou híbrida. São fornecidos guias de referência para planejamento da arquitetura em cada um dos possíveis cenários. Big Data Visão Geral24 Para simplificar o planejamento de instala- ção, adequação da infraestrutura e gestão da solução, é preciso muita informação e a HPE possui diversos serviços e ferramentas dispo- níveis para auxiliar. Reunimos todas as capacidades e especia- listas de serviços profissionais em nuvem da HPE, com os recursos de Enterprise Services, Serviços de Tecnologia do Grupo Enterprise e Serviços Profissionais de Software. Eventos de apresentação da tecnologia e funcionalidades, planejamento e dimensiona- mento, adequação da infraestrutura existente ou dimensionamento de recursos necessá- rios, bem como o treinamento na operação da ferramenta, tornam a experiência muito mais rápida e eficiente. Para fornecer insights e aconselhamento aos nossos clientes, oferecemos Cloud Advisory Services para identificar onde as oportunida- des estão para abraçar a nuvem com base nas necessidades do negócio. Ajudamos os clientes a desenvolver um caso de negócios, a estratégia e um plano de transformação para levá-los ao futuro estado desejado com nossos Serviços de Estratégia em Nuvem. Com base nesse plano de transforma- ção, ajudamos os clientes a modernizar e transformar sua aplicação, processos de ne- gócios e infraestrutura para tirar proveito da nuvem. Com base no trabalho da Cloud Design Services, os ajudamos a criar e implan- tar as soluções apropriadas com os Serviços de Implementação da Cloud. Por Onde 25 À medida que os serviços em nuvem são implantados e atualizados ao longo do tempo, ajudamos os clientes a obter a melhor eficiên- cia operacional possível e a oferecer suporte ao ciclo de vida dos serviços de ponta a ponta com os Serviços de Operação em Nuvem. Finalmente, com nossos Serviços de Educação em Nuvem, ajudamos a treinar e certificar sua equipe de TI e parceiros, para garantir que eles tenham os mais recentes conhecimentos e ha- bilidades para continuar a manter e gerenciar seus investimentos em nuvem. Para quem deseja dominar o uso do Hadoop e aprender seu funcionamento com exercí- cios práticos é altamente recomendável fazer o treinamento H6C60S, que aplica 3 dias de teoria e prática intensos. Os principais tópicos de Big Data, como HDFS, MapReduce e clus- terização são abordados em profundidade. Big Data Visão Geral26 Se sua organização ainda está lidando com competências fundacionais de inteligência de negócios ou está pronta para uma transfor- mação de informações, é hora de adotar uma abordagem estratégica e cooperativa para o gerenciamento e análise de informações. Com os Serviços HPE, você pode explorar dados como nunca antes. Nossos serviços ino- vadores ajudam você a lidar com a avalanche de informações que ameaça engolir o negócio, hoje, e posiciona você para transformar essas informações em visão de negócios acionável. O portfólio de serviços HPE orienta você por meio da complexa tarefa de gerenciar e ana- lisar dados - e conecta-o às pessoas, ideias, processos de negócios e tecnologias de que você precisa para converter esses dados em valor de negócios tangível. Extrair o valor real de informações e dados grandes é uma prioridade de TI e negócios. Identificar maneiras eficazes de gerenciar infor- mações e explorar a percepção e o significado do volume maciço, velocidade e variedade de “Big Data” parece assustador. Gestão e análise de dados estruturados e não estruturados é difícil e você precisa de recursos para aprovei- tar o seu valor em tempo real. Os serviços da HPE podem ajudar. Nossos profissionais e consultores podem ajudá-lo com a complexa tarefa de coletar, gerenciar e ana- lisar dados. Nossas ofertas de serviços ajudam a conectar as pessoas, ideias, processos de ne- gócios e tecnologias que levam esses dados maciços dados práticos, contextuais e figuras, Os serviços da HPE oferecem soluções de consultoria, arquitetura, implementação e gerenciamento. Esses serviços fornecem a ca- pacidade de converter informações e “dados grandes” em visão para desbloquear o valor do negócio e transformá-lo em insight acionável. Por Onde 27 A ação inicial variará de acordo com o cliente e por quem está dirigindoo grande esforço de dados. Se a unidade de negócios está dirigindo a solução “identificar o caso de uso e valor para a empresa” pode ser o melhor começo. Se você já conhece uma tecnologia que dará suporte à sua solução, ‘fazer uso das ar- quiteturas de referência ou dos sistemas de aplicativos’ é um bom ponto de partida. Se você implementou uma grande solução de dados, ou está prestes a, e precisa de ajuda para identificar riscos e problemas de con- formidade, você pode nos envolver com o “serviço de análise de conformidade e prote- ção de dados grandes HPE”. Se você precisa entender qual será o impacto das grandes soluções de dados em sua infraestrutura ou os requisitos de integração, o “HPE Big Data Infrastructure Transformation Experience Workshop” será de grande ajuda. Todos os nossos produtos e serviços podem ser encontrados em <http://www. hpe.com/info/haven> Big Data Visão Geral28 REFERÊNCIA ONLINE 1 IDC O Universo Digital em 2020. Disponível em: <https://www.emc.com/collateral/analyst-reports/idc-the-digital-universe-in-2020.pdf>.
Compartilhar