APOSTILA - Fundamentos de Big Data - Unidade 3 (ANHEMBI MORUMBI UAM) CURTA SE LHE AJUDOU! :D

Prévia do material em texto

Fundamentos de Big Data
Tipos de Dados e Análise de Dados em Big Data
FUNDAMENTOS DE
BIG DATA
Esp. Heber Marques Gimenes
INICIAR
introdução
Introdução
Nesta seção iremos estudar sobre computação na nuvem e explorando na prática dois dos seus principais recursos e soluções Paas e Saas.
Na sequência, abordaremos um importante conceito para o processamento de grande volume de informações que revolucionou a forma de relacionamento com os banco de dados: o Big Data. Estudaremos seus tipos, a forma de geração de dados e a relação entre tempo real e batch.
Aprenderemos sobre eco-sistema de análise de dados e os tipos de análises descritiva, diagnóstica, preditiva e prescritiva. Finalizando a unidade, vamos introduzir o assunto Business Intelligence (BI) e suas aplicações.
Computação em Nuvem
Antes de explorarmos novos exemplos de utilização de recursos em nuvem, iremos relembrar alguns conceitos.
Explorando Recursos na Prática
A computação em nuvem é baseada no envio dos dados antes alocados em servidores físicos na própria empresa, agora alocados em servidores em qualquer outro lugar do planeta – a virtualização do datacenter. Isso é possível graças a utilização da internet para que esses dados sejam acessados, tratados e manipulados.
Conhecemos também os atores participantes do processo: empresa prestadora dos serviços de nuvem, a empresa que contrata o serviço e ainda os usuários que irão acessar a aplicação desenvolvida pela empresa que utiliza do serviço de nuvem.
Ainda vimos os tipos de serviços em nuvem, dentre todos eles, destacamos os três principais que são: Iaas, Paas e Saas.
Agora vamos explorar os serviços Paas e Saas.
Paas
Esse serviço consiste em: utilização da nuvem para desenvolvimento de projetos de software. Nele temos os recursos necessários para o desenvolvimento, testes, hardware e demais ferramentas afins.
Vamos para um caso fictício:
A empresa Desenvolvedores de Software Ltda. está iniciando um novo projeto para devolver um App e também está contratando novos colaboradores para equipe desse projeto. Com isso, precisa de mais espaço físico para esses novos funcionários e também necessita de novos servidores.
Para atender essa demanda, a diretoria decide adotar uma nova forma de trabalho, mudando sua infraestrutura local para prestadora de serviços de nuvem Paas. Depois de pesquisar e estudar os fornecedores que poderiam atender com os recursos necessários, foi contratada a empresa Serviços Auto Paas Ltda.
Os recursos que a empresa contratante irá utilizar são os seguintes: hardware (servidores e equipamentos), softwares para desenvolvimento web, softwares para controle de versão e ambiente de teste. Assim, a empresa Desenvolvedores de Software Ltda, irá economizar recursos com servidores (licença, manutenção, etc.) e também espaço físico.
Exemplo de solução Paas
Essa ferramenta já está preparada com alguns frameworks, como Rubi, PHP, Python, entre outros e integração com GitHub.
saiba mais
Saiba mais
Para saber mais sobre o Heroku
ACESSAR
Figura 3.2 - Heroku
Fonte: Heroku  (2019)
Saas
Nesse modelo, o serviço de nuvem envolvido é a utilização do programa em si através de comercialização e distribuição de software. Funciona assim: o cliente assina o serviço e a contratada disponibilização o acesso web, ele acessa a plataforma e utiliza a funcionalidade desejada. Esse contrato tem validade pelo tempo que o cliente paga mensalidade.
Figura 3.3 – Ilustração Saas
Exemplos de serviços Saas:
Um serviço Saas que podemos tomar como exemplo e tem grande popularidade no Brasil é a Netflix. O serviço de streaming de televisão oferece um extenso catálogo de filmes por uma assinatura mensal.
Figura 3.4 – Netflix
A ferramenta da Microsoft, Microsoft Azure Cloud, também é um excelente exemplo de serviço Saas. Utilizada por desenvolvedores para executar sistemas e aplicativos em nuvem, tem suporte para frameworks (PHP, Java, Rubi dentre outros).
Outro bom exemplo é o Salesforce.com, e seu serviço pioneiro, o conhecido CRM.
Sobre o CRM, o site do salesforce.com descreve:
“O gerenciamento do relacionamento com o cliente (CRM) engloba tudo que se refere a gerenciar os relacionamentos que você mantém com seus clientes. O CRM combina processos de negócios, pessoas e tecnologias para atingir uma meta única: captar e manter clientes. Trata-se de uma estratégia global que ajuda você a conhecer melhor o comportamento deles com o objetivo de criar laços mais fortes e duradouros, que beneficiarão as duas partes ao mesmo tempo. É muito difícil administrar uma empresa bem-sucedida se você não tiver um foco importante em CRM, não incluir elementos de mídias sociais e não fazer a transição para uma empresa social a fim de arrumar novas maneiras de interagir com os clientes.
Um sistema de CRM bem-sucedido envolve muitas áreas distintas de sua empresa, começando por vendas e ampliando para todas as áreas de interação com o cliente, como marketing e atendimento ao cliente. A Salesforce oferece uma solução de tecnologia para todas essas áreas e muito mais. Com a Salesforce e nossa plataforma de computação na nuvem Force.com, você pode cuidar dos clientes e do seu orçamento ao mesmo tempo. Tudo pronto e funcionando em 30 dias com a solução de CRM mais comprovada do mundo.”
Dados de Big Data
Caro aluno, nesta unidade iremos abordar novos conceitos sobre Big Data e reforçaremos alguns fundamentos.
Antes de iniciarmos vamos relembrar!
Big Data é o processamento de um grande volume de informações, que não poderiam ser processadas em um sistema de banco de dados comum. As informações processadas podem ser internas a uma empresa ou captadas em outros lugares.
Um bom exemplo seria a rede social Facebook. Imagine quantas operações são feitas por segundo? Armazenando, processando e indexando preferências, ligando o usuário a outras pessoas. Todas essas informações estão disponíveis para serem utilizadas no big data.
Pensando nisso, você está convidado para entrar novamente nesse mundo!
Tipos de Big Data
Os big data são classificados quanto os tipos de dados: estruturados e não estruturados. Esta variação se estabelece quanto a forma que o dado está inserido no big data, informações já existentes em um banco de dados ou ainda informações que compõe ou serão extraídas de arquivos dos mais variados tipos. Veja o quadro a seguir:
	DADOS ESTRUTURADOS
	DADOS NÃO ESTRUTURADOS
	Seguem um padrão definido, com posições e tamanhos já determinados.
Segundo Hurwitz, Nugent, Halper e Kaufman (2009, P. 27) “O termo dados estruturado normalmente se refere a dados que um formato e tamanho definido. Exemplo de dados incluem números, datas e grupos de palavras.”
Exemplo: cadastro de fornecedores - nesse cadastro já temos as strings definidas, onde cada campo tem a sua posição determinada (razão social, cnpj, endereço, telefone).
	São informações que estão ligadas a arquivos variados, como por exemplo: imagens, pdfs, vídeos, etc.
Segundo Hurwitz, Nugent, Halper e Kaufman (2009, P. 29) – “Dados desestruturados são dados não seguem formato específico. Se 20% dos dados disponíveis para as empresas são estruturados, os outros 80% são desestruturados. São realmente, a maioria dos dados que você encontrará.”
Quadro 3.1 - Dados estruturados e não estruturados.
Fonte: Elaborado pelo autor.
Formas/fontes de geração de dados
Existem várias formas e fontes de dados tanto estruturados quanto não estruturados, além de dados gerados por humanos e por máquinas. Assim, existe um vasto campo para armazenamento e processamento dessas informações.
Vamos conhecer alguns desses exemplos?
Abaixo temos alguns exemplos de formas e fontes de dados.
Para os dados estruturados, temos as informações que foram geradas por humanos e as geradas por máquinas, conforme quadro a seguir
	DADOS GERADOS POR HUMANOS
	DADOS GERADOS POR MÁQUINAS
	Aquilo que foi gerado através do trabalho e manipulação das informações em um computador. E dentre eles podemos exemplificar:
·          Dados alimentados em um sistema: dados de entrada em um sistema, um dado referente aum cliente, por exemplo;
·         Dados de clique: de acordo com os cliques e acessos - se analisados - podemos definir as preferências de determinado cliente.
	Aqueles estabelecidos sem que haja alguma ação humana direta, sendo alguns exemplos:
·         Dados de Sensor: Dados de GPS, dados de sensores, dados dos celulares quanto a localização;
·         Dados Web: de acordo com a sua navegação e pesquisas, esses dados gerados, e armazenados;
·         Dados de venda: quando passamos um produto no caixa, através do seu código de barras, temos todas informações sobre o produto comprado.
Quadro 3.2. Dados estruturados gerados por humanos e por máquinas.
Fonte: o autor.
Para os dados não estruturados temos o mesmo princípio: gerados por humanos ou por máquinas. Nesse caso, esse tipo tem um volume maior que o estruturado. Confira o quadro a seguir:
	DADOS GERADOS POR HUMANOS
	DADOS GERADOS POR MÁQUINAS
	· Arquivos empresariais: textos, documento internos, e-mails;
· Mídias Sociais: dados gerados por mídias sociais.
	· Imagens de satélite: imagens geradas por satélites, dados sobre clima
· Fotos e vídeos: vídeos de câmeras de segurança.
Quadro 3.3. Dados não estruturados gerados por humanos e por máquinas.
Fonte: o autor.
Dados estruturados versus não estruturados
Ao estudarmos todas as informações acima, descrevendo os tipos de dados para um big data, nos deparamos com essa questão:
Qual seria a melhor forma de se trabalhar?
Utilizar dados estruturados ou não estruturados?
Podemos destacar que com os dados estruturados temos um conhecimento maior, por ter um padrão na organização das informações. Por outro lado, os dados não estruturados não têm padrão e, com isso, podem demorar um pouco mais na sua análise, mas devemos considerar o volume de dados não estruturados que são gerados.
Portanto o que deve ser feito é verificar que tipo de informação é necessária e de onde extraí-la, e, assim, verificar a ferramenta certa a se utilizar para melhorar essa performance da extração e análise das informações.
Figura 3.6 – Desafio da leitura dos dados.
Tempo real versus batch
Os sistemas de tempo batch surgiram na década de 60, sendo os primeiros sistemas programáveis. Eles têm uma característica muito específica: não interação humana diretamente na aplicação, pois todos os dados de entradas são feitos mediantes a cartões perfurados ou memórias secundárias, e seu processamento respeita uma ordem programada.
Alguns exemplos de programas batch: programas de backup, programas para cálculos matemáticos (lembrando que todos esses programas não têm a necessidade de interação com o usuário).
Para entendermos melhor o conceito dessa funcionalidade, os cartões perfurados eram utilizados no começo da programação, e o conjunto de perfurações no cartão determinavam comando ou conjunto de comando a serem executados pelo computador. Neste exemplo, as perfurações passariam os comandos relacionados a execução do backup, cópia do banco de dados e copiando o arquivo gerado em outro local.
Figura 3.7 – cartão perfurado
Já nos sistemas de tempo real, o processamento, como o próprio nome diz, é em tempo em real. A instrução entra para ser processada e fica até ser concluída ou tem uma pausa em seu processamento, caso chegue uma instrução a ser processada com uma prioridade maior da instrução que está sendo executada.
Esses tipos de sistemas estão presentes em aplicações que o tempo de processamento é muito importante, devendo ter resposta imediata.
Alguns exemplos são: software para controle de vôo, usinas hidrelétricas, usinas termoelétricas e nucleares, refinarias de petróleo, dentre outros.
Figura 3.8 – Sistema para controle de vôo
atividade
Atividade
Existem várias formas e fontes de dados para os dois tipos de dados e temos ainda os dados gerados por humanos e por máquinas, dessa forma temos um vasto campo para armazenamento e processamento dessas informações.
Para os dados não estruturados, assinale a alternativa que contenha somente os dados pertencentes a esse tipo de dados
Parte superior do formulário
a) Dados alimentados em um sistema, fotos e vídeos;
b) Dados de sensor, dados web;
c) Mídias sociais, dados de clique;
d) Dados de venda, imagens de satélite;
e) Mídais Sociais, arquivo empresarias.
Feedback: A alternativa E está correta, mídias sociais e arquivos empresariais são dados não estruturados. As demais alternativas estão incorretas, pois contêm dados estruturados.Verificar Resposta
Parte inferior do formulário
Eco-sistema de Análise de Dados
Primeiramente é preciso entender o que é um eco-sistema de análise de dados.
Na natureza, eco-sistema indica um conjunto de seres em um espaço determinado que se relacionam entre si de forma estável, auto sustentável e harmônica.
Transportando este conceito para a área de tecnologia, ecossistema refere-se à totalidade dos envolvidos e as relações estabelecidas numa cadeia produtiva, ou seja, todos que influenciam o meio de trabalho, desde a diretoria até os colaboradores.
Figura 3.9 – atores do projeto
Segundo COSTA (2016 p. 68) “O conceito refere-se à visão do ambiente produtivo dentro de um contexto maior, para além das suas divisas proprietárias. Os proprietários de um sistema são os shareholders. Para além das divisas proprietárias estão os stakeholders, aqueles que são partes interessadas do sistema produtivo. Um sistema produtivo pode ser uma pessoa exercendo uma atividade, uma área dentro de uma organização, a organização como um todo, um setor econômico e até uma cadeia produtiva. A depender da unidade considerada os tipos de stakeholders variam. O conceito de ecossistema vai além da soma de partes (stakeholders) e leva em conta as relações estabelecidas entre elas”
A análise de dados acontece no ambiente de um eco-sistema. A seguir, estudaremos os tipos de análise.
Análises descritiva, diagnóstica, preditiva e prescritiva
Neste tópico iremos abordar conceitos sobre os tipos de análises: descritiva, diagnóstica, preditiva e prescritiva.
Segundo Cavalcante (2013) existem quatro tipos de análise: “(...) a)Analítica Descritiva (que se encarrega de analisar o quê aconteceu); b) Analítica Diagnóstica (analisa porque determinado evento aconteceu); c)Analítica Preditiva (analisa o que irá, ou poderá, acontecer); e, finalmente, d) Analítica Prescritiva (analisa como podemos fazer com que algo aconteça, ou não).”
Para entender melhor esses conceitos, analise o quadro a seguir:
	Análise descritiva
	É uma análise de reação, reagindo a um evento passado. Analisando e aprendendo com o acontecimento.
	Análise diagnóstica
	Analisa o que levou aquele fato ocorrer, que decisões, que dados foram utilizados no passado que acarretaram nesse caso.
	Análise preditiva
	Tentar prever, se adiantar no sentido de se preparar para o que vai acontecer ou pode ocorrer. Sendo analisado dados em grandes volumes e tentando uma previsão de um evento ainda não ocorrido.
	Análise prescritiva
	Analisa os dados com intuito de utilizar essas informações obtidas para influenciar no episódio vindouro (tentando evitar ou mudar o fato que irá acontecer).
Quadro 3.4. Tipos de análise de dados.
Figura 3.10 – Análise de dados
Fonte: https://br.freepik.com/vetores-premium/analise-de-business-intelligence-e-big-data_4393080.htm
atividade
Atividade
“(...) a)Analítica Descritiva (que se encarrega de analisar o quê aconteceu); b) Analítica Diagnóstica (analisa porque determinado evento aconteceu); c)Analítica Preditiva (analisa o que irá, ou poderá, acontecer); e, finalmente, d) Analítica Prescritiva (analisa como podemos fazer com que algo aconteça, ou não).”
Qual das alternativas descrevem análise prescritiva? Assinale a alternativa correta.
Parte superior do formulário
a) Reação após a correção do evento.
b) Entendimento da causa do evento.
c) Ação de fazer algo para que mude o evento que irá acontecer ou fazer que não aconteça
d) Analisa o que poderá acontecer
e) Nenhuma das alternativas.
Feedback: A alternativa C está correta, pois essa análise tenta mudar ou extinguir o eventoque irá poderá ocorrer. As demais alternativas estão incorretas, pois não descrevem a análise prescritiva, descrevem outros tipos de análise: Alternativa (A) – análise descritiva; alternativa (B) – análise diagnóstica; alternativa (D) – análise preditiva.Verificar Resposta
Parte inferior do formulário
Eco-sistema de Análise de Dados
Visão Geral sobre Business Intelligence e Aplicações
Neste tópico iremos tratar sobre o conceito de Business Intelligence (BI), uma ferramenta muito interessante que sempre enche os olhos dos empresários por deixar as informações sobre seu negócio de uma forma mais visível e mais próxima para controle.
O BI é uma tecnologia que conta com uma inteligência sistêmica, passando por banco de dados, ferramentas e aplicações. Ele permite que sejam feitas consultas em tempo real levando para uma visualização através de gráficos.
Segundo TURBAN, SHARDA, ARONSON e KING (2009) a definição de BI é “uma coleção de ferramentas para manipular e analisar os dados no data warehouse, incluindo data mining; business performance management (BPM) para monitoria e análise do desempenho e uma interface de usuário (como o dashboard). Observe que o ambiente de data warehousing é sobretudo de responsabilidade de uma equipe técnica, e o ambiente de análise (também conhecido como análise de negócios) está no âmbito dos usuários de negócios. Qualquer usuário pode conectar-se ao sistema por meio de uma interface de usuário, como um navegador, e a alta administração pode usar o componente de BPM e também o dashboard.”
Além das facilidades de acesso e visualização, o BI permite coleta, armazenamento e manipulação de um grande volume de informações, organização, análise dos dados, e, ainda, compartilhamento dessas informações com intuito de dar um direcionamento na tomada de decisão que envolvam a empresa em questão. Exemplos de informação que poderão ser utilizadas: Vendas, compras, financeiro, logística, informação sobre produção, etc.
Os exemplos acima estão ligados diretamente a empresa, mas o BI pode ser alimentado com informações externas, como por exemplo: entender as preferências de compras de clientes, atrelando os dados internos com pesquisa diretas a clientes, resultando, assim, em preferência de compras. Essas informações ficam armazenadas em um data warehouse (um repositório único de informações).
Com essa alimentação os dados poderão ser cruzadas com as informações, direcionando as vendas, com isso poderemos saber também quais insumos iremos utilizar, quanto de mão-de-obra será necessário, organizar logística, etc. Vendo dessa forma, fica fácil entendermos o porquê dessa ferramenta ser tão útil e importante.
É possível ir refinando e filtrando todas as informações que detemos até chegarmos nos indicadores que necessitamos, essa técnica de filtragem e trabalho das informações é chamada de data mining, que é a mineração dos dados acumulados, buscando um padrão, ligações entre as informação para geração de indicadores, que irão gerar as consultas e resultados para empresa.
saiba mais
Saiba mais
Sugiro a leitura de um artigo, chamado Big Data Tutorial, bem completo que traz muitas informações relevantes sobre o tema, completando e aprofundando conceitos vistos no material.
ACESSAR
atividade
Atividade
Relembrando todos os conceitos apresentados nesse tópico sobre o BI e suas características. O que é BI (Business Intelligence)? Assinale a alternativa correta:
Parte superior do formulário
a) É um repositório único de informações das preferências dos clientes.
b) É a totalidade dos envolvidos e as relações estabelecidas numa cadeia produtiva, ou seja, todos que influenciam o meio de trabalho, desde a diretoria até os colaboradores.
c) Nenhuma alternativa está correta.
d) É a mineração dos dados acumulados, buscando um padrão, ligações entre as informação para geração de indicadores.
e) É uma tecnologia que conta com uma inteligência sistêmica, passando por banco de dados, ferramentas e aplicações.
Feedback: A alternativa E está correta pois BI é uma tecnologia que conta com uma inteligência sistêmica, passando por banco de dados, ferramentas e aplicações. A alternativa (A) está incorreta pois, este é o conceito de data warehouse. A alternativa (B) está incorreta pois, este é o conceito de ecossistema de dados.A alternativa (D) está incorreta pois, este é o conceito de data mining.Verificar Resposta
Parte inferior do formulário
indicações
Material Complementar
FILME
Minority Report
Ano: 2002
‍Comentário: O filme, estrelado por Tom Cruise, se passa num período futurístico em que crimes que ainda não aconteceram são investigados e julgados. Os crimes são previstos por análises de imagens, vídeos, gerados e disponíveis em servidores. Observe como a ideia geral se encaixa no nosso tema principalmente no conceito de análise prescritiva e volume de dados de um big data.
TRAILER
conclusão
Conclusão
Chegamos ao final de mais uma unidade!
Nesta unidade abordamos várias ferramentas e conceitos que estão presentes no nosso cotidiano e modificaram a forma de trabalho de empresas e usuários.
Depois desses estudos você já consegue observar a forte presença da computação em nuvem no seu dia-a-dia e reconhecer todas as facilidades que esta tecnologia agregou às nossas vidas.
Entender Big Data e Business Intelligence, suas aplicações, tipos e formas de análise é fundamental para compreender as relações empresariais e ser um profissional preparado para operar e oferecer soluções modernas e inteligentes ao mercado.
Todos esses conceitos nos ajudarão a continuar nossos estudos sobre BI e avançar nesta caminhada.
referências
Referências Bibliográficas
TURBAN, Efraim; et al. Business Intelligence: Um enfoque gerencial para a inteligência do negócio. Porto Alegre: Bookman, 2009.
HURWITZ, Judith; et al. Big data para leigos. Rio de Janeiro: Alta Books, 2016
CASTRO, R. de C. C.; SOUSA, V.L. P. Segurança em Cloud Computing: Governança e Gerenciamento de Riscos de Segurança, Fortaleza, 2010
CHIRIGATI, F. S., Computação em nuvem, 2009. Disponível em: < https://www.gta.ufrj.br/ensino/eel879/trabalhos_vf_2009_2/seabra/pesquisa.html>. Acesso em: 24 abr. 2019.
BIG data tutorial. Site Devmedia. Disponível em: <https://www.devmedia.com.br/big-data-tutorial/30918> Acesso em: 28 abr. 2019.
https://www.heroku.com/ Acesso em: 27 abr. 2019.
https://www.salesforce.com/br/?ir=1 Acesso em: 27 abr. 2019
https://azure.microsoft.com/pt-br/services/cloud-services/ Acesso em: 27 abr. 2019
Costa, Luciana Sodré Big Data Estratégico: Um Framework para Gestão Sistêmica do Ecossistema Big Data / Luciana Sodré Costa. – Rio de Janeiro: UFRJ/COPPE, 2016
Big Data e Analítica: ferramentas e modelos de negócios – 2013 - http://creativante.com/new/index.php/2013-02-03-19-36-05/2013-02-04-18-19-49/155-big-data-e-analitica-ferramentas-e-modelos-de-negocios-revolucionarios  Acesso em: 28 abr. 2019.
IMPRIMIR
© 2019 - LAUREATE - Todos direitos reservados