N1 - Processamento Massivo de Dados

Prévia do material em texto

A Empresa “Expertise PMD”, visando um melhor atendimento aos seus clientes,
deve, inicialmente, ter em mente que, para que seja viável a implantação de clusters, é
preciso criar um setor responsável por isso, já que a aplicação dessas ferramentas
exige uma atenção especial, por se tratar do tratamento de grandes massas de dados
que influenciam nas tomadas de decisões dos seus clientes.
Em seguida, esse setor responsável pela clusterização das máquinas precisará
fazer um breve levantamento das ferramentas necessárias para a utilização de
processamento paralelo: isso está relacionado ao gerenciamento de várias CPUs que
trabalham conjuntamente - cada uma com uma “parte” do problema - para trazer os
resultados esperados. Há vários desafios nisso, um deles é saber quanto de recurso
(memória, capacidade de processamento e de armazenamento) cada unidade irá
precisar de acordo à sua tarefa específica. Necessário conhecimento em hardware,
pois precisa-se definir a hierarquia de cada unidade como cada uma irá atuar: com sua
própria memória ou compartilhando as memórias entre si, sem que fiquem
desbalanceadas (MATTOSO), ou até qual tipo de hierarquia utilizar no cluster.
Com o processamento paralelo do cluster, tende-se a ter um sistema com uma
arquitetura de multi-threads na qual há uma espécie de redundância, o que diminui a
possibilidade de ocorrência de falhas (MEYER). Assim, a “Expertise PMD” pode
garantir uma precisão nas tomadas de decisões dos clientes.
Para o armazenamento distribuído dos dados, o que garante acesso
multiplataforma e simultâneo aos dados, há dois cenários que podem ser sugeridos: (i)
para clientes com aplicações que exigem melhor desempenho nas operações de leitura
é válido um estudo mais aprofundado na abordagem de replicação de tabelas, pois
mantém o paralelismo quando se trata de simultâneas operações de leitura (EQUIPE
TD); (ii) caso o cliente não tenha nenhuma particularidade como a anterior, deve-ser
valer da abordagem que mescla a replicação e a fragmentação das tabelas, assim terá
uma maior integridade dos dados, já que para cada tabela replicada, terá um fragmento
dela em várias unidades (RONIERE, 2012).
Para cada tipo de cliente existe uma forma de ser planejado o cenário do
respectivo cluster, mas existe um padrão no qual para se obter um cluster de alta
performance ou HPC (High-performance computing) é necessário ao menos 3 nós
conectados a uma rede (IPERIUS BACKUP BRASIL, 2019). Seguindo esses passos, a
“Expertise PMD” irá desempenhar um excelente serviço de clusterização a seus
clientes ao modelar respectivamente às diferentes aplicações.
Referências Bibliográficas
EQUIPE TD. Dados Conceitos de Big Data: o que é processamento paralelo?
Transformação Digital. Disponivel em:
<https://transformacaodigital.com/dados/conceitos-de-big-data-o-que-e-processamento-
paralelo/>. Acesso em: 09 Setembro 2021.
IPERIUS BACKUP BRASIL. Construindo um pequeno Cluster HPC utilizando Windows.
Iperius Suite, 2019. Disponivel em:
<https://www.iperiusbackup.net/pt-br/construindo-um-pequeno-cluster-hpc-utilizando-wi
ndows/>. Acesso em: 13 Setembro 2021.
MATTOSO, M. Bancos de Dados Distribuídos, p. 38. Disponivel em:
<https://www.cos.ufrj.br/~marta/BdDistribuido.pdf>. Acesso em: 08 setembro 2021.
MEYER, L. A. V. C. Uma Visão Geral dos Sistemas distribuídos de Cluster e Grid e
suas Ferramentas para o processamento paralelo de dados, p. 13. Disponivel em:
<https://www.ibge.gov.br/confest_e_confege/pesquisa_trabalhos/CD/palestras/368-1.pd
f>. Acesso em: 07 Setembro 2021.
RONIERE. O que é um Banco de Dados distribuído? DevMedia, 2012. Disponivel em:
<https://www.devmedia.com.br/o-que-e-um-banco-de-dados-distribuido/24762>.
Acesso em: 09 Setembro 2021.