Cluster: Equipamentos de Alto Desempenho

Prévia do material em texto

Cluster – Equipamentos de Alto Desempenho
DEFINIÇÃO
Cluster é um agrupamento interligado de computadores autônomos que se comportam como um único sistema computacional de alto desempenho, colaborando para realizar tarefas complexas que excederiam as capacidades de um único computador. Resumindo, vários computadores, conectados por uma rede, trabalhando juntos para realizar tarefas complexas.
HISTÓRIA 
A história se inicia na década de 1960, sendo impulsionada pela busca de maior poder computacional e pela busca de soluções comercialmente viáveis de paralelismo, o desenvolvimento de clusters começou com o pontapé inicial da IBM, com o sistema HASP (Houston Automated Spooling Program) e seu sucessor JES(Job Entry System), interligando mainframes para distribuir tarefas, na década de 1980 três tendencias convergiram: Microprocessadores de alto desempenho, Redes de alta velocidade e ferramentas padronizadas para computação distribuída de alto desempenho, em 1994 uns pesquisadores da Universidade de Minnesota desenvolveram um protótipo inicial de cluster com 16 processadores DX4 da Intel, sistema operacional Linux, Interconexão via rede ethernet e software de gerenciamento beowulf e acabou se tornando um sucesso instantâneo, despertando o interesse da comunidade acadêmica, NASA e pesquisadores. O projeto demonstrou potencial dos clusters para computação cientifica, tornou Linux um sistema popular para cluster, impulsionando a acessibilidade e se tornou uma ferramenta essencial para pesquisa em diversas áreas, sendo considerado um marco para a história dos clusters pela contribuição.
Assim surgiu diferentes tipos de clusters, HPC(High Performance Computing), focado em alto desempenho para pesquisa cientifica e simulações complexas, Big Data, projetado para processar e analisar grandes volumes de dados e Blockchain, especializado para gerenciar redes blockchain e criptomoedas. A nuvem os tornou mais acessíveis e escaláveis sendo usado por diversos setores, como industrias, finanças, governamentais e saúde.
CARACTERISTICAS 
Nodes (nós): um cluster é composto por múltiplos nós ou computadores individuais que estão interligados, cada nó pode ter seu próprio hardware e sistema operacional, mas eles se comunicam entre si para realizar tarefas em conjunto.
Interconexão de Rede: os nós estão interconectados por meio de uma rede de comunicação, esta rede pode variar em termos de velocidade, topologia e protocolos utilizados, mas é fundamental para permitir a troca de dados e coordenação entre eles.
Coordenação e gestão: um cluster necessita de um software de gestão para coordenar as atividades dos nós, incluindo, atribuir tarefas, balanceando carga, detectando falhas e realocando recursos conforme o necessário.
Escalabilidade: ele é facilmente expandido, adicionando-se mais nós conforme a demanda aumenta, sendo fundamental essa habilidade para lidar com cargas de trabalho variáveis e crescentes.
Alta Disponibilidade e Tolerância a falhas: eles são projetados para serem disponíveis, podendo continuar operando mesmo se alguns dos nós falharem, para isso são empregados mecanismos de tolerância a falhas como replicação de dados e recuperação automática, garantindo que o cluster permaneça funcional, mesmo com falha individual dos nós.
Computação Distribuída: tarefas são divididas em partes menores e executadas em paralelo em diferentes nós, permitindo o processamento de grandes volumes de dados de forma eficiente e rápida.
Aplicações Paralelas e de Alto Desempenho: frequentemente clusters são utilizados para executar aplicações paralelas e de alto desempenho, como analise de dados em larga escala, simulações computacionais, renderização de gráficos e processamento de transações financeiras.
Customização e Configuração: eles podem ser customizados e configurados de acordo com os requisitos específicos da aplicação que estão suportando, incluindo ajustes de hardware, configurações de redes e otimização de software para garantir o melhor desempenho possível. 
TIPOS DE CLUSTER
Clusters de Computação de Alto Desempenho (HPC): projetados para lidar com tarefas que requerem um alto poder de processamento, como exemplo, simulações cientificas, modelagem climática, cálculos complexos, entre outros. Para garantir baixa latência a interconexão de rede é de alta velocidade.
Clusters de Big Data: são projetados para processar grandes volumes de dados e executar operações de processamento distribuído, como analise, armazenamento e processamento de grandes conjuntos de dados, comumente se usa frameworks de processo distribuído como apache, hadoop e apache spark. O armazenamento geralmente utiliza sistemas de arquivos distribuídos e processamento paralelo.
Clusters de Balanceamento de Carga e Alta disponibilidade: frequentemente utilizados em ambientes de servidores web, banco de dados distribuídos e aplicativos de comercio eletrônico, são projetados para distribuir a carga de trabalho de maneira equilibrada entre nós e garantir alta disponibilidade de serviços. Se utilizam de técnicas como balanceamento de carga de rede, replicação de serviços e detecção de falhas automatizada para garantir o desempenho e a disponibilidade continua dos serviços.
Clusters de Virtualizações: várias maquinas virtuais são executadas em conjunto de servidores físicos para oferecer recursos de computação compartilhados de forma eficiente, permitindo a consolidação de carga de trabalho, flexibilidade na alocação de recurso e isolamento entre diferentes ambientes de trabalho. Comumente são utilizadas tecnologias como VMware vSphere, Microsoft Hyper-V e Kubernetes para criar e gerencias clusters de virtualização. 
COMPONENTES DE UM CLUSTER
Variando de acordo com o tipo especifico de cluster e das tecnologias envolvidas, geralmente temos os seguintes elementos principais: os nós, Interconexão de Rede, software de gestão de cluster, sistemas de armazenamento compartilhado, hardware de rede e switches, fontes de alimentação e refrigeração.
VANTAGENS 
Alto Desempenho: Clusters podem processar tarefas complexas muito mais rapidamente do que computadores individuais, dividindo o trabalho em partes menores e executando-as em paralelo.
Escalabilidade: Clusters podem ser facilmente expandidos adicionando mais nós, aumentando a capacidade de processamento de acordo com a demanda.
Alta Disponibilidade: Clusters podem ser configurados para tolerar falhas de hardware e software, garantindo que o sistema continue funcionando mesmo que um ou mais nós falhem.
Custo-benefício: Clusters podem ser mais eficientes do que supercomputadores, pois utilizam hardware commodity e podem ser dimensionados de acordo com as necessidades.
Flexibilidade: Clusters podem ser usados para diversos tipos de aplicações, desde pesquisa científica e simulações complexas até análise de dados e web servers.
DESVANTAGENS 
Complexidade: A configuração e o gerenciamento de um cluster podem ser complexos, exigindo conhecimento técnico especializado.
Custo inicial: O investimento inicial em hardware, software e infraestrutura de rede pode ser alto.
Segurança: Clusters podem ser mais vulneráveis a ataques cibernéticos do que computadores individuais, devido à sua natureza distribuída.
Gerenciamento de dados: A transferência e o armazenamento de dados entre os nós do cluster podem ser desafiadores.
Depuração: A identificação e a correção de problemas em um cluster podem ser mais complexas do que em um único computador.
PRINCIPAIS FABRICANTES
Sendo um mercado altamente competitivo, com diversos fabricantes que oferecem soluções para atender as necessidades especificas, se pode destacar como os principais fabricantes as seguintes empresas:
Hewlett Packard Enterprise (HPE): com ampla experiência em clusters de alto desempenho e alta disponibilidade, oferece uma gama completa de produtos e serviços para clusters, desde hardware e software até soluções completas e personalizadas, alguns dos clusters mais conhecidos da HPE incluem o Apollo 9000 e o Superdome Flex. Dell Technologies, oferecendo uma variedadede soluções de clusters para diferentes aplicações, como HPC, Big Data e análise de dados. Alguns dos clusters mais conhecidos da Dell incluem o PowerEdge R940xa e o PowerEdge C6525. Lenovo oferecendo soluções de clusters escaláveis e confiáveis para diversas aplicações, como HPC, nuvem e inteligência artificial. Alguns dos clusters mais conhecidos da Lenovo incluem o ThinkSystem SR650 V2 e o ThinkSystem SD650 V2. Supermicro, fabricante americano de servidores e soluções de computação em nuvem, com foco em clusters de alto desempenho, oferece soluções de clusters inovadoras e com alta densidade para aplicações de HPC e inteligência artificial. Alguns dos clusters mais conhecidos da Supermicro incluem o SuperServer 4029GP-TRT e o SuperServer 4028GR-TRT7. Inspur, oferece soluções de clusters de alto desempenho e custo-benefício para diferentes aplicações. Alguns dos clusters mais conhecidos da Inspur incluem o Inspur NF5488M5 e o Inspur TS1480.
Outras empresas que vale a menção são: Fujitsu que oferece soluções de clusters para HPC, Big Data e outras aplicações. IBM que possui uma longa história no desenvolvimento de clusters e oferece soluções para diferentes aplicações. NEC que fornece soluções de clusters para HPC, Big Data e inteligência artificial e Sugon fabricante chinês de soluções de TI que oferece clusters de alto desempenho.
EXEMPLOS DE APLICAÇÃO 
Devido a capacidade de oferecer alto desempenho, escalabilidade e disponibilidade, a seguir tem alguns exemplos de aplicação. Pesquisa Científica: realizando simulações complexas em física, química, biologia, medicina e outras áreas. Analisando grandes conjuntos de dados em astronomia, meteorologia e genômica. Modelagem de sistemas climáticos, terremotos, vulcões e outros eventos naturais. Desenvolvimento de novos medicamentos, materiais e produtos.
Indústria: processando grandes volumes de dados em manufatura, finanças, seguros e varejo. Analisando dados para otimizar processos, reduzir custos e aumentar a produtividade. Simulações de produtos e processos para melhorar o design e a qualidade. Inteligência artificial para automação, reconhecimento de padrões e tomada de decisões. 
Governo: segurança cibernética para proteger sistemas e dados contra ataques. Previsão do tempo para melhorar a preparação para eventos climáticos extremos. Análise de dados para inteligência militar e segurança pública. Simulações de tráfego, evacuação e outras situações emergenciais.
Academia: pesquisa em diversas áreas como computação, engenharia, matemática e ciências sociais. Ensino e treinamento em computação em nuvem e Big Data. Desenvolvimento de software e aplicativos para diferentes plataformas. Suporte a projetos de pesquisa de grande escala.
Outros: renderização de filmes e animações com qualidade de cinema. Transcodificação de vídeo para streaming online e outras aplicações. Jogos online com milhares de jogadores simultâneos. Hospedagem de sites e aplicativos de grande escala.