Soluções para Sobrecarga em Banco de Dados

Prévia do material em texto

Desafio
Empresas de todos os tamanhos estão adotando a rápida modernização de aplicativos voltados para o usuário como parte de uma estratégia de transformação digital. A infraestrutura de banco de dados relacional, de que esses aplicativos dependem, repentinamente precisa suportar tamanhos de dados e volumes de transações muito maiores do que o planejado inicialmente. Um SGBD monolítico pode ficar rapidamente sobrecarregado em um cenário de big data. 
Suponha que a empresa em que você trabalha tem máquinas que chegam a armazenar até 2 milhões de registros de dados de clientes. Com esse aumento repentino, o SGBD está atingindo um ponto de interrupção e, provavelmente, ultrapassará 2,5 milhões de usuários em breve.Assim, a empresa precisa de uma solução que trate o problema do surgimento de um grande conjunto de dados.
Como profissional de dados, indique ao menos uma solução para que as consultas de dados e a sobrecarga sobre os servidores seja resolvida, mantendo os dados acessíveis e seguros.
Padrão de resposta esperado
Nesse cenário, existem boas possibilidades diante do grande volume de dados.
A primeira é dividir o banco de dados em dois. A princípio, cada novo banco de dados teria parte dos registros, tendo ambos 1 milhão de registros, por exemplo. Uma vez que cada um tenha a capacidade de 2 milhões de registros (como o primeiro banco tinha), isso implica a expansão da capacidade de armazenamento de 2 para 4 milhões de registros, garantindo bom tempo de uso.
Outra possibilidade é a migração dos dados para um banco de dados distribuído, por meio da clusterização. Cada nó do cluster fica responsável por armazenar parte dos dados, o que distribui a carga de consultas entre cada nó, deixando os dados em partições menores, reduzindo também o tempo de resposta em cada consulta aos dados.
Mais uma possibilidade seria a migração dos dados para um sistema de arquivos distribuído como o HDFS. Ele faz parte do ecossistema Hadoop e, em conjunto com algum banco de dados NoSQL, como o Hive ou HBase (ambos sob licença da fundação Apache), pode ser utilizado para armazenar os dados em cluster. Assim, com os dados armazenados em um banco que se adapte a dados não estruturados, um indexador, como o ElasticSearch ou o Apache Solr, permite aceleração nas consultas de dados mais críticos.