Arquitetura de Software - Cloud Storage

Esta é uma pré-visualização de arquivo. Entre para ver o arquivo original

Introdução ao módulo - Opçoes de amazenamento do GCP
Cada aplicativo precisa armazenar dados, como mídia a ser transmitida, dados de censura de dispositivos, saldos de contas de clientes ou talvez o fato de o meu Dragonite ter 2600 CP. Diferentes apps e cargas de trabalho pedem diferentes soluções de armazenamento. Você já sabe que pode armazenar dados no disco permanente da sua VM. O Google Cloud Platform oferece outras opções de armazenamento para dados estruturados, não estruturados, relacionais e transacionais. Neste módulo, apresento as principais opções de armazenamento: Cloud Storage, Cloud SQL, Cloud Spanner, Cloud Data Store e Google Big Table. Dependendo da aplicação, você poderá usar um ou vários desses serviços de armazenamento.
Google Cloud Storage.
 O que é armazenamento de objetos? Ele é diferente do armazenamento de arquivos, em que você gerencia dados como uma hierarquia de pastas. Ele é diferente de um armazenamento em blocos, em que seu sistema operacional gerencia dados como fragmentos de disco. No armazenamento de objetos, você salva seu armazenamento aqui mantém esse conjunto arbitrário de bytes para acessá-los com uma chave exclusiva. É isso. Geralmente, essas chaves exclusivas estão na forma de URLs para boa interação entre armazenamento de objetos e tecnologias da Web. O Cloud Storage funciona do mesmo modo, mas melhor. Ele é um serviço escalonável e totalmente gerenciado. Isso significa que você não precisa provisionar a capacidade antecipadamente. Só criar os objetos. O serviço os armazena com alta durabilidade e disponibilidade. O Cloud Storage pode ser usado para muita coisa, incluindo exibir conteúdo de sites, armazenar dados para arquivamento e recuperação de desastres, e distribuir objetos de dados grandes para usuários finais por download direto. O Cloud Storage não é um sistema de arquivos, porque todo objeto existente nele tem um URL. Eles se parecem muito com arquivos, e você pode usar a palavra "arquivos" para descrever objetos informalmente. Porém, não são um sistema de arquivos. O Cloud Storage não pode ser o sistema de arquivos raiz da sua máquina Linux. O Cloud Storage consiste em intervalos que você cria, configura e usa para hospedar objetos de armazenamento. Os objetos de armazenamento são imutáveis. Isso significa que você não os edita, mas cria novas versões deles. O Cloud Storage sempre criptografa seus dados no servidor antes de eles serem gravados no disco, sem nenhum custo adicional. Por padrão, os dados em trânsito também são criptografados usando HTTPS. Sobre transferência de dados, há serviços para transferir facilmente grandes quantidades de dados para o Cloud Storage. Falaremos sobre isso neste módulo. Quando os dados estiverem no Cloud Storage, você poderá movê-los para outros serviços de armazenamento do GCP. Como já discutido, seus arquivos do Cloud Storage estão organizados em intervalos. Ao criar um intervalo, você atribui a ele um nome globalmente exclusivo. Você especifica uma localização geográfica onde o intervalo e o conteúdo são armazenados e escolhe uma classe de armazenamento padrão. Escolha um local que minimize a latência para seus usuários. Portanto, se a maioria dos seus usuários estiver na Europa, você deverá escolher um local nesse continente. Falando dos seus usuários, há várias maneiras de controlar o acesso deles aos seus objetos e intervalos. Na maioria dos casos, o Cloud IAM é suficiente. Os papéis são herdados do projeto para o intervalo no objeto. Para um controle mais específico, crie listas de controle de acesso (ACLs). As ACLs definem quem tem acesso aos seus intervalos e objetos e o nível de acesso. Cada ACL contém duas informações: um escopo que define quem pode executar as ações especificadas, por exemplo, um determinado usuário ou um grupo de usuários, e uma permissão que define quais ações podem ser executadas. Por exemplo, ler ou gravar. Lembre-se de que os objetos do Cloud Storage são imutáveis. Se quiser, poderá ativar o controle de versão dos objetos nos seus intervalos. Nesse caso, o Cloud Storage mantém um histórico de modificações, ou seja, ele modifica ou exclui todos os objetos no intervalo. Você pode listar as versões arquivadas de um objeto, restaurar o estado mais antigo dele ou excluir permanentemente uma versão. Se não ativar o controle de versão, as antigas serão modificadas pelas novas.
Reproduza o vídeo começando em :4:12 e siga a transcrição4:12
E se você quiser um controle de versão, mas não quiser criar acúmulo? O Cloud Storage também tem políticas de gerenciamento do ciclo de vida. Você pode pedir a ele para excluir objetos com mais de 365 dias. Ou excluir objetos criados antes de 1º de janeiro de 2013, ou manter apenas as três versões mais recentes de cada objeto em um intervalo com controle de versão ativado.
Interação com cloud storage
O Cloud Storage oferece quatro tipos de armazenamento: Regional, Multirregional, Nearline e Coldline. Este é um resumo de cada um deles. Multirregional e Regional são classes de armazenamento de alto desempenho, enquanto Nearline e Coldline são para backup e arquivamento. Por isso coloquei essa grande linha divisória entre esses dois grupos. Todas as classes de armazenamento são acessadas de formas comparáveis com a API Cloud Storage, e oferecem tempos de acesso de milissegundos. Agora vamos falar sobre as diferenças. O Regional permite armazenar dados em uma região específica do GCP: US-Central-1, Europe-West-1 ou Asia-East-1. É mais barato que o Multirregional, mas oferece menos redundância. O armazenamento Multirregional, por outro lado, custa um pouco mais, mas é geograficamente redundante. Isso significa que você escolhe uma vasta localização geográfica, como os EUA, União Europeia ou a Ásia, e o Cloud Storage armazena seus dados em pelo menos duas localizações geográficas separadas por pelo menos 160 quilômetros. O armazenamento Multirregional é adequado para dados acessados com frequência, como conteúdo de sites, cargas de trabalho interativas ou dados que fazem parte de aplicativos móveis e jogos. O armazenamento Regional é usado para armazenar dados perto do Compute Engine, de máquinas virtuais ou de clusters do Kubernetes Engine. Isso melhora o desempenho de cálculos que usam muitos dados. O armazenamento Nearline é um serviço barato e altamente durável para armazenar dados raramente acessados. Essa classe é uma opção melhor que o armazenamento Multirregional ou Regional quando você planeja ler ou modificar os dados uma vez por mês ou menos. Por exemplo, se você quiser adicionar arquivos continuamente ao Cloud Storage e planeja acessar esses arquivos uma vez por mês para analisá-los, o armazenamento Nearline é uma ótima opção. O armazenamento Coldline é um serviço muito econômico e altamente durável para arquivamento de dados, backup on-line e recuperação de desastres. Coldline é a melhor opção para dados que você acessa no máximo uma vez por ano. Isso se deve à disponibilidade um pouco menor, ao período mínimo de armazenamento de 90 dias, aos custos do acesso a dados e aos custos mais altos por operação. Por exemplo, se você quiser arquivar dados ou ter acesso a eles no caso de um evento de recuperação de desastres. A disponibilidade dessas classes de armazenamento é variável: a classe Multirregional tem a maior disponibilidade de 99,95%, seguida pela classe Regional com 99,9% e as classes Nearline e Coldline com 99%. Quanto ao preço, todas as classes cobram por GB de dados armazenados por mês. A classe Multirregional tem o maior preço de armazenamento, e a classe Coldline, o menor. Cobranças de saída e transferência de dados também podem ser aplicadas. Além dessas cobranças, o armazenamento Nearline também cobra uma tarifa por GB de dados lidos, e o Coldline cobra uma tarifa mais alta por GB de dados lidos. Qualquer que seja a classe de armazenamento escolhida, você poderá reunir dados no Cloud Storage de várias maneiras. Vários clientes usam gsutil, o comando do Cloud Storage deste SDK do Cloud. Você também poderá mover dados
arrastando e soltando no Console do GCP se usar o navegador Google Chrome. Mas e se você fizer upload de terabytes ou petabytes de dados? O Google Cloud Platform oferece serviços de transferência de armazenamento on-line e off-line para ajudar. O serviço de transferência de armazenamento permite que você programe e gerencie transferências em lote para o Cloud Storage de outra nuvem de uma região diferente do Cloud Storage ou de um endpoint HTTPS. O dispositivo de transferência é um servidor de alta capacidade montável em rack que pode ser alugado do Google Cloud. Basta conectá-lo à rede, carregá-lo com dados e enviá-lo para um local de upload que transfira os dados para o Cloud Storage. Esse serviço permite transferir com segurança até 1 petabyte de dados em um único dispositivo. No momento desta gravação, ainda é uma versão beta, não disponível em todos os lugares. Portanto, consulte o site para saber mais. Há outras maneiras de integrar seus dados ao Cloud Storage, e esta opção de armazenamento está totalmente integrada a vários produtos e serviços do Google Cloud Platform. Por exemplo, você pode importar e exportar tabelas do BigQuery e Cloud SQL. Você também pode armazenar registros do App Engine, backups de dados na nuvem e objetos usados pelos aplicativos do App Engine, como imagens. O Cloud Storage também pode armazenar scripts de inicialização instantâneos, imagens do Compute Engine e objetos usados por apps do Compute Engine. O Cloud Storage costuma ser o ponto de ingestão dos dados movidos para a nuvem e o local de armazenamento de dados a longo prazo.