Prévia do material em texto
JOSÉ DE SOUSA MAGALHÃES E D I T O R A Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial E D I T O R A 1º EDIÇÃO - 2022 | SÃO PAULO/ SP ARQUITETURAS DISRUPTIVAS, IOT, BIG DATA E INTELIGÊNCIA ARTIFICIAL JOSÉ DE SOUSA MAGALHÃES ARQUITETURAS DISRUPTIVAS, IOT, BIG DATA E INTELIGÊNCIA ARTIFICIAL EXPEDIENTE COORDENAÇÃO GERAL Nelson Boni COORDENAÇÃO DE REVISÃO ORTOGRÁFICA Esthela Malacrida AUTOR(ES) José de Sousa Magalhães COORDENAÇÃO, PROJETO GRÁFICO E CAPA João Guedes 1º EDIÇÃO - 2022 | SÃO PAULO/ SP Ficha Catalográfica/ ISBN CATALOGAÇÃO ELABORADA POR GLAUCY DOS SANTOS SILVA - CRB8/6353 E D I T O R A 📝Apresentação Prezado Aluno, Muito tem se discutido sobre arquiteturas disrup-tivas e como elas já estão impactando o mundo em que vivemos. Ao longo da história, a tecnolo- gia bem como as inovações tecnológicas vem traçando um caminho de mudanças e transformações que ocorrem me- diante a demanda humana. Um termo que podemos destacar nesse contexto é o da Internet das Coisas, comumente abreviada como IoT, que se refere à conexão de dispositivos (além da tarifa típica, como computadores e smartphones) à Internet. Carros, utensílios de cozinha e até monitores cardíacos podem ser conectados através da IoT. E à medida que a Internet das Coisas crescer nos próximos anos, mais dispositivos se juntarão a essa lista. Já o termo big data refere-se a conjuntos de dados estru- turados e não estruturados complexos maciços que são rapi- damente gerados e transmitidos a partir de uma grande va- riedade de fontes. Hoje em dia, os dados são constantemente gerados sempre que abrimos um aplicativo, pesquisamos no Google ou simplesmente viajamos de lugar para colocar com nossos dispositivos móveis. O resultado? Coleções maciças de informações valiosas que empresas e organizações precisam para gerenciar, armazenar, visualizar e analisar. O artigo de Turing “Máquinas de Computação e Inte- ligência” (1950), e seu subsequente Teste de Turing, esta- beleceram o objetivo fundamental e a visão da inteligên- cia artificial. Em sua essência, a IA é o ramo da ciência da computação que visa responder à pergunta de Turing na afirmativa. É o esforço para replicar ou simular inteligên- cia humana em máquinas. Nesta a obra abordaremos alguns conteúdos relaciona- dos a todas as tecnologias mencionadas acima, desse modo, discutiremos de maneira teórica e prática a história, fun- cionamento, vantagens e desvantagens das mesmas, bem como discutiremos como montar uma equipe e estrutura que aborde essas ferramentas. Bons estudos! � SUMÁRIO: UNIDADE 1: TRANSFORMAÇÃO DIGITAL NO MUNDO CONTEMPORÂNEO �����1-1 CAPÍTULO 1: PADRÕES DE DESENVOLVIMENTO DE NOVAS TECNOLOGIAS E TRANSFORMAÇÃO DIGITAL ������������������������� 1-2 EXERCÍCIOS PROPOSTOS ������������������������������������������������� 1-17 CAPÍTULO 2: CICLO DE VIDA DE IMPLEMENTAÇÃO DE NOVAS TECNOLOGIAS ��� 2-1 EXERCÍCIOS PROPOSTOS ������������������������������������������������� 2-21 UNIDADE 2: FUNDAMENTOS DA INTERNET DAS COISAS (IoT) �����������������3-1 CAPÍTULO 3: IoT: CONCEITOS E APLICABILIDADE ����������������������������������� 3-2 EXERCÍCIOS PROPOSTOS ������������������������������������������������� 3-14 CAPÍTULO 4: DETALHAMENTO TÉCNICO SOBRE INTERNET DAS COISAS ��������� 4-1 EXERCÍCIOS PROPOSTOS ������������������������������������������������� 4-14 UNIDADE 3: FUNDAMENTOS DA ARQUITETURA DE COMPUTAÇÃO EM NUVEM �������������������������������������������5-1 CAPÍTULO 5: FUNDAMENTOS TEÓRICOS DOS SERVIÇOS EM NUVEM ������������� 5-2 EXERCÍCIOS PROPOSTOS ������������������������������������������������� 5-21 CAPÍTULO 6: NOÇÕES PRÁTICAS BÁSICAS DE SERVIÇOS EM NUVEM ������������ 6-1 EXERCÍCIOS PROPOSTOS ������������������������������������������������� 6-14 UNIDADE 4: FUNDAMENTOS DE BIG DATA ����������������������������������������7-1 CAPÍTULO 7: CONCEITOS E DEFINIÇÕES DE BIG DATA ������������������������������ 7-2 EXERCÍCIOS PROPOSTOS ������������������������������������������������� 7-15 CAPÍTULO 8: FUNCIONAMENTO E APLICABILIDADE DA BIG DATA ����������������� 8-1 EXERCÍCIOS PROPOSTOS ������������������������������������������������� 8-12 UNIDADE 5: FUNDAMENTOS DE INTELIGÊNCIA ARTIFICIAL ��������������������9-1 CAPÍTULO 9: CONCEITOS E DEFINIÇÕES DE INTELIGÊNCIA ARTIFICIAL ���������� 9-2 EXERCÍCIOS PROPOSTOS ������������������������������������������������� 9-12 CAPÍTULO 10: APLICABILIDADE E EXEMPLOS DA INTELIGÊNCIA ARTIFICIAL ��� 10-1 EXERCÍCIOS PROPOSTOS ������������������������������������������������ 10-15 UNIDADE 6: GERENCIAMENTO DE ESTRUTURAS TECNOLÓGICAS ����������� 11-1 CAPÍTULO 11: GERENCIAMENTO DE UMA ESTRUTURA DE DATA SCIENCE E BIG DATA ������������������������������������������� 11-2 EXERCÍCIOS PROPOSTOS ������������������������������������������������ 11-14 CAPÍTULO 12: GERENCIAMENTO DE UMA ESTRUTURA DE INTELIGÊNCIA ARTIFICIAL �������������������������������������������� 12-1 EXERCÍCIOS PROPOSTOS ������������������������������������������������ 12-10 REFERÊNCIAS ��������������������������������������������������������� 13-1 GABARITO ������������������������������������������������������������� 14-1 DISCIPLINA: UNIDADE 1: TRANSFORMAÇÃO DIGITAL NO MUNDO CONTEMPORÂNEO Caro(a) Aluno(a) Seja bem-vindo(a)! Nesta primeira unidade, daremos orientações acerca das transformações digitais que levaram ao desenvolvimento de tecnologias modernas, como as abordadas nesta obra. Conteúdos da Unidade Neste capítulo, iremos conhecer um pouco sobre o processo de desenvolvimento de novas tecnologias, bem como o ciclo de vida de implementação de novas tecnologias. 9 Padrões de Desenvolvimento de Novas Tecnologias e Transformação Digital; 9 Ciclo de Vida de Implementação de Novas Tecnologias. Acompanhe os conteúdos desta unidade. Se preferir, vá assinalando os assuntos, à medida que for estudando. Bons estudos!!! Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial CAPÍTULO 1: PADRÕES DE DESENVOLVIMENTO DE NOVAS TECNOLOGIAS E TRANSFORMAÇÃO DIGITAL 1-3 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial PA D R Õ ES D E D ES EN V O LV IM EN TO D E N O VA S T EC N O LO G IA S E T R A N S FO R M A Ç Ã O D IG IT A L 1 1�1 FUNDAMENTOS Tendo uma certa especificidade, as tecnologias digitais pas- sam por um ciclo de vida, obedecendo a lógica geral de mudança de plataformas tecnológicas. Esses padrões foram estudados em detalhes suficientes em relação aos processos de desenvolvimento de tecnologia na era pré-digital e podem ser usados para descrever a dinâmica das tecnologias digitais modernas e os processos de ne- gócios que elas definem. 1�2 Transformações Digitais Contemporâneas Falando sobre as leis gerais do desenvolvimento das tecno- logias digitais, podem-se dar vários exemplos de manifestação das leis da dialética nesse desenvolvimento (transição da quanti- dade em qualidade, negação da negação, unidade e luta dos opostos). A transição da quantidade para a qualidade pode ser ilustra- da pelo exemplo de como um aumento no crescimento do poder de computação de um computador leva a capacidades qualitativa- mente novas. Em particular, tarefas que antes eram consideradas prerrogativas do intelecto humano (como jogar xadrez ou go) acabaram, em determinado momento, disponíveis para serem re- solvidas pelo intelecto da máquina. O crescimento da largura de banda da rede móvel leva a uma mudança geracional de telefones com capacidades qualitativamente novas (transmissão de tex- to, transmissão multimídia), etc. O crescimento da resolução da tela da TV leva a necessidade de tecnologias de entrega qualita- tivamente novas de vídeo pela rede e assim por diante. 1-4 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial PA D R Õ ES D E D ES EN V O LVIM EN TO D E N O VA S T EC N O LO G IA S E T R A N S FO R M A Ç Ã O D IG IT A L 1 A manifestação da lei da negação da negação pode ser des- crita como os semicondutores, que surgiram nos primórdios da tecnologia de rádio na forma de detectores de cristal, foram substi- tuídos por válvulas eletrônicas de vácuo (a primeira negação), posteriormente o desenvolvimento da tecnologia devolveu os se- micondutores, tornando-os os principais elementos do rádio e do computador tecnologia (negação de negação). A arquitetura de mainframes e terminais de E/S em rede foi substituída por compu- tadores pessoais individuais (não em rede), com o tempo, surgiu a arquitetura cliente-servidor, que, por sua vez, passou a ser subs- tituída por uma arquitetura em nuvem, onde se concentra o poder computacional na nuvem, e os dados podem ser enviados para o terminal cliente “fino”. Novamente, há uma negação da negação. A manifestação da lei da unidade e a luta dos contrários podem ser observadas em todos os níveis de competição entre empresas produtoras de tecnologias digitais, bem como no exemplo da co- existência de tendências opostas na lógica do desenvolvimento das tecnologias digitais. A luta dos opostos está no próprio termo “transformação”. O termo “destruição criativa”, proposto por Joseph Schumpeter em 1942, sugere que o próprio fenômeno da “inovação” contém uma oposição, pois qualquer inovação destrói a solução já utilizada. Falando em inovações digitais, há mais de uma contradição. Por um lado, as tecnologias digitais visam aumentar o papel de uma pessoa, revelando seu potencial criativo, por outro lado, re- duzir o “fator humano”, reduzir o papel de uma pessoa na tomada de decisões de negócios através do uso de inteligência artificial. Por um lado, as tecnologias digitais simplificam o trabalho humano au- tomatizando processos não criativos; por outro, condenam repre- sentantes de várias profissões a perderem seus empregos. 1-5 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial PA D R Õ ES D E D ES EN V O LV IM EN TO D E N O VA S T EC N O LO G IA S E T R A N S FO R M A Ç Ã O D IG IT A L 1 Por um lado, as tecnologias digitais criam desafios em ter- mos de segurança, por outro, a superação de vulnerabilidades em sistemas digitais os torna cada vez mais resistentes a ataques. Por um lado, as tecnologias digitais tendem a tornar o tempo de lazer de uma pessoa cada vez mais interessante, por outro lado, uma pessoa gasta cada vez mais tempo consumindo conteúdo de massa de baixa qualidade. 1�3 Inovações Preservadoras e Disruptivas Há muitos exemplos em que as inovações levaram a uma re- distribuição significativa do mercado. Na década de 1980, a IBM tinha uma excelente posição de mercado no setor de computado- res pessoais. No entanto, a Microsoft pouco conhecida apareceu de repente e, ao oferecer sistemas operacionais DOS e Windows, do- minou o mercado de sistemas operacionais para PC na década de 1990. Com o mercado de smartphones, a história se repetiu. A in- trodução do iPhone da Apple eliminou a líder de longo prazo Nokia do mercado. E o sistema operacional Android para smartphones assumiu uma posição de liderança no mercado, impedindo a Mi- crosoft de ficar com mais de três por cento de participação. Obviamente, nem todas as tecnologias têm o mesmo efeito sobre as mudanças nos negócios. Algumas inovações são mais bem sucedidas do que outras. Continuando a conversa sobre a lógica do desenvolvimento tecnológico e seu impacto nos negócios das empresas que produzem esses bens e serviços, devemos nos voltar para a teoria das tecnologias disruptivas. As estatísticas mostram que a maioria dos novos produtos que as empresas trazem para o mercado falham. O mercado não está pronto para aceitar algumas das inovações. Muitas vezes, os 1-6 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial PA D R Õ ES D E D ES EN V O LV IM EN TO D E N O VA S T EC N O LO G IA S E T R A N S FO R M A Ç Ã O D IG IT A L 1 implementadores se deparam com uma situação em que seus pro- dutos de alta qualidade são muito caros ou inconvenientes de usar. Em outros casos, as inovações estimulam os compradores a adqui- rir bens em função de novas propriedades, mesmo em detrimen- to de sua menor produtividade. Por exemplo, os proprietários de telefones celulares param de comprar câmeras digitais, apesar do fato de a câmera de um telefone celular, como regra, não fornecer a mesma qualidade de fotos que uma câmera. Os consumidores de eletrônicos estão se afastando de scanners e impressoras domés- ticos, tirando fotos de documentos com seus smartphones, porque é mais conveniente para eles armazenar e enviar informações, e o nível de qualidade da imagem geralmente não é significativo. O termo “inovações disruptivas” foi introduzido pela primei- ra vez pelo cientista americano Clayton M. Christensen em 1995. A essência de sua teoria é ilustrada na Figura 1-1. A linha pontilha- da na figura mostra o nível de desempenho do produto aceitável para os clientes. A seta de cima reflete a trajetória de inovações sustentáveis – inovações que melhoram o produto atual por meio de melhorias sucessivas, e esse produto é promovido em um mer- cado moldado por empresas estabelecidas. A seta inferior reflete o desenvolvimento da “inova- ção disruptiva”. Inovações disruptivas são inovações que criam novo valor em um produto que é tão significativo que força os clientes a mudar para um novo produto ou serviço, mesmo com perda de qualidade. Ino- vações disruptivas estão eliminando produtos baseados em tecno- logias antigas porque os parâmetros que antes competiam não são mais relevantes. O surgimento de inovações disruptivas geralmente está associado a investimentos mais arriscados, quando a reação do consumidor a uma nova proposta não é conhecida antecipadamente, 1-7 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial PA D R Õ ES D E D ES EN V O LV IM EN TO D E N O VA S T EC N O LO G IA S E T R A N S FO R M A Ç Ã O D IG IT A L 1 o que pode levar à criação de um novo mercado ou de um novo pa- drão de consumo, ou pode ser rejeitado pelos consumidores. Figura 1-1: Modelo de inovação disruptiva Fonte: Próprio autor / Claytom M. Christensen [adaptado] Muitos autores tentaram desenvolver e complementar o concei- to de inovação disruptiva. Assim, por exemplo, Jim Kalbach diz que na teoria das inovações disruptivas o papel das inovações sequenciais é subestimado, enquanto sua acumulação gradual pode levar a mu- danças qualitativas significativas, e oferece sua visão da relação entre consistente e inovações disruptivas inovação (Figura 1-2). Na Figu- ra 1-2, o eixo y representa o grau de progresso técnico que a inovação traz à medida que desenvolve e melhora as capacidades dos produtos relacionados, e a abscissa mostra o impacto da inovação no mercado. A inovação incremental (à medida que a tecnologia ama- durece) pode levar a mudanças qualitativas revolucionárias. Ao mes- mo tempo, as tecnologias disruptivas têm um impacto significativo 1-8 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial PA D R Õ ES D E D ES EN V O LV IM EN TO D E N O VA S T EC N O LO G IA S E T R A N S FO R M A Ç Ã O D IG IT A L 1 no mercado já em estágio inicial de desenvolvimento e, à medida que avançam, levam a novas regras do jogo no mercado e à substituição dos próprios jogadores. Então, por exemplo, em outras palavras, o computador pessoal era uma tecnologia disruptiva para o mainframe, digital para fita, iTunes para distribuidores de CD e assim por diante. Seguindo essa lógica, podemos dizer que o Microsoft Office 2007 é um salto de desempenho em relação ao Microsoft Office há cinco anos, mas é o resultado de um desenvolvimento evolutivo sem “interrupção”. Embora o surgimento de um modelo de en-trega de escritório baseado em nuvem pareça ser uma tecnologia disruptiva, a mudança da Microsoft para o Office 365 baseado em nuvem é uma resposta à ameaça de inovação disruptiva e uma ma- neira de competir com aplicativos como o Google Docs. Figura 1-2: Proporção de sucessivas inovações disruptivas Fonte: Próprio autor / Jim Kalbach [adaptado] 1-9 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial PA D R Õ ES D E D ES EN V O LV IM EN TO D E N O VA S T EC N O LO G IA S E T R A N S FO R M A Ç Ã O D IG IT A L 1 Os inovadores usam as plataformas digitais para substituir os esquemas de negócios existentes por outros mais rentáveis, com comunicações mais convenientes com o cliente, proporcionar uma abordagem mais diferenciada ao usuário e, assim, romper o rela- cionamento com fornecedores tradicionais. Por exemplo, o uso de análises de big data pode identificar pontos fracos em modelos de negócios existentes, desenvolver soluções que podem ser usadas para otimizar a aquisição e retenção de clientes, previsão de churn, venda cruzada e otimização de campanhas de marketing. Também permitem encontrar novas oportunidades para rentabilizar produ- tos, serviços, públicos, canais, parceiros, etc. Os autores de “Uma estrutura de disrupção” (2018) tam- bém deram sua contribuição para o desenvolvimento do concei- to de inovações disruptivas, que descreveram diferentes cenários para a entrada de inovadores no mercado, inclusive de indústrias afins. A Figura 1-3 mostra um diagrama simplificado de possíveis cenários de entrada para players que oferecem uma nova tecno- logia disruptiva, de acordo com Kikkia (2018) e outros. Abaixo da curva estão os potenciais compradores de produtos ou serviços oferecidos pelos quatro players atuais (S1-S4). Esses players pro- duzem produtos de qualidade variada e ocupam fatias de mercado correspondentes em alguns setores. A figura também mostra três tipos de estratégias para introduzir novos players desafiadores no mercado. A estratégia T1 é uma intrusão de um player com um produto barato atendendo clientes menos exigentes e penetrando no mercado à medida que a qualidade do produto melhora. 1-10 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial PA D R Õ ES D E D ES EN V O LV IM EN TO D E N O VA S T EC N O LO G IA S E T R A N S FO R M A Ç Ã O D IG IT A L 1 Figura 1-3: Estratégias e reações de entrada no mercado dos inovadores jogadores atuais Fonte: Próprio autor A estratégia T2 reflete o surgimento de um player com um produto de alta qualidade, que pode estar em demanda de clientes “avançados”. À medida que o produto é otimizado e seu preço é reduzido, o player da estratégia T2 pode capturar uma parte do mercado em consideração. Ameaças sérias para os operadores históricos podem surgir quando o inovador disruptivo vem de uma indústria adjacente em expansão (ameaça T3). A Figura 1-3 também mostra as reações típicas dos joga- dores atuantes. É possível que a ameaça T1 motive alguns players tradicionais a subir na escala de qualidade do produto (estraté- gia S1), talvez até perdendo participação de mercado. Se um con- corrente forte entra no mercado com um produto de alta quali- dade (T2), os players tradicionais podem perder participação de 1-11 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial PA D R Õ ES D E D ES EN V O LV IM EN TO D E N O VA S T EC N O LO G IA S E T R A N S FO R M A Ç Ã O D IG IT A L 1 mercado, movendo-se para custos, variedade ou qualidade de pro- dutos mais baixos (S2). Alguns players vão falir e sair do negócio (S3), alguém vai iniciar uma transição parcial para outra indústria (S4), dominando novos serviços em setores de mercado relaciona- dos e diversificando seus negócios. O que está faltando na Figura 1-3 é uma estratégia para um player estabelecido possivelmente comprar um concorrente para adicionar os recursos de uma nova tecnologia ao seu próprio pro- duto ou obter um novo serviço sob gestão. Essas possibilidades são consideradas em Kikkia (2018) e outros, que analisa as estratégias para combater os players incumbentes para minar as inovações. 1�4 Inovação Disruptiva e Estratégia de Resposta A escala de destruição do negócio de um player tradicional nem sempre é de cem por cento Rogers (2011). Para os jogadores que desenvolvem uma estratégia para combater a inovação disrup- tiva, é importante antecipar a escala da ameaça. Há momentos em que um inovador leva tudo, mas muitas vezes ele consegue atrair apenas alguns segmentos de usuários para os quais a inovação é de importância decisiva. De fato, câmeras de filme, cassetes de áudio e cassetes de vídeo deixaram completamente o mercado, dando lugar às câmeras digitais, mas a situação é diferente com os livros. Apesar do fato de que muitos compradores mudaram para e-books, as pessoas que costumam escolher livros como presen- tes ainda preferem livros em papel a e-books. Ainda há adeptos da “leitura tradicional”, de modo que o mercado de livros em papel diminuiu, mas não desapareceu completamente e existirá por um certo tempo. A situação é semelhante com o mercado de relógios de pulso - relógios mecânicos, especialmente na classe de luxo, 1-12 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial PA D R Õ ES D E D ES EN V O LV IM EN TO D E N O VA S T EC N O LO G IA S E T R A N S FO R M A Ç Ã O D IG IT A L 1 mantêm seus adeptos. Há até exemplos de tecnologia voltando ao mercado, como o interesse renovado pelo vinil. Para analisar o grau de ameaça aos players tradicionais, é necessário analisar o negócio do inovador em relação às ofertas existentes e entender qual é a singularidade do produto do ino- vador, como seu modelo de negócio difere, o que permite ao re- querente criar este produto, entregar para o comprador e obter lucro (um recurso exclusivo para gerenciar dados corpo- rativos, certas habilidades e competências dos funcioná- rios, canal de distribuição, métodos de marketing etc.). A ameaça pode ser a perda de clientes ou, em alguns casos, o ino- vador disruptivo pode atrapalhar os negócios do player tradicio- nal roubando seus funcionários. Ao desenvolver uma estratégia de defesa de negócios, também é importante entender quais dos players tradicionais estão ameaçados pela inovação e se os players existentes podem unir forças na luta contra um concorrente por sua participação de mercado. Por exemplo, empresas OTT como WhatsApp, WeChat, Skype e Viber não ameaçam empresas de tele- comunicações individuais, mas a maioria das operadoras que ope- ram sob o antigo modelo de negócios de fornecer apenas serviços de telecomunicações. Para avaliar o grau de ameaça, é necessário respon- der à pergunta: existe alguma barreira que impeça um jogador tradicional de imitar um adversário? Se não houver barreira, se não houver obstáculo fundamental para que o titular responda a um concorrente com uma estratégia semelhante, então não se tra- ta de uma inovação disruptiva. Se o desafiante tiver um novo va- lor que seja importante para o cliente, se isso prejudicar a oferta do fornecedor atual e se houver uma barreira que impeça o atual player de competir diretamente com o desafiante inovador, só en- tão estamos lidando com uma inovação disruptiva. 1-13 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial PA D R Õ ES D E D ES EN V O LV IM EN TO D E N O VA S T EC N O LO G IA S E T R A N S FO R M A Ç Ã O D IG IT A L 1 Para desenvolver uma resposta a um novo modelo de negó- cio disruptivo, é necessário prever o comportamento do inovador e clientes do mercado. São possíveis duas variantes da estratégia do inovador: a primeira é “passar de fora para dentro”, quando o destruidor começa por vender a clientes que não são compradores dos serviços do incumbente, e só depois passa para os seus clientesdiretos (esta é o cenário que Christensen considerou em seu conceito). Uma segunda opção também é possível - “de dentro para fora” - quando as vendas começam com um pequeno segmen- to dentro do pool de clientes atuais do player incumbente (por exemplo, amantes de novos produtos) e se expandem, con- quistando cada vez mais clientes do negócio originário. Essa foi a estratégia para promover o iPhone. Tendo decidido pelo modelo de captação de clientes pelo de- safiante, é importante analisar quais segmentos de seus próprios clientes serão os primeiros a adotar o produto ou serviço do dis- ruptor-inovador, quem será mais atrativo para a oferta disruptiva? Prever o comportamento do cliente fornece a chave para construir uma estratégia para responder à interrupção. Avaliando a escala de “disrupção” ao promover negócios ba- seados em plataformas digitais, deve-se levar em conta os chama- dos efeitos de rede. O valor de serviços como redes sociais, servi- ços de namoro, jogos online depende não apenas e não tanto da interface do usuário, mas do número de ofertas, determinado pelo número de participantes do serviço. O ataque é a melhor defesa contra o inovador: as estratégias ofensivas incluem adquirir o inovador, criar um negócio conjun- to com ele ou lançar um inovador independente. Na história do desenvolvimento das empresas digitais, pode-se citar mais de um 1-14 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial PA D R Õ ES D E D ES EN V O LV IM EN TO D E N O VA S T EC N O LO G IA S E T R A N S FO R M A Ç Ã O D IG IT A L 1 exemplo em que o ataque foi uma defesa. Ao comprar o WhatsApp, uma das empresas que mais crescem por US$ 22 bilhões, o Face- book contava não só e não tanto com as perspectivas de monetizar o tráfego de usuários do WhatsApp, mas com a capacidade de con- trolar a comunidade de quase um bilhão de usuários, que agora é propriedade de ambas as empresas. É claro que as estratégias ofensivas nem sempre são possí- veis, principalmente por causa das barreiras de escala. Por exem- plo, as operadoras de telecomunicações russas enfrentam um negócio internacional disruptivo em uma escala muito maior na forma de WhatsApp ou Skype. E não são apenas as empresas rus- sas que se encontram nessa posição. A estratégia geralmente implementada é que uma grande empresa compre um inovador disruptivo incipiente (Figura 1-4). Figura 1-4: A coexistência do tradicional e do subversivo Fonte: Próprio autor / Michael Rogers [adaptado] 1-15 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial PA D R Õ ES D E D ES EN V O LV IM EN TO D E N O VA S T EC N O LO G IA S E T R A N S FO R M A Ç Ã O D IG IT A L 1 A arte dos líderes empresariais é avaliar corretamente o po- tencial e determinar corretamente a fase em que se encontram seu próprio negócio e o negócio do inovador disruptivo. Comprar um inovador em um momento em que sua própria tecnologia está sa- turada (Figura 1-4) e a tecnologia disruptiva do desafiante está se mostrando promissora, mas ainda não atingiu o estágio em que sua capitalização é muito alta é a aquisição ideal. Nem sempre é possível para um player existente escolher o momento certo e ad- mitir que sua própria tecnologia, que domina o mercado, já esgo- tou seu potencial e, portanto, decidir mudar a estratégia com base na ideia apresentada por um desafiante inicial. Muitas vezes, está abaixo da dignidade dos empresários tra- dicionais admitir para si mesmos que o negócio principal que eles criaram por tanto tempo acabou sendo menos promissor do que o oferecido pelos inovadores disruptivos, e quando eles percebem que a estratégia de comprar o desafiante foi a única estratégia cor- reta - acontece que é tarde demais. É bastante difícil prever a trajetória de mudança na impor- tância da tecnologia. Por exemplo, nos primórdios da tecnologia Flash da Macro- media, lançada em 1996, a Adobe teve a chance de comprá-la por uma pequena quantia, mas a Adobe decidiu comprá-la apenas em 2005, quando a plataforma Flash se tornou praticamente o padrão para visualização interativa da web, páginas, e a Adobe gastou cer- ca de US$ 3,4 bilhões no negócio. Mas, quando o padrão HTML5 apareceu, a tecnologia Flash começou a perder popularidade e, em 2018, a maioria dos analistas prevê seu declínio iminente. Grandes empresas possuem muitas tecnologias, anali- sam constantemente o surgimento de inovações disruptivas para ajustar rapidamente sua estratégia de M&A. Os negócios mais 1-16 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial PA D R Õ ES D E D ES EN V O LV IM EN TO D E N O VA S T EC N O LO G IA S E T R A N S FO R M A Ç Ã O D IG IT A L 1 importantes estão na boca de todos (o Google comprou o You- Tube e o Waze, o Facebook comprou o Instagram e o WhatsApp, a Apple comprou a Siri, a Microsoft assumiu as redes sociais Skype, Yammer e LinkedIn), mas há milha- res de fusões e aquisições menos importantes de startups de tec- nologia, bem como empresas relativamente grandes em diversas áreas do mercado digital. A lógica de negócios determina que, ao comprar um inovador disruptivo, faça sentido usá-lo como uma unidade independente. Por um lado, essa estratégia leva ao surgimento de um destruidor interno que atrairá os clientes para longe do negócio principal. Por outro lado, se o inovador disruptivo adquirido não for destacado como uma divisão independente, há sempre o risco de colocar os interesses do core business à frente do desenvolvimento da ino- vação e, portanto, acima do objetivo de um ótimo atendimento ao cliente. “Isso inevitavelmente criará uma oportunidade para ou- tra pessoa lançar um negócio inovador semelhante e roubar seus clientes desiludidos” Rogers (2011). Caso a compra não seja possível, existe a opção de iniciar seu próprio novo negócio que imita o modelo do destruidor. Em essên- cia, é um esquema para usar seus próprios recursos em um jogo contra o seu negócio principal, a fim de se proteger de um inovador destrutivo e ganhar a chance de entrar em novos mercados de rá- pido crescimento. 1-17 � EXERCÍCIOS PROPOSTOS 01 Observe as afirmações abaixo: I) Tendo uma certa especificidade, as tecnologias digitais passam por um ciclo de vida, não obedecendo à lógica geral de mudança de plataformas tecnológicas. II) Padrões de desenvolvimento de novas tecnologias e transformação di- gital foram estudados em detalhes suficientes em relação aos processos de desenvolvimento de tecnologia na era pré-digital e podem ser usados para descrever a dinâmica das tecnologias digitais modernas e os processos de negócios que elas definem. III) A transição da quantidade para a qualidade pode ser ilustrada pelo exemplo de como uma diminuição no crescimento do poder de computação de um computador leva a capacidades qualitativamente novas. Estão CORRETAS: ▢ -a) I e II ▢ -b) II e III ▢ -c) III somente ▢ -d) II somente ▢ -e) I e III 02 Falando sobre as leis gerais do desenvolvimento das tecnologias digi- tais, pode-se dar vários exemplos de manifestação das leis da dialética nesse desenvolvimento, uma delas é: ▢ -a) Negação da negação ▢ -b) Alteração da quantidade em qualidade ▢ -c) Lógica geral de mudança ▢ -d) Unidade e união dos opostos ▢ -e) Crescimento do poder de computação EX ER C ÍC IO S P R O P O S TO S 1-18 03 A manifestação da lei da negação da negação pode ser descrita em um exemplo de como: ▢ -a) Um aumento no crescimento do poder de computação de um computador leva a capacidades qualitativamente novas. ▢ -b) O crescimento da largura de banda da rede móvel. ▢ -c) Os semicondutores, que surgiram nos primórdios da tecnolo- gia de rádio na forma de detectores de cristal. ▢ -d) No exemplo da coexistência de tendências opostas na lógica do desenvolvimento das tecnologias digitais. ▢ -e) O termo “destruição criativa. 04 Observe as afirmações abaixo: I) O termo “destruiçãocriativa”, proposto por Joseph Schumpeter em 1945, sugere que o próprio fenômeno da “inovação” contém uma oposição, pois qualquer inovação destrói a solução já utilizada. II) Falando em inovações digitais, há mais de uma contradição. Por um lado, as tecnologias digitais visam aumentar o papel de uma pessoa, re- velando seu potencial criativo, por outro lado, reduzir o “fator humano”, reduzir o papel de uma pessoa na tomada de decisões de negócios através do uso de inteligência artificial. III) As tecnologias digitais criam novos desafios em termos de segurança, por outro, a superação de vulnerabilidades em sistemas digitais os torna cada vez mais frágeis a ataques. Estão INCORRETAS: ▢ -a) I somente. ▢ -b) II e III ▢ -c) III somente. ▢ -d) I e II ▢ -e) I e III 05 A IBM tinha uma excelente posição de mercado no setor de computadores pessoais na década de: ▢ -a) 1970 ▢ -b) 1980 EX ER C ÍC IO S P R O P O S TO S 1-19 ▢ -c) 1960 ▢ -d) 1945 ▢ -e) 1990 06 Pouco conhecida apareceu de repente e, ao oferecer sistemas operacio- nais um deles era o DOS. Estamos falando da empresa: ▢ -a) Apple ▢ -b) IBM ▢ -c) Linux ▢ -d) Microsoft ▢ -e) Samsung 07 Seu impacto nos negócios das empresas que produzem esses bens e ser- viços, devemos nos voltar para a teoria das: ▢ -a) Tecnologias disruptivas. ▢ -b) Transformações Digitais contemporâneas ▢ -c) Estratégia de resposta ▢ -d) Destruição criativa ▢ -e) Transições da quantidade em qualidade 08 Observe as afirmações abaixo: I) Segundo as estatísticas o mercado está pronto para aceitar algumas das inovações. II) As inovações não estimulam os compradores a adquirir bens em função de novas propriedades, mesmo em detrimento de sua menor produtividade. III) O termo “inovações disruptivas” foi introduzido pela primeira vez pelo cientista americano Clayton M. Christensen em 1995. Estão CORRETAS: ▢ -a) I e III ▢ -b) II somente. ▢ -c) II e III ▢ -d) I somente ▢ -e) III somente EX ER C ÍC IO S P R O P O S TO S 1-20 09 Há momentos em que um inovador leva tudo, mas muitas vezes ele con- segue atrair apenas alguns segmentos de usuários para os quais a inova- ção é de importância decisiva. Estamos falando de: ▢ -a) Inovação disruptiva ▢ -b) Inovações preservadoras ▢ -c) Transformações Digitais ▢ -d) Estratégia de resposta ▢ -e) Destruição criativa 10 Para desenvolver uma resposta a um novo modelo de negócio disruptivo, é necessário: ▢ -a) Prever o comportamento do inovador e clientes do mercado. ▢ -b) Promover negócios baseados em menos plataformas digitais. ▢ -c) Estratégias menos ofensivas que incluem adquirir o inovador e criar um negócio em conjunto com ele ou lançar um inova- dor independente. ▢ -d) Avaliar menos o potencial e determinar corretamente a fase em que se encontram seu próprio negócio e o negócio do ino- vador disruptivo. ▢ -e) Um esquema para usar seus próprios recursos em um jogo contra o seu negócio principal, a fim de se proteger de uma destruição criativa. DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial CAPÍTULO 2: CICLO DE VIDA DE IMPLEMENTAÇÃO DE NOVAS TECNOLOGIAS 2-2 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 2�1 FUNDAMENTOS Falamos na unidade anterior sobre inovações disruptivas que permitem que algumas empresas interrompam os negócios de outras. É óbvio que as regularidades consideradas podem ser ex- trapoladas ao nível dos países. Os estados que não puderem criar condições para o desenvolvimento de tecnologias digitais, construir plataformas em torno das quais se forma o negócio global, come- çarão a perder suas posições, serão obrigados a depender cada vez mais de soluções de plataformas estrangeiras, ou seja, abrir mais seu mercado doméstico e mais para fornecedores estrangeiros. 2�2 Implementação de Novas Tecnologias Acima, já mencionamos a curva S, que descreve os padrões de surgimento de novas tecnologias no mercado. A primeira men- ção da curva S em relação à disseminação de inovações ocorre no livro de Everett Rogers, publicado em 1962 sob o título “Difusão de Inovações”. Além disso, é mencionado em vários trabalhos: a curva de difusão da inovação é frequentemente apresentada jun- to com a curva do número de usuários que mudaram para a tec- nologia (Fig. 2-1). No estágio inicial, a conscientização da nova tecnologia é baixa e um pequeno número de usuários - inovadores (entusiastas tecnológicos) mudam para ela, e a maioria já os segue, após o que começa um aumento acentuado no número de participantes. Mas há um limite para o novo mercado – o cresci- mento está diminuindo, pois quase todos que tiveram a oportu- nidade de mudar para a nova tecnologia já o fizeram. Depois de algum tempo, a tecnologia entra na fase de atenuação. 2-3 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 Figura 2-1: Difusão de inovações Fonte: Próprio autor A Figura 2-2 mostras como, por exemplo, a tecnologia de main- frame, bem como a tecnologia de “arquitetura cliente-servidor e PC”, já passou do estágio de saturação e passaram para o estágio de decadência. Figura 2-2: Fases de desenvolvimento de algumas tecnologias TIC Fonte: Próprio autor 2-4 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 Do ponto de vista das empresas de telecomunicações, pode-se também distinguir períodos de desenvolvimento em forma de S de tec- nologias como transmissão de voz, transmissão de dados, serviços di- gitais (Fig. 2-3), cada um dos quais com os estágios discutidos acima. Figura 2-3: Condução de tecnologias de diferentes estágios de desenvolvimento na indústria de telecomunicações Fonte: Próprio autor Conforme observado nos parágrafos anteriores, os líderes empresariais enfrentam o desafio de reconhecer o impacto das no- vas tecnologias a tempo e escolher a estratégia certa para interagir com elas. Nem todos conseguem fazer isso: o problema é que na fase de formação de uma nova tecnologia, surge uma certa excita- ção em torno dela, uma reavaliação de seu significado, e é muito difícil avaliar suas reais perspectivas. Aumentar o número de usuários de uma nova tecnologia co- meça com um estágio de crescimento lento. No entanto, se olhar- mos para o mesmo estágio do ponto de vista da “visibilidade da 2-5 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 tecnologia”, que é determinada pelo nível de menção e discussão da tecnologia na sociedade, o quadro será diferente (Fig. 2-4). A empresa analítica Gartner, estudando a natureza subjeti- va de avaliar o significado de uma nova tecnologia em um estágio inicial de desenvolvimento (visibilidade da inovação pelos olhos da comunidade profissional e da mídia), diz que cada nova tecnologia passa por cinco estágios, e chama essa curva de Hype Cycle, que pode ser traduzida como um hype cycle. Esta cur- va é mostrada na Figura 2-4 comparada com a curva S. 2-6 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 Figura 2-4: A razão entre a curva de crescimento da participação da tecnologia em relação à mercado e sua importância na percepção da comunidade Fonte: Próprio autor 2-7 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 Os algarismos romanos na Figura 2-4 indicam a se- guinte região: I) Technology Trigger: Um anúncio de tecnologia ou evento que gera interesse público natecnologia. II) Pico das expectativas infladas: o estágio em que o público e a imprensa prestam atenção à tecnologia e começam a depositar esperanças excessivamente al- tas nela. III) Vale da desilusão: dado chega a fase em que os usu- ários descobrem que as esperanças depositadas na tec- nologia não se concretizaram, ainda não há especialistas que possam comprovar os benefícios da tecnologia e são poucos os exemplos positivos de sua implementação. Nesse estágio, a imprensa geralmente para de escrever so- bre a tecnologia, deixando a impressão de que a tecnologia “saiu do palco”. Muitas vezes, a chave para o sucesso é ser o primeiro a che- gar ao mercado com alguma nova ideia ou invenção. Há também exemplos em que o nicho de mercado para uma nova tecnologia se torna muito estreito e empresas de manufatura que investiram no que pensavam ser uma tecnologia promissora vão à falência. A ascensão e queda na popularidade de uma nova tecnologia caracte- riza o estágio em que uma empresa que planeja implementar essa tecnologia pode errar na escolha de uma estratégia, uma vez que a relação entre as expectativas e o real significado da tecnologia não é óbvia a partir das informações disponíveis no mercado. IV) Inclinação do Esclarecimento: À medida que as pessoas se adaptam a uma nova tecnologia, aprendem 2-8 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 sobre suas aplicações e se tornam mais conhecedoras so- bre ela, haverá reconhecimento de seus reais benefícios. V) Platô de Produtividade: nesta fase, a tecnologia tor- na-se estável, geralmente aceita e amplamente utilizada. Não é necessário que cada tecnologia passe consistentemen- te por todos os cinco estágios. Alguns pulam um ou outro estágio, outros voltam periodicamente e iniciam o ciclo novamente. A Figura 2-5 é o ciclo de hype do Gartner para julho de 2017, que representa seletivamente algumas das tecnologias que serão mencionadas neste livro. Figura 2-5: Ciclo de hype do Gartner de julho de 2017 Fonte: Próprio autor / Gartner [adaptado] Os triângulos indicam tecnologias que atingirão um patamar de produtividade apenas em 10 anos. 2-9 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 Algumas tecnologias estão em estágio inicial (veja a Figura 2-6), e enquanto há pouca informação sobre eles na imprensa. Um exemplo é a impressão 4D: é conhecida por ser uma tecnologia que utiliza métodos de impressão 3D (que serão discutidos em de- talhes no Capítulo 2) para criar um objeto tridimensional, en- quanto o objeto resultante tem as propriedades de transformação direcional (muda sua forma) com fluxo.tempo, dependendo das mudanças nos parâmetros ambientais (temperatura, umida- de, etc.). O Gartner estimou em 2017 que essa tecnologia atingiria um patamar de produtividade em pelo menos 10 anos. Outra tecnologia que será discutida neste livro é a computa- ção de borda, um método para otimizar sistemas de computação em nuvem realizando o processamento de dados na borda da rede, próximo à fonte dos dados. Essa abordagem possibilita reduzir os requisitos de largura de banda para o canal de comunicação entre os sensores e o data center central (centro de processamento de dados) realizando o processamento de dados analíticos próxi- mo à fonte de dados. A tecnologia dos gêmeos digitais implica na criação de um gêmeo de algum objeto físico ou processo em um ambiente virtual e espaço para modelagem de processos físicos em tempo real. O gêmeo reproduz o comportamento de um objeto físico e permite trocar informações com ele, o que possibilita controlar processos físicos e evitar mau funcionamento. Em essência, a metodologia Gartner demonstra a nature- za subjetiva da percepção da utilidade da tecnologia nos estágios iniciais de seu desenvolvimento. O boom da informação em tor- no da tecnologia torna difícil reconhecer sua utilidade até que ela realmente atinja um platô de produtividade. Ao mesmo tempo, 2-10 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 algumas tecnologias podem não chegar a esse estágio muito em breve, ou podem não o atingir. Depois que todos que queriam e podiam fazer isso mudam para a tecnologia, começa o estágio de saturação e, à medida que sur- gem novas soluções, alguns usuários passam a usar tecnologia mais moderna, e a importância da tecnologia antiga diminui. A tecnologia está ficando velha. Isso nos permite falar de “ondas” tecnológicas. A dinâmica de tais ondas no exemplo das tecnologias de linhas aluga- das, Frame Relay, ATM, WDM, ISDN é mostrada na Figura 2-6. Figura 2-6: Ciclo de vida de algumas tecnologias de comunicação. Fonte: Baklanov I.G. Fonte: Próprio autor / Baklanov I.G [adaptado] Em alguns casos, na fase de declínio da “onda”, observa-se um “surto” adicional (Fig. 2-7), que pode ocorrer, por exemplo, devido ao uso dessa tecnologia em outras indústrias, na junção com outras tecnologias ou em outros países - lá, onde a introdução da mesma tecnologia pode ser adiada. 2-11 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 Figura 2-7: Efeito de aumento de demanda devido à nova área formulários Fonte: Próprio autor Ondas de transformação digital podem ser observadas em diferentes setores e vêm com uma mudança no tempo. O bastão passa de uma indústria para outra (veja a Figura 2-8). Figura 2-8: Ondas de transformação digital Fonte: Próprio autor / Dear Media [adaptado] 2-12 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 Deve-se notar que a transformação digital está ocorrendo tendo como pano de fundo a penetração não apenas da TI, mas também de outras tecnologias, como biotecnologia, nanotecnolo- gia e outras (ver Fig. 2-9). Cada uma dessas tecnologias é basea- da em tecnologias e gera inovações em sua interseção. Figura 2-9: Dinâmica de penetração de novas tecnologias. Fonte: Próprio autor / Peter von Stackelberg [adaptado] Além de prever o tempo em que uma tecnologia atingirá um patamar de produtividade, além de poder prever o ciclo de vida de uma tecnologia, é importante avaliar o grau de transformação do negócio sob a influência de determinadas tecnologias. Uma análise semelhante pode ser encontrada em (Fig. 2-10), onde as tecnologias discutidas acima são classificadas de acordo com o estágio de prontidão (estágio de desenvolvimento e imple- mentação) e o grau de possível impacto na transformação do negócio: “estratégico - tático”, “altamente transformador - fraca- mente transformador. 2-13 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 Figura 2-10: Processo de transformação de tecnologias Fonte: Próprio autor / Dion Hinchcliffe [adaptado] 2�3 Convergência tecnológica e transformação digital Falando sobre o fato de que a evolução dos sistemas de infor- mação é acompanhada por transições transformacionais, é útil ver quais são os mecanismos desse desenvolvimento. Até agora, consideramos o processo de mudança de uma tecnologia para outra, sem prestar muita atenção à sua interação. Ao mesmo tempo, sabe-se que no processo de desenvolvimento há convergência - convergência de tecnologias, que por sua vez leva à convergência e fusão de negócios, novas soluções de negócios nas- cem na junção de tecnologias convergentes. 2-14 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C ICLO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 Consideremos como a convergência e a divergência determi- nam a lógica de desenvolvimento das TIC e os negócios das em- presas que utilizam essas tecnologias. Em termos filosóficos gerais, divergência e convergência são conceitos antípodas que denotam a existência e o desenvolvimento no tempo de objetos de qualquer tipo que experimentam divergên- cia (divergere) e convergência (convergere). Para quaisquer objetos com qualidades diferentes, é carac- terístico o desenvolvimento interno, que, devido à ação de causas internas e externas, leva à divisão do todo em partes, com a libe- ração de uma nova qualidade ou aspecto. Além disso, essa discre- pância (divergência) passa para a fase de coexistência de novos objetos. No curso de mudanças e desenvolvimentos subsequentes, esses objetos, sob condições favoráveis, podem convergir e se unir. Ao descrever a convergência em tecnologias de informação e comunicação (TIC), é comum distinguir diferentes níveis, fa- lando de convergência ao nível da indústria, redes, equipamentos ou serviços. Uma ilustração clara da evolução dos setores de TI, teleco- municações e mídia vêm da Caneval Ventures (Figura 2-11). As tecnologias de três indústrias inicialmente independentes estão gradualmente se fundindo em um fluxo comum, que reflete o pro- cesso de convergência ao nível de redes, equipamentos e serviços. 2-15 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 Figura 2-11: Convergência na evolução das TIC Fonte: Próprio autor / Caneval Ventures [adaptado] A transição das redes de telecomunicações para os padrões digitais levou à criação de uma infraestrutura de rede eletrônica comum, que contribuiu para diluir as diferenças entre redes telefô- nicas e redes de dados, redes públicas e redes corporativas. A tele- visão, que surgiu como uma convergência da tecnologia do rádio e do cinema, convergiu com a TI. A Internet tornou possível a trans- missão sobre IP de todo tipo de conteúdo - dados, imagens, músi- ca, vídeo e voz (VoIP). Isso, por sua vez, contribuiu para a conver- gência de serviços de telecomunicações anteriormente discretos. A Internet na Figura 2-11 mostra a convergência dos ramos de TI e telecomunicações, embora seja mais uma convergência de todos os três, incluindo o setor de mídia. As caixas escuras na Figura 2-11 indicam áreas conver- gentes, uma convergência de tecnologias que levou à formação 2-16 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 de novos mercados consumidores como VoIP, IPTV, TV móvel, FMIC (Fixed Mobile Internet Convergence). Esta categoria também inclui o modelo de entrega Triple play/Quadruple play, em que o usuário recebe três serviços simultaneamente em um cabo de acesso de banda larga no caso de Triple play-play (acesso à In- ternet de alta velocidade, TV a cabo e serviço telefônico) ou quatro no caso de quadruple play (acesso à Internet de alta velocidade, TV a cabo, serviço de telefonia fixa e móvel). A convergência das tecnologias mostradas na Figura 2-11 levou à criação do conceito de TIC ou infocom e ao surgimento do mercado de infocom. A convergência das funções de provedores de TI, provedores móveis fixos e provedores de Internet levou a um esmaecimento das fronteiras entre comunicação e serviços de conteúdo tradicionalmente separados. A indústria de telecomunicações se depara com o fato de que muitas tecnologias de TI começaram a penetrar nela, o que, por um lado, criou uma ameaça ao negócio tradicional de telecomu- nicações e, por outro, abriu novas perspectivas de negócios tanto para operadoras existentes quanto para proprietários da infraes- trutura de telecomunicações, e a novas empresas que ganharam oportunidades adicionais nas condições de desmonopolização do mercado de serviços de comunicações. Isso levou ao aumento da concorrência. Operadoras de cabo, provedores de serviços de In- ternet e empresas de telecomunicações tradicionais estão cada vez mais competindo diretamente para fornecer um serviço integrado que inclui telefonia fixa, acesso à Internet de banda larga, televisão e telefonia móvel. A adoção do SIP (Protocolo de Iniciação de Sessão) como protocolo padrão para suporte às comunicações Peer-to-Peer possibilitou a entrega de serviços e aplicativos de comunicação pela 2-17 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 Internet. Este protocolo tornou-se o principal para fornecer voz pela Internet (VoIP). O protocolo SIP permitiu a novos players do mercado fornecer serviços de voz e dados através de uma cone- xão de Internet de banda larga, o que levou ao surgimento de novas empresas que competem com operadoras de telecomunicações e cabo existentes sem ter redes de fibra óptica. A convergência de TI, telecomunicações e mídia levaram a fenômenos como o acesso constante à informação através das fronteiras e a globalização da sociedade. Além disso, há uma cres- cente interpenetração dos espaços virtuais, sociais e físicos. A combinação de Wi-Fi e acesso à Internet de banda larga forneceu a infraestrutura para acesso à Internet sem fio em casa, no escritório, em aeroportos, estações de trem, hotéis, restauran- tes, cafés, etc. O acesso móvel à Internet está substituindo cada vez mais os serviços de vozes tradicionais. A evolução de TI, telecomunicações e mídia podem ser vistas como um diagrama de convergência (Fi- gura 2-12), onde todas as tecnologias convergem para o centro, que é o smartphone. 2-18 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 Figura 2-12: Convergência na evolução das TIC. Fonte: Próprio autor / Caneval Ventures [adaptado] Ao mesmo tempo, a convergência de diferentes tecnologias (convergência) leva à diversificação (divergência) nas ativida- des das empresas envolvidas neste negócio. As empresas rastreiam e encontram negócios promissores na interseção de tecnologias convergentes. Você pode dizer que a convergência em um nível causa divergência em outro. “Por um lado, a convergência de TI, telecomunicações e mídia traz um benefício significativo para os usuários, não apenas porque eles obtêm dispositivos mais convenientes e 2-19 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 multifuncionais, mas também porque o custo do conteúdo é redu- zido. Por outro lado, a convergência leva ao aumento da concor- rência no mercado, o que incentiva cada um dos players a ofere- cer produtos a preços cada vez mais baixos na luta para manter e aumentar a participação de mercado” [19]. Todo setor está pro- curando maneiras de dominar o ambiente convergente. Cada um tem seu trunfo: a indústria midiática tem conteúdo e a confiança do público, que se formou ao longo de décadas; para telecomuni- cações, os canais pelos quais o conteúdo é transmitido; A TI possui os dispositivos que acessam a rede e os aplicativos que permitem o consumo de conteúdo. Cada um desses elos é importante, e sem ele a corrente se quebra. A mídia se esforça para vender conteúdo para o público mais amplo possível; A TI pode expandir o acesso a esse conteúdo vendendo mais e mais gadgets, e as telecomuni- cações podem transmitir mais conteúdo oferecendo cada vez mais acesso à banda larga, aparentemente todos se complementando, permitindo que cada um ganhe mais. No entanto, a concorrência, juntamente com a convergên- cia, leva ao dumping.Em busca do domínio do mercado de TIC, as empresas de TI têm investido em pesquisa e desenvolvimento de sistemas operacionais, aplicativos, bancos de dados e hardware para agregar valor à rede. As empresas de telecomunicações in- vestiram em infraestrutura, oferecendo largura de banda cada vez maior na esperança de que, controlando a entrada na rede, possam garantir o domínio do mercado. No entanto, quanto mais largura de banda os provedores de telecomunicações fornecerem, menor será o preço cobrado por unidade de conteúdo baixado. A ideia de cobrar proporcionalmente à quantidade de conteúdo consumida perdeu o sentido quando a largura de banda da rede aumentou mi- lhares de vezes. 2-20 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C IC LO D E V ID A D E IM P LE M EN TA Ç Ã O D E N O VA S T EC N O LO G IA S 2 As empresas de mídia tiveram uma vantagem na presença de assinantes: seu número cresceu junto com as marcas de mídia e, gradualmente, tornaram-se fiéis às informa- ções que essas marcas carregam - mas para aumentar a circulação (volumes de conteúdo), essas empresas foram obrigadas a co- operar com empresas de tecnologia como Nokia, Apple, Facebook, Salesforce ou Google, bem como operadoras de telecomunicações. Ao mesmo tempo, o crescimento da circulação levou a uma dimi- nuição do preço unitário dos conteúdos. Assim, a maioria dos participantes do mercado seguiu o ca- minho da diversificação de negócios para poder aumentar a parti- cipação de mercado em sua área principal, oferecendo funciona- lidades adicionais. Os vendedores de dispositivos pessoais para acessar a rede atraem clientes com conteúdo barato, os proprie- tários da rede estão prontos para fornecer dispositivos de acesso à Internet, além de um contrato para uso a longo prazo do serviço. 2-21 � EXERCÍCIOS PROPOSTOS 01 Observe as afirmações abaixo: I) Os estados que não puderem criar condições para o desenvolvimento de tecnologias digitais, construir plataformas em torno das quais se forma o negócio global, começarão a aumentar suas posições. II) A primeira menção da curva S em relação à disseminação de inovações ocorre no livro de Everett Rogers, publicado em 1962 sob o título “Difusão de Inovações”. III) A curva de difusão da inovação é frequentemente apresentada junto com a curva do número de usuários que não mudaram para a tecnologia. Estão CORRETAS: ▢ -a) I e II ▢ -b) II somente. ▢ -c) III somente. ▢ -d) I e III ▢ -e) II e III 02 No estágio inicial, a conscientização da nova tecnologia é baixa e um pequeno número de usuários mudam para ela, e a maioria já os segue, após o que começa um aumento acentuado no número de participantes. Esses usuários são chamados de: ▢ -a) Difusão de Inovações ▢ -b) Curva S ▢ -c) Inovadores (entusiastas tecnológicos) ▢ -d) Arquitetura cliente-servidor ▢ -e) S de tecnologias EX ER C ÍC IO S P R O P O S TO S 2-22 03 Observe as afirmações abaixo: I) Do ponto de vista das empresas de telecomunicações, pode-se também distinguir períodos de desenvolvimento em forma de Curva de tecnologias como transmissão de voz, transmissão de dados, serviços digitais. II) Os líderes empresariais enfrentam o desafio de reconhecer o impacto das novas tecnologias a tempo e escolher a estratégia certa para interagir com elas. III) A empresa analítica Gartner, estudando a natureza subjetiva de avaliar o significado de uma nova tecnologia em um estágio final de desenvolvimento (visibilidade da inovação pelos olhos da comunidade profissional e da mí- dia), diz que cada nova tecnologia passa por cinco estágios, e chama essa curva de Hype Cycle, que pode ser traduzida como um hype cycle. Estão INCORRETAS: ▢ -a) I e III ▢ -b) II somente ▢ -c) II e III ▢ -d) I somente ▢ -e) III somente 04 Sobre Pico das expectativas infladas é correto afirmar que: ▢ -a) Um anúncio de tecnologia ou evento que gera interesse públi- co na tecnologia. ▢ -b) Dado chega a fase em que os usuários descobrem que as es- peranças depositadas na tecnologia não se concretizaram, ainda não há especialistas que possam comprovar os benefí- cios da tecnologia e são poucos os exemplos positivos de sua implementação. ▢ -c) Muitas vezes, a chave para o sucesso é ser o primeiro a chegar ao mercado com alguma nova ideia ou invenção. ▢ -d) O nicho de mercado para uma nova tecnologia se torna mui- to estreito e empresas de manufatura que investiram no que pensavam ser uma tecnologia promissora vão à falência. ▢ -e) O estágio em que o público e a imprensa prestam atenção à tecnologia e começam a depositar esperanças excessivamente altas nela. EX ER C ÍC IO S P R O P O S TO S 2-23 05 A ascensão e queda na popularidade de uma nova tecnologia caracteriza o: ▢ -a) O estágio em que uma empresa que planeja implementar essa tecnologia pode errar na escolha de uma estratégia, uma vez que a relação entre as expectativas e o real significado da tec- nologia não é óbvia a partir das informações disponíveis. no mercado. ▢ -b) À medida que as pessoas se adaptam a uma nova tecnologia, aprendem sobre suas aplicações e se tornam mais conhecedo- ras sobre ela, haverá reconhecimento de seus reais benefícios. ▢ -c) Um anúncio de tecnologia ou evento que gera interesse públi- co na tecnologia. ▢ -d) Muitas vezes, a chave para o sucesso é ser o primeiro a chegar ao mercado com alguma nova ideia ou invenção ▢ -e) Dado chega a fase em que os usuários descobrem que as espe- ranças depositadas na tecnologia não se concretizaram. 06 À medida que as pessoas se adaptam a uma nova tecnologia, aprendem sobre suas aplicações e se tornam mais conhecedoras sobre ela, haverá reconhecimento de seus reais benefícios. Estamos falando de: ▢ -a) Platô de Produtividade ▢ -b) Technology Trigger ▢ -c) Inclinação do Esclarecimento ▢ -d) Vale da desilusão ▢ -e) Pico das expectativas infladas 07 Observe as afirmações abaixo: I) Não é necessário que cada tecnologia passe consistentemente por todos os cinco estágios. Alguns pulam um ou outro estágio, outros voltam perio- dicamente e iniciam o ciclo novamente. II) A impressão 4D: é conhecida por ser uma tecnologia que utiliza métodos de impressão 2D. EX ER C ÍC IO S P R O P O S TO S 2-24 III) Para criar um objeto tridimensional, enquanto o objeto resultante tem as propriedades de transformação direcional (muda sua forma) com flu- xo, tempo, não podem depender das mudanças nos parâmetros ambientais (temperatura, umidade, etc.). Estão CORRETAS: ▢ -a) I e III ▢ -b) III somente ▢ -c) II e III ▢ -d) I somente ▢ -e) II somente 08 Um método para otimizar sistemas de computação em nuvem realizando o processamento de dados na borda da rede, próximo à fonte dos dados. Estamos falando de: ▢ -a) Inclinação do Esclarecimento ▢ -b) Computação de borda ▢ -c) Platô de Produtividade ▢ -d) Gartner ▢ -e) Pico das expectativas infladas 09 Sobre a tecnologia dos gêmeos digitais, é correto afirmar que: ▢ -a) Implica na criação de um gêmeo de algum objeto físico ou processo em um ambiente virtual e espaço para modelagem de processos físicos em tempo real. ▢ -b) À medida que as pessoas se adaptam a uma nova tecnologia, aprendem sobre suas aplicações e se tornam mais conhecedo- ras sobre ela, haverá reconhecimento de seus reais benefícios. ▢ -c) Nesta fase, a tecnologia torna-se estável, geralmente aceita e amplamente utilizada. ▢ -d) Não é necessário que cada tecnologia passe consistentemente por todos os cinco estágios. ▢ -e) Indicam tecnologias que atingirão um patamar de produtivi- dade apenas em 10 anos. EX ER C ÍC IO S P R O P O S TO S 2-25 10 Em essência, a metodologia Gartner demonstra que: ▢ -a) O boom da informação em torno da tecnologia torna fácil re- conhecer sua utilidade até que ela realmente atinja um platô de produtividade. ▢ -b) A natureza subjetiva da percepção da utilidade da tecnologia nos estágios iniciais de seu desenvolvimento. ▢ -c) A tecnologia está ficando velha. Isso não nospermite falar de “ondas” tecnológicas. ▢ -d) Ondas de transformação digital podem ser observadas em di- ferentes setores e vêm com uma mudança no tempo. ▢ -e) A transformação digital está ocorrendo tendo como pano de fundo a penetração não apenas da TI, mas também de outras tecnologias, como biotecnologia, nanotecnologia e outras. DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial UNIDADE 2: FUNDAMENTOS DA INTERNET DAS COISAS (IoT) Caro(a) Aluno(a) Seja bem-vindo(a)! Nesta segunda unidade, daremos orientações sobre a tecnologia de Internet das Coisas (IoT), como fundamentos e conceitos bem como perspectivas, funcionamento e áreas de atuação. Conteúdos da Unidade Neste capítulo, iremos conhecer um pouco sobre a Internet das Coisas, ou IoT. Dessa forma, estudaremos os conceitos e aplicabilidades dessa tecnologia, seguida de um detalhamento maiks técnico de seu funcionamento. 9 IoT: Conceitos e Aplicabilidade; 9 Detalhamento Técnico sobre Internet das Coisas. Acompanhe os conteúdos desta unidade. Se preferir, vá assinalando os assuntos, à medida que for estudando. Bons estudos!!! DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial CAPÍTULO 3: IOT: CONCEITOS E APLICABILIDADE 3-3 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial Io T: C O N C EI TO S E A P LI C A B IL ID A D E 3 3�1 FUNDAMENTOS O termo “Internet das Coisas” (IoT) foi cunhado em 1999 por Kevin Ashton, um dos três fundadores do Auto-ID Center da Universidade de Massachusetts. Existem várias definições do ter- mo, e cada uma delas não é precisa o suficiente. Usaremos a defi- nição proposta pelo Gartner (a mesma que cunhou o termo ERP): “A Internet das Coisas é uma rede de objetos físicos que têm tecnologias incorporadas que permitem interagir com o am- biente externo, transmitir informações sobre seu estado e receber dados de fora.” Uma parte integrante da Internet das Coisas é a Internet das Coisas Industrial (IIoT). E um novo termo já apareceu: a “Inter- net de Tudo” (Internet de Tudo, IoE), que substituirá a Internet das Coisas em um futuro próximo. Um dos primeiros dispositivos conectados à rede foi uma máquina de venda automática para a venda da Coca-Cola, instala- da na Universidade Carnegie Mellon em 1982. Assim, o dispositivo foi capaz de transmitir dados sobre o número de garrafas contidas nele e em sua condição como um todo. O período de discussão ativa de redes que poderiam fornecer comunicação máquina a máquina foi a década de 1990. Por exem- plo, Mark Weiser, chefe de pesquisa do Xerox PARC (Xerox Re- search Center), propôs o conceito de computação onipresente, que envolvia a introdução em massa de computadores e a orga- nização da comunicação entre eles, graças às quais as máquinas resolveriam independentemente as tarefas cotidianas do usuário. O cientista Bill Joy, por sua vez, como parte de um discurso no Fórum Econômico Mundial em Davos em 1999, propôs a ideia de “Seis Teias” - seis tipos de Internet do futuro. Nele, ele previu 3-4 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial Io T: C O N C EI TO S E A P LI C A B IL ID A D E 3 com bastante precisão o surgimento de redes de Internet móvel sem fio, assistentes de voz inteligentes e comunicações entre dis- positivos (em sua tipologia, tal comunicação era chamada de Dispositivo para dispositivo). Ao mesmo tempo, foram feitas tentativas de criar os primeiros projetos de IoT - por exem- plo, a Microsoft lançou em 1993 a plataforma at Work, que incluía um sistema operacional especial e um protocolo de transferência de dados, o objetivo era unir equipamentos de escritório (faxes, copiadoras, etc.) com um protocolo comum e transferir as fun- ções de gerenciamento e controle sobre ele para computadores que rodam no Windows. No entanto, no Trabalho não foi bem suce- dido e depois de um tempo foi fechado. Em 1994, a Novell fez um projeto semelhante - sua plataforma NEST (Novell Embedded Systems Technology) permitiu que vários dispositivos se co- nectassem aos serviços do sistema operacional da rede NetWare e usassem seu protocolo IPX para interações. A NEST repetiu o destino de seu antecessor no Trabalho e deixou de existir. Em 1999, um dos pesquisadores de tecnologias RFID, Kevin Ashton, pode ter usado pela primeira vez a frase “Internet das Coi- sas” (Internet das Coisas, IoT). Ashton usou o termo recém-in- ventado durante sua apresentação à Procter & Gamble sobre o im- pacto da RFID em diferentes mercados. Há uma hipótese de que o primeiro a usar o termo “Internet das Coisas” foi o pesquisador e desenvolvedor Peter T. Lewis. Assim, de acordo com a suposição, o pioneiro das comunicações sem fio e sistemas de sensores falou so- bre a “Internet das Coisas” em 1985 durante seu discurso perante a Comissão Federal de Comunicações dos EUA. O período de rápido desenvolvimento da Internet das Coisas foi nos anos 2000. Considerando que, nos anos 1990, todas as ati- vidades relacionadas à IoT eram principalmente teóricas por na- tureza - conceitos, discussões, ideias individuais, nos anos 2000 3-5 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial Io T: C O N C EI TO S E A P LI C A B IL ID A D E 3 e 2010, projetos de IoT bem sucedidos começaram a aparecer em massa e lançar na realidade. Assim, muitos dispositivos de usuá- rio relacionados à Internet das Coisas foram desenvolvidos - desde rastreadores de fitness até lâmpadas inteligentes e portas inteli- gentes. Além disso, projetos de grande escala baseados em tecno- logias de IoT começaram a se desenvolver - cidades inteligentes, manufatura inteligente, transporte inteligente, veículos não tripu- lados e muito mais. Não menos importante, isso se tornou possível devido ao progresso ativo no campo da tecnologia da informação - o uso generalizado de conectividade sem fio, o aumento da largura de banda das comunicações da Internet, o surgimento de redes de longo alcance eficientes em termos energéticos, etc. 3�2 Definições e conceitos importantes A Internet das Coisas é uma combinação de muitos tipos de comunicação sem fio. Em diversos projetos da Internet das Coisas, a conexão IoT pode ser construída com base em tecnologias como Wi-Fi, Bluetooth, RFID, LPWAN, LTE, 3G, 2G, NFC, ZigBee, Li-Fi, Z-wave, LoRa, etc. Um lugar significativo em projetos de IoT é ocupado por sen- sores que coletam informações (sobre o ambiente urbano, so- bre a saúde humana, sobre o estado dos equipamentos na planta) – Um lugar significativo em projetos de IoT é ocupado por sensores que coletam informações (sobre o ambiente urbano, sobre a saúde humana, sobre o estado dos equipamentos na planta) – Um lugar significativo em projetos de IoT é ocupado por sensores que coletam informações (sobre o ambiente ur- bano, sobre a saúde humana, sobre o estado dos equipa- mentos na planta) – pressão, umidade, luz, movimento, fluxo 3-6 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial Io T: C O N C EI TO S E A P LI C A B IL ID A D E 3 de calor, nível, etc. Graças à comunicação sem fio e vários protoco- los, eles são capazes de interagir uns com os outros, e enviar as in- formações coletadas para sua análise subsequente por uma pessoa ou inteligência artificial. Data centers, tecnologias em nuvem e big data são usados para armazenar e processar os dados obtidos. Até o momento, a Internet das Coisas não tem um único padrão ou protocolo. M2M, Máquina-a-Máquina, Máquina-a-Máquina é um nome comum para tecnologias que permitem que “máquinas” tro- quem informações entre si, ou transmitam-nas unilateralmente, sem intervenção humana. Uma das subclasses do M2M é a inte- ração máquina a máquina usando soluções móveis, também pode usar a abreviação M2M - Mobile-to-Mobile. IoT, Internet das Coisas, “Internet das Coisas” é uma me- todologia de uma rede de computadores de objetos físicos (“coi-sas”), equipada com tecnologias incorporadas para interagir en- tre si ou com o ambiente externo, considerando a organização de redes como um fenômeno capaz de reestruturar processos econô- micos e sociais, excluindo de parte das ações e operações a neces- sidade de participação humana. Os conceitos de M2M e IoT têm significados diferentes. A maioria dos especialistas acredita que a Internet das Coisas é um conceito mais amplo que evoluirá a partir do M2M e outras tec- nologias. Simplificando, M2M é uma situação em que “máquinas” usam recursos de rede para se comunicar com a infraestrutura de um aplicativo remoto com o objetivo de monitorar e controlar a própria “máquina” ou o meio ambiente. A potencial interconexão de objetos inteligentes e como interagimos com o meio ambiente é o que constitui a “Internet das Coisas”, onde o mundo físico se fundirá com o mundo digital. 3-7 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial Io T: C O N C EI TO S E A P LI C A B IL ID A D E 3 Em uma oficina, um palestrante esboçou as diferenças entre M2M e IoT com o seguinte exemplo – se você tem uma máquina de café em seu escritório que informa ao pessoal do serviço que os grãos de café estão acabando, então é M2M. Se o sistema analisa o consumo de café pelos funcionários durante o dia, com base em experiências anteriores e dados do calendário do Outlook sobre as próximas reuniões com os clientes, prevê o fim de certos ingre- dientes (grãos, creme ou água), e então forma uma solicitação para seu reabastecimento ou até mesmo compra, então esta é a IoT. Outra definição é que o M2M é o que fornece a “Internet das Coisas” com comunicação, sem a qual a IoT não seria possível. Abaixo podemos ver um exemplo de diagrama da arquitetura IoT: Figura 3-1: Arquitetura IOT Fonte: https://www.researchgate.net/profile/Joab-Silva-2/publica- tion/324780227/figure/fig2/AS:619659866935298@1524749833575/ Figura-23-Arquitetura-IoT-Adaptado-de-Hakiri-et-al-2015.png 3-8 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial Io T: C O N C EI TO S E A P LI C A B IL ID A D E 3 A ideologia da Internet das Coisas visa aumentar a eficiência da economia automatizando processos em diversas áreas de atua- ção e excluindo uma pessoa deles. 3�3 Direções e perspectivas para o desenvolvimento da Internet das Coisas O conceito de Internet das Coisas foi formulado em 1999 como uma compreensão das perspectivas para o uso generalizado de ferramentas de identificação de radiofrequência para a intera- ção de objetos físicos entre si e com o ambiente externo. Devido à onipresença das redes sem fio, ao surgimento da com- putação em nuvem e ao desenvolvimento de tecnologias de comu- nicação máquina a máquina, desde a década de 2010, esse conceito vem se desenvolvendo ativamente e, junto com o Big Data, as redes de computação em nuvem e comunicação móvel da 5ª geração (5G), é uma das áreas mais promissoras para o desenvolvimento de tecnolo- gias de informação e telecomunicações nos próximos anos. Ao mesmo tempo, todas as áreas acima estão intimamente relacionadas entre si: a tecnologia de machine learning (como principal componen- te da ideologia geral do Big Data) é algo que pode transformar dados coletados de vários sensores e sensores em informações, e as redes móveis 5G serão um recurso de transporte fundamental para conectar esses mesmos dispositivos do mundo da Internet das Coisas. A Internet das Coisas é um elemento crítico da transformação digital dos negócios. A IoT pode desempenhar um papel fundamental nos negócios digitais, inclusive como meio de transformar produtos e serviços. Por exemplo, alguns fabricantes estão procurando trans- formar seu modelo de negócio e passar da venda de hardware para o carregamento pelo uso de hardware, a quantidade que é determinada 3-9 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial Io T: C O N C EI TO S E A P LI C A B IL ID A D E 3 pela IoT incorporada. Outros fabricantes estão recorrendo à IoT para identificação automática dos clientes e suas preferências, atendimen- to inteligente ao cliente, otimização das atividades operacionais, etc. Os benefícios de usar a Internet das Coisas podem ser realizados tanto no caso de aplicação dentro da empresa, por exemplo, para melhorar a segurança dos funcionários em condições perigosas de produção, quanto para focar em fatores externos, como melhorar os resultados do tratamento de pacientes no atendimento de emergência. Figura 3-2: Benefícios da Internet das Coisas Fonte: https://www.maxisite.net/blog/wp-content/uplo- ads/2018/10/internet-das-coisas.jpg As possibilidades de usar a Internet das Coisas são extraor- dinariamente amplas. Na verdade, à medida que as máquinas se tornam mais complexas, as coisas podem agir em nome de seus proprietários e usuários. Isso leva a uma tendência que o Gartner 3-10 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial Io T: C O N C EI TO S E A P LI C A B IL ID A D E 3 chama de “coisas como clientes”. Seu próximo pedido, na verdade, pode vir de uma “coisa” que identifica a necessidade de mais supri- mentos para atender às necessidades e desejos do cliente. Esta é uma transformação, não um desenvolvimento passo a passo. 3�4 Áreas de aplicação de IoT O número abaixo mostra a previsão da Cisco até 2023 para a distribuição de dispositivos conectados. Você pode tratar essa pre- visão de forma diferente, assim como muitas outras avaliações, às vezes contraditórias, mas ele dá uma compreensão da tendência geral no desenvolvimento e diversidade de aplicações de IoT, bem como a prevalência do número de conexões na Internet das Coisas domésticas (PEOPLE) em relação ao industrial (BUSINESS). Figura 3-3: Projeção de dispositivos conectados à internet até 2023 Fonte: https://www.mobiletime.com.br/wp-content/uplo- ads/2020/02/Cisco_Global-M2M-Connections.jpg 3-11 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial Io T: C O N C EI TO S E A P LI C A B IL ID A D E 3 O número a seguir fornece estimativas das perspectivas de IoT para o número de dispositivos conectados em geral com base em vá- rias projeções. Como você pode ver, as estimativas diferem por uma ordem de magnitude. Assim, até 2020, segundo analistas do Gart- ner, o número de conexões chegará a 21 bilhões de peças. Apesar da diferença significativa nas estimativas, podemos afirmar altas taxas de crescimento do mercado de Internet das Coisas, o que causa sério interesse neste segmento de empresas industriais, grandes fornece- dores de dispositivos, desenvolvedores de plataformas e aplicativos, agências de pesquisa e agências governamentais nacionais. Figura 3-4: Número total de dispositivos conectados à internet até 2025 Fonte: https://v2com.com/wp-content/uploads/ 2020/12/Numero-conexoes-IoT.jpg Os casos de implementação de tecnologias de Internet das Coisas podem ser divididos em dois grandes grupos: 1) Internet das Coisas domésticas: soluções desti- nadas a melhorar a qualidade de vida e segurança dos 3-12 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial Io T: C O N C EI TO S E A P LI C A B IL ID A D E 3 moradores, bem como reduzir seus custos em diversas áreas (categoria “PESSOAS”). 2) “Internet das Coisas” industrial: projetada para au- mentar a eficiência dos negócios, bem como garantir o desenvolvimento e a implementação de novos serviços. Considere alguns exemplos (reais e empíricos): ● As seguradoras de automóveis que têm acesso aos dados de telemetria veicular oferecem aos motoristas disciplina- dos condições financeiras favoráveis na compra de apóli- ces de seguro. ● As concessionárias que recebem informações de sensores de temperatura instalados nas instalações dos clientes fornecem descontos para reduzir o consumo de energia durante períodos de pico de demanda. ● As megacidades gerenciamos fluxos de tráfego regulan- do de forma flexível os modos de operação dos semáforos com base em informações atuais e históricas sobre o car- regamento de rodovias, e também introduzem sistemas de monitoramento da ocupação de vagas de estacionamento. ● As empresas de logística monitoram a movimentação e segurança das mercadorias. ● As empresas médicas estão introduzindo sistemas de mo- nitoramento remoto do estado de saúde dos idosos e do- entes, bem como sistemas para a administração automá- tica de medicamentos. ● A empresa “Rio Tinto” (Austrália) introduziu caminhões de mineração não tripulados controlados a partir de um centro remoto. 3-13 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial Io T: C O N C EI TO S E A P LI C A B IL ID A D E 3 ● A empresa russa Telecom-Zaschita desenvolveu uma sé- rie de soluções no campo da agricultura, incluindo uma tecnologia para monitoramento remoto e análise do es- tado das culturas de grãos cultivadas em uma manga de feno, um sistema de identificação animal (Electronic Shepherd), um sistema de controle para complexos pecu- ários (Smart Farm), um sistema de manejo para estufas (Estufas Inteligentes) e fazendas de apicultura (Smart Omshanik), um sistema de alerta precoce para defeitos agrícolas, equipamento – fonte de notícias, abril de 2017. 3-14 � EXERCÍCIOS PROPOSTOS 01 Observe as afirmações abaixo: I) O termo “Internet das Coisas” (IoT) foi cunhado em 1990 por Kevin Ashton, um dos três fundadores do Auto-ID Center da Universidade de Massachusetts. II) A Internet das Coisas é uma rede de objetos físicos que têm tecnologias incorporadas que permitem interagir com o ambiente externo, transmitir in- formações sobre seu estado e receber dados de fora. III) Uma parte integrante da Internet das Coisas é a Internet das Coisas In- dustrial (IIoT). E um novo termo já apareceu: a “Internet de Tudo” (Internet de Tudo, IoE), que substituirá a Internet das Coisas em um futuro próximo. Estão CORRETAS: ▢ -a) I e III ▢ -b) III somente ▢ -c) II e III ▢ -d) I somente ▢ -e) I e II 02 Um dos primeiros dispositivos conectados à rede foi uma máquina de venda automática para a venda da Coca-Cola, instalada na Universidade Carnegie Mellon em: ▢ -a) 1982 ▢ -b) 1992 ▢ -c) 1990 ▢ -d) 1980 ▢ -e) 1999 EX ER C ÍC IO S P R O P O S TO S 3-15 03 Observe as afirmações abaixo: I) O período de discussão ativa de redes que poderiam fornecer comunica- ção máquina a máquina foi a década de 1995. II) Mark Weiser, chefe de pesquisa do Xerox PARC (Xerox Research Center), propôs o conceito de computação onipresente, que envolvia a introdução em massa de computadores e a organização da comunicação entre eles, graças às quais as máquinas resolveriam independentemente as tarefas co- tidianas do usuário. III) O cientista Bill Joy, por sua vez, como parte de um discurso no Fórum Econômico Mundial em Davos em 1999, propôs a ideia de “Seis Teias” - seis tipos de Internet do futuro. Estão INCORRETAS: ▢ -a) I e II ▢ -b) II somente ▢ -c) III e II ▢ -d) III somente ▢ -e) I somente 04 A Internet das Coisas é: ▢ -a) O período de rápido de desenvolvimento ▢ -b) Uma combinação de muitos tipos de comunicação sem fio. ▢ -c) O período de discussão ativa de redes que poderiam fornecer comunicação máquina a máquina. ▢ -d) Equipamentos de escritório (faxes, copiadoras, etc.) com um protocolo comum e transferir as funções de gerenciamen- to e controle sobre ele para computadores que rodam no Windows. ▢ -e) Termo recém-inventado durante sua apresentação à Procter & Gamble sobre o impacto da RFID em diferentes mercados. 05 É um nome comum para tecnologias que permitem que “máquinas” tro- quem informações entre si, ou transmitam-nas unilateralmente, sem in- tervenção humana. Estamos falando de: ▢ -a) M2M, Máquina-a-Máquina EX ER C ÍC IO S P R O P O S TO S 3-16 ▢ -b) IoT ▢ -c) Big data ▢ -d) NFC ▢ -e) LPWAN 06 Observe as afirmações abaixo: I) IoT, Internet das Coisas, “Internet das Coisas” é uma metodologia de uma rede de computadores de objetos físicos (“coisas”), equipada com tecnolo- gias incorporadas para interagir entre si ou com o ambiente externo. II) Os conceitos de M2M e IoT têm significados diferentes. III) A maioria dos especialistas acredita que a Internet das Coisas não é um conceito mais amplo que de M2M e outras tecnologias. Estão INCORRETAS: ▢ -a) I somente ▢ -b) II e III ▢ -c) I e III ▢ -d) II somente ▢ -e) III somente 07 O conceito de Internet das Coisas foi formulado como uma compreensão das perspectivas para o uso generalizado de ferramentas de identificação de radiofrequência para a interação de objetos físicos entre si e com o ambiente externo. Esse conceito foi formulado no ano de: ▢ -a) 1982 ▢ -b) 1999 ▢ -c) 2010 ▢ -d) 1983 ▢ -e) 1990 08 É uma das áreas mais promissoras para o desenvolvimento de tecnolo- gias de informação e telecomunicações nos próximos anos. ▢ -a) 5ª geração (5G) ▢ -b) M2M EX ER C ÍC IO S P R O P O S TO S 3-17 ▢ -c) Wi-Fi, ▢ -d) 3G ▢ -e) NFC 09 Sobre a IoT é correto afirma que: ▢ -a) Foi formulado em 1999 como uma compreensão das perspec- tivas para o uso generalizado de ferramentas de identificação de radiofrequência para a interação de objetos físicos entre si e com o ambiente externo. ▢ -b) Visa aumentar a eficiência da economia automatizando proces- sos em diversas áreas de atuação e excluindo uma pessoa deles. ▢ -c) Pode desempenhar um papel fundamental nos negócios digi- tais, inclusive como meio de transformar produtos e serviços. ▢ -d) É uma ideologia de uma rede de computadores de objetos fí- sicos (“coisas”), equipada com tecnologias incorporadas para interagir entre si ou com o ambiente externo ▢ -e) É comunicação máquina a máquina. 10 Os casos de implementação de tecnologias de Internet das Coisas podem ser divididos em dois grandes grupos que são: ▢ -a) 5G e 4G ▢ -b) Internet das Coisas” industrial e 5G ▢ -c) M2M e Internet das Coisas” industrial ▢ -d) Internet das Coisas” industrial e Internet das Coisas domésticas ▢ -e) Internet das Coisas domésticas e IoT DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial CAPÍTULO 4: DETALHAMENTO TÉCNICO SOBRE INTERNET DAS COISAS 4-2 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial D ET A LH A M EN TO T ÉC N IC O S O B R E IN TE R N ET D A S C O IS A S 4 4�1 FUNDAMENTOS O ritmo de desenvolvimento da IoT está acima das expecta- tivas. É realista imaginar que nos próximos anos nossos aparta- mentos serão equipados com sensores conectados à Internet, e to- dos os eletrodomésticos podem ser controlados usando aplicativos móveis. Tecnologias básicas já são conhecidas hoje em dia, agora a questão está por trás de sua otimização. A Internet das Coisas resolve vários problemas básicos: como coletar dados com consumo mínimo de recursos, como processá- -los rapidamente, como transferi-los de forma rápida, econômica e segura e, finalmente, como otimizar seu armazenamento. Neste capítulo, veremos alguns detalhamentos técnicos rele- vantes sobre internet das coisas, incluindo usos, implementações, além de aplicabilidades específicas, como por exemplo no campo mobile e em segurança. 4�2 Principais tecnologias para implementar a Internet das Coisas A gama de tecnologias possíveis usadas para transmitir o trá- fego de Internet das Coisas abrange redes sem fio e com fio. Para a transmissão de dados sem fio, qualidades como eficiência em con- dições de baixa velocidade, tolerância a falhas, adaptabilidade e a possibilidade de auto-organização desempenham um papel parti- cularmente importante na construção da Internet das Coisas. As redes sem fio para internet das coisas são dividi- das nos seguintes tipos: 4-3 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial D ET A LH A M EN TO T ÉC N IC O S O B R E IN TE R N ET D A S C O IS A S 4 9 Redes de curto alcance de baixapotência: redes de curto alcance eficientes em termos de energia; 9 Redes de área de baixa potência (LPWAN): redes de longo alcance eficientes em termos de energia; 9 Rede Celular: tecnologias baseadas no uso de padrões de rede celular na faixa licenciada. Short Range e LPWAN são construídos sobre o uso de uma banda de frequência não licenciada - Bandas ISM. No setor de Curto Alcance, destaca-se o padrão IEEE 802.15.4, que define a camada física e o controle de acesso para a organização de redes pessoais eficientes em termos de energia, e é a base para proto- colos como ZigBee, WirelessHart, MiWi, 6LoWPAN, além de Bluetooth de baixa energia, NFC, WLAN (Wi-Fi). No setor LPWAN, existem os seguintes padrões e tecnologias principais – SigFox, Symphony Link, Nwave, Ingenu (RPMA), Wei- ghtless, LoRa. Separadamente, tecnologias baseadas em redes móveis usando bandas de frequência licenciadas são apontadas - eMTC, EC-GSM-IoT, padrões NB-IoT. eMTC e NB-IoT são implan- tados nos equipamentos de redes LTE (também é permitido construir redes NB-IoT dedicadas, inclusive nos canais de frequência das redes GSM); O EC-GSM-IoT é implantado em cima das redes GSM. Ao mesmo tempo, a tecnologia NB-IoT também é geralmente referida como redes de longo alcance efi- cientes em energia (LPWAN). Uma comparação das tecnologias de IoT sem fio em termos de alcance e largura de banda é apresentada na Fig. 4-1. 4-4 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial D ET A LH A M EN TO T ÉC N IC O S O B R E IN TE R N ET D A S C O IS A S 4 Figura 4-1: Comparação das tecnologias de IoT sem fio em termos de alcance e largura de banda Fonte: https://qph.cf2.quoracdn.net/ main-qimg-74fac8006378cee869228af52a94ae4e-pjlq Entre as tecnologias com fio, um papel importante na pene- tração da Internet das Coisas é desempenhado por soluções PLC - tecnologias para construção de redes ao longo das linhas de ener- gia, já que em muitos dispositivos há acesso a redes elétricas. Por exemplo, máquinas automáticas, caixas eletrônicos, medidores in- teligentes, controladores de iluminação estão inicialmente conec- tados à rede de alimentação. As tecnologias de implementação de IoT também podem ser classificadas à distância de dispositivos finais (sensores, atua- dores, etc.) para acessar gateways. Ao mesmo tempo, mais de 90% do mercado será ocupado por dispositivos localizados a 100 metros de nó de acesso. Neste espaço, diversas tecnologias basea- das em padrões internacionais e soluções proprietárias competem, 4-5 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial D ET A LH A M EN TO T ÉC N IC O S O B R E IN TE R N ET D A S C O IS A S 4 incluindo dispositivos conectados à rede global através de smar- tphones e roteadores domésticos. EXEMPLO: Vários dispositivos médicos e sensores de posicionamento monta- dos no corpo humano. De acordo com o Ericsson Mobility Report, em 2015, o nú- mero total de dispositivos de comunicação tradicionais (10,1 bi- lhões de unidades) foi mais que o dobro do número de “coisas” de IoT conectadas (4,6 bilhões de peças). Em 2021, o equilí- brio de poder mudará em favor da IoT: 15,7 contra 11,8 bilhões de dispositivos. Ao mesmo tempo, o número de meios tradicionais de comunicação aumentará apenas alguns por cento ao ano, en- quanto o número de coisas conectadas aumentará em mais de 20% (Fig. 4-2). Figura 4-2: Dispositivos conectados Fonte: https://images.indianexpress.com/2016/06/ericsson-main.jpg O Ericsson Mobility Report leva em conta separadamente dispositivos IoT conectados através de redes de IoT celular e ou- tras tecnologias de IoT não celulares. 4-6 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial D ET A LH A M EN TO T ÉC N IC O S O B R E IN TE R N ET D A S C O IS A S 4 De acordo com muitos especialistas, a conexão sem fio de “coisas” distribuídas em uma grande área será realizada princi- palmente através de redes de baixa potência (Low Power Wide Area Network, LPWAN, incluindo LoRa, SigFox stan- dards, bem como NB-IoT, EC-GSM-IoT, E-MTC, etc.). Há cerca de cinco anos, tal termo não existia, e agora é a solução mais promissora para IoT. De acordo com as previsões do Gartner e ZTE, as principais re- ceitas do mercado de Internet das Coisas estarão concentradas: 9 No desenvolvimento e produção de dispositivos fi- nais (35%); 9 No campo de desenvolvimento e produção de equipamen- tos e complexos de hardware e software para construção de redes de comunicação, análise e armazenamento de dados recebidos de diversos sensores e sensores (25%); 9 No campo do desenvolvimento de aplicativos, integração e prestação de serviços aos usuários finais (30%). E apenas 10% das receitas estarão concentradas nas opera- doras de telecomunicações, garantindo a construção e operação da infraestrutura de rede para transferência de dados entre dispositi- vos finais e servidores de aplicativos. Segundo os autores deste artigo, a maioria das tecnologias descritas para a implementação da Internet das Coisas ocupará seu nicho no futuro. No campo das redes de longo alcance eficientes em energia (LPWAN), a cobertura de rádio global (ou guarda-chu- va) será fornecida com base no NB-IoT. Padrões como LoRa e Sigfox serão usados para construir soluções de nível Corporati- vo, bem como em áreas onde não há cobertura de rádio NB-IoT. Ao mesmo tempo, as próprias redes NB-IoT serão construídas 4-7 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial D ET A LH A M EN TO T ÉC N IC O S O B R E IN TE R N ET D A S C O IS A S 4 com base nos equipamentos das redes móveis existentes. Para ca- sos que requerem uma taxa de transferência de dados mais alta, a tecnologia eMTC será usada. Abaixo estão os dados da Huawei sobre a escolha de tecnologias para a construção de redes IoT por várias operadoras. 4�3 Visão geral da tecnologia de curto alcance As tecnologias de curto alcance (ou tecnologias dos “últi- mos 100 metros”) incluem padrões como BLE, IEEE 802.15.4, WLAN (Wi-Fi), NFC, IrDA e uma série de outros. BLE (Bluetooth Low Energy) - lançado em dezembro de 2009, uma versão da especificação da tecnologia sem fio Bluetoo- th, a vantagem mais significativa é o consumo de energia ultra- -baixo. Dispositivos que usam BLE consomem menos energia do que dispositivos bluetooth de gerações anteriores. Em muitos ca- sos, os dispositivos podem funcionar por mais de um ano em uma única bateria de tablet sem recarga. Assim, é possível implemen- tar sensores que operam continuamente (por exemplo, senso- res de temperatura) e se comunicar com outros dispositivos, como um celular ou PDA. A nova versão da especificação Blue- tooth permite suporte para uma ampla gama de aplicações e reduz o tamanho do dispositivo final para uso conveniente nas áreas de saúde, educação física e esportes, sistemas de segurança e entrete- nimento doméstico. O IEEE 802.15.4 é um padrão suportado pelo grupo de trabalho IEEE 802.15 que define a camada física e o controle do acesso a redes pessoais de baixa velocidade sem fio. O equi- pamento construído com base neste padrão refere-se a dispositi- vos de curto alcance e é a base básica para os protocolos ZigBee, 4-8 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial D ET A LH A M EN TO T ÉC N IC O S O B R E IN TE R N ET D A S C O IS A S 4 WirelessHART, MiWi, ISA100.11, cada um dos quais, por sua vez, oferece uma solução para a construção de redes através da es- pecificação de níveis superiores não regulados pela norma. Como alternativa, o IEEE 802.15.4 pode ser usado em conjunto com os protocolos padrão e padrão 6LoWPAN da família TCP/IP. NFC é uma tecnologia anunciada em 2004 e permite trocar dados entre dispositivos localizados a uma distância de cerca de 10 centímetros. NFC é uma extensão do padrão de cartão sem con- tato ISO 14443, que integra a interfacede um cartão inteligente e um leitor em um único dispositivo. O dispositivo NFC pode se comunicar com cartões inteligentes existentes, leitores ISO 14443 e outros dispositivos NFC e, portanto, é compatível com a infraes- trutura de cartão sem contato existente já em uso em sistemas de transporte público e pagamento. O NFC é voltado principalmente para uso em dispositivos móveis digitais. A Figura 4-3 mostra uma representação gráfica das princi- pais tecnologias de Curto Alcance em termos de alcance e consumo de energia. Neste caso, a área do rótulo reflete a taxa de transferên- cia de dados disponível. A “Distância” e o “Consumo de Energia” mostrados na figura são indicativos porque dependem em grande parte do design do receptor de rádio do dispositivo e da caixa de uso específica. 4-9 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial D ET A LH A M EN TO T ÉC N IC O S O B R E IN TE R N ET D A S C O IS A S 4 Figura 4-3: Tecnologias de curto alcance com consumo de energia, distâncias e taxas de dados. Fonte: https://www.digikey.com.br/-/media/Images/Article%20Library/ TechZone%20Articles/2014/January/Short-range%20Low%20Power%20 Wireless%20Devices%20and%20IoT/article-2014january-short-range-low- -power-fig8.jpg?la=pt-BR&ts=fafc4044-e474-4095-9fe6-f8d602e6d4ff A tabela 4-1 mostra como várias tecnologias sem fio de curto alcance corresponde a certos aplicativos orientados vertical- mente e na tabela 4-2 – Comparação de suas características téc- nicas (apenas para BLE, 802.15.4 e WLAN; NFC e IrDA são excluídos da consideração devido à especificidade dos ca- sos de uso). 4-10 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial D ET A LH A M EN TO T ÉC N IC O S O B R E IN TE R N ET D A S C O IS A S 4 Tabela 4-1: Comparação de dispositivos a Tecnologias sem fio BLE 802.15.4 RIO WLAN NFC IrDA Controle remoto Y Y Y X Y Segurança (siste- mas de segurança) Y Y Y Y X Saúde e Fitness Y Y Y X X Casa e Construção (edifícios residen- ciais e edifícios) Y Y Y X X Industrial (Inter- net das Coisas Industriais) Y Y Y X X Posicionamento Y Y Y X X Pagamento (pagamentos) Y X X Y X Automotivo (carros) Y X Y Y X Comentários O maior ecos- sistema (smar- tphones, tablets, ...). Baixo consumo Baixo consu- mo, mas ecos- sistema fechado. Maior ecossis- tema, mas alto consumo. Baixo consu- mo, mas alcance muito curto Trabalha dentro da linha de visão Fonte: Próprio autor Tabela 4-2: Comparação e características técnicas BLE 802.15.4 RIO WLAN Custo Y Y Y Segurança Y Y Y 4-11 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial D ET A LH A M EN TO T ÉC N IC O S O B R E IN TE R N ET D A S C O IS A S 4 BLE 802.15.4 RIO WLAN Consumo de energia Y Y X Ecossistema Y X Y Fiabilidade Y Y Y Facilidade de uso Y Y Y Gama Y Y (Y) Existem tecnologias de malha que permitem aumentar o alcance de operação dos dispositivos ü Comentários Especialistas da ConnectBlue acreditam que tecnologias baseadas no 802.15.4 se tornarão nicho, encontrando aplicação em maior medida nos projetos onde já foram criados, por exemplo, no campo da automação de casas privadas e edifícios administrativos, bem como no campo do consumo inteligente de energia. Fonte: Próprio autor 9 Todas as três tecnologias têm autenticação e criptografia incorporadas na camada de link, que às vezes requerem o fornecimento de proteção em todo o site, desde o disposi- tivo final até o aplicativo web. 9 Alguns casos de uso de IoT podem residir inteiramente atrás de um firewall corporativo (por exemplo, um caso de uso em uma fábrica onde a IoT é executada em um servidor local). Existem também sistemas de IoT que operam em uma ampla rede de área, mas atuam como 4-12 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial D ET A LH A M EN TO T ÉC N IC O S O B R E IN TE R N ET D A S C O IS A S 4 redes locais usando túneis VPN ou mecanismos de segu- rança semelhantes. 9 Quando usado corretamente, o BLE fornece menos con- sumo de energia do que 802.15.4. 9 A falta de suporte integrado para o 802.15.4 para o ecos- sistema de dispositivos móveis (smartphones, tablets, laptops, etc.) é um problema, especialmente para aplica- tivos móveis ou temporariamente móveis. 9 Um ecossistema com telefones, tablets, laptops e aces- sórios telefônicos reduzirá o custo de implementa- ção do BLE. 9 802.15.4 tem uma grande vantagem em sua gama, já que muitas tecnologias com capacidade para 802.15.4 (como zigBee) suportam conectividade de malha, pelo qual a co- bertura pode ser estendida usando roteadores. 9 A tecnologia Bluetooth de baixa energia é resistente ao ruído graças ao suporte para O Salto de Frequência Adap- tive (AFH) e uma série de outras características herdadas do Bluetooth clássico. 9 O WLAN (Wi-Fi) pode ser usado em dispositivos com menores requisitos de baixo consumo de energia e como uma rede sem fio básica em combinação com ou- tras tecnologias. A conclusão dos especialistas do ConnectBlue é que o BLE tem o maior potencial para se tornar a tecnologia principal para os “últimos 100 metros” em dispositivos de baixa potência, bara- tos e pequenos. No entanto, dispositivos baseados na tecnologia 802.15.4 continuarão a ser utilizados, especialmente nos casos em que já estão implementados. E mesmo em suas tradicionais apli- cações a jusante – energia inteligente, eletrônicos de consumo e 4-13 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial D ET A LH A M EN TO T ÉC N IC O S O B R E IN TE R N ET D A S C O IS A S 4 automação predial – 802.15.4 também enfrentarão a concorrên- cia da BLE. A WLAN será usada em dispositivos onde o custo e o baixo consumo de energia são menos importantes, bem como uma espinha dorsal sem fio em combinação com outras tecnolo- gias sem fio. 4-14 � EXERCÍCIOS PROPOSTOS 01 Observe as afirmações abaixo: I) O ritmo de desenvolvimento da IoT está acima das expectativas. É realis- ta imaginar que nos próximos anos nossos apartamentos serão equipados com sensores conectados à Internet, e todos os eletrodomésticos podem ser controlados usando aplicativos móveis. II) Tecnologias básicas já não são muito conhecidas hoje em dia, por isso a questão está por trás de sua otimização. III) A Internet das Coisas resolve vários problemas básicos: como coletar dados com consumo mínimo de recursos, como processá-los rapidamente, como transferi-los de forma rápida, econômica e segura e, finalmente, como otimizar seu armazenamento. Estão CORRETAS: ▢ -a) I e II ▢ -b) II somente ▢ -c) I e III ▢ -d) III somente ▢ -e) II e III 02 A gama de tecnologias possíveis usadas para transmitir o tráfego de In- ternet das Coisas abrange: ▢ -a) Campo mobile e em segurança. ▢ -b) Redes sem fio e com fio. ▢ -c) Ritmo de desenvolvimento da IoT. ▢ -d) Coletar dados com consumo máximo de recursos. ▢ -e) Econômica e segurança EX ER C ÍC IO S P R O P O S TO S 4-15 03 As redes sem fio para internet das coisas são divididas, uma delas é Redes de área de baixa potência (LPWAN) que é a: ▢ -a) Tecnologias baseadas no uso de padrões de rede celular na faixa licenciada. ▢ -b) Redes de curto alcance eficientes em termos de energia; ▢ -c) Redes de pequeno alcance eficientes em termos de energia; ▢ -d) Tecnologias baseadas no uso de padrões de rede de computa- dores na faixa licenciada ▢ -e) Redes de longo alcance eficientes em termos de energia; 04 São construídos sobre o uso de uma banda de frequência não licenciada - Bandas ISM. Estamos falando: ▢ -a) Short Range e LPWAN ▢ -b) Redes sem fio e com fio. ▢ -c) Rede Celular ▢ -d) Gama de tecnologias ▢ -e) IoT 05 No setor de Curto Alcance, destaca-se o padrão IEEE 802.15.4, que define: ▢ -a) A tecnologias baseadas no uso de padrões de rede celular na faixa licenciada. ▢ -b) A camada física e o controle de acessopara a organização de redes pessoais eficientes em termos de energia, e é a base para protocolos como ZigBee, WirelessHart, MiWi, 6LoWPAN. ▢ -c) A gama de tecnologias possíveis usadas para transmitir o trá- fego de Internet das Coisas abrange redes sem fio e com fio. ▢ -d) A transmissão de dados sem fio, qualidades como eficiência em condições de baixa velocidade, tolerância a falhas, adapta- bilidade e a possibilidade de auto-organização desempenham um papel particularmente importante na construção da In- ternet das Coisas. ▢ -e) Tecnologias baseadas em redes móveis usando bandas de fre- quência licenciadas. EX ER C ÍC IO S P R O P O S TO S 4-16 06 Observe as afirmações abaixo: I) Separadamente, tecnologias baseadas em redes móveis usando bandas de frequência licenciadas são apontadas - eMTC, EC-GSM-IoT, padrões NB- -IoT. eMTC e NB-IoT. II) Entre as tecnologias com fio, um papel importante na penetração da Internet das Coisas é desempenhado por soluções PLC - tecnologias para construção de redes ao longo das linhas de energia, já que em muitos dis- positivos há acesso a redes elétricas. III) As tecnologias de implementação de IoT não conseguem ser classi- ficadas à distância de dispositivos finais (sensores, atuadores, etc.) para acessar gateways. Estão INCORRETAS: ▢ -a) I e II ▢ -b) II somente ▢ -c) I e III ▢ -d) II e III ▢ -e) III somente 07 Mais de 90% do mercado será ocupado por dispositivos localizados a 100 metros de nó de acesso. Neste espaço, diversas tecnologias baseadas em padrões internacionais e soluções proprietárias competem, incluindo dispositivos conectados à rede global através de: ▢ -a) NFC e WLAN ▢ -b) Smartphones e roteadores domésticos ▢ -c) ZigBee e WirelessHart, ▢ -d) Padrão IEEE 802.15.4 ▢ -e) Bandas ISM 08 O Ericsson Mobility Report leva em conta separadamente dispositivos IoT conectados através de redes de: ▢ -a) ZigBee e WirelessHart, ▢ -b) Padrão IEEE 802.15.4 ▢ -c) NFC e WLAN EX ER C ÍC IO S P R O P O S TO S 4-17 ▢ -d) IoT celular e outras tecnologias de IoT não celulares. ▢ -e) Bandas ISM 09 De acordo com muitos especialistas, a conexão sem fio de “coisas” dis- tribuídas em uma grande área será realizada principalmente através de: ▢ -a) Redes de baixa potência ▢ -b) Redes de alta potência ▢ -c) Rede Celular ▢ -d) Redes de curto alcance ▢ -e) Redes sem fio para internet 10 Observe as afirmações abaixo: I) De acordo com as previsões do Gartner e ZTE, as principais receitas do mercado de Internet das Coisas estarão concentradas no desenvolvimento e produção de dispositivos finais (35%); II) E apenas 15% das receitas estarão concentradas nas operadoras de te- lecomunicações, garantindo a construção e operação da infraestrutura de rede para transferência de dados entre dispositivos finais e servidores de aplicativos. III) Segundo os autores deste artigo, a maioria das tecnologias descritas para a implementação da Internet das Coisas não ocupará seu nicho no futuro. Estão INCORRETAS: ▢ -a) I e III ▢ -b) III somente ▢ -c) II e III ▢ -d) II somente ▢ -e) I somente DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial UNIDADE 3: FUNDAMENTOS DA ARQUITETURA DE COMPUTAÇÃO EM NUVEM Caro(a) Aluno(a) Seja bem-vindo(a)! Nesta terceira unidade, daremos orientações sobre os fundamentos da arquitetura de computação em nuvem, incluindo teoria e noções práticas. Conteúdos da Unidade Neste capítulo, iremos abordar sobre o os fundamentos teóricos sobre computação em nuvem, conceitos, funcionamentos e principais serviços, posteriormente será analisado as noções práticas desta tecnologia. 9 Fundamentos Teóricos dos Serviços em Nuvem; 9 Noções Práticas Básicas de Serviços em Nuvem. Acompanhe os conteúdos desta unidade. Se preferir, vá assinalando os assuntos, à medida que for estudando. Bons estudos!!! DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial CAPÍTULO 5: FUNDAMENTOS TEÓRICOS DOS SERVIÇOS EM NUVEM 5-3 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 5�1 FUNDAMENTOS Recentemente, a frota de computadores e equipamentos mó- veis tem aumentado. Se antes trabalhávamos com documentos em um computador, agora começamos a imprimir o artigo no escritó- rio e terminá-lo em casa em um laptop, e na manhã seguinte ve- mos no metrô em nosso smartphone. Desnecessário dizer que que- ríamos que a versão mais recente do nosso arquivo fosse exibida automaticamente em cada um de nossos dispositivos. Hoje, tudo isso é possível graças aos chamados serviços de armazenamento de dados em nuvem. Graças a eles, podemos armazenar as versões mais recentes de documentos, tanto em servidores remotos quanto em todos os nossos dispositivos. A relevância desse tema deve-se ao fato de que, devido ao rápido desenvolvimento de tecnologias, a principal ferramenta das empresas na concorrência por seu lugar são as informações. É im- possível fazer um único adequado, oportuno, garantindo o sucesso de uma decisão de gestão sem ter informações sobre o problema sendo resolvido. Todos os dias na empresa há uma grande massa de informações necessárias para a tomada de decisões. Acumula-se em diversas fontes e repositórios, transformando-se na experiên- cia do empreendimento. A cada ano essas informações se tornam cada vez mais e, consequentemente, a necessidade de poder com- putacional para armazenar e processar uma quantidade tão grande de dados aumenta, o que leva a grandes gastos de tempo, dinheiro, recursos humanos e outros. Portanto, as tecnologias em nuvem são cada vez mais utili- zadas em muitos setores da economia e até mesmo em uma área ainda insuficientemente automatizada da economia da Federação Russa como serviços habitacionais e comunitários. 5-4 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 5�2 Conceito e Classificação de Serviços em Nuvem Recentemente, muitos usuários da Internet e dispositivos móveis modernos estão cada vez mais se perguntando como sal- var mais informações necessárias e ter acesso a ela de qualquer lugar conveniente. É para tais propósitos e tarefas que os bancos de dados virtuais foram inventados, ou melhor, para armazenar informações pessoais em servidores na Internet. Então, o que é esse “Armazenamento em Nuvem”? Essen- cialmente, é uma ótima maneira de fazer backup de seus arquivos mais importantes (fotos, vídeos, documentos, programas, etc.). Por exemplo, mais cedo você ia visitar amigos, tirava com você álbuns de fotos ou, digamos, vídeos em discos de CD, com o advento de computadores e unidades compactas (pen drives, cartões de memória, etc.) os levou. E agora imagine que ago- ra basta ter acesso ao armazenamento virtual, você pode mostrar qualquer arquivo para qualquer pessoa, mesmo do computador de outra pessoa, ou dizer um tablet. O armazenamento em nuvem de informações também é cha- mado - serviços em nuvem. Vale ressaltar também que os benefícios desses armazena- mentos também são muito grandes devido ao fato de que o maior deles proporciona a capacidade de uso em dispositivos móveis, como smartphones, tablets e celulares. Ao instalar o programa cliente em seu computador e baixar os arquivos que você precisa ar- mazenar ou compartilhar, você também pode vê-los e gerenciá-los em seus dispositivos móveis. Ou seja, as coisas mais necessárias agora podem ser sempre com você, mesmo independentemente de você ter um telefone com você ou não. Afinal, mesmo deixando o telefone em casa (acidentalmente esquecendo-o, com quem 5-5 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 isso não acontece), você pode vir trabalhar para ter acesso às informações necessárias e continuar trabalhandocom ele. Os serviços em nuvem são incrivelmente convenientes e po- pulares, uma vez que esse armazenamento é acessível a partir de qualquer equipamento de computador conectado à Internet. Além disso, o mesmo arquivo pode estar disponível para trabalho por vários internautas localizados em diferentes partes do globo. Fundamentalmente, trabalhar com um serviço de comparti- lhamento de arquivos em nuvem é muito parecido com trabalhar com um serviço regular de compartilhamento de arquivos, apenas com capacidades muito maiores. Se em um serviço regular de com- partilhamento de arquivos apenas baixar, carregar e excluir arqui- vos for fornecido, então no armazenamento em nuvem um conjun- to completo de trabalho de arquivo é possível - edição, renomeação e todas as outras ações que somente a tecnologia de computador permite. (Grubin, 2011). Armazenar dados na nuvem permite que os departamentos de TI repensem fundamentalmente três aspectos de seus negócios. (Pluzhnik; Nikulchev, 2013) Vantagens do armazenamento em nuvem: 1) Custo total de propriedade: Com o armazenamento em nuvem, você não precisa comprar hardware, dedicar recursos de armazenamento ou gastar dinheiro em algo que “será útil algum dia”. Você pode adicionar ou remo- ver recursos sob demanda, alterar rapidamente os perío- dos de desempenho e retenção. E, ao mesmo tempo, você pagará apenas pelos recursos utilizados. Dados que não são usados com tanta frequência podem ser automatica- mente movidos para níveis mais econômicos de acordo 5-6 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 com certas regras que são facilmente controladas. Isso permite que você economize em volume. 2) Hora de implantação: Quando as equipes de desen- volvimento estão prontas para lançar projetos, a infraes- trutura não deve limitá-los. O armazenamento em nuvem permite que os profissionais de TI provisionem rapida- mente o espaço de armazenamento necessário exatamen- te quando precisam. Como resultado, os profissionais de TI podem se concentrar em resolver problemas comple- xos relacionados a aplicativos em vez de gerenciar siste- mas de armazenamento. 3) Gestão da Informação: O armazenamento centrali- zado na nuvem cria enormes oportunidades para novos casos de uso. Usando políticas de gerenciamento do ciclo de vida de armazenamento em nuvem, você pode lidar com tarefas importantes de gerenciamento de informa- ções, incluindo hierarquização automática ou bloqueio de dados para fins de conformidade. Garantir o armazenamento, a segurança e a disponibilidade confiáveis de dados corporativos críticos é de suma importância. Ao considerar a opção de armazenar dados na nuvem, existem vá- rios requisitos fundamentais. Requisitos para armazenamento em nuvem: 1) Confiabilidade: Os dados devem ser armazenados de forma redundante. Idealmente, eles devem ser distribu- ídos entre vários objetos e vários dispositivos dentro de cada um dos objetos. Desastres naturais, erros humanos ou defeitos mecânicos não devem levar à perda de dados. 5-7 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 2) Disponibilidade: Todos os dados devem estar disponí- veis no caso de necessidade, mas há uma diferença entre dados de produção e arquivos. O armazenamento em nu- vem perfeito oferece a combinação ideal entre o tempo de recuperação de dados e o custo. 3) Segurança: Idealmente, todos os dados devem ser crip- tografados – tanto em repouso quanto em trânsito. As per- missões e o controle de acesso devem funcionar na nuvem, assim como fazem em armazenamentos de dados no local. Existem três tipos de armazenamento em nuvem, cada um oferecendo benefícios únicos e seus próprios casos de uso. (Gillam, 2010): 1) Armazenamento de objetos: Aplicativos desenvol- vidos na nuvem normalmente exigem os benefícios do armazenamento de objetos, como escalabilidade rica e características de metadados. O armazenamento de ob- jetos, por exemplo, é ideal para desenvolver aplicações modernas do zero quando a flexibilidade e a escalabilida- de são necessários. Você também pode usar esses cofres para importar dados de repositórios existentes para fins de análise, backup ou arquivamento. 2) Armazenamento de arquivos: Alguns aplicativos precisam acessar arquivos compartilhados, então eles precisam de um sistema de arquivos. Esse tipo de arma- zenamento é frequentemente suportado por um servidor de armazenamento conectado à rede (NAS). As soluções de armazenamento de arquivos são ideais para casos de uso, como grandes repositórios de conteúdo, ambientes 5-8 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 de desenvolvimento, lojas de mídia ou diretórios pessoais dos usuários. 3) Bloqueie o armazenamento: Outros aplicativos cor- porativos, como bancos de dados ou sistemas de plane- jamento de recursos corporativos (ERP), muitas vezes requerem armazenamento dedicado e de baixa latência para cada nó. Esse tipo de armazenamento é análogo às redes de armazenamento (DAS) ou redes de área de armazenamento (SANs) de armazenamento conectado direto. O armazenamento de blocos é provisionado com cada servidor virtual e oferece armazenamento de dados persistente para cargas de trabalho caracterizadas por li- gas e desliga frequentes. Cinco maneiras de usar o armazenamento em nuvem: 1) Backup e recuperação são fundamentais para a proteção e disponibilidade de dados, mas atender às crescentes necessidades de recursos pode ser um desafio constan- te. O armazenamento em nuvem fornece baixa custo, alta confiabilidade e escalabilidade praticamente ilimitada para soluções de backup e recuperação. As políticas in- corporadas de gerenciamento de dados podem migrar automaticamente os dados para níveis de armazenamen- to mais econômicos com base em configurações de fre- quência ou tempo, permitindo que você crie repositórios de arquivamento para ajudá-lo a atender aos requisitos legais ou regulamentares. Esses benefícios proporcionam ampla escalabilidade nos setores de serviços financeiros, saúde e mídia, onde grandes quantidades de dados estão 5-9 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 constantemente sendo criados com a necessidade de re- tenção a longo prazo. 2) Testes e Desenvolvimento de software: Os ambien- tes de teste e desenvolvimento de software geralmente requerem a criação, o uso e a remoção subsequente de ambientes de armazenamento separados, independen- tes e duplicados. Além dos custos de tempo, esses pro- cessos envolvem investimentos iniciais sérios. Algumas das maiores e mais rentáveis empresas do mundo foram capazes de construir aplicativos em tempo recorde graças à flexibilidade, desempenho e baixo custo de armazena- mento em nuvem. Mesmo os sites estáticos mais simples podem ser melhorados a um custo mínimo. Desenvolve- dores de todo o mundo estão se voltando para soluções de armazenamento pagas que os salvam do incômodo de gerenciar e escalar. 3) Migração de dados para a nuvem: A disponibilida- de, confiabilidade e benefícios financeiros do armazena- mento em nuvem podem parecer muito atraentes para os proprietários de negócios, mas para aqueles encarrega- dos da TI tradicional (por exemplo, armazenamen- to, backup, rede, segurança e gerentes de confor- midade), a migração prática de grandes quantidades de dados para a nuvem é muitas vezes um grande desafio. Os serviços de migração de dados em nuvem simplificam a migração do armazenamento para a nuvem e resolvem problemas associados a altos custos de rede, transferên- cias longas de dados e problemas de segurança. 4) Arquivamento e conformidade:O armazenamen- to de dados na nuvem pode levantar problemas regula- tórios e de conformidade, especialmente se os dados já 5-10 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 estiverem em sistemas de armazenamento que são limi- tados por determinados requisitos. As ferramentas de conformidade baseadas em nuvem garantem que você possa implantar e habilitar facilmente ferramentas de conformidade para armazenamentos de dados indivi- duais com políticas bloqueadas. Você pode especificar opções especiais, como “Read-Once Writes” (WORM), para bloquear os dados de alterações adicionais. As solu- ções de log de auditoria podem ajudá-lo a atender a todas as suas necessidades de conformidade para armazena- mento e arquivamento em nuvem. 5) Big Data e Data Lakes: As soluções tradicionais de armazenamento no local podem se mostrar imprevisí- veis em termos de custo, desempenho e escalabilidade, especialmente com o tempo. Projetos de big data exigem pools de data warehouse em larga escala, acessíveis e confiáveis e altamente disponíveis. Muitas vezes, essas piscinas são referidas como “Data Lakes”. Os Data Lakes construídos com base nas informações do armazenamen- to de objetos armazenam em sua forma original e con- têm metadados estendidos que permitem extrair e usar seletivamente dados para análise. Data Lakes em nu- vem podem estar localizados no centro de qualquer tipo de sistemas de armazenamento e processamento de big data e mecanismos de análise, permitindo que você com- plete o próximo projeto mais rápido e com maior grau de relevância. 5-11 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 5�3 Arquitetura de computação em nuvem A computação em nuvem é um modelo de fornecer a possibi- lidade de acesso onipresente e conveniente à rede sob demanda a um pool de recursos de computação configuráveis compartilhados (por exemplo, redes, servidores, instalações de armaze- namento, aplicativos e serviços), que podem ser rapidamente fornecidos e liberados com mínimo esforço de gerenciamento ou interação com o provedor (provedor). Este modelo de nuvem é representado (descrito) por cinco características principais, três modelos de serviço e quatro modelos de implantação.[9] As principais características da computação em nuvem que os distinguem de outros tipos de computação (recursos da Internet): 1) Autoatendimento sob demanda: O consumidor, con- forme necessário, automaticamente, sem interação com cada prestador de serviços, pode determinar e alterar in- dependentemente o poder de computação, como o tempo do servidor, a quantidade de armazenamento de dados. 2) Acesso amplo (universal) à rede: Os recursos de computação estão disponíveis em longas distâncias por toda a rede através de mecanismos padrão, o que contribui para o uso generalizado de plataformas clientes heterogê- neas (finas ou grossas) (dispositivos terminais). 3) Recursos de pool: Os recursos computacionais confi- guráveis do provedor são combinados em um único pool para compartilhar recursos distribuídos com um grande número de consumidores. 4) Elasticidade de recursos instantâneos (escalabi- lidade instantânea): Os serviços em nuvem podem ser 5-12 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 rapidamente entregues, expandidos, compactados e libe- rados com base nas necessidades do consumidor. 5) Serviço medido (contabilidade do serviço consu- mido e possibilidade de pagamento por serviços que realmente foram utilizados): Os sistemas em nuvem gerenciam e otimizam automaticamente o uso de recursos, fazendo medições em algum nível de abstração correspondente ao tipo de serviço. Se o modelo (conceito) de fornecer recursos de computa- ção configuráveis distribuídos e compartilhados corresponde às características acima, então isso é computação em nuvem. Modelos de serviço de computação em nuvem ou computa- ção em nuvem: (Gillam, 2010) 1) Software as a Service (SaaS): software como servi- ço. Neste modelo de provisionamento de computação em nuvem, o consumidor usa os aplicativos do provedor em execução na infraestrutura em nuvem, que são acessíveis ao cliente através de uma interface (navegador web) ou de uma interface de programa. Os consumidores não podem gerenciar e controlar a infraestrutura subjacente da nuvem, incluindo a rede, servidores, sistemas opera- cionais, armazenamentos de dados ou mesmo alterar as configurações de um determinado aplicativo. 2) Plataforma como Serviço (PaaS): Plataforma como Serviço. Um modelo para fornecer computação em nu- vem, no qual o consumidor tem acesso ao uso de uma plataforma de software: sistemas operacionais, DBMS, software de aplicativos, desenvolvimento de software e ferramentas de teste. Na verdade, o consumidor aluga 5-13 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 uma plataforma de computador com um sistema ope- racional instalado e ferramentas especializadas para o desenvolvimento, hospedagem e gerenciamento de apli- cações web. O consumidor não gerencia a infraestrutura central da nuvem, incluindo a rede, servidores, sistemas operacionais ou armazenamentos de dados, mas gerencia os aplicativos implantados e possivelmente as configura- ções do ambiente. 3) Infraestrutura como Serviço (IaaS): Infraestrutura como Serviço. O modelo de fornecimento de computação em nuvem, no qual o consumidor tem a oportunidade de gerenciar os meios de processamento e armazenamento, bem como outros recursos fundamentais de computação (servidores virtuais e infraestrutura de rede), nos quais ele pode instalar sistemas operacionais e progra- mas de aplicativos de forma independente para seus pró- prios propósitos. Na verdade, o consumidor aluga poder de computação abstrato (tempo do servidor, espaço em disco e largura de banda de rede) ou usa ser- viços de terceirização de infraestrutura de TI. O consu- midor não gerencia a infraestrutura central da nuvem, mas gerencia os sistemas operacionais, armazenamento e aplicativos que implanta. Modelos de implantação de computação em nuvem, ou seja, computação em nuvem: 1) Nuvem privada: infraestrutura projetada para usar a computação em nuvem na escala de uma organização. 2) Nuvem comunitária: Infraestrutura em nuvem proje- tada para o uso exclusivo da computação em nuvem por 5-14 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 uma determinada comunidade de consumidores de orga- nizações que resolvem problemas comuns. 3) Nuvem pública: infraestrutura projetada para uso gra- tuito da computação em nuvem pelo público em geral. 4) A nuvem híbrida é uma combinação de diferentes infra- estruturas em nuvem (privadas, públicas ou comu- nidades) que permanecem objetos únicos, mas são in- terconectadas por tecnologias padronizadas ou privadas que fornecem a capacidade de trocar dados e aplicativos. Com base na definição acima de computação em nuvem, os serviços em nuvem podem ser representados como um modelo de várias camadas composto por camadas: IaaS, PaaS, SaaS. A base ou base dos serviços em nuvem é a infraestrutura física, ou seja, servidores, armazenamento, redes e software de sistema Cloud data center (data center em nuvem) ou redes de Data centers em nuvem interconectadas. Data centers ou data centers (DPC) abrigam hardware fí- sico ou hardware físico (servidores, data warehouses, esta- ções de trabalho), software de sistema (SO, virtualização e automação), software de ferramentas e aplicativos, sistemas de gerenciamento de equipamentos,infraestrutura de rede: rotea- dores e switches para conectar e combinar equipamentos físicos. Além disso, o funcionamento normal dos data centers é forneci- do por sistemas de suporte à engenharia (Sistemas de supor- te à engenharia). IaaS é o fornecimento de infraestrutura de computadores e rede (servidores, armazenamento, rede) ao usuário e sua manutenção como serviço na forma de virtualização, ou seja, infra- estrutura virtual. Em outras palavras, com base na infraestrutura 5-15 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 física de data centers ou data centers, o provedor (provedor) cria uma infraestrutura virtual que fornece aos usuários como um ser- viço. As ferramentas de virtualização permitem transformar a in- fraestrutura física dos data centers em uma virtual e, assim, criar a primeira camada de serviços em nuvem - IaaS. O que é virtualização? A tecnologia de virtualização de recursos permite que equipamentos físicos (servidores, data warehouses, redes de dados) sejam divididos entre os usu- ários em várias partes que eles usam para executar tarefas atuais. Por exemplo, em um servidor físico, você pode executar centenas de servidores virtuais, e o usuário pode alocar tempo para acessá- -los para resolver problemas. A virtualização pode ser implemen- tada tanto no nível do software quanto no nível de hardware. Assim, o usuário é fornecido com um poder de computação elástico abstrato, por exemplo, não um servidor ou servidores, mas o tempo do servidor para processar suas tarefas. Não discos para armazenamento de dados, mas o espaço de disco necessário, não canais de comunicação, mas a largura de banda da rede de circui- tos de comutação necessários para resolver problemas. Além da virtualização, a automação é usada para criar o IaaS, que fornece distribuição dinâmica de recursos sem a participação do pessoal do prestador de serviços, ou seja, o sistema pode adicio- nar ou diminuir automaticamente o número de servidores virtuais, espaço em disco para armazenamento de dados ou alterar a largu- ra de banda da rede dos canais de comunicação. A virtualização e a automação garantem a eficiência do uso de recursos de computa- ção e reduzem o custo de aluguel de um serviço de IaaS em nuvem. Como regra geral, o IaaS é alugado (o serviço IaaS é pres- tado em uma base terceirizada) aos usuários corporativos. Ou seja, os usuários recebem recursos integrados para criar sua 5-16 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 própria infraestrutura de computação. Neste caso, o usuário deve instalar e configurar o SO e os programas necessários para execu- tar tarefas de produção ou desenvolver aplicativos. O conceito de IaaS permite que o usuário compre apenas o poder de computação que ele precisa para realizar tarefas especí- ficas. Serviços adicionais de IaaS podem incluir conectar qualquer equipamento físico do usuário à plataforma em nuvem e colocá-lo na rede de data centers. Infraestrutura como serviço é uma solução de nível empre- sarial para empresas de todos os portes. A infraestrutura pode ser colocada tanto no data center corporativo quanto em um data center externo. Os serviços iaaS são projetados para construir e consumir ambientes seguros de nuvem privada, pública e híbrida. Os fornecedores podem habilitar configurações em nuvem híbrida que combinam redes no local no escritório do cliente com redes de plataforma em nuvem. (Fediv, 2011). Além disso, os serviços de IaaS de computação em nuvem in- cluem hospedagem em nuvem (Cloud Hosting). A hospedagem em nuvem é uma hospedagem que pode fornecer alocação dinâmi- ca de recursos, tem a capacidade de dimensionar automaticamente os recursos e aumentou a tolerância a falhas. A hospedagem em nuvem é uma alternativa significativa para a hospedagem compar- tilhada, hospedagem em um servidor VPS/VDS virtual dedicado e hospedagem em um servidor físico dedicado. O provedor de Hospedagem em Nuvem fornece aos proprie- tários do site apenas os recursos necessários para o site: servidores virtuais, a quantidade de RAM e a quantidade de disco rígido, bem como a capacidade de gerenciar a infraestrutura de hospedagem (por exemplo, a escolha do sistema operacional, a quan- tidade de RAM, o tamanho e o tipo de HDD, o número de 5-17 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 núcleos de CPU, a frequência do relógio e a velocidade de acesso). O pagamento para alugar hospedagem em nuvem só é feito após o fato de recursos já consumidos: a quantidade de tempo de CPU, a quantidade de espaço em disco, a quantidade de RAM consumida e a velocidade de acesso ao site. Se necessário, o inquilino (proprietário do site) da hos- pedagem em nuvem pode alterar os recursos de hospedagem ou configurá-los para aumentar automaticamente os recursos quando a carga aumenta, mas ele sempre pagará apenas pelos recursos já consumidos. A hospedagem em nuvem aumentou a tolerância a falhas, uma vez que o site hospedado nele está simultaneamente em vários servidores virtuais e a falha de um deles não afetará o funcionamento do site. Atualmente, os hosters oferecem hospedagem em nuvem para aluguel com um CMS pré-instalado. Os provedores de hos- pedagem para a organização de tal hospedagem em nuvem podem, por exemplo, implantar em seus servidores uma Jelastic de plata- forma como infraestrutura com CMS pré-instalado. A Jelastic for- nece uma plataforma como infraestrutura na forma de uma pilha completa que permite a implantação de hospedagem em nuvem na infraestrutura física do data center do provedor de hospedagem. A funcionalidade da plataforma Jelastic permite instalar CMS embutidos com um ambiente web otimizado, por exemplo, Jelastic no Infobox, com um clique. Jelastic é um produto que in- clui a funcionalidade PaaS e uma infraestrutura IaaS facilmente configurável. A Jelastic é uma plataforma para a execução de apli- cativos Java e PHP e pode ser usada não apenas por hosters para organizar hospedagem em nuvem, mas também por corporações para criar um ambiente de desenvolvimento (nuvens privativas ou híbridas) de aplicações web. 5-18 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 Na hospedagem em nuvem, hospedar sites em nuvem são aplicações modernas em nuvem. Em sites em nuvem (aplicati- vos em nuvem), os dados são armazenados em bancos de dados em nuvem, aplicativos de servidores de sites são armazenados e executados em servidores virtuais em nuvem, e a parte cliente do site é executada no navegador do usuário. O serviço PaaS fornece uma plataforma de software e sua manutenção como um serviço que consiste em: 1) SO: Sistema operacional de rede (sistemas Unix in- cluindo Ubuntu Server, BSD/OS Family, Solaris/ Sun OS, etc. ou Windows Server); 2) Database: Sistema de gerenciamento de banco de da- dos (MySQL, Microsoft SQL, SQL Database, Post- greSQL, Oracle, etc.); 3) Middleware: software de camada média ou software de ligação (middleware), que foi projetado para fornecer in- teração entre vários aplicativos, sistemas e componentes; 4) Ferramentas de desenvolvimento de software e testes: software de ferramentas para o desenvolvimento de aplicações web e seus testes (ambiente de desen- volvimento de software: estruturas de software, bibliotecas, etc. para a criação de aplicações web em linguagens de programação: Python, Java, PHP, Ruby, JS for Node.js, etc.), 5) App servidor é um servidor de aplicativos para desenvol- ver, testar, depurar e executar aplicativos web. Assim, o PaaS oferece aos desenvolvedores de software as ferramentas para desenvolver, testar,implantar e suportar uma variedade de aplicativos. Além disso, o usuário é fornecido com 5-19 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 ferramentas de administração e gestão. O PaaS é usado principal- mente para desenvolver e hospedar aplicações web (por exem- plo, aplicativos distribuídos relacionados - mashups SaaS, sites em nuvem, etc.). De acordo com o esquema SaaS, os seguintes tipos de aplica- tivos em nuvem e sua manutenção são fornecidos: Aplicativos de Negócios, Aplicativos Web do Office, Aplicativos de Gestão, Comu- nicações, Segurança, etc. O SaaS mais difundido foi nos Estados Unidos. As aplicações em nuvem mais populares são: CRM (sis- tema de gestão de relacionamento com o cliente), HRM (sistema de gestão de pessoas, ou seja, com pessoal), ERP (sistema de planejamento de recursos corporativos, por exemplo, 1C), aplicativos de escritório, ferramentas de comuni- cação, etc. Salesforce.com é o maior fornecedor mundial de aplica- ções de CRM em nuvem. Meios de comunicação significam correspondência eletrô- nica (por exemplo, Gmail), bate-papos de áudio e vídeo (por exemplo, Microsoft Lync Online), Cloud PBX ou CLOUD PBX (por exemplo, PBX Mango-Office virtual), MDM (Mo- bile Device Management - gerenciamento de dispositivos móveis). O serviço MDM baseado em nuvem foi projetado para trabalhar com sistemas corporativos usando dispositivos móveis. Em vários dispositivos móveis que funcionam sob o controle do sistema MDM baseado em nuvem, os aplicativos, os chamados agentes, são instalados. Esses aplicativos fornecem configuração centralizada de dispositivos móveis e acesso à rede corporativa da empresa como um serviço saas em nuvem. Como regra geral, as ferramentas de comunicação em nuvem são integradas com ou- tros serviços saas, por exemplo, CRM + MDM, Office Web Apps + Lync Online, Google Docs + Gmail + Hangouts, etc. 5-20 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N D A M EN TO S T EÓ R IC O S D O S S ER V IÇ O S E M N U V EM 5 Os principais consumidores do SaaS são as pequenas e mé- dias empresas. A maioria dos aplicativos SaaS são projetados para apoiar a colaboração entre os colaboradores. A arquitetura de apli- cativos saaS, na qual uma única instância de um aplicativo exe- cutado em um servidor atende a muitos consumidores, é multi- -inquilino, ou seja, cada consumidor é fornecido com sua própria instância de aplicativo virtual no processo de execução de tarefas. 5-21 � EXERCÍCIOS PROPOSTOS 01 Observe as afirmações abaixo: I) Recentemente, a frota de computadores e equipamentos móveis tem au- mentado. Se antes trabalhávamos com documentos em um computador, agora começamos a imprimir o artigo no escritório e terminá-lo em casa em um laptop, e na manhã seguinte vemos no metrô em nosso smartphone. II) Hoje, tudo isso é possível graças aos chamados serviços de armazena- mento de dados em banco de dados. Graças a eles, podemos armazenar as versões mais recentes de documentos, tanto em servidores remotos quanto em todos os nossos dispositivos. III) As tecnologias em nuvem são cada vez mais utilizadas em muitos se- tores da economia e até mesmo em uma área ainda insuficientemente au- tomatizada da economia da Federação Russa como serviços habitacionais e comunitários. Estão CORRETAS: ▢ -a) I e II ▢ -b) II somente ▢ -c) II e III ▢ -d) I somente ▢ -e) I e III 02 Essencialmente, é uma ótima maneira de fazer backup de seus arquivos mais importantes (fotos, vídeos, documentos, programas, etc.). Estamos falando sobre o: ▢ -a) CD ▢ -b) Armazenamento em Nuvem ▢ -c) Pen drive ▢ -d) Disquete ▢ -e) Cartões de memória EX ER C ÍC IO S P R O P O S TO S 5-22 03 Observe as afirmações abaixo: I) Os serviços em nuvem são incrivelmente convenientes e populares, uma vez que esse armazenamento é acessível a partir de qualquer equipamento de computador conectado à Internet. II) Fundamentalmente, trabalhar com um serviço de compartilhamento de arquivos em nuvem é muito parecido com trabalhar com um serviço regular de compartilhamento de arquivos, apenas com capacidades muito menores. III) Se em um serviço regular de compartilhamento de arquivos apenas bai- xar, carregar e excluir arquivos for fornecido, então no armazenamento em nuvem um conjunto completo de trabalho de arquivo não é possível edição, renomeação e todas as outras ações que somente a tecnologia de compu- tador permite. Estão CORRETAS: ▢ -a) I somente ▢ -b) II e III ▢ -c) I e III ▢ -d) II somente ▢ -e) III somente 04 Armazenar dados na nuvem permite que os departamentos de TI repen- sem fundamentalmente três aspectos de seus negócios. È considerada umas das vantagens do armazenamento em nuvem: ▢ -a) Os dados são armazenados de forma redundante. ▢ -b) Todos os dados estão disponíveis no caso de necessidade. ▢ -c) Custo total de propriedade. Com o armazenamento em nu- vem, você não precisa comprar hardware, dedicar recursos de armazenamento ou gastar dinheiro em algo que “será útil algum dia”. ▢ -d) Todos os dados devem ser criptografados – tanto em repouso quanto em trânsito. ▢ -e) Armazenamento de objetos EX ER C ÍC IO S P R O P O S TO S 5-23 05 Ao considerar a opção de armazenar dados na nuvem, existem vários requisitos fundamentais. Um deles fala que os dados devem ser armaze- nados de forma redundante. Estamos falando do requisito de: ▢ -a) Segurança. ▢ -b) Disponibilidade. ▢ -c) Hora de implantação ▢ -d) Custo total de propriedade ▢ -e) Confiabilidade 06 Existem três tipos de armazenamento em nuvem, cada um oferecendo benefícios únicos e seus próprios casos de uso que são: ▢ -a) Armazenamento de Confiabilidade, Armazenamento de Se- gurança e Armazenamento de Disponibilidade. ▢ -b) Armazenamento de objetos, Armazenamento de arquivos e bloqueie o armazenamento ▢ -c) Armazenamento de arquivos, Armazenamento de Confiabili- dade e Armazenamento de objetos ▢ -d) Armazenamento de objetos, bloqueie o armazenamento e Ar- mazenamento de Disponibilidade. ▢ -e) Armazenamento de Confiabilidade, Armazenamento de Se- gurança e Armazenamento de arquivos 07 Geralmente requerem a criação, o uso e a remoção subsequente de am- bientes de armazenamento separados, independentes e duplicados. Es- tamos falando de: ▢ -a) Backup e recuperação ▢ -b) Migração de dados para a nuvem ▢ -c) Arquivamento e conformidade ▢ -d) Big Data e Data Lakes ▢ -e) Testes e Desenvolvimento de software EX ER C ÍC IO S P R O P O S TO S 5-24 08 É considerada uma das principais características da computação em nuvem que os distinguem de outros tipos de computação (recursos da Internet): ▢ -a) Migração de dados para a nuvem ▢ -b) Acesso amplo (universal) à rede ▢ -c) Backup e recuperação ▢ -d) Big Data e Data Lakes ▢ -e) Arquivamento e conformidade 09 Um modelo para fornecer computação em nuvem, no qual o consumidor tem acesso ao uso de uma plataforma de software: sistemas operacio- nais, DBMS, software de aplicativos, desenvolvimento de software e fer- ramentas de teste. Esse conceito está associado a: ▢ -a) Plataforma como Serviço (PaaS) - Plataforma como Serviço ▢ -b) Software as a Service (SaaS) - software como serviço ▢ -c) Infraestrutura como Serviço (IaaS) ▢ -d) Arquivamento e conformidade ▢ -e) Migração de dados para a nuvem 10 Observe as afirmações abaixo: I) Nuvem privada, Nuvem comunitária, Nuvem pública e nuvem híbrida, são modelos de implantação de computação em nuvem, ou seja, computação em nuvem. II) Os serviços em nuvem podem ser representados como um modelo de várias camadas composto por camadas: IaaS, PaaS, SaaS. III) IaaS é o fornecimento de infraestrutura de smatphones e rede (servido- res, armazenamento, rede) ao usuário e sua manutenção como serviço na forma de virtualização, ou seja, infraestrutura virtual. Estão INCORRETAS: ▢ -a) I e III ▢ -b) II somente ▢ -c) II e III ▢ -d) III somente▢ -e) I somente DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial CAPÍTULO 6: NOÇÕES PRÁTICAS BÁSICAS DE SERVIÇOS EM NUVEM 6-2 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial N O Ç Õ ES P R ÁT IC A S B Á S IC A S D E S ER V IÇ O S E M N U V EM 6 6�1 FUNDAMENTOS 6.1.1 Vantagens e desvantagens das tecnologias de informação em nuvem As tecnologias em nuvem hoje se tornaram um dos tópicos mais populares no campo das tecnologias de TI. Tecnologias em nuvem - um serviço para a prestação de serviços, recursos de com- putação, aplicativos aos usuários através de acesso remoto, usando a Internet global. (Radchenko, 2012.). Não é segredo que todos os dias os produtos criados na esfe- ra de TI aumentam suas necessidades para os recursos de compu- tação que o usuário tem, o que leva o usuário a custos frequentes, muitas vezes significativos, para substituir componentes desatua- lizados e/ou insuficientemente poderosos de seu PC. Além disso, não se esqueça do software licenciado necessário para o usuário, para a compra do qual, às vezes, você precisa gastar mais dinheiro do que em atualizar recursos de computação. A computação em nuvem é uma tecnologia de processamento distribuído de dados, na qual recursos e capacidades de computador são fornecidos ao usuário como um serviço de Internet. Os serviços em nuvem forne- cidos via Internet acabam por permitir que o usuário evite custos desnecessários para um PC pessoal/de trabalho, ao mesmo tempo em que fornece todos os recursos de computação e softwares ne- cessários para o período durante o qual o usuário deseja usá-los. De acordo com um documento do IEEE publicado em 2008, “o processamento de dados em nuvem é um paradigma no qual as informações são armazenadas permanentemente em servidores na Internet e temporariamente armazenadas no lado do cliente, por exemplo, em computadores pessoais, consoles de jogos, lap- tops, smartphones, etc.” 6-3 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial N O Ç Õ ES P R ÁT IC A S B Á S IC A S D E S ER V IÇ O S E M N U V EM 6 A exclusividade do serviço em nuvem é fornecer serviços de Internet para o usuário final remotamente. Ou seja, o cliente do serviço em nuvem não precisa utilizar os recursos de computação de seu sistema para processamento de dados - essa função é re- alizada por recursos remotos, dando ao usuário o resultado dos cálculos realizados. Como resultado dessa interação entre o usuário e o serviço em nuvem, os dados que foram enviados pelo usuário para o re- curso remoto, e o resultado de seu processamento, estão sempre disponíveis para o usuário, as ações com as quais ele pode realizar tudo igual como se os dados estivessem em seu próprio computa- dor, não importa onde o usuário está, é suficiente para ele ter uma conexão com a Internet. Como regra geral, a expressão “Tudo como serviço” é apli- cada a todos os serviços prestados pela “computação em nuvem”. Os serviços em nuvem fornecem serviços de Internet aos usuários, que podem ser divididos em 3 classes principais: Infraestrutura como Serviço (Infraestrutura como Serviço, IaaS); Platafor- ma como Serviço (PaaS) Software como serviço (SaaS). Infraes- trutura como serviço – o poder de computação é alugado ao cliente remotamente, enquanto o cliente é livre para escolher tanto o sof- tware de aplicativo quanto o sistema operacional (Figura 6-1). 6-4 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial N O Ç Õ ES P R ÁT IC A S B Á S IC A S D E S ER V IÇ O S E M N U V EM 6 Figura 6-1: Infraestrutura como Serviço (IaaS) Fonte: https://www.showmetech.com.br/wp-content/uploads/ /2021/08/cloud-iaas-paas-saas-1024x500-1.png O provedor de serviços compromete-se a gerenciar apenas a infraestrutura de hardware, ou seja: manutenção e suporte do am- biente de hardware alugado ao cliente; aumento/diminuição da quantidade de poder computacional a pedido do cliente. Platafor- ma como serviço – ao contrário de “Infraestrutura como serviço”, o prestador de serviços assume não só o hardware do serviço, mas também o ambiente operacional, bem como, se desejar, o cliente e os produtos de software aplicados (Figura 6-2). 6-5 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial N O Ç Õ ES P R ÁT IC A S B Á S IC A S D E S ER V IÇ O S E M N U V EM 6 Figura 6-2: Plataforma com serviço (PaaS) Fonte: https://www.thegatewaydigital.com/wp-content/ uploads/2020/07/Platform-as-a-Service-PaaS.png As principais vantagens das tecnologias em nuvem: 9 o usuário pode acessar seus dados de qualquer lugar do mundo, se houver uma conexão com a Internet; 9 ao usar serviços em nuvem, praticamente não impor- ta para o usuário quanto poder de computação seu pró- prio computador tem; 9 espaço cliente, tendo encomendado o serviço, paga ape- nas pelo período de tempo durante o qual utiliza o serviço; 9 dimensionar recursos com base nas necessidades do usuário; 6-6 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial N O Ç Õ ES P R ÁT IC A S B Á S IC A S D E S ER V IÇ O S E M N U V EM 6 9 o provedor de serviços em nuvem, em regra, garante a confiabilidade dos recursos oferecidos - proteção de infor- mações, redundância de dados, instala fontes de alimen- tação de backup; 9 os serviços em nuvem forneceram um mercado adicional para fornecedores de produtos de software, enquanto os usuários desses produtos, não tendo recursos materiais suficientes para comprar uma licença para seu computa- dor, puderam usar software licenciado, pagando apenas pelo tempo de uso, sem recorrer a encontrar formas alter- nativas de obter software (pirataria, etc.). Figura 6-3: Plataforma com serviço (PaaS) Fonte: https://www.strategicpeople.co.uk/wp-content/ uploads/2020/08/what_is_saas_inforgraphic_1.png Com as inúmeras e significativas vantagens das tecnologias em nuvem, os usuários também podem encontrar desvantagens, sendo a principal delas listadas abaixo: como mencionado anterior- mente, para usar serviços em nuvem, você deve ter uma conexão à 6-7 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial N O Ç Õ ES P R ÁT IC A S B Á S IC A S D E S ER V IÇ O S E M N U V EM 6 Internet, o que significa que, na ausência de uma conexão, o usuá- rio não pode acessar os dados que estão com o provedor de servi- ços; o provedor de serviços se compromete a organizar a segurança e proteger os dados, no entanto, se um invasor conseguir penetrar no sistema, ele tem acesso a um enorme banco de dados; os dados do usuário armazenados em servidores remotos de provedores de serviços em nuvem podem ser perdidos, e na ausência de uma có- pia de backup, os dados serão perdidos irremediavelmente. As desvantagens das tecnologias em nuvem não devem ser esquecidas incluem a complexidade de construir grandes comple- xos de servidores interconectados, organizar sua interação, bem como conexão de banda larga, usando a qual os usuários poderão se conectar a esses recursos de computação, o que implica a neces- sidade de investir enormes quantidades de dinheiro do provedor de serviços “cloud”. A principal tarefa de cada serviço em nuvem é fornecer aos clientes recursos de computação remota, capacidades de armazenamento de dados, etc. Embora muitos usuários ainda tenham medo de usar os serviços prestados pelas “nuvens” devido a disputas sobre a confidencialidade das informações armazenadas neles, bem como proteção adequada contra intrusos, mas poucos duvidam das oportunidades e perspectivas que se abrem com tec- nologias em nuvem [19]. As tecnologias em nuvem dão aos usuários oportunidades ilimitadas no campo da tecnologia da informação, começando com tão pouco conforto, como se libertar do uso de mídias externas, pois salvar dados na “nuvem”, não importa onde você vai trabalhar com eles -no trabalho, no trabalho, em casa, durante uma viagem de negócios, e terminando com o desenvolvimento de produtos de software que requerem enormes recursos de computação. 6-8 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial N O Ç Õ ES P R ÁT IC A S B Á S IC A S D E S ER V IÇ O S E M N U V EM 6 Além disso, não se esqueça dos locais de trabalho que forne- cem “tecnologias em nuvem”, pois para colocar um grande número de plataformas de servidores em operação e sua manutenção adi- cional, são necessários especialistas treinados para trabalhar com tecnologia da informação. 6�2 Recursos em nuvem: benefícios e perspectivas de usar tecnologias em nuvem no mundo de hoje Hoje, a tecnologia da informação desempenha um papel fundamental na eficiência dos negócios. A resposta mais rápida às mudanças de mercado permite que as tecnologias em nuvem, que estão sendo rapidamente introduzidas no ambiente de TI corpo- rativo. Devido às suas vantagens, as nuvens são uma das áreas de crescimento mais dinamicamente do mercado de TI. Ao mesmo tempo, o mercado russo de nuvem já está bastante desenvolvido - todas as mudanças no mercado interno vão simultaneamente com as do mundo, e a dinâmica de crescimento está mesmo à frente. Hoje, a tecnologia da informação desempenha um papel fundamental no desempenho dos negócios. As tecnologias Сloud permitem que as mais respondam rapidamente às mudanças de mercado, que estão sendo rapidamente introduzidas no ambiente corporativo de TI. Devido às suas vantagens, as nuvens são uma das áreas que mais crescem no mercado de TI. O mercado russo de nuvem já está bastante desenvolvido – todas as mudanças no mercado interno ao mesmo tempo vão para o mundo, e até mesmo a dinâmica do crescimento à frente. O nível de confiabilidade das nuvens modernas de nível cor- porativo é muito maior do que a confiabilidade de sua própria infra- estrutura física de TI. Para garantir a continuidade dos processos 6-9 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial N O Ç Õ ES P R ÁT IC A S B Á S IC A S D E S ER V IÇ O S E M N U V EM 6 de negócios em todas as situações, um prestador de serviços pro- fissional deve reservar os componentes do sistema de informações, inclusive em data centers geodistribuídos em um nível não inferior ao Nível III. Além disso, estes podem ser data centers não apenas na Rússia, mas também no exterior, garantindo o nível máximo de disponibilidade de sistemas de informação devido à replicação de dados síncrocrons e assíncronos no nível do sistema de armazena- mento, Máquinas virtuais e aplicações. Além da redundância, para construir sua nuvem, um provedor de serviços profissional utiliza soluções comprovadas de líderes mundiais no setor de TI, forne- cendo suporte proativo de alta qualidade. Além de uma base tecnológica confiável, as nuvens hoje têm segurança de informação suficiente em todos os níveis da arquite- tura de data center virtual, tanto de acordo com as normas inter- nacionais quanto com os requisitos dos reguladores russos. Para a construção de sistemas protegidos, as ferramentas certificadas de proteção à informação são utilizadas para canais de comuni- cação, perímetro de rede, ferramentas de virtualização, sistemas operacionais, ambiente de administração de data centers virtuais, etc. Ao mesmo tempo, a possibilidade de prestação de serviços de proteção à informação é confirmada por licenças do Ministério das Comunicações, FSTEC e da FSB. Assim, usando nuvens de nível corporativo, o cliente pode estar confiante em cumprir os requisi- tos da legislação russa no campo da proteção de informações con- fidenciais e dados pessoais. Entre as vantagens das nuvens podem ser identificadas esca- labilidade e flexibilidade, ou seja, o cliente, dependendo das tarefas de negócios, pode alterar rapidamente os recursos de TI consumi- dos que são alocados para a empresa a partir do pool comum de re- cursos de computação da nuvem corporativa do provedor de servi- ços. Assim, a nuvem permite aumentar ou diminuir flexivelmente 6-10 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial N O Ç Õ ES P R ÁT IC A S B Á S IC A S D E S ER V IÇ O S E M N U V EM 6 o poder de computação e o armazenamento de dados, dependendo da sazonalidade da demanda ou das cargas de pico. No entanto, em poucos minutos, você pode criar máquinas virtuais de configura- ções arbitrárias de qualquer lugar do mundo e gerenciar a configu- ração de redes usando switches e roteadores definidos por softwa- re sem parar os processos de negócios. É importante ressaltar que o custo de propriedade da infraestrutura neste caso é determinado apenas pelo número de recursos efetivamente consumidos. Esse princípio geralmente reduz o nível dos custos da empresa para possuir a infraestrutura de TI, enquanto os próprios custos são transferidos do capital para a operação. Para diferentes necessidades de negócios, é utilizada uma ar- quitetura híbrida de sistemas de informação de nuvens privadas, corporativas e públicas, respectivamente, um grande provedor de serviços pode fornecer acesso a serviços mundiais globais, criando um canal de conexão de alta velocidade entre esses componentes da infraestrutura híbrida. As tecnologias em nuvem estão penetrando cada vez mais em todos os setores da economia, processos de negócios e esferas da vida humana. Em primeiro lugar, grandes quantidades de dados são mo- vidas para as nuvens para armazenamento, incluindo informações de usuários de diversos serviços, dados pessoais de assinantes de operadoras de telecomunicações, dados sobre pagamentos de titu- lares de cartões bancários, dados sobre compras em lojas online, informações da Internet das Coisas (IoT) e serviços de geolocali- zação, bem como conteúdo de mídia (vídeo, áudio e materiais fotográficos). Na verdade, a sistematização, processamento e análise desses dados hoje também ocorre nas nuvens (Big Data), inclusive para resolver problemas de negócios situacionais. 6-11 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial N O Ç Õ ES P R ÁT IC A S B Á S IC A S D E S ER V IÇ O S E M N U V EM 6 Nas nuvens de hoje, muitos serviços interativos são implan- tados para usuários, por exemplo, tradutores online, jogos online, pagamentos instantâneos, comunicação por vídeo, serviços de na- vegação, bibliotecas online, agregadores de música, serviços públi- cos, bem como os programas habituais para trabalhar com textos, tabelas, fotos, etc. Quanto aos negócios, agora estamos na fase de mudança de paradigma: desde a construção de TI dentro da empresa até o con- sumo de todos os tipos de serviços para atender quase qualquer necessidade da empresa a partir do ambiente em nuvem. Já hoje, as nuvens corporativas hospedam call centers, serviços de correio, sites, formulários de pedidos, bem como produtos de software para gestão eletrônica de documentos, automação de produção, logística e comércio, sistemas contábeis e tributários da empresa, e até mesmo os desktops dos funcionários para o trabalho remo- to (VDI). Se falarmos de indústrias individuais, então desenvolvi- mento e testes de software, plataformas de comércio eletrônico, telecomunicações, logística, design e engenharia, bem como toda uma direção de negócios de startups de Internet, pesquisa cientí- fica (processamento de metadados) e educação a distância se moveram para as nuvens em maior medida. Em um futuro muito próximo, será possível observar uma transferência significativa de aplicações críticas aos negócios para as nuvens de empresas bancá- rias e financeiras, organizações de saúde, complexo de combustível e energia e agências governamentais. Os próprios ambientes virtualizados se conectarão cada vez mais às infraestruturas globais de nuvem geodistribuída. Assim, as empresas de exportação e rede podem encomendar serviços de 6-12 ArquiteturasDisruptivas, IOT, Big Data e Inteligência Artificial N O Ç Õ ES P R ÁT IC A S B Á S IC A S D E S ER V IÇ O S E M N U V EM 6 TI em todo o mundo a partir de um ponto local, enquanto têm um alto nível de qualidade de suporte técnico do provedor de serviços. De acordo com nossas estimativas, em geral, as tecnologias em nuvem afetarão significativamente o desenvolvimento de todo o mercado de TI, que, por sua vez, terá impacto na aceleração dos processos de negócios e na vida humana. As tendências de terceirização de ti se intensificarão, incluin- do recursos de computação (Infraestrutura como serviço), sistemas de armazenamento (Armazenamento como serviço), serviços de recuperação de dados (Serviço de Recuperação de Desastres), serviços de segurança da informação, software de as- sinatura (Software como serviço), administração, etc. De acor- do com nossas previsões, por vários anos observaremos um cres- cimento intensivo do mercado de serviços em nuvem - pelo menos 25-30% ao ano, inclusive em regiões remotas, esse processo estará associado à penetração da Internet de alta velocidade. Ao mesmo tempo, a participação das tecnologias em nuvem nas arquiteturas híbridas dos sistemas de informação das empresas aumentará, à medida que a expertise no uso de nuvens, o número de casos de ne- gócios bem-sucedidos e, consequentemente, o nível de confiança se acumulará. À medida que o uso de nuvens se expande, a deman- da por soluções seguras de nuvem privada aumentará. Em geral, as nuvens se desenvolverão na direção das tendên- cias globais, inclusive dos provedores de serviços. Serviços, tecno- logias e SLAs serão padronizados, documentos regulatórios que regulam o setor serão formados por parte do Estado e, do ponto de vista tecnológico, as nuvens serão cada vez mais produtivas (a ve- locidade máxima da computação ao processar uma enor- me quantidade de informações) e menos caras. 6-13 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial N O Ç Õ ES P R ÁT IC A S B Á S IC A S D E S ER V IÇ O S E M N U V EM 6 Há outro lado do desenvolvimento de tecnologias em nuvem: o crescimento exponencial dos dados – a maior parte das informa- ções armazenadas cairá sobre cópias de arquivo que não estarão em demanda e não serão excluídas. Quanto ao longo prazo, o desenvolvimento de serviços em nuvem estará associado à introdução de sistemas de machine le- arning: inteligência artificial, redes neurais, realidade aumentada, bem como interfaces neurais, teletransporte quântico, etc. Assim, o conceito de computação em neblina já está em desenvolvimen- to profundo, que envolve o uso para armazenar e analisar dados não os nós centrais da rede de data centers, mas os recursos de um grande número de distribuição geográfica dispositivos pessoais (PCs, tablets, gadgets, drones, eletrodomésticos, etc.), na verdade, implementando o princípio de distribuir poder computa- cional para quase todos os dispositivos ao nosso redor. 6-14 � EXERCÍCIOS PROPOSTOS 01 Observe as afirmações abaixo: I) As tecnologias em nuvem hoje se tornaram um dos tópicos mais popula- res no campo das tecnologias de TI. II) Não é segredo que todos os dias os produtos criados na esfera de TI au- mentam suas necessidades para os recursos de computação que o usuário tem, o que leva o usuário a custos frequentes, muitas vezes significativos, para substituir componentes desatualizados e/ou insuficientemente podero- sos de seu PC. III) A computação em nuvem é uma tecnologia de processamento distri- buído de dados, na qual recursos e capacidades de computador não são fornecidos aos usuários. Estão CORRETAS: ▢ -a) I e II ▢ -b) I e III ▢ -c) III somente ▢ -d) II e III ▢ -e) II somente 02 De acordo com um documento do IEEE publicado em 2008, “o processa- mento de dados em nuvem é: ▢ -a) O usuário pode acessar seus dados de qualquer lugar do mun- do, se houver uma conexão com a Internet; ▢ -b) Ao usar serviços em nuvem, praticamente não importa para o usuário quanto poder de computação seu próprio compu- tador tem; ▢ -c) O cliente, tendo encomendado o serviço, paga apenas pelo pe- ríodo de tempo durante o qual utiliza o serviço; ▢ -d) O provedor de serviços em nuvem, em regra, garante a con- fiabilidade dos recursos oferecidos - proteção de informações, EX ER C ÍC IO S P R O P O S TO S 6-15 redundância de dados, instala fontes de alimentação de backup; ▢ -e) Um paradigma no qual as informações são armazenadas per- manentemente em servidores na Internet e temporariamente armazenadas no lado do cliente, por exemplo, em computa- dores pessoais, consoles de jogos, laptops, smartphones, etc.” 03 Observe as afirmações abaixo: I) A exclusividade do serviço em nuvem é fornecer serviços de Internet para o usuário final remotamente. II) Como regra geral, a expressão “Tudo como serviço” é aplicada a todos os serviços prestados pela “computação em nuvem”. III) Os serviços em nuvem fornecem serviços de Internet aos usuários, que podem ser divididos em 2 classes principais: Infraestrutura como Serviço (Infraestrutura como Serviço, IaaS) e Plataforma como Serviço (PaaS). Estão INCORRETAS: ▢ -a) II e III ▢ -b) III somente ▢ -c) I e III ▢ -d) II somente ▢ -e) I e II 04 O provedor de serviços compromete-se a gerenciar apenas a infraestru- tura de hardware, ou seja: ▢ -a) O provedor de serviços em nuvem, em regra, garante a con- fiabilidade dos recursos oferecidos - proteção de informa- ções, redundância de dados, instala fontes de alimentação de backup; ▢ -b) O usuário pode acessar seus dados de qualquer lugar do mun- do, se houver uma conexão com a Internet; ▢ -c) Manutenção e suporte do ambiente de hardware alugado ao cliente; aumento/diminuição da quantidade de poder compu- tacional a pedido do cliente. ▢ -d) O cliente, tendo encomendado o serviço, paga apenas pelo pe- ríodo de tempo durante o qual utiliza o serviço; EX ER C ÍC IO S P R O P O S TO S 6-16 ▢ -e) Um paradigma no qual as informações são armazenadas per- manentemente em servidores na Internet e temporariamente armazenadas no lado do cliente. 05 É considerado uma das principais vantagens das tecnologias em nuvem: ▢ -a) Um paradigma no qual as informações são armazenadas per- manentemente em servidores na Internet e temporariamente armazenadas no lado do cliente. ▢ -b) O usuário pode acessar seus dados de qualquer lugar do mun- do, se houver uma conexão com a Internet; ▢ -c) O provedor de serviços compromete-se a gerenciar apenas a infraestrutura de hardware, ou seja: manutenção e suporte do ambiente de hardware alugado ao cliente; ▢ -d) O serviço em nuvem, os dados que foram enviados pelo usuá- rio para o recurso remoto, e o resultado de seu processamen- to, estão sempre disponíveis para o usuário, as ações com as quais ele pode realizar tudo igual como se os dados estives- sem em seu próprio computador. ▢ -e) O usuário pode acessar seus dados de qualquer lugar do mun- do, se houver uma conexão com a Internet. 06 Observe as afirmações abaixo: I) Com as inúmeras e significativas vantagens das tecnologias em nuvem, os usuários também podem encontrar desvantagens. II) As desvantagens das tecnologias em nuvem não devem ser esquecidas incluem a complexidade de construir grandes complexos de servidores in- terconectados, organizar sua interação. III) A principal tarefa de cada serviço em nuvem é não fornecer aos clientes re- cursos de computação remota e nem capacidades de armazenamento de dados. Estão CORRETAS: ▢ -a) I e II ▢ -b) II somente ▢ -c) II e III ▢ -d) III somente ▢ -e) I somente EX ER C ÍC IO S P R O P O S TO S 6-17 07 Hoje, a tecnologia da informação desempenha um papel fundamental na eficiência dos negócios. A resposta mais rápida às mudanças de merca- do permite que as tecnologias em nuvem, que estão sendo rapidamente introduzidas no ambiente de: ▢ -a) Сloud ▢ -b) Geodistribuídos ▢ -c) Síncrocrons ▢ -d) FSTEC ▢ -e) TI corporativo 08 O nível deconfiabilidade das nuvens modernas de nível corporativo é muito maior do que a confiabilidade de sua própria infraestrutura física de TI. Para garantir a continuidade dos processos de negócios em to- das as situações, um prestador de serviços profissional deve reservar os componentes do sistema de informações, inclusive em data centers geodistribuídos em um nível não inferior ao Nível: ▢ -a) I ▢ -b) II ▢ -c) III ▢ -d) IV ▢ -e) V 09 Para a construção de sistemas protegidos, as ferramentas certificadas de proteção à informação são utilizadas para canais de comunicação: ▢ -a) Perímetro de rede, ferramentas de virtualização, sistemas operacionais, ambiente de administração de data centers vir- tuais, etc. ▢ -b) Paradigma no qual as informações são armazenadas perma- nentemente em servidores na Internet e temporariamente ar- mazenadas no lado do cliente. ▢ -c) Manutenção e suporte do ambiente de hardware alugado ao cliente; aumento/diminuição da quantidade de poder compu- tacional a pedido do cliente. EX ER C ÍC IO S P R O P O S TO S 6-18 ▢ -d) O cliente, tendo encomendado o serviço, paga apenas pelo pe- ríodo de tempo durante o qual utiliza o serviço; ▢ -e) Ao usar serviços em nuvem, praticamente não importa para o usuário quanto poder de computação seu próprio compu- tador tem; 10 Observe as afirmações abaixo: I) As tendências de terceirização de ti se intensificarão, incluindo recursos de computação (Infraestrutura como serviço), sistemas de armazenamento (Armazenamento como serviço), serviços de recuperação de dados (Serviço de Recuperação de Desastres), serviços de segurança da informação, sof- tware de assinatura (Software como serviço), administração, etc. II) Serviços, tecnologias e SLAs serão padronizados, documentos regulató- rios que regulam o setor serão formados por parte do Estado e, do ponto de vista tecnológico, as nuvens serão cada vez mais produtivas (a velocidade máxima da computação ao processar uma enorme quantidade de informa- ções) e menos caras. III) Há outro lado do desenvolvimento de tecnologias em nuvem: o cresci- mento exponencial dos dados – a maior parte das informações armazenadas cairá sobre cópias de arquivo que estarão em demanda e serão excluídas. Estão INCORRETAS: ▢ -a) I e II ▢ -b) II somente ▢ -c) III somente ▢ -d) II e III ▢ -e) I e III DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial UNIDADE 4: FUNDAMENTOS DE BIG DATA Caro(a) Aluno(a) Seja bem-vindo(a)! Nesta quarta unidade, daremos orientações sobre fundamentos de Big Data e suas particularidades, além de seus usos em ambientes reais. Conteúdos da Unidade Neste capítulo, iremos abordar sobre os fundamentos da tecnologia de Big Data, bem como suas particularidades técnicas incluindo conceitos, fundamentos, aplicabilidade e funcionamento. 9 Conceitos e Definições de Big Data; 9 Funcionamento e Aplicabilidade da Big Data. Acompanhe os conteúdos desta unidade. Se preferir, vá assinalando os assuntos, à medida que for estudando. Bons estudos!!! DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial CAPÍTULO 7: CONCEITOS E DEFINIÇÕES DE BIG DATA 7-3 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E B IG D AT A 7 7�1 FUNDAMENTOS A partir do nome, podemos supor que o termo “big data” se refere simplesmente à gestão e análise de grandes quantidades de dados. De acordo com a big data do Instituto McKinsey: A próxi- ma fronteira para inovação, concorrência e produtividade, o termo “big data” refere-se a conjuntos de dados maiores do que a capaci- dade de bancos de dados típicos de capturar, armazenar, gerenciar e analisar informações. E os repositórios de dados do mundo cer- tamente continuam a crescer. O Estudo do Universo Digital de Me- ados de 2011 da IDC, patrocinado pela EMC, previu que a quanti- dade global total de dados criados e replicados em 2011 poderia ser de cerca de 1,8 zettabytes (1,8 trilhão de gigabytes) — cerca de 9 vezes mais do que foi criado em 2006. No entanto, “big data” envolve mais do que apenas anali- sar enormes quantidades de informações. O problema não é que as organizações criem grandes quantidades de dados, mas que a maioria deles é apresentada em um formato que não corresponde bem ao formato tradicional de banco de dados estruturado, como registros web, gravações de vídeo, documentos de texto, código de máquina ou, por exemplo, dados geoespaciais. Tudo isso é arma- zenado em uma grande variedade de repositórios, às vezes até fora da organização. Como resultado, as corporações podem ter acesso a uma enorme quantidade de seus dados e não ter as ferramentas necessárias para estabelecer relações entre esses dados e tirar con- clusões significativas deles. Some-se a isso o fato de que os dados agora são atualizados cada vez mais, e você tem uma situação em que os métodos tradicionais de análise de informações não po- dem acompanhar enormes quantidades de dados constantemen- te atualizados, o que acaba por abrir caminho para tecnologias de big data. 7-4 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E B IG D AT A 7 Em essência, o conceito de big data implica trabalhar com informações de um volume enorme e composição diversificada, muitas vezes atualizadas e localizadas em diferentes fontes, a fim de aumentar a eficiência, criar novos produtos e aumentar a com- petitividade. A consultoria Forrester faz uma breve formulação: “O big data combina técnicas e tecnologias que extraem significado a partir de dados no limite extremo da praticidade”. 7�2 Excursão à história e estatística A frase “big data” apareceu em 2008 com a mão leve de Cli- fford Lynch. Em uma edição especial da revista Nature, o espe- cialista chamou o crescimento explosivo dos fluxos de informação - big data. Nele, ele incluiu quaisquer matrizes de dados heterogê- neos acima de 150 GB por dia. A partir dos cálculos estatísticos das agências analíticas em 2005, o mundo operou com 4-5 exabytes de informação (4-5 bi- lhões de gigabytes), após 5 anos o volume de big data cresceu para 0,19 zettabytes (1 ZB = 1024 EB). Em 2012, os indicadores aumentaram para 1,8 ZB, e em 2015 - para 7 ZB. Especialistas prevêem que até 2020 os sistemas de big data operarão de 42 a 45 zettabytes de informações. Mastodons do negócio digital - Microsoft, IBM, Oracle, EMC e outros - aderiram ao desenvolvimento da nova direção. Desde 2014, o big data é estudado em universidades, introduzido em ciências aplicadas - engenharia, física, sociologia. 7-5 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E B IG D AT A 7 7�3 Business Intelligence e big data Craig Bati, Diretor de Marketing e Diretor de Tecnologia da Fujitsu Australia, apontou que a análise de negócios é um processo descritivo de analisar os resultados alcançados por uma empresa ao longo de um período de tempo, enquanto a velocidade de processa- mento de big data permite que você faça a análise preditiva, capaz de oferecer as recomendações de negócios para o futuro. As tecno- logias de big data também permitem analisar mais tipos de dados em comparação com as ferramentas de business intelligence, o que torna possível focar não apenas no armazenamento estruturado. Matt Slocum, do O’Reilly Radar, acredita que, embora o big data e a inteligência de negócios tenham o mesmo propósito (en- contrar respostas para uma pergunta), eles diferem um do outro de três maneiras: ● O big data foi projetado para processar quantidades mais significativas de informações do que a inteligência de ne- gócios, e isso certamente está em linha com a definição tradicional de big data. ● O big data foi projetado para lidar com informações mais rápidas e rápidas, o que significa exploração e interativi- dade profundas. Em alguns casos, osresultados são ge- rados mais rapidamente do que uma página web carrega. ● O big data foi projetado para processar dados não estru- turados, as maneiras pelas quais só estamos começando a aprender depois de termos sido capazes de colecioná-los e armazená-los, e precisamos de algoritmos e da capacida- de de nos comunicar para facilitar a busca por tendências contidas nessas matrizes. 7-6 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E B IG D AT A 7 De acordo com o white paper da Oracle, Oracle Information Architecture: An Architect’s Guide to Big Data, abordamos as in- formações de forma diferente quando trabalhamos com big data do que ao realizar análises de negócios. Trabalhar com big data não é como o processo usual de busi- ness intelligence, onde uma simples adição de valores conhecidos traz resultados: por exemplo, o resultado da adição de dados em faturas pagas torna-se o volume de vendas para o ano. Ao trabalhar com big data, o resultado é obtido no processo de sua purificação por modelagem sequencial: primeiro, uma hipótese é apresentada, um modelo estatístico, visual ou semântico é construído, com base na correção da hipótese apresentada é verificada e, em seguida, a próxima é apresentada. Esse processo exige que o pesquisador in- terprete valores visuais ou construa consultas interativas com base no conhecimento, ou desenvolva algoritmos adaptativos de “ma- chine learning” capazes de obter o resultado desejado. Além disso, a vida útil de tal algoritmo pode ser bastante curta. 7�4 Técnicas de Análise de Big Data Existem muitos métodos diferentes de análise de conjuntos de dados, que são baseados em ferramentas emprestadas de es- tatística e ciência da computação (por exemplo, machine le- arning). A lista não afirma estar completa, mas reflete as abor- dagens mais populares em várias indústrias. Ao mesmo tempo, deve-se entender que os pesquisadores continuam trabalhando na criação de novos métodos e na melhoria dos já existentes. Além disso, algumas dessas técnicas não são necessariamente aplicá- veis exclusivamente à big data e podem ser usadas com sucesso para matrizes menores (por exemplo, testes A/B, análise de 7-7 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E B IG D AT A 7 regressão). Naturalmente, quanto mais volumoso e diversificado o array for analisado, mais precisos e relevantes os dados podem ser obtidos na saída: ● Teste A/B. Uma técnica na qual uma amostra de controle é alternadamente comparada com outras. Assim, é possí- vel identificar a combinação ideal de indicadores para al- cançar, por exemplo, a melhor resposta dos consumidores a uma oferta de marketing. O big data permite que você realize um grande número de iterações e, assim, obtenha um resultado estatisticamente confiável. ● A associação governa o aprendizado. Um conjunto de téc- nicas de identificação de relacionamentos, ou seja, regras associativas, entre variáveis em grandes conjuntos de da- dos. É usado na mineração de dados. ● Classificação: Um conjunto de técnicas que permitem prever o comportamento dos consumidores em um deter- minado segmento do mercado (decisões de compra, saí- da, consumo, etc.). É usado na mineração de dados. ● Análise de cluster: Um método estatístico de classificar objetos em grupos, identificando características comuns desconhecidas com antecedência. É usado na mineração de dados. ● Crowdsourcing: Metodologia para coleta de dados de um grande número de fontes. ● Fusão de dados e integração de dados: Um conjun- to de técnicas que permite analisar os comentários dos usuários das redes sociais e comparar com os resultados de vendas em tempo real. ● Mineração de dados: Um conjunto de técnicas que permite determinar as categorias mais suscetíveis dos 7-8 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E B IG D AT A 7 consumidores para o produto ou serviço promovido, identi- ficar as características dos funcionários mais bem sucedidos, para prever o modelo comportamental dos consumidores. ● Aprendizado de conjunto: Nesse método, muitos mo- delos predicativos estão envolvidos, devido ao qual a qua- lidade das previsões fez aumentar. ● Algoritmos genéticos: Nesta técnica, possíveis solu- ções são apresentadas na forma de “cromossomos” que podem combinar e mutar. Como no processo de evolução natural, o indivíduo mais apto sobrevive. ● Aprendizado de máquina: A direção em ciência da com- putação (historicamente foi atribuída ao nome “inteligência artificial”), que busca o objetivo de criar algoritmos de au- toaprendimento com base na análise de dados empíricos. ● Processamento de linguagem natural (PNL): Um conjunto de técnicas emprestadas da ciência da computa- ção e da linguística para reconhecer a linguagem natural de uma pessoa. ● Análise de rede: Um conjunto de técnicas para anali- sar as relações entre nós nas redes. Em relação às redes sociais, permite analisar as relações entre usuários indivi- duais, empresas, comunidades, etc. ● Otimização: Um conjunto de métodos numéricos para redesenhar sistemas e processos complexos para melho- rar um ou mais indicadores. Auxilia na tomada de deci- sões estratégicas, por exemplo, na composição da linha de produtos que está sendo lançada no mercado, realizando análises de investimentos, etc. 7-9 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E B IG D AT A 7 ● Reconhecimento de padrões: Um conjunto de técni- cas com elementos de autoaprendito para prever o mode- lo comportamental dos consumidores. ● Modelagem preditiva: Um conjunto de técnicas que permitem criar um modelo matemático antes de um de- terminado cenário provável. Por exemplo, a análise do banco de dados do sistema de CRM para possíveis condi- ções que pressionarão os assinantes a alterar o provedor. ● Regressão: Um conjunto de métodos estatísticos para identificar padrões entre uma mudança em uma variável dependente e uma ou mais variáveis independentes. É frequentemente usado para previsões e previsões. É usa- do na mineração de dados. ● Análise de sentimentos: No centro dos métodos de avaliação dos sentimentos dos consumidores estão as tecnologias para reconhecer a linguagem natural de uma pessoa. Eles permitem que você isole das mensagens ge- rais de fluxo de informações relacionadas ao assunto de interesse (por exemplo, um produto de consumo). Em seguida, avalie a polaridade do julgamento (positivo ou negativo), o grau de emoção, etc. ● Processamento de sinal: Um conjunto de técnicas emprestadas da engenharia de rádio, que busca o objetivo de reconhecer um sinal em um contexto de ruído e sua análise posterior. ● Análise espacial: Um conjunto de métodos para anali- sar dados espaciais, parcialmente emprestados das esta- tísticas - a topologia do terreno, coordenadas geográficas, geometria dos objetos. A fonte de big data neste caso é, muitas vezes, sistemas de informação geográfica (SIG). 7-10 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E B IG D AT A 7 ● Estatísticas: A ciência da coleta, organização e interpre- tação de dados, incluindo o desenvolvimento de questio- nários e a realização de experimentos. Métodos estatísti- cos são frequentemente usados para julgamentos de valor sobre as relações entre certos eventos. ● Aprendizado supervisionado: Um conjunto de técni- cas baseadas em tecnologias de aprendizado de máquina que permitem identificar relações funcionais nos conjun- tos de dados analisados. ● Simulação: Modelar o comportamento de sistemas complexos é frequentemente usado para prever, prever e trabalhar vários cenários no planejamento. ● Análise da série temporal: Um conjuntode métodos emprestados de estatísticas e processamento de sinal digi- tal para análise de sequências repetitivas de dados ao lon- go do tempo. Uma aplicação óbvia é acompanhar o mer- cado de valores mobiliários ou a morbidade dos pacientes. ● Aprendizado não supervisionado: Um conjunto de técnicas baseadas em tecnologias de aprendizado de má- quina que permitem identificar relações funcionais ocul- tas nos conjuntos de dados analisados. Tem semelhanças com análise de cluster. ● Visualização: Métodos para representar graficamente os resultados da análise de big data na forma de diagra- mas ou imagens animadas para simplificar a interpreta- ção e facilitar a compreensão dos resultados obtidos. A representação visual dos resultados da análise de big data é de fundamental importância para sua interpretação. Não é se- gredo que a percepção humana é limitada, e os cientistas conti- nuam a realizar pesquisas no campo de melhoria dos métodos 7-11 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E B IG D AT A 7 modernos de apresentação de dados na forma de imagens, diagra- mas ou animações. 7�5 Ferramentas Analíticas Para 2011, algumas das abordagens listadas na subseção an- terior, ou uma certa combinação delas, possibilitam a implementa- ção de motores analíticos para trabalhar com big data na prática. Dos sistemas gratuitos ou relativamente baratos de análise de big data abertos, podemos recomendar: 9 1010 dados; 9 Apache Chukwa; 9 Apache Hadoop; 9 Colmeia Apache; 9 Porco Apache. 9 Jaspersoft; 9 LexisNexis Risk Solutions HPCC Systems; 9 MapReduce; 9 Revolution Analytics (baseado na linguagem R para esta- tísticas matemáticas). De particular interesse nesta lista está o Apache Hadoop, um software de código aberto que foi testado como um analisador de dados pela maioria dos rastreadores de ações nos últimos cinco anos. Assim que o Yahoo abriu o código Hadoop para a comuni- dade de código aberto, a indústria de TI imediatamente teve toda uma direção de criar produtos baseados em Hadoop. Quase todas as ferramentas modernas de análise de big data fornecem ferra- mentas para integração com o Hadoop. Seus desenvolvedores são start-ups e empresas mundiais bem conhecidas. 7-12 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E B IG D AT A 7 7�6 Mitos e informações relevantes sobre Big Data Uma nota de pesquisa de outono de 2014 do Gartner lista uma série de mitos comuns entre os CIOs sobre Big Data e os refuta. 7.6.1 Todos implementam sistemas de processamento de Big Data mais rápido do que nós O interesse em tecnologias de Big Data está em alta: em 73% das organizações pesquisadas por analistas do Gartner este ano, elas já estão investindo em projetos relevantes ou serão montadas. Mas a maioria dessas iniciativas ainda está nos estágios iniciais, e apenas 13% dos entrevistados já implementaram tais soluções. A coisa mais difícil é determinar como extrair renda do Big Data, para decidir por onde começar. Muitas organizações ficam presas na fase piloto porque não conseguem vincular a nova tecnologia a processos de negócios específicos. 7.6.2 Temos tantos dados que não há necessidade de se preocupar com pequenos erros nele Alguns líderes de TI acreditam que pequenas falhas nos dados não afetam os resultados globais da análise de grandes vo- lumes. Quando há muitos dados, cada erro individualmente real- mente afeta menos o resultado, dizem os analistas, mas os próprios erros se tornam mais. Além disso, a maioria dos dados analisados é externa, de estrutura ou origem desconhecida, de modo que a probabilidade de erros aumenta. Então, no mundo do Big Data, a qualidade é realmente muito mais importante. 7-13 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E B IG D AT A 7 7.6.3 Tecnologias de Big Data eliminarão a necessidade de integração de dados O Big Data promete a capacidade de processar dados em seu formato original com a modelagem automática de esquemas à medida que são lidos. Acredita-se que isso permitirá analisar informações das mesmas fontes usando vários modelos de dados. Muitos acreditam que ele também permitirá que os usuários finais interpretem qualquer conjunto de dados como quiserem. Na re- alidade, a maioria dos usuários muitas vezes precisa do método tradicional com um esquema pronto, onde os dados são formata- dos adequadamente, e há acordos sobre o nível de integridade das informações e como ela deve se relacionar com o caso de uso. 7.6.4 Não adianta usar data warehouses para análises complexas Muitos administradores de sistemas de gerenciamento de informações acreditam que não faz sentido gastar tempo criando um data warehouse, dado que sistemas analíticos complexos se aproveitam de novos tipos de dados. Na verdade, muitos sistemas de análise sofisticados usam informações de um data warehouse. Em outros casos, novos tipos de dados precisam ser preparados adicionalmente para análise em sistemas de processamento de Big Data; decisões devem ser tomadas sobre a adequação dos dados, os princípios da agregação e o nível de qualidade necessário — esse provisionamento pode ocorrer fora do armazenamento. 7.6.5 Os data warehouses serão substituídos por lagos de dados Na realidade, os fornecedores enganam os clientes posicio- nando os lagos de dados como substitutos para o armazenamento 7-14 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E B IG D AT A 7 ou como elementos críticos de uma infraestrutura de análise. As tecnologias subjacentes dos lagos de dados carecem da maturidade e amplitude da funcionalidade inerente ao armazenamento. Por- tanto, os gestores responsáveis pela gestão de dados devem espe- rar até que os lagos atinjam o mesmo nível de desenvolvimento, segundo o Gartner. 7-15 � EXERCÍCIOS PROPOSTOS 01 Observe as afirmações abaixo: I) De acordo com a big data do Instituto McKinsey: A próxima fronteira para inovação, concorrência e produtividade, o termo “big data” refere-se a con- juntos de dados maiores do que a capacidade de bancos de dados típicos de capturar, armazenar, gerenciar e analisar informações. II) O Estudo do Universo Digital de Meados de 2011 da IDC, patrocinado pela MCE, previu que a quantidade global total de dados criados e replicados em 2011 poderia ser de cerca de 1,8 zettabytes (1,8 trilhão de gigabytes) — cerca de 9 vezes mais do que foi criado em 2006. III) Em essência, o conceito de big data implica trabalhar com informações de um volume enorme e composição diversificada, muitas vezes atualizadas e localizadas em diferentes fontes, a fim de aumentar a eficiência, criar no- vos produtos e aumentar a competitividade. Estão INCORRETAS: ▢ -a) I e II ▢ -b) II e III ▢ -c) II somente ▢ -d) I somente ▢ -e) I e III 02 Matt Slocum, do O’Reilly Radar, acredita que, embora o big data e a inteligência de negócios tenham o mesmo propósito (encontrar respostas para uma pergunta), eles diferem um do outro de três maneiras. Uma delas foi: ▢ -a) Projetado para lidar com informações mais rápidas e rápidas, o que significa exploração e interatividade profundas. Em al- guns casos, os resultados são gerados mais rapidamente do que uma página web carrega. EX ER C ÍC IO S P R O P O S TO S 7-16 ▢ -b) Um conjunto de técnicas de identificação de relacionamentos, ou seja, regras associativas, entre variáveis em grandes con- juntos de dados. ▢ -c) Uma técnica na qual uma amostra de controle é alternada- mente comparada com outras. ▢ -d) Um método estatístico de classificar objetos em grupos, identificando características comuns desconhecidas com antecedência. ▢ -e) Metodologia para coleta de dados de um grande número de fontes. 03 Observe as afirmações abaixo: I) De acordo com owhite paper da Oracle, Oracle Information Architectu- re: An Architect’s Guide to Big Data, abordamos as informações de forma diferente quando trabalhamos com big data do que ao realizar análises de negócios. II) Trabalhar com big data é como o processo usual de business intelligen- ce, onde uma simples adição de valores conhecidos traz resultados: por exemplo, o resultado da adição de dados em faturas pagas torna-se o volu- me de vendas para o ano. III) Ao trabalhar com big data, o resultado é obtido no processo de sua purificação por modelagem sequencial: primeiro, uma hipótese é apresen- tada, um modelo estatístico, visual ou semântico é construído, com base na correção da hipótese apresentada é verificada e, em seguida, a próxima é apresentada. Estão CORRETAS: ▢ -a) I e II ▢ -b) I e III ▢ -c) III somente ▢ -d) II e III ▢ -e) III somente EX ER C ÍC IO S P R O P O S TO S 7-17 04 Um conjunto de técnicas que permite determinar as categorias mais sus- cetíveis dos consumidores para o produto ou serviço promovido, identifi- car as características dos funcionários mais bem sucedidos, para prever o modelo comportamental dos consumidores. Estamos falando de: ▢ -a) Algoritmos genéticos ▢ -b) Processamento de linguagem natural (PNL). ▢ -c) Análise de rede ▢ -d) Otimização ▢ -e) Mineração de dados 05 Podemos conceituar Teste A/B como: ▢ -a) Um conjunto de técnicas de identificação de relacionamentos, ou seja, regras associativas, entre variáveis em grandes con- juntos de dados. ▢ -b) Um conjunto de técnicas emprestadas da ciência da compu- tação e da linguística para reconhecer a linguagem natural de uma pessoa. ▢ -c) Um conjunto de técnicas para analisar as relações entre nós nas redes. ▢ -d) Uma técnica na qual uma amostra de controle é alternada- mente comparada com outras. ▢ -e) Um conjunto de técnicas que permitem prever o comporta- mento dos consumidores em um determinado segmento do mercado (decisões de compra, saída, consumo, etc.). 06 Dos sistemas gratuitos ou relativamente baratos de análise de big data abertos, podemos recomendar um deles que é: ▢ -a) Apache Chukwa; ▢ -b) 1012 Dados; ▢ -c) TI ▢ -d) Big ▢ -e) CIOs EX ER C ÍC IO S P R O P O S TO S 7-18 07 Observe as afirmações abaixo: I) Uma nota de pesquisa de outono de 2014 do Gartner lista uma série de mitos comuns entre os CIOs sobre Big Data e os refuta. II) O interesse em tecnologias de Big Data está em alta: em 73% das orga- nizações pesquisadas por analistas do Gartner este ano, elas já estão inves- tindo em projetos relevantes ou serão montadas. III) A coisa mais fácil é determinar como extrair renda do Big Data, para decidir por onde começar. Estão INCORRETAS: ▢ -a) I e III ▢ -b) II somente ▢ -c) III somente ▢ -d) I e II ▢ -e) I somente 08 Promete a capacidade de processar dados em seu formato original com a modelagem automática de esquemas à medida que são lidos. Estamos falando sobre: ▢ -a) Big Data ▢ -b) Warehouses ▢ -c) Gartner ▢ -d) MapReduce; ▢ -e) Apache Hadoop 09 Podemos conceituar Processamento de linguagem natural (PNL) como: ▢ -a) A ciência da coleta, organização e interpretação de dados, in- cluindo o desenvolvimento de questionários e a realização de experimentos. ▢ -b) Um conjunto de métodos para analisar dados espaciais, par- cialmente emprestados das estatísticas - a topologia do terre- no, coordenadas geográficas, geometria dos objetos. EX ER C ÍC IO S P R O P O S TO S 7-19 ▢ -c) Um conjunto de técnicas emprestadas da engenharia de rá- dio, que busca o objetivo de reconhecer um sinal em um con- texto de ruído e sua análise posterior. ▢ -d) Um conjunto de técnicas emprestadas da ciência da compu- tação e da linguística para reconhecer a linguagem natural de uma pessoa. ▢ -e) A direção em ciência da computação (historicamente foi atri- buída ao nome “inteligência artificial”), que busca o objetivo de criar algoritmos de autoaprendimento com base na análise de dados empíricos. 10 Um conjunto de técnicas emprestadas da engenharia de rádio, que busca o objetivo de reconhecer um sinal em um contexto de ruído e sua análise posterior. Estamos falando de: ▢ -a) Processamento de sinal ▢ -b) Estatísticas ▢ -c) Análise da série temporal ▢ -d) Visualização ▢ -e) Otimização DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial CAPÍTULO 8: FUNCIONAMENTO E APLICABILIDADE DA BIG DATA 8-2 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N C IO N A M EN TO E A P LI C A B IL ID A D E D A B IG D AT A 8 8�1 FUNDAMENTOS 8.1.1 Como funciona a tecnologia de big data? Para designar uma série de informações com o prefixo “gran- de”, ele deve ter as seguintes características: Figura 8-1: Funcionamento da tecnologia Big Data Fonte: https://blog.accurate.com.br/wp-content/ uploads/2020/08/INFO_svg-1-scaled.jpg 8.1.1.1 Regra VVV Volume: os dados são medidos pelo tamanho físico e espa- ço ocupado em um meio digital. O “grande” inclui matrizes acima de 150 GB por dia. Velocidade: as informações são atualizadas regularmente e tecnologias inteligentes de big data são necessárias para processa- mento em tempo real. 8-3 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N C IO N A M EN TO E A P LI C A B IL ID A D E D A B IG D AT A 8 Variedade: informações em matrizes podem ter formatos he- terogêneos, ser estruturadas parcialmente, completamente e acumu- lar por acaso. Por exemplo, as redes sociais usam big data na forma de textos, vídeo, áudio, transações financeiras, fotos e outras coisas. Nos sistemas modernos, dois fatores adicionais são considerados: Variabilidade: fluxos de dados podem ter picos e cochos, sazonalidade, periodicidade. Rajadas de informações não estru- turadas são difíceis de gerenciar, exigindo poderosas tecnologias de processamento. Valor: as informações podem ter dificuldades variadas de perceber e processar, dificultando o funcionamento de sistemas in- teligentes. Por exemplo, uma série de mensagens de redes sociais é uma camada de dados, e as operações transacionais são outras. A tarefa das máquinas é determinar o grau de importância das infor- mações recebidas, a fim de estruturar rapidamente. O princípio de operação da tecnologia de big data baseia-se no máximo informando ao usuário sobre qualquer objeto ou fenô- meno. A tarefa de tal familiarização com os dados é ajudar a pesar todos os prós e contras para tomar a decisão certa. Em máquinas inteligentes, um modelo do futuro é construído com base em uma série de informações, e então várias opções são simuladas e os re- sultados são rastreados. Agências analíticas modernas executam milhões de simula- ções semelhantes quando testam uma ideia, uma suposição ou re- solvem um problema. O processo é automatizado. As fontes de big data incluem: 9 Internet: blogs, redes sociais, sites, mídia e diver- sos fóruns; 8-4 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N C IO N A M EN TO E A P LI C A B IL ID A D E D A B IG D AT A 8 9 Informações corporativas: arquivos, transações, bancos de dados; 9 Leituras de dispositivos de leitura: instrumentos meteorológicos, sensores de comunicação celular e outros. Os princípios de trabalhar com conjuntos de dados incluem três fatores principais: 9 Extensibilidade do sistema: Geralmente é entendido como a escalabilidade horizontal dos portadores de infor- mações. Ou seja, o volume de dados recebidos aumentou - a capacidade e o número de servidores para seu armaze- namento aumentaram; 9 Resiliência: É possível aumentar o número de mídias digitais, máquinas inteligentes em proporção ao volume de dados ao infinito. Mas isso não significa que algumas das máquinas não falharão, se tornarão obsoletas. Por- tanto, um dos fatores do trabalho estável com big data é a tolerância a falhas dos servidores; 9 Localização: Conjuntos separados de informações são armazenadose processados dentro de um servidor dedi- cado para economizar tempo, recursos e custos de trans- ferência de dados. 8�2 Como Big Data é processado As fontes de coleta de big data são divididas em três tipos: 9 Social; 9 Máquina; 9 Transacional. 8-5 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N C IO N A M EN TO E A P LI C A B IL ID A D E D A B IG D AT A 8 Tudo o que uma pessoa faz online é uma fonte de big data social. A cada segundo, os usuários enviam 1.000 fotos para o Ins- tagram* e enviam mais de 3 milhões de e-mails. A cada segundo, a contribuição pessoal de cada pessoa é uma média de 1,7 megabytes. Outros exemplos de fontes sociais do Big Data incluem es- tatísticas de país e cidade, dados sobre movimentos de pessoas, registros de morte e nascimento e registros médicos. O big data também é gerado por máquinas, sensores e inter- net das coisas. Informações são recebidas de smartphones, alto-fa- lantes inteligentes, lâmpadas e sistemas domésticos inteligentes, câmeras de vídeo nas ruas, satélites meteorológicos. Os dados transacionais decorrem de compras, transferên- cias de dinheiro, entregas de mercadorias e transações de cai- xas eletrônicos. Os arrays big data são tão grandes que um Simples Excel não pode lidar com eles. Portanto, software especial é usado para trabalhar com eles. Chama-se “scale-out” porque distribui tarefas em vários computadores processando informações ao mesmo tempo. Quan- to mais máquinas envolvidas no trabalho, maior a produtividade do processo. Esse software é baseado no MapReduce, um modelo parale- lo de computação. O modelo funciona assim: 9 em primeiro lugar, os dados são filtrados de acordo com as condições especificadas pelo pesquisador, classificados e distribuídos entre computadores individuais (nodes); 9 os nódulos então calculam seus blocos de dados em pa- ralelo e passam o resultado dos cálculos para a pró- xima iteração. 8-6 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N C IO N A M EN TO E A P LI C A B IL ID A D E D A B IG D AT A 8 MapReduce não é um programa específico, mas sim um al- goritmo que pode ser usado para resolver a maioria dos problemas de processamento de big data. Exemplos de software baseado no MapReduce: ● Hadoop é um conjunto de programas de código aberto para armazenar arquivos, planejar e colaborar com dados. O sistema é projetado para que, em caso de falha em um nó, a carga seja imediatamente redistribuída para outros, sem interromper os cálculos. ● Apache Spark é um conjunto de bibliotecas que permi- tem realizar cálculos na memória e acessar repetidamen- te os resultados dos cálculos. É usado para resolver uma ampla gama de problemas, desde simples processamento e filtragem de dados até aprendizado de máquina. Os cientistas de big data usam ambas as ferramen- tas: Hadoop para construir uma infraestrutura de dados e Spark para processar informações de streaming em tempo real. 8�3 Aplicabilidade da Big Data O big data é necessário em marketing, transporte, automo- tivo, saúde, ciência, agricultura e outras áreas nas quais é possível coletar e processar os conjuntos necessários de informações. As empresas precisam de big data para: 9 Simplificar processos: por exemplo, grandes bancos usam big data para treinar um chatbot – um programa que substituirá um funcionário vivo em questões simples e, se necessário, mudará para um especialista. 8-7 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N C IO N A M EN TO E A P LI C A B IL ID A D E D A B IG D AT A 8 9 Faça previsões: Analisando grandes dados de vendas, as empresas podem prever o comportamento do cliente e a demanda do cliente por mercadorias dependendo da época do ano ou da situação mundial. 9 Construir modelos: Analisando dados de lucros e cus- tos, uma empresa pode construir um modelo para pre- ver a receita. A análise de big data permite não apenas sistematizar in- formações, mas também encontrar relações de causa e efeito não óbvias. 8.3.1 Bens Mercado online A Amazon lançou um sistema de recomen- dações de produtos, alimentado por aprendizado de máquina. Leva em conta não apenas o comportamento e as compras anteriores do usuário, mas também a época do ano, as próximas férias e outros fatores. Após esse sistema funcionar, as recomendações passaram a gerar 35% de todas as vendas do serviço. Nos supermercados Lenta, com a ajuda de big data, eles ana- lisam informações sobre compras e oferecem descontos persona- lizados em mercadorias. Por exemplo, diz a empresa, o sistema de dados de compra pode entender que o cliente mudou a abordagem da nutrição, e começará a oferecer-lhe produtos adequados. A rede americana Kroger usa big data para personalizar os cupons de desconto que os clientes recebem por e-mail. Após serem individualmente, adequados para compradores especí- ficos, a participação das compras apenas para eles aumentou de 3,7% para 70%. 8-8 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N C IO N A M EN TO E A P LI C A B IL ID A D E D A B IG D AT A 8 8.3.2 Contratação Grandes empresas, incluindo as russas, começaram a recor- rer à ajuda de recrutadores robôs, a fim de eliminar aqueles que não estão interessados na vaga ou não se encaixam para ela na fase inicial da busca por um funcionário. Então, stafory desenvolveu um robô Vera, que classifica o currículo, faz uma chamada inicial e identifica candidatos interessados. A PepsiCo preencheu 10% das vagas exigidas apenas com a ajuda de um robô. 8.3.3 Bancos Os bancos estão usando ativamente big data. Por exemplo, eles ajudam a proteger os clientes de golpistas. É com a ajuda des- sas tecnologias que são detectadas anomalias no comportamento do usuário, compras atípicas ou transferências. Já em 2017, a Visa com a ajuda da análise de dados anualmente impediu fraudes em US$ 2 bilhões. 8.3.4 Automotivo Em 2020, a montadora Toyota teve um problema: era neces- sário entender a causa de um grande número de acidentes devido à culpa dos motoristas que confundiram os pedais de gasolina e freio. A empresa coletou dados de seus carros conectados à Inter- net e, com base nisso, determinou como exatamente as pessoas pressionam os pedais. Acontece que a força e a velocidade da pressão diferem de- pendendo se uma pessoa quer frear ou acelerar. Agora, a empre- sa está desenvolvendo um sistema que determinará a forma de pressão sobre os pedais enquanto dirige e redefinirá a velocidade 8-9 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N C IO N A M EN TO E A P LI C A B IL ID A D E D A B IG D AT A 8 do carro se o motorista pressionar o pedal do acelerador, mas faz como se quisesse frear. 8.3.5 Medicina Cientistas americanos aprenderam a usar big data para de- terminar como a depressão se espalha. A pesquisadora Munmun De Chaudhuri e seus colegas enviaram mensagens do Twitter, Fa- cebook* com geotags para o modelo preditivo. Foram selecionadas mensagens para palavras que podem indicar um estado depressivo e deprimido. Os cálculos coincidiram com os dados oficiais. 8.3.6 Estruturas estaduais O big data é simplesmente necessário para agências governa- mentais. Com sua ajuda, não só as estatísticas são conduzidas, mas também a vigilância dos cidadãos. Sistemas semelhantes existem em muitos países: o serviço PRISM é conhecido, que são usados pelo FBI e pela CIA para coletar dados pessoais de redes sociais e produtos da Microsoft, Google e Apple. Na Rússia, informações sobre usuários e telefonemas são coletadas pelo sistema SORM. 8.3.7 Marketing O big data social ajuda os usuários a agrupar interesses e a personalizar anúncios para eles. As pessoas são classificadas por idade, sexo, interesses e local de residência. Quem mora na mesma região, vai aos mesmos lugares, assiste vídeos e lê artigos sobre temas semelhantes,provavelmente se interessa pelos mes- mos produtos. 8-10 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N C IO N A M EN TO E A P LI C A B IL ID A D E D A B IG D AT A 8 Ao mesmo tempo, há escândalos regulares relacionados ao uso de big data no marketing. Assim, em 2018, a plataforma de streaming Netflix foi acusada de racismo devido ao fato de mostrar aos usuários diferentes pôsteres de filmes e programas de TV, de- pendendo de seu gênero e nacionalidade. 8.3.8 Mídia Com a ajuda da análise de big data, o público é medido na mídia. Neste caso, o Big Data pode até afetar a política do conselho editorial. Assim, o Huffington Post usa um sistema que mostra es- tatísticas em tempo real sobre visitas, comentários e outras ações do usuário, e também prepara relatórios analíticos. O sistema do Huffington Post avalia como efetivamente as manchetes atraem a atenção do leitor, desenvolve métodos para entregar conteúdo a determinadas categorias de usuários. Por exemplo, acontece que os pais costumam ler artigos de um smar- tphone e tarde da noite durante a semana, depois de colocarem seus filhos na cama, e nos fins de semana eles geralmente estão ocupados – como resultado, o conteúdo para os pais é publicado no site em um momento conveniente para eles. 8.3.9 Logística O uso de big data ajuda a otimizar o transporte, tornar a en- trega mais rápida e barata. Na DHL, trabalhar com big data tocou no chamado problema da última milha, quando a necessidade de dirigir através de pátios e encontrar estacionamento antes de fazer um pedido come um total de 28% do custo de entrega. A empre- sa começou a analisar as “últimas milhas” usando informações de 8-11 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial FU N C IO N A M EN TO E A P LI C A B IL ID A D E D A B IG D AT A 8 GPS e dados de tráfego. Como resultado, foi possível reduzir os custos de combustível e o tempo de entrega. Dentro da empresa, o big data ajuda a acompanhar a qua- lidade do trabalho dos colaboradores, o cumprimento dos prazos e a correção de suas ações. Para análise, os dados da máquina são utilizados, por exemplo, a partir de scanners de encomendas em departamentos, e dados sociais - avaliações de visitantes ao depar- tamento no aplicativo, em sites e em redes sociais. 8.3.10 Processamento de fotos Até 2016, não havia tecnologia de redes neurais em dispositi- vos móveis, até mesmo considerado impossível. Um avanço nessa área (inclusive graças à startup russa Prisma) nos permite hoje usar um grande número de filtros, estilos e diferentes efeitos em fotos e vídeos. 8.3.11 Imóvel para aluguel O serviço airbnb com a ajuda do Big Data mudou o compor- tamento dos usuários. Um dia descobriu-se que os visitantes do site para alugar imóveis da Ásia muito rapidamente deixá-lo e não voltar. Acontece que eles vão da página principal para “Lugares próximos” e vão ver fotos sem mais reservas. A empresa analisou detalhadamente o comportamento dos usuários e substituiu os links na seção “Lugares próximos” pelos destinos de viagem mais populares nos países asiáticos. Como resultado, a conversão para reservas desta parte do pla- neta aumentou 10%. 8-12 � EXERCÍCIOS PROPOSTOS 01 Fluxos de dados podem ter picos e cochos, sazonalidade, periodicidade. Rajadas de informações não estruturadas são difíceis de gerenciar, exi- gindo poderosas tecnologias de processamento. Estamos nos referindo a: ▢ -a) Variabilidade ▢ -b) Variedade ▢ -c) Valor ▢ -d) Volume ▢ -e) Velocidade 02 Observe as afirmações abaixo: I) Velocidade – as informações são atualizadas regularmente e tecnologias inteligentes de big data são necessárias para processamento em tempo real. II) O princípio de operação da tecnologia de big data baseia-se no máximo informando ao usuário sobre qualquer objeto ou fenômeno III) Em máquinas inteligentes, um modelo do futuro é construído com base em somente uma informação, e então várias opções são simuladas e os resultados são rastreados. Estão CORRETAS: ▢ -a) I e III ▢ -b) III somente ▢ -c) II e III ▢ -d) I somente ▢ -e) I e II 03 Nos sistemas modernos, dois fatores adicionais são considerados: ▢ -a) Variedade e Velocidade ▢ -b) Variabilidade e Valor EX ER C ÍC IO S P R O P O S TO S 8-13 ▢ -c) Variabilidade e Velocidade ▢ -d) Volume e Valor ▢ -e) Variabilidade e Volume 04 Agências analíticas modernas executam milhões de simulações seme- lhantes quando testam uma ideia, uma suposição ou resolvem um pro- blema. O processo é automatizado. As fontes de big data incluem: ▢ -a) Social, máquina e transacional ▢ -b) Hadoop e Apache Spark ▢ -c) Internet, informações corporativas e leituras de dispositivos de leitura ▢ -d) Variabilidade, Volume e Valor ▢ -e) Internet, Variabilidade e Valor 05 Os princípios de trabalhar com conjuntos de dados incluem três fatores principais que são: ▢ -a) Extensibilidade do sistema, Resiliência e Localização ▢ -b) Social, máquina, transacional ▢ -c) Variabilidade, Volume e Valor ▢ -d) Internet, Variabilidade e Valor ▢ -e) Extensibilidade do sistema, Resiliência e valor 06 É entendido como a escalabilidade horizontal dos portadores de infor- mações. Ou seja, o volume de dados recebidos aumentou - a capacidade e o número de servidores para seu armazenamento aumentaram. Esse conceito é definido como: ▢ -a) Resiliência ▢ -b) Localização ▢ -c) Variabilidade ▢ -d) Extensibilidade do sistema ▢ -e) Valor EX ER C ÍC IO S P R O P O S TO S 8-14 07 As fontes de coleta de big data são divididas em três tipos, que são: ▢ -a) Variabilidade, Volume e Valor ▢ -b) Social, máquina e transacional ▢ -c) Extensibilidade do sistema, Resiliência e Localização ▢ -d) Internet, Variabilidade e Valor ▢ -e) Social, máquina e Valor 08 Observe as afirmações abaixo: I) Tudo o que uma pessoa faz online é uma fonte de big data social. II) Outros exemplos de fontes sociais do Big Data incluem estatísticas de país e cidade, dados sobre movimentos de pessoas, registros de morte e nascimento e registros médicos. III) O big data também é gerado por máquinas, sensores e internet das coisas. Informações nem sempre são recebidas de smartphones, alto-falan- tes inteligentes, lâmpadas e sistemas domésticos inteligentes, câmeras de vídeo nas ruas, satélites meteorológicos e sim de outros meios totalmente diferentes. Estão INCORRETAS: ▢ -a) I e III ▢ -b) I somente ▢ -c) II e III ▢ -d) I e II ▢ -e) III somente 09 São exemplos de software baseado no MapReduce: ▢ -a) Hadoop e Apache Spark ▢ -b) Processamento de fotos e logística ▢ -c) Mídia e Marketing ▢ -d) Hadoop e Processamento de fotos ▢ -e) Mídia e Apache Spark EX ER C ÍC IO S P R O P O S TO S 8-15 10 Observe as afirmações abaixo: I) MapReduce é um programa específico, com um algoritmo que pode ser usado para resolver a os problemas de processamento de big data. II) Os arrays big data são tão grandes que um Simples Excel não pode lidar com eles. Portanto, software especial é usado para trabalhar com eles. III) O big data é necessário em marketing, transporte, automotivo, saúde, ciência, agricultura e outras áreas nas quais é possível coletar e processar os conjuntos necessários de informações. Estão CORRETAS: ▢ -a) II somente ▢ -b) I e III ▢ -c) II e III ▢ -d) III somente ▢ -e) I somente DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial UNIDADE 5: FUNDAMENTOS DE INTELIGÊNCIA ARTIFICIAL Caro(a) Aluno(a) Seja bem-vindo(a)! Nesta quinta unidade, daremos orientações sobre os fundamentos da inteligência artificial. Aqui, veremos dados estatísticos de aplicabilidade, além de conceitos sobre esta tecnologia. Conteúdos da Unidade Neste capítulo, iremos abordar sobre Inteligência artificial. Veremos como funciona esta tecnologia, bem como as formas como elas vêm impactando o mundo moderno. 9 Conceitos e Definições de Inteligência Artificial; 9 Aplicabilidade e Exemplos da Inteligência Artificial.Acompanhe os conteúdos desta unidade. Se preferir, vá assinalando os assuntos, à medida que for estudando. Bons estudos!!! DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial CAPÍTULO 9: CONCEITOS E DEFINIÇÕES DE INTELIGÊNCIA ARTIFICIAL 9-3 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E IN TE LI G ÊN C IA A R TI FI C IA L 9 9�1 FUNDAMENTOS A IA é um complexo de tecnologias e processos relaciona- dos que estão se desenvolvendo de forma qualitativa e rápida, por exemplo: 9 processamento de texto de linguagem natural 9 aprendizado de máquina 9 sistemas especializados 9 agentes virtuais (chatbots e assistentes virtuais) 9 sistemas de recomendação. Há uma velha piada na ciência da computação: Qual é a diferença entre IA e automação? Automação é algo que pode ser feito com um computador, e AI é algo que gostaríamos de ser capazes de fazer. Uma vez que aprendemos a fazer algo, ele passa da IA para a automação. Essa piada é verdadeira hoje, já que a IA não é definida clara- mente o suficiente. “Inteligência artificial” simplesmente não é um termo técnico. Se você for à Wikipédia, diz que a IA é “inteligência demonstrada por máquinas, em oposição à inteligência natural demonstrada por humanos e outros animais”. Você não pode di- zer isso menos claramente. Em geral, existem dois tipos de IA: forte e fraca. A IA forte é imaginada pela maioria das pessoas quando ouve falar de IA – é algum tipo de inteligência onisciente semelhante a Deus como skynet ou Hal 9000, capaz de raciocinar e comparável ao humano, enquanto supera suas capacidades. As AIs fracas são algoritmos altamente especializados pro- jetados para responder a certas perguntas úteis em áreas estrita- mente definidas. Por exemplo, um programa de xadrez muito bom 9-4 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E IN TE LI G ÊN C IA A R TI FI C IA L 9 se encaixa nessa categoria. O mesmo pode ser dito sobre o softwa- re, que ajusta com muita precisão os pagamentos do seguro. Em seu campo, tais IA alcançam resultados impressionantes, mas em geral são muito limitados. Com exceção dos usos de Hollywood, não estamos nem perto de uma IA forte hoje. Até agora, qualquer IA é fraca, e a maioria dos pesquisadores neste campo concorda que as técnicas que in- ventamos para criar belas IA fraca provavelmente não nos aproxi- marão da criação de IA forte. Então a IA de hoje é mais um termo de marketing do que téc- nico. A razão pela qual as empresas anunciam sua “IA” em vez de “automação” é porque elas querem introduzir a IA de Hollywood na consciência pública. No entanto, isso não é tão ruim. Se levar- mos isso não muito estritamente, então as empresas só querem dizer que, embora ainda estejamos muito longe da IA forte, a IA fraca de hoje é muito mais capaz do que existia há alguns anos. E marketing à parte, é assim que as coisas são. Em certas áreas, as capacidades das máquinas aumentaram dramaticamente, e principalmente graças a mais duas frases agora na moda: apren- dizado de máquina e deep learning. 9�2 Definições e histórico da Inteligência Artificial O Gartner define inteligência artificial (IA) como uma tec- nologia que imita a inteligência humana, normalmente por meio do aprendizado, e tiram conclusões simulando a compreensão de conteúdo complexo. Isso possibilita que a IA participe de diálogos naturais com as pessoas, melhore as habilidades cognitivas huma- nas ou substitua as pessoas na resolução de tarefas não rotineiras. 9-5 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E IN TE LI G ÊN C IA A R TI FI C IA L 9 O nascimento da inteligência artificial ocorreu no início da década de 1950. Em 1950, Alan Turing, com a intenção de deter- minar se uma máquina poderia pensar, propôs o teste que leva seu nome. A redação do teste pode ser representada da seguinte forma: uma pessoa interage com um computador digitando um texto e, com base nas respostas às perguntas, deve determinar com quem está falando - com uma pessoa ou um programa de computador. Se uma máquina pode enganar uma pessoa, ela passa no teste de Turing. No início da década de 1950, surgiram as primeiras pes- quisas e desenvolvimentos relacionados às tentativas de criar IA. Em 1951, Marvin Minsky construiu a primeira máquina de apren- dizado SNARC baseada em uma rede neural. Nesse mesmo ano, Christopher Strachey da Universidade de Manchester escreveu um programa de damas, e Dietrich Prinz escreveu um programa de xadrez. Em 1954, nos Estados Unidos, várias dezenas de fra- ses foram traduzidas do russo para o inglês usando um computa- dor (o chamado “experimento de Georgetown”), que teve grande ressonância. O termo “Inteligência Artificial” foi cunhado em 1955 pelo cientista da computação e desenvolvedor da linguagem de progra- mação LISP John McCarthy, que usou o termo Inteligência Artifi- cial para se referir a um conjunto de tecnologias de informação que deveriam resolver problemas algorítmicos complexos. Em meados da década de 1970, surgiram muitos trabalhos promissores que inspiraram grande otimismo em relação ao de- senvolvimento da IA. Os programas desenvolvidos na época eram realmente pioneiros - provavam teoremas, jogavam jogos men- tais, traduziam frases em linguagem natural, o que causava uma ótima impressão. E, embora os resultados tenham sido modes- tos, incutiram confiança nas perspectivas mais rápidas de solução dos problemas. 9-6 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E IN TE LI G ÊN C IA A R TI FI C IA L 9 Em 1959, Arthur Samuel proferiu uma frase definindo a es- sência da IA como “a capacidade de um programa aprender sem ser explicitamente programado”. Esse princípio também é usado em sistemas modernos, por exemplo, em sistemas de reconheci- mento de imagens - centenas de milhares ou até milhões de ima- gens nas quais as pessoas notam a presença de um objeto reconhe- cível fornecem a quantidade necessária de dados para a máquina, que, com base nessa dados, forma um algoritmo que permite “ver” um objeto reconhecível com um certo grau de probabilidade. Ao mesmo tempo, a máquina melhora gradualmente a qualidade do reconhecimento à medida que mais e mais exemplos são obtidos, e não com base na programação explícita desta solução. No final dos anos 1950 e início dos anos 1960, havia muitos programas de sucesso e novas direções no campo da IA. Em 1961, surgiu o primeiro robô industrial UNIMATE, que substituiu uma pessoa em uma esteira GM, em 1964 foi implementado o projeto pioneiro Eliza - um chatbot desenvolvido no Massachusetts Insti- tute of Technology, que conduzia conversas com pessoas. Em 1966, o robô móvel de uso geral SHAKEY foi criado. Em 1974, o campe- onato mundial de xadrez entre programas de computador foi reali- zado pela primeira vez. O vencedor desta competição foi o progra- ma de xadrez soviético Kaissa. Parecia aos especialistas que em 5 a 10 anos seria possível criar uma máquina com a inteligência geral de uma pessoa comum. No entanto, isso ainda não aconteceu. Em meados da década de 1970, chegou o chamado primei- ro inverno da IA. Os pesquisadores se depararam com limitações que não puderam ser superadas na época - poder de computação e recursos de memória insuficientes. As expectativas do público eram tão altas que a realidade parecia insatisfatória, as promessas não se concretizavam. As agências que financiaram a pesquisa de 9-7 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E IN TE LI G ÊN C IA A R TI FI C IA L 9 IA ficaram frustradas com a falta de progresso e acabaram cortan- do o financiamento. No entanto, o interesse pelo tópico retornouna década de 1980 com o desenvolvimento da IA na forma de “sistemas especia- listas” - programas que respondem a perguntas ou resolvem pro- blemas de nicho usando regras lógicas e bases de conhecimento especializadas. (Aos primeiros exemplos incluem o progra- ma MYCIN, que foi desenvolvido em 1972 e diagnosticou doenças infecciosas do sangue). Em 1980, a Digital Equip- ment Corp. Foi criado um sistema especialista chamado XCON que economizou US$ 40 milhões anualmente. Desde o início da década de 1980, corporações de todo o mundo começaram a de- senvolver sistemas especialistas. Outros desenvolvimentos no campo da IA também perten- cem ao mesmo período, por exemplo, pode-se notar o sucesso no campo da criação de programas de xadrez. Em 1989, o programa Deep Thought, desenvolvido na Carnegie Mellon University, con- seguiu derrotar um oponente de nível de grande mestre (aliás, Deep Thought era o protótipo do famoso computador Deep Blue). Em 1984, a Carnegie Mellon University começou a pesquisar veículos controlados por computador e, em 1986, come- çou a produção do primeiro veículo desse tipo, o Navlab 1. O próximo “inverno” eclodiu no período 1987-1993. No final dos anos 1980 e início dos anos 1990, a indústria de IA passou por uma série de contratempos financeiros. Um golpe sério foi o colapso do mercado de hardware especializado em inteligência ar- tificial, que começou em 1987. Os desktops da Apple e da IBM ra- pidamente ganharam poder de computação e logo tornaram inefi- cientes as máquinas LISP mais caras (LISP foi orientada para modelar vários aspectos da IA), fazendo com que todo um 9-8 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E IN TE LI G ÊN C IA A R TI FI C IA L 9 setor fosse desligado. Os primeiros sistemas especializados acaba- ram sendo muito caros - mais decepções levaram a uma redução no financiamento. Aumentar o poder da computação, estabelecer metas comer- ciais mais realistas e mais específicas revigoraram o interesse em tecnologias de IA em meados da década de 1990. A grande publici- dade para a IBM e para as tecnologias de IA em geral foi a vitória da “máquina pensante” em 1997, quando o Deep Blue se tornou o primeiro sistema de xadrez de computador a derrotar o atual cam- peão mundial de xadrez Garry Kas Parov. Em 2005, um robô de Stanford venceu um DARPA Grand Challenge patrocinado pelo governo dos EUA ao dirigir de forma autônoma 131 milhas ao longo de uma estrada deserta. E em 2007, como parte do Desafio Urbano, o veículo não tripulado DARPA demonstrou navegação autônoma em uma rodovia de 55 milhas em um ambiente urbano. Algoritmos originalmente desenvolvidos como parte da pes- quisa de IA passaram a ser usados como tecnologias incorporadas para várias soluções em que o termo IA não é mais mencionado. Estamos falando de tarefas na área de inteligência de negócios, ro- bótica, logística, desenvolvimento de mecanismos de busca, siste- mas de reconhecimento de fala e diagnóstico médico. Em 1994, o computador venceu o campeão mundial de damas, em 1997 - no xa- drez, mas por muito tempo, a IA não conseguiu vencer uma pessoa no jogo de go. O número de movimentos possíveis neste jogo com raízes chinesas antigas excede o número de átomos no universo observável (cerca de 10118). Em 2016, o campeão mundial de go Lee Se Dol perdeu quatro das cinco partidas para um computador, perdendo um prêmio de um milhão de dólares e proporcionando uma campanha publicitária inédita para o Google (DeepMind, 9-9 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E IN TE LI G ÊN C IA A R TI FI C IA L 9 o desenvolvedor do algoritmo que venceu o humano, foi comprado por Google em 2014). Nesse período, os robôs entram no mercado consumidor. Em 1999, a Sony lança o primeiro cão robótico, o AiBO (robô AI), com habilidades e personalidade que se desenvolvem ao lon- go do tempo. E em 2002, surge o primeiro aspirador de pó robótico autônomo serial iRobot, que aprende a navegar limpar residências. Na última década, o desenvolvimento da IA foi influencia- do pelo crescimento do poder da computação, avanços na tecno- logia de big data e na Internet das Coisas. O crescimento do poder dos recursos de computação e a diminuição de seu custo levam à convergência das tecnologias IoT, big data que ele cria e IA, que permite obter novos conhecimentos por meio do “pensamento” desses dados. Os avanços no aprendizado profundo levaram a uma nova qualidade no processamento de imagem e vídeo, análise de texto e reconhecimento de fala. A IA está entrando ativamente no mer- cado consumidor de produtos de massa. Em 2011, a Apple integra o Siri, um assistente virtual inteligente com interface de voz, no iPhone 4S. Nesse mesmo ano, o computador IBM Watson ganhou o primeiro lugar e um prêmio de US$ 1 milhão no popular progra- ma de TV Jeopardy. Em 2014, o chatbot Evgeny Gustman passa no teste do Tew. Em 2016, o chatbot Microsoft Tay se tornou um pária social, redes para comentários racistas ofensivos. A McKinsey estima que o aprendizado de máquina e o apren- dizado profundo representam cerca de 60% do investimento em aplicativos de IA. De acordo com IDC, os maiores consumidores de sistemas de IA são bancos, redes de varejo, instituições médicas e empresas industriais. Os investimentos em inteligência artificial 9-10 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E IN TE LI G ÊN C IA A R TI FI C IA L 9 vêm de várias fontes, incluindo investimentos diretos de empresas em seus próprios projetos, investimentos na aquisição e desenvol- vimento de empresas de IA, financiamento para startups de IA de capital de risco. Segundo Olma Next, nos últimos cinco anos, o interesse em comprar empresas com expertise na área de IA das maiores cor- porações de tecnologia cresceu significativamente. Nos cinco anos desde 2012, mais de 200 empresas privadas de IA foram adquiri- das. Somente em 2014 e 2015, oito grandes empresas globais de tecnologia adquiriram 26 empresas de IA por um total de US$ 5 bilhões. Líderes do setor como Apple, Facebook, Google, IBM, Intel, Microsoft, Salesforce e Yahoo competem para adquirir star- tups do setor. Ao mesmo tempo, não apenas empresas de TI estão envolvidas nesse negócio, mas também empresas de outros seto- res, como Ford, GE e Samsung. Os principais centros de pesquisa de IA estão localizados na América do Norte, a pesquisa ativa está sendo realizada na Chi- na, os países europeus estão atrasados em termos de investimen- to nessa área, mas várias instituições, incluindo as universidades de Cambridge, Zurique e Tübingen, estão realizando pesquisas na área de IA. Desde 2017, o mundo literalmente começou a corrida pela liderança global no campo da inteligência artificial. Vários países, incluindo Canadá, Japão, Cingapura, China, Emirados Árabes Uni- dos, Finlândia, Dinamarca, França, Reino Unido, Coreia do Sul e Índia, lançaram planos estratégicos de IA. O Canadá é um dos primeiros países a lançar uma Estratégia Nacional de IA, um plano de cinco anos de C$ 125 milhões para investir em pesquisa de IA e desenvolvimento profissional. Em 2017, a China anunciou seu “Plano de Desenvolvimento de IA de 9-11 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial C O N C EI TO S E D EF IN IÇ Õ ES D E IN TE LI G ÊN C IA A R TI FI C IA L 9 Próxima Geração”, que é uma das estratégias nacionais de IA mais abrangentes e inclui um programa de pesquisa, adoção de tecnolo- gia de IA, programa de desenvolvimento de talentos, implementa- ção de padrões e normas e desenvolvimento de segurança. O pla- no contém três objetivos: primeiro, alcançar a paridade com os concorrentes até 2020; segundo, alcançar “desempenho líder mundial em algumas áreas de inteligência artificial até2025”; e, em terceiro lugar, tornar-se um centro de excelência para inovação em IA até 2030. A China é marcada duas vezes na Figura 2-45 porque pu- blicou dois documentos, um plano mestre para “desenvolvimento de IA de próxima geração” e, posteriormente, uma atualização do plano de ação de três anos. Tendo revisto brevemente a história do desenvolvimento das tecnologias de IA, tentaremos responder à questão de quais áreas da IA encontraram a maior aplicação na prática. Para isso, você pode recorrer a um estudo da Venture Scanner, que estuda as ati- vidades de centenas de empresas envolvidas no campo da IA. De acordo com o Venture Scanner, os dados da empresa podem ser divididos em 13 categorias. 9-12 � EXERCÍCIOS PROPOSTOS 01 Observe as afirmações abaixo: I) A IA é um complexo de tecnologias e processos relacionados que estão se desenvolvendo de forma qualitativa e rápida. II) IA é definida claramente o suficiente. “Inteligência artificial” simplesmen- te é um termo técnico. III) A Wikipédia, diz que a IA é “inteligência demonstrada por máquinas, em oposição à inteligência natural demonstrada por humanos e outros animais”. Estão CORRETAS: ▢ -a) I e III ▢ -b) II somente ▢ -c) II e III ▢ -d) I somente ▢ -e) II e III 02 Em geral, existem dois tipos de IA que são: ▢ -a) Rápidas e lentas ▢ -b) Altas e baixas ▢ -c) Pequenas e grandes ▢ -d) Longas e curtas ▢ -e) Forte e fraca 03 Observe as afirmações abaixo: I) A IA forte são algoritmos altamente especializados projetados para res- ponder a certas perguntas úteis em áreas estritamente definidas. EX ER C ÍC IO S P R O P O S TO S 9-13 II) AIs fracas é imaginada pela maioria das pessoas quando ouve falar de IA – é algum tipo de inteligência onisciente semelhante a Deus como skynet ou Hal 9000, capaz de raciocinar e comparável ao humano, enquanto supera suas capacidades. III) Até agora, qualquer IA é fraca, e a maioria dos pesquisadores neste campo concorda que as técnicas que inventamos para criar belas IA fraca provavelmente não nos aproximarão da criação de IA forte. Estão INCORRETAS: ▢ -a) II e III ▢ -b) I e II ▢ -c) II somente ▢ -d) III somente ▢ -e) I somente 04 Ele define inteligência artificial (IA) como uma tecnologia que imita a inteligência humana, normalmente por meio do aprendizado, e tiram conclusões simulando a compreensão de conteúdo complexo. Estamos falando de: ▢ -a) Alan Turing ▢ -b) Marvin Minsky ▢ -c) Christopher Strachey ▢ -d) Gartner ▢ -e) Dietrich Prinz 05 O nascimento da inteligência artificial ocorreu no início da década de: ▢ -a) 1990 ▢ -b) 1960 ▢ -c) 1951 ▢ -d) 1955 ▢ -e) 1999 EX ER C ÍC IO S P R O P O S TO S 9-14 06 Em 1950, com a intenção de determinar se uma máquina poderia pensar, propôs o teste que leva seu nome. Estamos falando de: ▢ -a) Marvin Minsky ▢ -b) Dietrich Prinz ▢ -c) Alan Turing ▢ -d) Gartner ▢ -e) Christopher Strachey 07 Observe as afirmações abaixo: I) Com exceção dos ousos de Hollywood, não estamos nem perto de uma IA forte hoje. Até agora, qualquer IA é fraca, e a maioria dos pesquisadores neste campo concorda que as técnicas que inventamos para criar belas IA fraca provavelmente não nos aproximarão da criação de IA forte. II) Então a IA de hoje é mais um termo de técnico do que marketing. A razão pela qual as empresas anunciam sua “IA” em vez de “automação” é porque elas querem introduzir a IA de Hollywood na consciência pública. III) E marketing à parte, é assim que as coisas são. Em certas áreas, as capa- cidades das máquinas aumentaram dramaticamente, e principalmente graças a mais duas frases agora na moda: aprendizado de máquina e deep learning. Estão CORRETAS: ▢ -a) I somente ▢ -b) I e II ▢ -c) II e III ▢ -d) III ▢ -e) I e III 08 Em 1951, ele construiu a primeira máquina de aprendizado SNARC base- ada em uma rede neural. Estamos falando de: ▢ -a) Dietrich Prinz ▢ -b) Marvin Minsky ▢ -c) Alan Turing ▢ -d) Christopher Strachey ▢ -e) Gartner EX ER C ÍC IO S P R O P O S TO S 9-15 09 Observe as afirmações abaixo: I) O termo “Inteligência Artificial” foi cunhado em 1990 pelo cientista da computação e desenvolvedor da linguagem de programação LISP John Mc- Carthy, que usou o termo Inteligência Artificial para se referir a um conjunto de tecnologias de informação que deveriam resolver problemas algorítmicos complexos. II) Em meados da década de 1955, surgiram muitos trabalhos promissores que inspiraram grande otimismo em relação ao desenvolvimento da IA. III) Em 1959, Arthur Samuel proferiu uma frase definindo a essência da IA como “a capacidade de um programa aprender sem ser explicitamente programado”. Estão INCORRETAS: ▢ -a) III somente ▢ -b) I e III ▢ -c) I e II ▢ -d) I somente ▢ -e) II somente 10 Aumentar o poder da computação, estabelecer metas comerciais mais realistas e mais específicas revigoraram o interesse em tecnologias de IA em meados da década de: ▢ -a) 1960 ▢ -b) 1990 ▢ -c) 1999 ▢ -d) 1951 ▢ -e) 1950 DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial CAPÍTULO 10: APLICABILIDADE E EXEMPLOS DA INTELIGÊNCIA ARTIFICIAL 10-2 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial A P LI C A B IL ID A D E E EX EM P LO S D A I N TE LI G ÊN C IA A R TI FI C IA L 10 10�1 FUNDAMENTOS Todo o mundo da tecnologia está debatendo as implicações da inteligência artificial, e o papel que a IA desempenhará na for- mação do nosso futuro. Embora possamos pensar que a IA, pelo menos em alguns anos, não terá um impacto significativo em nos- sas vidas, o fato é que ela já está tendo um grande impacto sobre nós. A inteligência artificial influencia nossas decisões e nosso esti- lo de vida todos os dias. Neste capítulo, daremos alguns exemplos de segmentos e de aplicabilidade do uso da IA. 10�2 Machine Learning ML é uma maneira especial de criar inteligência de máquina. Digamos que você queira lançar um foguete, e prever para onde ele vai. Em geral, não é tão difícil: a gravidade é muito bem compreen- dida, você pode escrever equações e calcular para onde ela irá com base em várias variáveis – como velocidade e posição inicial. No entanto, essa abordagem torna-se desajeitada se recor- rermos a uma área cujas regras não são tão conhecidas e claras. Digamos que você queira um computador para dizer se há algu- ma imagem em uma amostra de um gato. Como você vai escrever regras descrevendo a espécie em todas as perspectivas possíveis sobre todas as combinações possíveis de bigodes e orelhas? Hoje, a abordagem ML é bem conhecida: em vez de tentar escrever todas as regras, você cria um sistema que pode derivar independentemente um conjunto de regras internas depois de es- tudar um grande número de exemplos. Em vez de descrever gatos, você apenas mostra à sua IA um monte de fotos de gatos, e deixa saber por si só o que é um gato e o que não é. 10-3 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial A P LI C A B IL ID A D E E EX EM P LO S D A I N TE LI G ÊN C IA A R TI FI C IA L 10 E por enquanto, essa é a abordagem perfeita. Um sistema que aprende regras baseadas em dados por si só pode ser melho- rado simplesmente adicionando dados. E se nossa espécie pode fazer algo muito bem, é gerar, armazenar e gerenciar dados. Quer aprender a reconhecer melhor gatos? A internet está gerando mi- lhões de exemplos agora. O fluxo cada vez maior de dados é uma das razões para o crescimento explosivo dos algoritmos de ML nos últimos tempos. Outras razões estão relacionadas com o uso desses dados. Além dos dados, existem duas outras questões rela- cionadas para o MO: 9 Como me lembro do que aprendi? Como faço para arma- zenar e apresentar no meu computador as comunicações e regras que inferi dos dados? 9 Como eu aprendo? Como você muda a representação preservada em resposta a novos exemplos e melhora? Em outras palavras, o que exatamente está aprendendo com todos esses dados? Em ML, a representação computacionaldo aprendizado que armazenamos é o modelo. O tipo de modelo usado é muito impor- tante: ele determina como sua IA aprende, quais dados ele pode aprender e quais perguntas você pode fazer. Vamos olhar para um exemplo muito simples. Diga- mos que compramos figos em um supermercado, e queremos fazer uma IA com um médico que nos diga se está maduro. Isso deve ser fácil de fazer, porque no caso de figos, quanto mais macios eles são, mais doces eles são. 10-4 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial A P LI C A B IL ID A D E E EX EM P LO S D A I N TE LI G ÊN C IA A R TI FI C IA L 10 Podemos pegar algumas amostras de figos maduros e não maduros, ver o quão doces eles são, e depois colocá-los em um grá- fico e ajustar uma linha reta a ele. Esta linha reta será nosso modelo. Figura 10-1: O germe da IA na forma de “quanto mais macio, mais doce” Fonte: Próprio Autor Com a adição de novos dados, a tarefa se torna mais complicada. Segue explicitamente a ideia de que “quanto mais macios eles são, mais doces” e nem sequer tivemos que escrever nada. Nosso embrião de IA não sabe nada sobre o teor de açúcar ou amadureci- mento da fruta, mas pode prever a doçura da fruta comprimindo-a. Como treinar um modelo para melhorá-lo? Podemos coletar ainda mais amostras e desenhar outra linha reta para obter pre- visões mais precisas (como na segunda imagem acima). No entanto, os problemas imediatamente se tornam aparentes. Até agora, treinamos nossa IA de figo em frutas de qualidade – e se pegarmos dados de um pomar? De repente, não só temos frutas maduras, mas também podres. Eles são muito macios, mas defini- tivamente não são adequados para comer. 10-5 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial A P LI C A B IL ID A D E E EX EM P LO S D A I N TE LI G ÊN C IA A R TI FI C IA L 10 O que devemos fazer? Bem, já que é um modelo ML, pode- mos apenas alimentá-lo com mais dados, certo? Como mostra a primeira imagem abaixo, neste caso tere- mos resultados completamente sem sentido. Reto simplesmente não é adequado para descrever o que acontece quando uma fruta fica muito madura. Nosso modelo não se encaixa mais na estrutura de dados. Em vez disso, teremos que mudá-lo, e usar um modelo me- lhor e mais sofisticado – talvez uma parábola, ou algo semelhante. Essa mudança complica o aprendizado porque desenhar curvas re- quer matemática mais complexa do que desenhar uma linha reta. Figura 10-2: Com a adição de novos dados, a tarefa se torna mais complicada Fonte: Próprio Autor O exemplo é muito bobo, mas mostra que escolher um mo- delo determina oportunidades de aprendizado. No caso de figos, os dados são simples e os modelos podem ser simples. Mas se você está tentando aprender algo mais complexo, modelos mais complexos são necessários. Assim como nenhuma quantidade de 10-6 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial A P LI C A B IL ID A D E E EX EM P LO S D A I N TE LI G ÊN C IA A R TI FI C IA L 10 dados fará com que um modelo linear reflita o comportamento de frutas podres, é impossível encontrar uma curva simples corres- pondente a um monte de imagens para criar um algoritmo de vi- são computacional. Portanto, o desafio para o ML é criar e selecionar os modelos certos para as tarefas apropriadas. Precisamos de um modelo com- plexo o suficiente para descrever conexões e estruturas realmente complexas, mas simples o suficiente para poder trabalhar e treiná- -lo. Assim, enquanto a internet, os smartphones, e assim por dian- te têm gerado incríveis montanhas de dados para aprender, ainda precisamos dos modelos certos para tirar proveito desses dados. 10�3 Deep Learning Deep learning é aprendizado de máquina que usa um certo tipo de modelo: redes neurais profundas. Redes neurais são um tipo de modelo ML que usa uma es- trutura semelhante a neurônios no cérebro para cálculos e previ- sões. Neurônios em redes neurais são organizados em camadas: cada camada realiza um conjunto de cálculos simples e transmite uma resposta para a próxima. O modelo camada por camada permite cálculos mais com- plexos. Uma rede simples com um pequeno número de camadas de neurônios é suficiente para reproduzir a linha ou parábola que usamos acima. Redes neurais profundas são redes neurais com um grande número de camadas, com dezenas, ou até centenas; daí seu nome. Com tantas camadas, você pode criar modelos incrivel- mente poderosos. 10-7 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial A P LI C A B IL ID A D E E EX EM P LO S D A I N TE LI G ÊN C IA A R TI FI C IA L 10 Esse recurso é uma das principais razões para a enorme po- pularidade das redes neurais profundas nos últimos anos. Eles po- dem aprender uma variedade de coisas complexas sem forçar um pesquisador humano a definir quaisquer regras, e isso nos permi- tiu criar algoritmos capazes de resolver uma variedade de proble- mas que os computadores não poderiam abordar antes. No entanto, outro aspecto contribuiu para o sucesso das redes neurais: o treinamento. A “memória” de um modelo é um conjunto de parâmetros numéricos que determinam como ele responde às perguntas que faz. Treinar um modelo é ajustar esses parâmetros para que o mo- delo produza as melhores respostas possíveis. Em nosso modelo de figo, estávamos procurando a equação em linha reta. Esta é uma simples tarefa de regressão, e há fórmu- las que lhe darão a resposta em um passo. Figura 10-3: Uso de linha reta em IA para delimitação Fonte: Próprio Autor 10-8 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial A P LI C A B IL ID A D E E EX EM P LO S D A I N TE LI G ÊN C IA A R TI FI C IA L 10 Com modelos mais complexos, nem tudo é tão simples. É fá- cil imaginar uma linha reta e uma parábola em vários números, mas uma rede neural profunda pode ter milhões de parâmetros, e o conjunto de dados para seu treinamento também pode consistir em milhões de exemplos. Não há solução analítica de um passo. Felizmente, há um truque estranho: você pode começar com uma rede neural ruim, e depois melhorá-la com a ajuda de ajus- tes graduais. Aprender o modelo ML dessa forma é semelhante ao teste de um aluno com testes. Cada vez, temos uma estimativa comparando o que o modelo acha que o modelo deve responder com as respos- tas “certas” nos dados de treinamento. Então faremos a melhoria e fazemos o teste novamente. Como sabemos quais parâmetros precisam ser ajustados, e por quanto? As redes neurais têm uma propriedade tão legal quan- do para muitos tipos de treinamento você pode não só obter uma pontuação no teste, mas também calcular o quanto ele vai mudar em resposta a uma mudança em cada parâmetro. Matematicamen- te falando, a estimativa é uma função de valor, e para a maioria dessas funções podemos facilmente calcular o gradiente desta fun- ção em relação ao espaço do parâmetro. Agora sabemos exatamente qual caminho ajustar os parâme- tros para aumentar a pontuação, e você pode ajustar a rede em etapas sequenciais em todas as melhores e melhores “direções” até chegar ao ponto onde nada pode ser melhorado. Isso é muitas ve- zes referido como escalar uma colina, como realmente parece se mover para cima de uma colina: se você constantemente subir, você vai acabar no topo. 10-9 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial A P LI C A B IL ID A D E E EX EM P LO S D A I N TE LI G ÊN C IA A R TI FI C IA L 10 Figura 10-4: Uso de parábola em IA para delimitação Fonte: Próprio Autor Graças a isso, é fácil melhorar a rede neural. Se sua rede tem uma boa estrutura, você não precisa começar do zero com novos dados. Você pode começar com os parâmetros existentes e rea- prender com os novos dados. Sua rede vai melhorar gradualmente. Os mais proeminentes da IA atual – desde o reconhecimento de gatos do Facebookaté as tecnologias que a Amazon (provavel- mente) usa em lojas sem vendedores – são construídos sobre este simples fato. Esta é a chave para outra razão pela qual a GO se espalhou tão rapidamente e tão amplamente: escalar uma colina permite que você pegue uma rede neural treinada em uma tarefa e retreiná- -la para realizar outra, mas semelhante. Se você treinou bem a IA para reconhecer gatos, esta rede pode ser usada para treinar uma IA para reconhecer cães ou girafas sem ter que começar do zero. Comece com IA para gatos, avalie-a pela qualidade do reconheci- mento do cão e, em seguida, suba a colina, melhorando a rede! 10-10 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial A P LI C A B IL ID A D E E EX EM P LO S D A I N TE LI G ÊN C IA A R TI FI C IA L 10 Portanto, nos últimos 5/6 anos, houve uma melhoria dra- mática nas capacidades da IA. Várias peças do quebra-cabeça se desenvolveram de forma sinérgica: a Internet gerou uma enorme quantidade de dados a partir do qual aprender. A computação, es- pecialmente a computação paralela em GPUs, possibilitou proces- sar esses conjuntos enormes. Finalmente, redes neurais profundas nos permitiram aproveitar esses kits e criar modelos ML incrivel- mente poderosos. E tudo isso significa que algumas coisas que antes eram ex- tremamente difíceis são agora muito fáceis de fazer. 10�4 Reconhecimento Facial Digamos que você queira treinar uma rede que reconheça não apenas rostos, mas um rosto específico. Você poderia treinar uma rede para reconhecer uma determinada pessoa, depois outra pessoa, e assim por diante. No entanto, leva tempo para treinar redes, e isso significaria que para cada nova pessoa seria necessário retreinar a rede. Nem por isso. Em vez disso, podemos começar com uma rede treinada para reconhecer rostos em geral. Seus neurônios são sintonizados para reconhecer todas as estruturas faciais: olhos, ouvidos, bocas, e as- sim por diante. Então você apenas muda a saída: em vez de forçá-la a reconhecer certos rostos, você ordena que ela dê uma descrição facial na forma de centenas de números descrevendo a curvatura do nariz ou a forma dos olhos, e assim por diante. A rede pode fazer isso porque já “sabe” de quais componentes uma pessoa é feita. Você certamente não define tudo isso diretamente. Em vez disso, você treina a rede mostrando-a um conjunto de rostos e, em seguida, comparando a saída. Você também o treina para dar 10-11 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial A P LI C A B IL ID A D E E EX EM P LO S D A I N TE LI G ÊN C IA A R TI FI C IA L 10 descrições semelhantes do mesmo rosto, e descrições muito dife- rentes de rostos diferentes. Matematicamente falando, você treina a rede para combinar imagens faciais com pontos no espaço de ca- racterísticas, onde a distância cartesiana entre os pontos pode ser usada para determinar sua semelhança. Figura 10-5: Exemplo simples de uma rede neural Fonte: Próprio Autor Agora você pode reconhecer rostos comparando as descri- ções de cada um dos rostos criados pela rede neural. Tendo treina- do a rede, você já pode reconhecer facilmente rostos. Pegue o rosto original e tenha uma descrição dele. Em seguida, você pega um novo rosto e compara a descrição dada pela rede com o seu origi- nal. Se eles estão perto o suficiente, você diz que eles são a mesma pessoa. E agora você passou de uma rede capaz de reconhecer um único rosto para algo que pode ser usado para reconhecer qual- quer rosto! 10-12 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial A P LI C A B IL ID A D E E EX EM P LO S D A I N TE LI G ÊN C IA A R TI FI C IA L 10 Essa flexibilidade estrutural é outra razão para a utilidade de redes neurais profundas. Uma enorme variedade de modelos de ML para visão computacional já foi desenvolvida, e embora eles estejam se desenvolvendo em direções muito diferentes, a estru- tura básica de muitos deles é baseada em SNA precoce como Ale- xnet e Resnet. Até ouvi histórias de pessoas usando redes neurais visuais para trabalhar com dados de séries temporais ou medidas de sen- sores. Em vez de criar uma rede especial para analisar o fluxo de dados, eles treinaram uma rede neural de código aberto projetada para a visão computacional para literalmente olhar para as formas das linhas de gráfico. Tal flexibilidade é uma coisa boa, mas não infinita. Para resolver alguns outros problemas, você precisa usar outros tipos de redes. 10�5 Reconhecimento de Voz A catalogação de imagens e a visão computacional não são as únicas áreas do ressurgimento da IA. Outra área em que os com- putadores avançaram muito longe é o reconhecimento da fala, es- pecialmente na tradução da fala para a escrita. A ideia básica no reconhecimento da fala é bastante semelhante ao princípio da visão computacional: reconhecer coisas complexas na forma de conjuntos de mais simples. No caso da fala, o reconhe- cimento de frases e frases é baseado no reconhecimento de pala- vras, que se baseia no reconhecimento de sílabas, ou, para ser mais preciso, fonemes. Então, quando alguém diz “Bond, James Bond”, nós realmente ouvimos BON+DUH+JAY+MMS+BON+DUH. 10-13 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial A P LI C A B IL ID A D E E EX EM P LO S D A I N TE LI G ÊN C IA A R TI FI C IA L 10 Na visão, as características são organizadas espacialmente, e essa estrutura é processada pelo SNS. Na audição, essas caracte- rísticas são organizadas a tempo. As pessoas podem falar rápido ou lentamente, sem um claro começo e fim da fala. Precisamos de um modelo que possa perceber sons como eles vêm, como uma pessoa, em vez de esperar e procurar frases completas neles. Não pode- mos, como na física, dizer que o espaço e o tempo são os mesmos. É muito fácil reconhecer sílabas individuais, mas é difícil isolá-las. Por exemplo, “Olá lá” pode soar como “inferno não eles são”... Assim, para qualquer sequência de sons, geralmente há vá- rias combinações de sílabas realmente pronunciadas. Para entender tudo isso, precisamos da capacidade de es- tudar a sequência em um determinado contexto. Se eu ouvir um som, o que é mais provável é que a pessoa disse “Olá lá querida” ou “inferno não eles são veados?” Com um conjunto suficiente- mente grande de amostras de palavras faladas, você pode apren- der as frases mais prováveis. E quanto mais exemplos você tiver, melhor será. Para isso, as pessoas usam redes neurais recorrentes, RNS. Na maioria dos tipos de redes neurais, como o SNS que lida com a visão computacional, as conexões entre os neurônios funcionam na mesma direção, da entrada à saída (matematicamente fa- lando, estes são gráficos aciclálicos dirigidos). Na RNS, a saída dos neurônios pode ser redirecionada de volta para neurô- nios do mesmo nível, para si mesmos, ou até mesmo mais. Isso permite que o RNS tenha sua própria memória (se você está familiarizado com a lógica binária, então essa situação é semelhante ao trabalho dos gatilhos). O SNA trabalha em uma abordagem: nós alimentamos uma imagem, e ela dá algum tipo de descrição. A RNS mantém 10-14 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial A P LI C A B IL ID A D E E EX EM P LO S D A I N TE LI G ÊN C IA A R TI FI C IA L 10 uma memória interna do que lhe foi dado antes e dá respostas ba- seadas no que ela já viu, além do que ela vê agora. Figura 10-6: Exemplo aquisição de parâmetros de voz Fonte: Próprio Autor Esta propriedade de memória na RNS permite que eles não só “ouçam” as sílabas que chegam a ela uma a uma. Isso permite que a rede aprenda quais sílabas se unem para formar uma palavra e quão prováveis certas sequências são. Usando o RNS, é possível obter uma transcrição muito boa da fala humana – a tal ponto que, em algumas medições de preci- são transcricional, os computadores agora podem superar os sereshumanos. Claro, os sons não são a única área onde as sequências se manifestam. Hoje, a RNS também é usada para determinar as sequências de movimentos para reconhecer ações em vídeo. 10-15 � EXERCÍCIOS PROPOSTOS 01 Podemos definir Machine Learning como. ▢ -a) É uma maneira especial de criar inteligência de máquina. Di- gamos que você queira lançar um foguete, e prever para onde ele vai. ▢ -b) É aprendizado de máquina que usa um certo tipo de modelo: redes neurais profundas. ▢ -c) Digamos que você queira treinar uma rede que reconheça não apenas rostos, mas um rosto específico. Você poderia treinar uma rede para reconhecer uma determinada pessoa, depois outra pessoa, e assim por diante. ▢ -d) A catalogação de imagens e a visão computacional não são as únicas áreas do ressurgimento da IA. ▢ -e) A ideia básica no reconhecimento da fala é bastante seme- lhante ao princípio da visão computacional: reconhecer coi- sas complexas na forma de conjuntos de mais simples. 02 Observe as afirmações abaixo: I) Hoje, a abordagem ML é bem conhecida: em vez de tentar escrever to- das as regras, você cria um sistema que pode derivar independentemente um conjunto de regras internas depois de estudar um grande número de exemplos. II) Um sistema que aprende regras baseadas em dados por si só pode ser melhorado simplesmente adicionando dados. E se nossa espécie pode fazer algo muito bem, é gerar, armazenar e gerenciar dados. III) O fluxo cada vez menor de dados é uma das razões para o baixo cresci- mento explosivo dos algoritmos de ML nos últimos tempos. Outras razões estão relacionadas com o uso desses dados. Estão CORRETAS: ▢ -a) I somente EX ER C ÍC IO S P R O P O S TO S 10-16 ▢ -b) I e III ▢ -c) III somente ▢ -d) II somente ▢ -e) I e II 03 Podemos definir Deep Learning como: ▢ -a) A ideia básica no reconhecimento da fala é bastante seme- lhante ao princípio da visão computacional: reconhecer coi- sas complexas na forma de conjuntos de mais simples. ▢ -b) É aprendizado de máquina que usa um certo tipo de modelo: redes neurais profundas. ▢ -c) É uma maneira especial de criar inteligência de máquina. Di- gamos que você queira lançar um foguete, e prever para onde ele vai. ▢ -d) Digamos que você queira treinar uma rede que reconheça não apenas rostos, mas um rosto específico. Você poderia treinar uma rede para reconhecer uma determinada pessoa, depois outra pessoa, e assim por diante. ▢ -e) A catalogação de imagens e a visão computacional não são as únicas áreas do ressurgimento da IA. 04 São um tipo de modelo ML que usa uma estrutura semelhante a neurô- nios no cérebro para cálculos e previsões, estamos falando de: ▢ -a) Memória ▢ -b) Camada ▢ -c) Redes neurais ▢ -d) Modelo ▢ -e) IA 05 Podemos conceituar memória de um modelo como: ▢ -a) São um tipo de modelo ML que usa uma estrutura semelhante a neurônios no cérebro para cálculos e previsões. EX ER C ÍC IO S P R O P O S TO S 10-17 ▢ -b) É uma maneira especial de criar inteligência de máquina. Di- gamos que você queira lançar um foguete, e prever para onde ele vai. ▢ -c) É aprendizado de máquina que usa um certo tipo de modelo: redes neurais profundas. ▢ -d) É um conjunto de parâmetros numéricos que determinam como ele responde às perguntas que faz. ▢ -e) A ideia básica no reconhecimento da fala é bastante seme- lhante ao princípio da visão computacional: reconhecer coi- sas complexas na forma de conjuntos de mais simples. 06 Observe as afirmações abaixo: I) O modelo camada por camada permite cálculos mais complexos. Uma rede simples com um pequeno número de camadas de neurônios é suficien- te para reproduzir a linha ou parábola que usamos acima. II) Redes neurais profundas são redes neurais com um grande número de camadas, com dezenas, ou até centenas; daí seu nome. Com tantas cama- das, você pode criar modelos incrivelmente poderosos. III) Nos últimos 5-6 anos, houve uma melhoria bem pequena nas capaci- dades da IA. Estão INCORRETAS: ▢ -a) III somente ▢ -b) I e III ▢ -c) II somente ▢ -d) I e II ▢ -e) I somente 07 Podemos definir Reconhecimento Facial como: ▢ -a) É um conjunto de parâmetros numéricos que determinam como ele responde às perguntas que faz. ▢ -b) É uma maneira especial de criar inteligência de máquina. Di- gamos que você queira lançar um foguete, e prever para onde ele vai. ▢ -c) É aprendizado de máquina que usa um certo tipo de modelo: redes neurais profundas. EX ER C ÍC IO S P R O P O S TO S 10-18 ▢ -d) A catalogação de imagens e a visão computacional não são as únicas áreas do ressurgimento da IA. ▢ -e) Digamos que você queira treinar uma rede que reconheça não apenas rostos, mas um rosto específico. Você poderia treinar uma rede para reconhecer uma determinada pessoa, depois outra pessoa, e assim por diante. 08 Observe as afirmações abaixo: I) Uma enorme variedade de modelos de ML para visão computacional já foi desenvolvida, e embora eles estejam se desenvolvendo em direções muito diferentes, a estrutura básica de muitos deles é baseada em SNA precoce como Alexnet e Resnet. II) A ideia básica no reconhecimento da fala é menos semelhante ao prin- cípio da visão computacional: reconhecer coisas complexas na forma de conjuntos de mais simples. III) Na maioria dos tipos de redes neurais, como o SNS que lida com a visão computacional, as conexões entre os neurônios funcionam na mesma direção, da entrada à saída (matematicamente falando, estes são gráficos aciclálicos dirigidos). Estão CORRETAS: ▢ -a) I somente ▢ -b) I e III ▢ -c) II e III ▢ -d) II somente ▢ -e) III somente 09 Podemos definir Reconhecimento de Voz como: ▢ -a) A catalogação de imagens e a visão computacional não são as únicas áreas do ressurgimento da IA. ▢ -b) É um conjunto de parâmetros numéricos que determinam como ele responde às perguntas que faz. ▢ -c) É uma maneira especial de criar inteligência de máquina. Di- gamos que você queira lançar um foguete, e prever para onde ele vai. EX ER C ÍC IO S P R O P O S TO S 10-19 ▢ -d) É aprendizado de máquina que usa um certo tipo de modelo: redes neurais profundas. ▢ -e) Digamos que você queira treinar uma rede que reconheça não apenas rostos, mas um rosto específico. Você poderia treinar uma rede para reconhecer uma determinada pessoa, depois outra pessoa, e assim por diante. 10 A saída dos neurônios pode ser redirecionada de volta para neurônios do mesmo nível, para si mesmos, ou até mesmo mais. Estamos falando da: ▢ -a) SNS ▢ -b) IA ▢ -c) RNS ▢ -d) SNA ▢ -e) GPUs DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial UNIDADE 6: GERENCIAMENTO DE ESTRUTURAS TECNOLÓGICAS Caro(a) Aluno(a) Seja bem-vindo(a)! Nesta sexta unidade, daremos orientações sobre como construir uma estrutura que incluam as tecnologias de Data Science, Big Data e Inteligência Artificial. Conteúdos da Unidade Neste capítulo, iremos abordar sobre como construir e gerir uma arquitetura utilizável que incluam as principais tecnologias abordadas nesta obra. Essa arquitetura deve incluir recursos físicos, humanos e lógicos, como veremos. 9 Gerenciamento de Uma Estrutura de Data Science e Big Data; 9 Gerenciamento de Uma Estrutura de Inteligência Artificial. Acompanhe os conteúdos desta unidade. Se preferir, vá assinalando os assuntos, à medida que for estudando. Bons estudos!!! DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial CAPÍTULO 11: GERENCIAMENTO DE UMA ESTRUTURA DE DATA SCIENCE E BIG DATA 11-3 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E D AT A S C IE N C E E B IG D AT A 11 11�1 FUNDAMENTOS As equipes de ciência de dados geralmente incluem vários profissionais de análise e dados e podem ser configuradas de dife- rentes maneiras, como explicado aqui, juntamente com dicas so- bre como gerenciá-los. As organizações veem cada vez mais os dadoscomo um ativo valioso que os ajudará a ter sucesso agora e no futuro. Em uma pesquisa de 2019 com profissionais de BI e analytics, 94% dos 500 entrevistados citaram dados e análises como contribuintes muito importantes ou um tanto importantes para o crescimento dos ne- gócios e estratégias de transformação digital em suas organizações. A pesquisa, realizada para o fornecedor de software de BI MicroStrategy e detalhada em um relatório intitulado “2020 Glo- bal State of Enterprise Analytics”, também descobriu que 59% dessas organizações estavam avançando em aplicações avançadas e preditivas de análise -- o reino da ciência de dados. Isso foi sete pontos percentuais acima de uma pesquisa semelhante feita um ano antes. Os pesquisadores listaram as preocupações de segurança e privacidade como a barreira nº 1 para o uso mais eficaz de dados e análises, mas outros desafios principais incluíam acesso limitado a dados siloed, falta de talento qualificado, treinamento insuficiente de funcionários e ausência de uma estratégia de análise. Para aju- dar a transformar dados em informações acionáveis, mais e mais organizações estão criando equipes de ciência de dados para lide- rar seus esforços em áreas como mineração de dados, modelagem preditiva, machine learning e IA. Vejamos as melhores práticas para estruturar e gerenciar uma equipe de ciência de dados, incluindo as diferentes maneiras 11-4 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E D AT A S C IE N C E E B IG D AT A 11 que se pode configurar, as posições que provavelmente incluirá e os executivos que uma equipe pode reportar em uma organização. 11�2 Diferentes modelos para estruturar uma equipe de ciência de dados “Até certo ponto, construir e manter uma forte equipe de ciência de dados é uma arte”, disse John Bottega, presidente do EDM Council, uma associação global que se concentra em melho- res práticas, padrões e treinamento de gerenciamento de dados. As responsabilidades pela coleta, gerenciamento e análise de dados, uma vez tipicamente, caíram sob o CIO, cuja equipe de TI trabalhou com usuários de negócios para implementar data warehouses e sistemas de BI para armazenar e organizar dados e fazer análises e relatórios básicos. No entanto, nas últimas duas décadas, mais organizações separaram a função de dados em seu próprio departamento à medida que a quantidade de armazena- mentos de dados internos crescia, as tecnologias de suporte evolu- íram e as tarefas relacionadas aos dados se tornaram mais diferen- ciadas e especializadas. A crescente importância das análises avançadas para o suces- so dos negócios também impulsionou a necessidade de uma equipe de ciência de dados com cientistas de dados qualificados e outros trabalhadores. Hoje, muitas organizações têm uma equipe ou um departamento inteiro de ciência de dados; os maiores podem ter várias equipes que operam de forma independente ou coordenada. A forma como as empresas estruturam suas equipes varia de acordo com a maturidade de seu programa de ciência de dados, bem como seus objetivos de análise de dados, estrutura organizacional geral e cultura empresarial. No entanto, surgiram alguns modelos 11-5 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E D AT A S C IE N C E E B IG D AT A 11 comuns na estrutura da equipe de ciência de dados, com cada um tendo prós e contras. As estruturas da equipe podem ser: 9 Descentralizado: Os membros da equipe de ciência de dados trabalham dentro das unidades de negócios indivi- duais que apoiam. Isso permite que os membros da equi- pe colaborem estreitamente com executivos de negócios e trabalhadores em projetos de ciência de dados, mas pode dificultar o uso estratégico de dados em uma organização e exigir mais recursos do que empresas menores podem ter disponível. 9 Centralizado: A função de ciência de dados é consolida- da no nível corporativo sob um único gestor, que atribui os membros da equipe a projetos individuais e supervi- siona seu trabalho. Este modelo permite mais facilmente uma visão estratégica em toda a empresa e implementa- ção uniforme de práticas recomendadas de análise, mas pode limitar a capacidade dos membros da equipe de se tornarem especialistas em uma determinada área do ne- gócio. Algumas organizações estabelecem um centro for- mal de ciência de dados de excelência para abrigar uma equipe centralizada. 9 Híbrido: A equipe de ciência de dados é gerenciada cen- tralmente, mas os membros são designados para traba- lhar com operações específicas de negócios e são respon- sáveis por ajudar essas unidades a alcançar seus objetivos para tomar decisões baseadas em dados. Nas estruturas híbridas, um centro de excelência também pode se con- centrar na promoção das melhores práticas e padrões de ciência de dados. Assim como no modelo descentralizado, as restrições de recursos podem ser um problema. 11-6 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E D AT A S C IE N C E E B IG D AT A 11 11�3 Funções e responsabilidades da equipe de ciência de dados Existem alguns elementos comuns que uma equipe de ciên- cia de dados deve ter que ser bem sucedida. “Independentemente da indústria, as equipes de ciência de dados precisam ser fortes em três áreas centrais: matemática, tecnologia e perspicácia nos negócios”, disse Bottega. Encontrar uma única pessoa que se destaque nos três é muito raro. Muitas empresas terão alguém que é fluente em dois de três e, em seguida, o resto da equipe pode ser construída em torno disso, preenchendo as lacunas para garantir que a equipe como um todo seja forte em todos os três. Pequenas organizações ou aquelas com necessidades de aná- lise limitada ou iniciativas de ciência de dados em estágio inicial podem ter um generalista lidando com todas as tarefas necessá- rias. Entidades maiores, bem como aquelas com programas mais maduros, normalmente incluem alguma combinação dos seguin- tes papéis em suas equipes de ciência de dados. ● Cientista de dados: Como o título indica, os cientistas de dados são os membros principais de uma equipe. Eles usam métodos estatísticos, algoritmos de aprendizagem de máquina e outras ferramentas para analisar dados e criar modelos preditivos; alguns também constroem pro- dutos de dados, mecanismos de recomendação, chatbots e outras tecnologias para vários casos de uso. Os cientistas de dados normalmente têm uma variedade de habilidades em áreas como matemática, estatística, disputa de dados, mineração de dados, codificação e modelagem preditiva, bem como conhecimento de negócios e habilidades de 11-7 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E D AT A S C IE N C E E B IG D AT A 11 comunicação e colaboração. Cada vez mais, eles também têm diplomas avançados de ciência de dados ou certifica- ções de ciência de dados de nível de pós-graduação. ● Analista de dados: Um analista de dados não tem todo o conjunto de habilidades de um cientista de dados, mas pode apoiar os esforços de ciência de dados. As principais responsabilidades dos analistas de dados são coletar e manter dados de sistemas operacionais e bancos de da- dos, usar métodos estatísticos e ferramentas de análise para interpretar os dados e preparar dashboards e relató- rios para usuários de negócios. ● Engenheiro de dados: Os engenheiros de dados são responsáveis pela construção, teste e manutenção de pi- pelines de dados; eles geralmente têm uma formação em engenharia de software ou ciência da computação que se adequa ao seu foco na infraestrutura tecnológica e cole- ta de dados, gerenciamento e armazenamento. Eles tam- bém frequentementetrabalham em estreita colaboração com cientistas de dados sobre qualidade de dados, pre- paração de dados e tarefas de implantação e manutenção de modelos. ● Arquiteto de dados: Um arquiteto de dados projeta e supervisiona a implementação dos sistemas subjacentes e infraestrutura de dados que a equipe usa. Em alguns casos, um engenheiro de dados também pode lidar com essa função. ● Engenheiro de aprendizagem de máquina: Tam- bém às vezes chamada de engenheira de IA, essa posição trabalha em conjunto com cientistas de dados para criar, implantar e manter os algoritmos e modelos necessários para aprendizado de máquina e iniciativas de IA. 11-8 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E D AT A S C IE N C E E B IG D AT A 11 Em algumas organizações, as equipes de ciência de dados também podem incluir essas posições. ● Cientista de dados cidadão: Um papel informal, isso pode envolver analistas de negócios, usuários de energia de unidades de negócios e outros funcionários que são ca- pazes de fazer seu próprio trabalho de análise de dados. Os cientistas de dados cidadãos geralmente têm interesse, perspicácia ou algum treinamento em análises avançadas, embora as tecnologias que eles usam - por exemplo, ferra- mentas automatizadas de aprendizado de máquina - nor- malmente requerem pouca ou nenhuma codificação. Eles geralmente trabalham fora de uma equipe de ciência de dados, mas podem ser incorporados em aqueles que estão incorporados em unidades de negócios. ● Analista de negócios: Em alguns casos, os analistas de negócios podem ser membros de uma equipe de ciência de dados em seu papel regular, que inclui avaliar processos de negócios e traduzir requisitos de negócios em planos de análise -- áreas nas quais eles podem ajudar a apoiar o trabalho de cientistas de dados. ● Tradutor de dados: Uma nova adição à lista, esses pro- fissionais - também conhecidos como tradutores de análi- se - atuam como uma ligação entre equipes de ciência de dados e operações de negócios e ajudam a planejar proje- tos e traduzem os insights obtidos da análise de dados em ações recomendadas de negócios. ● Desenvolvedor ou engenheiro de visualização de dados: Eles são encarregados de criar visualizações de dados para tornar as informações mais acessíveis e com- preensíveis para os profissionais de negócios. No entanto, 11-9 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E D AT A S C IE N C E E B IG D AT A 11 cientistas de dados e analistas de dados podem lidar com esse papel em algumas equipes. 11�4 Quem gerencia e supervisiona equipes de ciência de dados? Uma equipe pode ser liderada por um diretor de ciência de dados, gerente de ciência de dados, cientista de dados líder ou po- sição gerencial semelhante. A estrutura de relatórios para equipes da mesma forma varia. Geralmente, porém, as organizações atri- buem um executivo de nível C ou um gerente funcional de alto es- calão para supervisionar a equipe de ciência de dados. O líder de ciência de dados mais visível é o chefe de dados. A posição da CDO remonta a 2002, com a empresa de serviços financeiros Capital One amplamente reconhecida como a primei- ra empresa a implementar o papel. Muitos outros já seguiram o exemplo: a consultoria de dados e análises NewVantage Partners informou que 65% das 85 grandes empresas pesquisadas em 2020 tinham CDOs, contra 12% quando fez a pesquisa anual pela pri- meira vez em 2012. Inicialmente focados principalmente em fun- ções de governança de dados, gerenciamento e segurança, muitos CDOs agora também assumiram a responsabilidade pela ciência de dados, análise e IA. Outras organizações criaram um papel de chief analytics of- ficer (CAO) para supervisionar suas equipes de ciência de dados e análise, enquanto algumas combinaram as posições CDO e CAO em um único oficial chefe de dados e análise. Além disso, o chefe de uma equipe de ciência de dados pode reportar a um executivo diferente - por exemplo, o COO, CFO ou CIO, ou um cargo como 11-10 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E D AT A S C IE N C E E B IG D AT A 11 vice-presidente de análise, vice-presidente de dados de negócios ou diretor de dados e estratégia. 11�5 Como os cientistas de dados trabalham com usuários de negócios Organizações de todos os tipos estão se esforçando para se tornar baseadas em dados, e com uma boa razão: muitos veem isso como uma chave para se manterem competitivos na era digital. Para isso, as equipes de ciência de dados devem trabalhar de forma colaborativa com os gestores de negócios para: 1) Entenda claramente as perguntas de negócios que eles querem que a equipe responda. 2) Articular os objetivos que eles têm para usar as informa- ções que fornece. 3) Mapeie como aplicar as informações para tomar decisões e tomar ações. “Os cientistas de dados precisam trabalhar em estreita co- laboração com a unidade de negócios para entender como os da- dos fornecidos ajudam a impulsionar o negócio e entender exata- mente o que [os usuários de negócios] precisam dos dados”, disse Josh Drew, vice-presidente regional da Robert Half Technology e do Creative Group, duas unidades da empresa de pessoal Robert Half International Inc. Uma vez que eles têm esse entendimento, as equipes de ci- ência de dados não podem simplesmente apresentar suas desco- bertas. Eles devem ajudar seus colegas de negócios a entender os insights obtidos com os dados e como essas informações podem moldar ofertas de produtos e serviços, campanhas de marketing, 11-11 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E D AT A S C IE N C E E B IG D AT A 11 gerenciamento da cadeia de suprimentos e outras partes funda- mentais das operações de negócios para apoiar metas corporati- vas, como maior receita, maior eficiência e melhor atendimento ao cliente. 11�6 Ferramentas que uma equipe de ciência de dados precisa Dezenas de ferramentas, que vão desde a visualização de dados e software de emissão de relatórios até análises avançadas, aprendizado de máquina e tecnologias de IA, permitem o trabalho que as equipes de ciência de dados fazem. O número e a combina- ção de tecnologias necessárias são exclusivos de cada equipe, com base em seus objetivos e níveis de habilidade. A seguir está uma lista de ferramentas de ciência de dados comumente usadas que inclui tecnologias comerciais e de có- digo aberto: ● Ferramentas de análise estatística, como SAS e IBM SPSS; ● Estruturas de aprendizado de máquina e bibliotecas, in- cluindo TensorFlow, Weka, Scikit-learn, Keras e PyTorch; ● Plataformas de ciência de dados de vários fornecedores que fornecem diversos conjuntos de recursos para aná- lises, aprendizado de máquina automatizado e gerencia- mento e colaboração de fluxo de trabalho; ● Linguagens de programação, em particular Python, R, Ju- lia, SQL, Scala e Java; ● O Jupyter Notebook e outros aplicativos interativos de notebook para compartilhamento de documentos que 11-12 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E D AT A S C IE N C E E B IG D AT A 11 contenham códigos, equações, comentários e informa- ções relacionadas; ● Ferramentas de visualização de dados e bibliotecas, como Tableau, D3.js e Matplotlib; ● Spark, Hadoop e outras plataformas de big data e meca- nismos de análise, bem como serviços de armazenamento de objetos em nuvem e bancos de dados NoSQL; e ● O serviço de orquestração de contêineres Kubernetes para a implantação de cargas de trabalho de análise e aprendi- zado demáquina na nuvem. 11�7 Melhores práticas para gerenciar uma equipe de ciência de dados Executivos e líderes de equipe que buscam construir e ama- durecer seus programas de ciência de dados devem considerar as seguintes melhores práticas para gerenciar suas equipes. 9 Procure trabalhadores com uma gama de habilidades comerciais e interpessoais, além das técnicas para aju- dar a garantir que a equipe possa atender aos objeti- vos organizacionais. 9 Crie uma cultura de aprendizado e inovação que desafie os membros da equipe e os incentive a trazer um novo pensamento para problemas e problemas de negócios. 9 Promover projetos de análise que incentivem a estreita colaboração entre a equipe de ciência de dados e as uni- dades de negócios que eles apoiam. 9 Avaliar os membros da equipe, pelo menos em parte, so- bre os sucessos do negócio seus impulsos de trabalho. 11-13 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E D AT A S C IE N C E E B IG D AT A 11 9 Desenvolva um programa de mentoria para ajudar a avançar as habilidades dos membros da equipe júnior e faça treinamento contínuo para garantir que todos os tra- balhadores permaneçam atualizados sobre as principais técnicas e tecnologias de ciência de dados. 9 Como os cientistas de dados estão em alta demanda e os experientes têm muitas oportunidades de trabalho, proje- tar um programa de gerenciamento de talentos para aju- dar a impedir que eles e outros membros da equipe saiam. 11-14 � EXERCÍCIOS PROPOSTOS 01 Observe as afirmações abaixo: I) As organizações veem cada vez mais os dados como um ativo valioso que os ajudará a ter sucesso agora e no futuro. II) Em uma pesquisa de 2019 com profissionais de BI e analytics, 94% dos 500 entrevistados citaram dados e análises como contribuintes muito importantes ou um tanto importantes para o crescimento dos negócios e estratégias de transformação digital em suas organizações. III) A pesquisa, realizada para o fornecedor de software de BI MicroStrate- gy e detalhada em um relatório intitulado “2020 Global State of Enterprise Analytics”, também descobriu que 50% dessas organizações estavam avan- çando em aplicações avançadas e preditivas de análise -- o reino da ciência de dados. Estão CORRETAS: ▢ -a) I somente ▢ -b) I e II ▢ -c) II somente ▢ -d) II e III ▢ -e) III somente 02 Até certo ponto, construir e manter uma forte equipe de ciência de dados é uma arte”, disse John Bottega, presidente do EDM Council, uma as- sociação global que se concentra em melhores práticas, padrões e trei- namento de gerenciamento de dados. As responsabilidades pela coleta, gerenciamento e análise de dados, uma vez tipicamente, caíram sob: ▢ -a) CIO ▢ -b) TI ▢ -c) BI ▢ -d) Siloed ▢ -e) IA EX ER C ÍC IO S P R O P O S TO S 11-15 03 Observe as afirmações abaixo: I) Nas últimas duas décadas, mais organizações separaram a função de dados em seu próprio departamento à medida que a quantidade de arma- zenamentos de dados internos não crescia, as tecnologias de suporte não evoluíram e as tarefas relacionadas aos dados se tornaram mais diferencia- das e especializadas. II) A crescente importância das análises avançadas para o sucesso dos ne- gócios também impulsionou a necessidade de uma equipe de ciência de dados com cientistas de dados qualificados e outros trabalhadores. III) A forma como as empresas estruturam suas equipes varia de acordo com a maturidade de seu programa de ciência de dados, bem como seus objetivos de análise de dados, estrutura organizacional geral e cultura empresarial. Estão INCORRETAS: ▢ -a) I e II ▢ -b) III ▢ -c) II Somente ▢ -d) II e III ▢ -e) I somente 04 A equipe de ciência de dados é gerenciada centralmente, mas os mem- bros são designados para trabalhar com operações específicas de ne- gócios e são responsáveis por ajudar essas unidades a alcançar seus objetivos para tomar decisões baseadas em dados. Estamos falando da estrutura da equipe: ▢ -a) Descentralizado. ▢ -b) Centralizado ▢ -c) Analista de dados ▢ -d) Híbrido ▢ -e) Arquiteto de dados 05 Observe as afirmações abaixo: I) Independentemente da indústria, as equipes de ciência de dados preci- sam ser fortes em três áreas centrais: matemática, tecnologia e perspicácia nos negócios”, disse Bottega. EX ER C ÍC IO S P R O P O S TO S 11-16 II) Pequenas organizações ou aquelas com necessidades de análise limitada ou iniciativas de ciência de dados em estágio inicial podem não ter um gene- ralista lidando com todas as tarefas necessárias. III) Entidades maiores, bem como aquelas com programas mais maduros, normalmente incluem alguma combinação de papéis em suas equipes de ciência de dados. Estão CORRETAS: ▢ -a) I e II ▢ -b) II somente ▢ -c) I e III ▢ -d) III somente ▢ -e) I somente 06 Podemos definir Engenheiro de dados como: ▢ -a) São responsáveis pela construção, teste e manutenção de pi- pelines de dados; eles geralmente têm uma formação em en- genharia de software ou ciência da computação que se adequa ao seu foco na infraestrutura tecnológica e coleta de dados, gerenciamento e armazenamento. ▢ -b) São os membros principais de uma equipe. Eles usam méto- dos estatísticos, algoritmos de aprendizagem de máquina e outras ferramentas para analisar dados e criar modelos pre- ditivos; alguns também constroem produtos de dados, meca- nismos de recomendação, chatbots e outras tecnologias para vários casos de uso. ▢ -c) Projeta e supervisiona a implementação dos sistemas subjacen- tes e infraestrutura de dados que a equipe usa. Em alguns casos, um engenheiro de dados também pode lidar com essa função. ▢ -d) Não tem todo o conjunto de habilidades de um cientista de dados, mas pode apoiar os esforços de ciência de dados. ▢ -e) Também às vezes chamada de engenheira de IA, essa posição trabalha em conjunto com cientistas de dados para criar, im- plantar e manter os algoritmos e modelos necessários para aprendizado de máquina e iniciativas de IA. EX ER C ÍC IO S P R O P O S TO S 11-17 07 Atuam como uma ligação entre equipes de ciência de dados e operações de negócios e ajudam a planejar projetos e traduzem os insights obtidos da aná- lise de dados em ações recomendadas de negócios. Estamos no referindo a: ▢ -a) Cientista de dados cidadão ▢ -b) Analista de negócios ▢ -c) Desenvolvedor ou engenheiro de visualização de dados ▢ -d) Arquiteto de dados ▢ -e) Tradutor de dados 08 Inicialmente focados principalmente em funções de governança de dados, gerenciamento e segurança, muitos agora também assumiram a responsa- bilidade pela ciência de dados, análise e IA. Estamos no referindo a: ▢ -a) CDOs ▢ -b) CAO ▢ -c) CFO ▢ -d) COO ▢ -e) CIO 09 Organizações de todos os tipos estão se esforçando para se tornar baseadas em dados, e com uma boa razão: muitos veem isso como uma chave para se manterem competitivos na era digital. Para isso, as equipes de ciência de da- dos devem trabalhar de forma colaborativa com os gestores de negócios para: ▢ -a) Ferramentas de análise estatística, como SAS e IBM SPSS; ▢ -b) Articular os objetivos que eles têm para usar as informações que fornece. ▢ -c) Estruturas de aprendizado de máquina e bibliotecas, incluin- do TensorFlow, Weka, Scikit-learn, Keras e PyTorch; ▢ -d) Plataformas de ciência de dados de vários fornecedores que fornecem diversos conjuntos de recursos para análises, aprendizado de máquina automatizado e gerenciamento e co- laboração de fluxo de trabalho; ▢ -e) O serviço de orquestração de contêineres Kubernetes para a implantação de cargas de trabalho de análise e aprendizado de máquina na nuvem. EX ER C ÍC IO S P R O P O S TO S 11-18 10 Executivos e líderes de equipe que buscam construir e amadurecer seus programas de ciência de dados devem considerar as seguintes melhores práticas para gerenciar suas equipes: ▢ -a) Procure trabalhadores com uma gama de habilidades comer- ciais e interpessoais,além das técnicas para ajudar a garantir que a equipe possa atender aos objetivos organizacionais. ▢ -b) Entenda claramente as perguntas de negócios que eles que- rem que a equipe responda. ▢ -c) Articular os objetivos que eles têm para usar as informações que fornece. ▢ -d) Mapeie como aplicar as informações para tomar decisões e tomar ações. ▢ -e) Estruturas de aprendizado de máquina e bibliotecas, incluin- do TensorFlow, Weka, Scikit-learn, Keras e PyTorch; DISCIPLINA: Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial CAPÍTULO 12: GERENCIAMENTO DE UMA ESTRUTURA DE INTELIGÊNCIA ARTIFICIAL 12-2 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E IN TE LI G ÊN C IA A R TI FI C IA L 12 12�1 FUNDAMENTOS Criar uma estrutura de equipe de inicialização de IA é exi- gente em termos de tempo e recursos necessários para a constru- ção de uma equipe. Este post cobrirá 10 dicas principais sobre a formação da equipe de startups. A inteligência artificial é uma força para as empresas conta- rem. Tem potencial suficiente para remodelar a forma como as em- presas abordam fluxos de trabalho diários e gerenciam projetos. Quanto às aplicações de IA voltadas para o consumidor, todas as indústrias existentes serão introduzidas em breve em projetos que envolvem uma ou mais aplicações de inteligência artificial. Como resultado do crescimento da IA, as empresas devem co- meçar a aceitar a tecnologia e integrá-la como parte da organização. De acordo com a Harvard Business Review, adotar a tecno- logia de forma inferior é ineficiente e improdutivo. Em vez de dei- xar a integração de IA para os funcionários, CEOs e gerentes de negócios devem assumir a liderança para incorporar a adoção de inteligência artificial. 12�2 Definição e recrutamento de uma equipe Contratar qualquer especialista em tecnologia é um desafio nos dias de hoje. As taxas de desemprego em todo o mundo estão atingindo o fundo do poço. Os cidadãos americanos, por exem- plo, não estão tão ocupados no trabalho desde 1969, de acordo com a BBC. Encontrar o candidato certo em um campo tão raro e caro quanto a inteligência artificial não é uma tarefa fácil para CEOs e 12-3 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E IN TE LI G ÊN C IA A R TI FI C IA L 12 gestores de RH. O pool de talentos é bastante estreito, e os lances estão no teto. Nestas circunstâncias, a criatividade é a chave para recrutar especialistas em IA. Diretores de RH e proprietários de empresas agora são forçados a considerar meios alternativos de recrutamento. Aqui estão alguns destes: 12.2.1 Mercados autônomos Nos últimos 10 anos, o domínio da economia independente tornou-se evidente em qualquer indústria. No entanto, foi na tec- nologia que brilhou o mais brilhante. De acordo com o Fórum Eco- nômico Mundial, até 2027, espera-se que a economia autônoma empregue mais de 50% da população americana. Para estar um passo à frente do mercado de trabalho, os re- crutadores de equipes de IA devem aproveitar as tendências emer- gentes. Em vez de tentar irremediavelmente preencher uma aber- tura interna, ir para mercados autônomos pode ser um movimento ganha-ganha. Os mercados freelancers mais populares incluem: 9 Codementor X; 9 Upwork Pro; 9 TopTal; 9 Equipe X. 12.2.2 Programas de referência O uso de programas de referência é uma estratégia de go-to quando se trata de fechar uma vaga de emprego desafiadora. Caso 12-4 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E IN TE LI G ÊN C IA A R TI FI C IA L 12 uma empresa não tenha dinheiro suficiente para fazer campanhas publicitárias, é hora de perguntar em torno da equipe. De acordo com o LinkedIn, os programas de referência tor- naram-se a maneira mais popular para os candidatos a emprego descobrirem sobre novas vagas. Acontece, de fato, que as empresas podem expandir o pool de talentos em 10 vezes, iniciando um pro- grama de referência corporativa. 12.2.3 Encontros tecnológicos locais A IA é uma indústria em rápido desenvolvimento — os ge- rentes de recrutamento devem tirar proveito disso. Há dezenas de conferências em todo o mundo que visam empurrar o envelope do desenvolvimento de IA. Simplesmente participar de encontros relacionados à IA me- lhorará a imagem corporativa da sua empresa — você será vista como inovadora e disruptiva. Entre em contato com os anfitriões do evento — as chances são de que eles espalhem a notícia sobre sua oferta. Afinal, os encontros de tecnologia geralmente são as- sistidos por candidatos ativos a emprego — um gerente de eventos provavelmente ficará feliz em ter recrutadores e gerentes de RH se juntando à comunidade também. 12.2.4 Empresas terceirizadas Ter uma nova equipe interna, totalmente dedicada aos proje- tos da empresa é altamente atraente. No entanto, você realmente precisa de uma multidão de especialistas em IA que precisa ser sustentada e paga? 12-5 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E IN TE LI G ÊN C IA A R TI FI C IA L 12 Para projetos pontuais, é melhor encontrar uma equipe para startups de IA que já esteja bem lubrificada. Embora a contratação de uma empresa local possa exceder seu orçamento tremendamen- te, chegar à empresa de terceirização pode ser um ajuste melhor. Na Índia, por exemplo, um desenvolvedor médio de IA ga- nha cerca de US$ 18.700 por ano. Para uma agência americana, isso nem seria o salário de um júnior. Ao mesmo tempo em que chegar às empresas terceirizadas vem com suas próprias desvantagens — a ausência de controle to- tal sobre o projeto, fusos horários e barreiras linguísticas — tam- bém expande seu pool de talentos de IA. 12.2.5 Mídias sociais O uso das mídias sociais é uma maneira de estabelecer uma conexão mais profunda com especialistas em IA. Tenha em mente que um bom candidato a emprego na indústria de IA está acostu- mado a ofertas — é por isso que formar um vínculo profundo com um candidato é extremamente importante. Compartilhar posts, fotos e vídeos dos momentos mais me- moráveis do cotidiano de uma equipe é uma boa maneira de “mos- trar, não dizer” que sua oferta vale a pena explorar. Se você está indo com plataformas como o Twitter, acom- panhar as notícias relacionadas à IA no setor é uma boa manei- ra de criar uma imagem de um hub inovador entre os que bus- cam emprego. 12-6 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E IN TE LI G ÊN C IA A R TI FI C IA L 12 12�3 Definição de uma cultura corporativa Embora a falta de habilidade ou experiência seja o motivo mais popular para a rotatividade de funcionários, estatisticamente, também é o fato de que o candidato simplesmente não é adequado para a cultura corporativa da empresa. Tenha em mente que os desenvolvedores de IA viram uma parcela justa de empresas que buscam inteligência artificial como uma tendência para o direito de ser chamado de inovador. Se você realmente tem um projeto ambicioso que envolve in- teligência artificial, certifique-se de que a cultura corporativa do negócio reflita seu impulso inovador pessoal. Existem três com- ponentes principais de uma forte cultura corporativa: 9 Valores de construção: Dependendo do nicho da empresa, os valores corporativos podem diferir. Vários exemplos comuns incluem transparência, franqueza, co- munidade, compreensão e visão geral. Se nenhum dos acima ressoar com o seu negócio, crie sua própria lista. 9 Definindo metas: Embora a maioria das empresas se concentre em metas de definição de receita, é melhor le- var em conta várias planícies — sustentabilidade financei-ra, o impacto que sua empresa tem em cada membro da equipe, missão social e assim por diante. Tenha em mente que os objetivos de longo prazo são a parte principal da cultura de uma empresa de sucesso — não hesite em criar planos que se estendem por vários anos no futuro. 9 Estabelecendo práticas: Como uma empresa de alto escalão e os principais membros da equipe mudam, os pa- drões corporativos correm o risco de entrar em colapso. Por isso, é importante que os gestores de startups codifi- quem as práticas de desenvolvimento e gerenciamento de 12-7 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E IN TE LI G ÊN C IA A R TI FI C IA L 12 projetos e compartilhem-nas com candidatos a emprego, bem como com novos funcionários durante o onboarding. Entre outras coisas, definir valores, metas e práticas irá, aci- ma de tudo, ajudá-lo a definir onde a IA está no grande esquema das coisas, bem como o propósito do novo departamento. 12�4 Estabelecimento de uma gestão ágil de projetos Agora que você sabe como construir uma boa equipe, é im- portante escolher uma metodologia de gerenciamento de proje- tos que aumente a velocidade e a eficiência do desenvolvimento do projeto. Quando estamos falando de desenvolvimento de IA e outros projetos de tecnologia, uma estrutura ágil inevitavelmente vem à mente. É a maneira mais ótima e equilibrada para pequenas equi- pes experimentais funcionarem. Existem vários pilares do Ágil — vamos examiná-los mais de perto: ● Construindo projetos como uma série de entregas de lon- go prazo. Estabelecer micro-metas e alcançá-las torna possível que todos os envolvidos no desenvolvimento de IA dêem feedback — quando uma equipe passa para a próxima fase de desenvolvimento, significa que todos es- tão felizes com o que foi feito até agora. ● Programas de rotação para todas as unidades relaciona- das à IA. Mover funcionários em torno da equipe e per- mitir que eles assumam diferentes funções aumentará a expertise geral da equipe, bem como a dedicação de cada membro. Você também será capaz de evitar a inércia — um 12-8 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E IN TE LI G ÊN C IA A R TI FI C IA L 12 estado em que, pela força do hábito, os desenvolvedores não notam mais pequenos bugs e dívidas tecnológicas. ● Reunião frequente com as partes interessadas. A Agile pressupõe que há uma conexão constante entre o cliente final e uma equipe de desenvolvimento. Quando se trata de IA, há dezenas de tecnologias, especificações técnicas que requerem explicação, e assim por diante. Ao criar um cronograma regular de reuniões e chamadas de equipe com o cliente final, sua equipe poderá avaliar os requisitos do projeto e garantir que todas as partes interessadas es- tejam na mesma página em termos de visão tecnológica. ● Criando departamentos para ética em IA. Gigantes da tecnologia como Amazon e Microsoft têm um laboratório dedicado de ética em IA. Embora uma startup possa não ser financeiramente sustentável o suficiente para ser ca- paz de criar uma equipe para startups de IA que lidariam com a ética, considere contratar um ou mais especialistas que instruissem a equipe sobre como manter a privacida- de e evitar viés algorítmico ao trabalhar em seu próximo projeto de IA. 12�5 Estruturação da equipe de trabalho Uma forte arquitetura de IA deriva da escolha do paradig- ma de organização certo ao mesmo tempo em que a construção de paradigmas de gerenciamento de equipes de startups de IA. Para evitar erros de comunicação e gargalos, siga as dicas de geren- ciamento da equipe: 9 Divida a equipe em departamentos menores. Dessa for- ma, todos podem trazer insights para o projeto, enquanto 12-9 Arquiteturas Disruptivas, IOT, Big Data e Inteligência Artificial G ER EN C IA M EN TO D E U M A E S TR U TU R A D E IN TE LI G ÊN C IA A R TI FI C IA L 12 em grandes departamentos, as ideias são muitas vezes ne- gligenciadas ou desvalorizadas. 9 Crie unidades de pesquisa e implementação separadas. Misturar os dois criará caos dentro da equipe e tornará mais difícil para os gerentes de projeto acompanhar o progresso na pesquisa e desenvolvimento de produtos. Tenha em mente, no entanto, que essas unidades sepa- radas devem ser capazes de se conectar entre si, trocar conhecimento e ter loops de feedback compartilhados. 9 Delineie a arquitetura de gerenciamento de equipe. As escolhas mais populares são uma estrutura de equipe de inicialização de IA (vertical) de ponta a ponta com uma hierarquia e sistema de relatórios claramente definido ou uma estrutura horizontal de equipe onde todos os fun- cionários estão em um plano igual em termos de tomada de decisão. Examine a estrutura de gestão da equipe nos outros departamentos da empresa, avalie sua eficiência e escolha qual das duas abordagens se encaixa melhor na sua cultura corporativa. 9 Certifique-se de que cada pessoa envolvida no desenvolvi- mento seja atualizada sobre os processos dentro da equi- pe. Isso inclui o status do projeto, ser capaz de dar uma olhada no trabalho feito por seus pares e fazer parte do círculo de feedback. Integrar todo o departamento na to- mada de decisões é uma forma de aumentar a transparên- cia e a confiança dentro da equipe. 12-10 � EXERCÍCIOS PROPOSTOS 01 Observe as afirmações abaixo: I) Criar uma estrutura de equipe de inicialização de IA é exigente em termos de tempo e recursos necessários para a construção de uma equipe. II) A inteligência artificial é uma força para as empresas contarem. Não tem potencial suficiente para remodelar a forma como as empresas abordam fluxos de trabalho diários e gerenciam projetos. III) Como resultado do crescimento da IA, as empresas devem começar a aceitar a tecnologia e integrá-la como parte da organização. Estão INCORRETAS: ▢ -a) I e III ▢ -b) II somente ▢ -c) II e III ▢ -d) III somente ▢ -e) I somente 02 Contratar qualquer especialista em tecnologia é um desafio nos dias de hoje. As taxas de desemprego em todo o mundo estão atingindo o fundo do poço. Os cidadãos americanos, por exemplo, não estão tão ocupados no trabalho desde: ▢ -a) 1990 ▢ -b) 1980 ▢ -c) 1950 ▢ -d) 1999 ▢ -e) 1969 EX ER C ÍC IO S P R O P O S TO S 12-11 03 Observe as afirmações abaixo: I) Nos últimos 10 anos, o domínio da economia independente tornou-se evidente em qualquer indústria. II) De acordo com o Fórum Econômico Mundial, até 2027, espera-se que a economia autônoma empregue mais de 50% da população americana. III) Para estar um passo à frente do mercado de trabalho, os recrutadores de equipes de IA devem não aproveitar as tendências emergentes. Estão CORRETAS: ▢ -a) I e II ▢ -b) II somente ▢ -c) I e III ▢ -d) III somente ▢ -e) I somente 04 Os mercados freelancers mais populares incluem: ▢ -a) Go-to ▢ -b) IA ▢ -c) Upwork Pro ▢ -d) Onboarding ▢ -e) Equipe C 05 Observe as afirmações abaixo: I) O uso de programas de referência é uma estratégia de go-to quando se trata de fechar uma vaga de emprego desafiadora. Caso uma empresa tenha dinheiro suficiente para fazer campanhas publicitárias, é hora de perguntar em torno da equipe. II) De acordo com o LinkedIn, os programas de referência tornaram-se a maneira mais popular para os candidatos a emprego descobrirem sobre no- vas vagas. III) A IA é uma indústria em rápido desenvolvimento — os gerentes de recrutamento devem tirar proveito disso. Há dezenas de conferências em todo o mundo que visam empurrar o envelope do desenvolvimento de IA. Estão INCORRETAS: EX ER C ÍC IO S P R O P O S TO S 12-12 ▢ -a) I e II ▢ -b) II somente ▢ -c) II e III ▢ -d) I somente ▢ -e) II somente 06 Podemos definir Empresas terceirizadas como: ▢ -a) Ter uma nova equipe interna, totalmente dedicada aos proje- tos da empresa é altamente atraente. ▢ -b) O uso dasmídias sociais é uma maneira de estabelecer uma conexão mais profunda com especialistas em IA. ▢ -c) Uma forte arquitetura de IA deriva da escolha do paradigma de organização certo ao mesmo tempo em que a construção de paradigmas de gerenciamento de equipes de startups de IA. ▢ -d) Simplesmente participar de encontros relacionados à IA me- lhorará a imagem corporativa da sua empresa — você será vis- ta como inovadora e disruptiva. ▢ -e) Uma estratégia de go-to quando se trata de fechar uma vaga de emprego desafiadora. Caso uma empresa não tenha di- nheiro suficiente para fazer campanhas publicitárias, é hora de perguntar em torno da equipe. 07 É uma maneira de estabelecer uma conexão mais profunda com especia- listas em IA. Estamos falando de: ▢ -a) Mercados autônomos ▢ -b) Programas de referência ▢ -c) Mídias sociais ▢ -d) Encontros tecnológicos locais ▢ -e) Empresas terceirizadas EX ER C ÍC IO S P R O P O S TO S 12-13 08 Uma forte arquitetura de IA deriva da escolha do paradigma de organiza- ção certo ao mesmo tempo em que a construção de paradigmas de geren- ciamento de equipes de startups de IA. Para evitar erros de comunicação e gargalos, umas das dicas de gerenciamento da equipe é: ▢ -a) Crie unidades de pesquisa e implementação separadas. Mis- turar os dois criará caos dentro da equipe e tornará mais di- fícil para os gerentes de projeto acompanhar o progresso na pesquisa e desenvolvimento de produtos. ▢ -b) Criando departamentos para ética em IA. Gigantes da tecno- logia como Amazon e Microsoft têm um laboratório dedicado de ética em IA. ▢ -c) A Agile pressupõe que há uma conexão constante entre o cliente final e uma equipe de desenvolvimento. ▢ -d) Mover funcionários em torno da equipe e permitir que eles assumam diferentes funções aumentará a expertise geral da equipe, bem como a dedicação de cada membro. ▢ -e) Construindo projetos como uma série de entregas de longo prazo. 09 Embora a falta de habilidade ou experiência seja o motivo mais popular para a rotatividade de funcionários, estatisticamente, também é o fato de que o candidato simplesmente não é adequado para a cultura corporativa da empresa. Estamos nos referindo a: ▢ -a) Estruturação da equipe de trabalho ▢ -b) Estabelecimento de uma gestão ágil de projetos ▢ -c) Mídias sociais ▢ -d) Definição de uma cultura corporativa 10 Quando estamos falando de desenvolvimento de IA e outros projetos de tecnologia, uma estrutura ágil inevitavelmente vem à mente. É a maneira mais ótima e equilibrada para pequenas equipes experimentais funcio- narem. Existem vários pilares do Ágil um deles é: ▢ -a) Divida a equipe em departamentos menores. Dessa forma, to- dos podem trazer insights para o projeto, enquanto em gran- des departamentos, as ideias são muitas vezes negligenciadas ou desvalorizadas. EX ER C ÍC IO S P R O P O S TO S 12-14 ▢ -b) Programas de rotação para todas as unidades relacionadas à IA. Mover funcionários em torno da equipe e permitir que eles assumam diferentes funções aumentará a expertise geral da equipe, bem como a dedicação de cada membro. ▢ -c) Crie unidades de pesquisa e implementação separadas. Mis- turar os dois criará caos dentro da equipe e tornará mais di- fícil para os gerentes de projeto acompanhar o progresso na pesquisa e desenvolvimento de produtos. ▢ -d) Delineie a arquitetura de gerenciamento de equipe. ▢ -e) Certifique-se de que cada pessoa envolvida no desenvolvi- mento seja atualizada sobre os processos dentro da equipe. 13-1 � REFERÊNCIAS ABRITTA, Luciana. Como as máquinas inteligentes irão transfor- mar as Relações Humanas. Stefanini Trends. Número 44, 2016. BUCKLEY, J. The Internet of Things: From RFID to the Next-Ge- neration Pervasive Networked Systems. Auerbach Publications. NewYork, 2006. BREUKER, J. Coaching in Help Systems. In: SELF, J. (Ed.) Artificial Intelligence and Human Learning: Intelligent Computer Aided Instruction. London: Chapman Hall, 1988. CHRISTENSEN, CLAYTON M.; BOWER, JOSEPH L. Tecnologias dis- ruptivas: pegando a onda. Harvard Business Review, 1995. CHORAFAS, N. Dimitris. Cloud Computing Strategies. CRC Press, 2011. DAVENPORT, Thomas H. Big Data no trabalho: derrubando mitos e descobrindo oportunidades. Rio de Janeiro: Elsevier, 2014. CISCO. Até 2023, 5,3 bilhões de pessoas estarão conectadas à Inter- net, diz Cisco. Disponível em: < https://www.mobiletime.com.br/noti- cias/18/02/2020/ate-2023-53-bilhoes-de-pessoas-estarao-conectadas- -a-internet-diz-cisco/ > Acesso em: 16. abr. 2022. EMBRATEL, e-Book “Internet Of Things, A internet Fora das Te- las”, Edição#2, 2017. ERICSSON MOBILITY REPORT. Mobile data traffic in India grow 15 times by 2021. Disponível em: < https://indianexpress.com/article/ technology/tech-news-technology/internet-of-things-ericsson-study- -mobile-data-traffic-india-2829151/ > Acesso em: 16. abr. 2022. GARTNER & ZTE. Reviews. Disponível em: < https://www.gartner. com/peer-insights> Acesso em: 16. abr. 2022. GRUBIN A. HP: armazenamento federado para serviços em nu- vem. Storage News.2011. R EF ER ÊN C IA S 13-2 FEDIV, A. Serviço para armazenamento de arquivos: qual esco- lher. Computerra-Online. My Friend Computer 15, 2011. GILLAM, L. Cloud Computing: Princípios, Sistemas e Aplicações /Nick Antonopoul os. Springer, 2010 KALBACH, Jim. A inovação eruptiva supera a inovação disrupti- va. Aries, 2ª ed. Porto, 2014. KEARSLEY, G. “Artificial Intelligence & Instruction - Applica- tions and Methods”. Editado por Greg Kearsley. Addison-Wesley Pu- blishing Company, 1987. KILKKIA, L; KALEVI, K; MÄNTYLÄ, H; MARTTI, E; KARHUA, G.G; KIMMO, O; HÄMMÄINEN, J.F; HEIKKI, D; AILISTOB, S; HEIKKI, H. Uma estrutura de disrupção. Philia. 1ª ed. Laya, 2018. L…VY, P. As Tecnologias da Inteligência - O futuro do pensa- mento na era da informática. Editora 34 (Edição brasileira), 1993. PLUZHNIK E. V., NIKULCHEV E. V. Funcionamento de sistemas educacionais em infraestrutura de nuvem. Aras publicação. 2013. RADCHENKO, G.I. Sistemas de computação distribuídos. Tuto- rial. - Chelyabinsk: Um Fotógrafo, 2012. ROGERS, L. Decodificação da disrupção digital. Aurora. 3ªed. Lio- ner, 2011. SACCOL, A. Z.; REINHARD, N. Tecnologias de informação móveis, sem fio e ubíquas: definições, estado-da-arte e oportunidades de pesquisa. Revista de Administração Contemporânea, v. 11, n. 4, p. 175-198, 2007. SIMÕES, Kátia. A Transformação do Cotidiano com a Revolução Tecnológica de IoT. Stefanini Trends. Número 46, 2017. WILLIAMS, Ian, Mark. A Quick Start Guide to Cloud Computing: Moving Your Business. Kogan Page, 2010. VELTE, T. Anthony; VELTE, J. Toby; ELSENPETER, Robert. Cloud Computing: Uma Abordagem Prática. Alta Books, 2011. 14-1 " GABARITO Capítulo 1: 01 (d) 02 (a) 03 (c) 04 (e) 05 (b) 06 (d) 07 (a) 08 (e) 09 (a) 10 (a) Capítulo 2: 01 (b) 02 (c) 03 (a) 04 (e) 05 (a) 06 (c) 07 (d) 08 (b) 09 (a) 10 (b) Capítulo 3: 01 (c) 02 (a) 03 (e) 04 (b) 05 (a) 06 (e) 07 (b) 08 (a) 09 (c) 10 (d) G A B A R IT O 14-2 Capítulo 4: 01 (c) 02 (b) 03 (e) 04 (a) 05 (b) 06 (e) 07 (b) 08 (d) 09 (a) 10 (c) Capítulo 5: 01 (e) 02 (b) 03 (a) 04 (c) 05 (e) 06 (b) 07 (e) 08 (b) 09 (a) 10 (c) Capítulo 6: 01 (a) 02 (e) 03 (b) 04 (c) 05 (b) 06 (a) 07 (e) 08 (c) 09 (a) 10 (c) G A B A R IT O 14-3 Capítulo 7: 01 (c) 02 (a) 03 (b) 04 (e) 05 (d) 06 (a) 07 (c) 08 (a) 09 (d) 10 (a) Capítulo 8: 01 (a) 02 (e) 03 (b) 04 (c) 05 (a) 06 (d) 07 (b) 08 (e) 09 (a) 10 (c) Capítulo 9: 01 (a) 02 (e) 03 (b) 04 (d) 05 (a) 06 (c) 07 (e) 08 (b) 09 (c) 10 (b) G A B A R IT O 14-4 Capítulo 10: 01 (a) 02 (e) 03 (b) 04 (c) 05 (d) 06 (a) 07 (e) 08 (b) 09 (a) 10 (c) Capítulo 11: 01 (b) 02 (a) 03 (e) 04 (d) 05 (c) 06 (a) 07 (e) 08 (a) 09 (b) 10 (c) Capítulo 12: 01 (b) 02 (e) 03 (a) 04 (c) 05 (d) 06 (a) 07 (c) 08 (a) 09 (d) 10 (b) E D I T O R A 1º EDIÇÃO - 2022 SÃO PAULO/ SP