Baixe o app para aproveitar ainda mais
Prévia do material em texto
FIA – FUNDAÇÃO INSTITUTO DE ADMINISTRAÇÃO Programa de Capacitação Executiva Cristina Saemi Katae Edgar Nishiyama Fernanda Marceli Lencek Alcantara Guilherme Cuchierato Jacqueline Grippe da Silva BIG DATA E O CUSTOMER EXPERIENCE NA ERA DO MARKETING 3.0 São Paulo 2015 Cristina Saemi Katae Edgar Nishiyama Fernanda Marceli Lencek Alcantara Guilherme Cuchierato Jacqueline Grippe da Silva BIG DATA E O CUSTOMER EXPERIENCE NA ERA DO MARKETING 3.0 Trabalho prático final apresentado à FIA – Fundação Instituto de Administração – como requisito para obtenção do certificado de conclusão do curso de Capacitação Executiva – CapExecutivo – Turma 9. Orientador: Prof. Roberto Alonso São Paulo 2015 Big Data e o Customer Experience na era do Marketing 3.0 / Cristina Saemi Katae... [et al.]. São Paulo: [s.n.], 2015. 128 f. : il., tab. Demais autores: Edgar Nishiyama, Fernanda Marceli Lencek Alcantara, Guilherme Cuchierato, Jacqueline Grippe da Silva. Orientador: Roberto Alonso Ribeiro Área de concentração: Marketing Programa de Capacitação Executiva – CapExecutivo l. Big Data Marketing 2. Customer Experience 3. Marketing 3.0 - São Paulo - Brasil I. Katae, Cristina Saemi II. Programa de Capacitação Executiva- CapExecutivo V. FIA - Fundação Instituto de Administração. FOLHA DE APROVAÇÃO Cristina Saemi Katae Edgar Nishiyama Fernanda Marceli Lencek Alcantara Guilherme Cuchierato Jacqueline Grippe da Silva BIG DATA E O CUSTOMER EXPERIENCE NA ERA DO MARKETING 3.0 ______/______/_______ Banca Examinadora: _____________________________________ Prof. Roberto Alonso Ribeiro Orientador _____________________________________ Prof. _____________________________________ Prof. Julgamento___________________________Assinatura_______________________ DEDICATÓRIAS À minha família que, cоm carinho е apoio, nãо mediu esforços para qυе еυ chegasse аté aqui. Аоs meus amigos, pеlаs alegrias, tristezas е dores compartilhas. E, em especial, a meu pai, Yutaka Katae (in memoriam), a força sem a qual este trabalho e muitos dos meus sonhos não se realizariam, Cristina Saemi Katae À minha esposa, Cíntia, ao meu filho, Victor, e à minha mãe, Luiza (in memoriam), meus amores e minhas referências eternas de conduta, Edgar Nishiyama Aos meus pais, Benedito e Elenice Lencek, ao meu esposo, Alex Alcantara, e à minha filha, Isabella Lencek Alcantara, que são minha inspiração e razão da minha vontade de ser uma pessoa melhor a cada dia,Fernanda, Marceli Lencek Alcantara À minha esposa, Andrea Glezer, ao meu filho, Theo Glezer Cuchierato, ao meu pai, Newton João Cuchierato, e à minha mãe, Iacy Rodrigues Cuchierato (in memoriam), meus amores, minhas inspirações e minhas maiores motivações, Guilherme Cuchierato A Deus, por ter me dado forças para superar as adversidades, ao meu esposo, Nelson Rodrigo da Silva, e ao meu filho, Gabriel Grippe da Silva, e à minha mãe, Aparecida Grippe, pelo apoio incondicional e por serem meus maiores motivadores, Jacqueline Grippe da Silva AGRADECIMENTOS Em primeiro lugar, agradecemos a Deus, nosso Pai Maior, pelo amor, pela vida e pela bênção de termos chegado até este momento. Agradecemos também: Aos nossos familiares, de quem sequestramos as nossas presenças no convívio da maioria das noites de sexta-feira e dos sábados de 2015, pelo apoio, pelo incentivo, pelas condições materiais e emocionais, que nos permitiram chegar ao final do curso. Ao Professor Orientador Roberto Alonso Ribeiro, que nos honrou com a oportunidade de termos sido seus orientandos, que tornou possível a realização desta monografia, e que disponibilizou seu tempo e seu conhecimento sempre que necessário. Ao Professor Doutor Almir Ferreira de Sousa, coordenador do Programa CapExecutivo, e ao Professor Doutor Carlos Eduardo de Mori Luporini, vice- coordenador do Programa CapExecutivo, pela oportunidade e pela honra de termos sido alunos deste inigualável programa de aperfeiçoamento para executivos. A todos os Professores da Turma 9 do Programa CapExecutivo, pela disposição, pelo companheirismo, pela amizade, pelo carinho, pelas dicas, pelos conteúdos de suas aulas e pela dedicação. A todos os Palestrantes da Turma 9 do Programa CapExecutivo, por terem contribuído com suas experiências em prol de nosso desenvolvimento. À FIA – Fundação Instituto de Administração, pelo privilégio e pela honra de termos podido frequentar seus bancos escolares na condição de alunos bolsistas e de termos podido utilizar sua infraestrutura em benefício de nossos estudos e pesquisas. À ABA, Associação Beneficente Anhembi, igualmente pelo privilégio e pela honra de termos podido ser bolsistas do Programa CapExecutivo, Aos monitores docentes Edson Leite e José Luis Nubie Policastro, pela amizade, pelo companheirismo e por tantas vezes terem nos acolhido, em momentos de incertezas e dúvidas, em relação às regras do jogo. Aos colaboradores do ProCED, Programa e Capacitação da Empresa em Desenvolvimento da FIA. E, por fim, mas não menos importante, aos amigos e colegas da Turma 9 do Programa CapExecutivo, a melhor Turma 9 da história deste programa, pelos incontáveis momentos de alegria, de compartilhamento de experiências e de informações, pelas inúmeras gargalhadas decorrentes de festivo ambiente, pelas sugestões e pela empatia demonstrada ao longo de toda a duração do nosso curso. “To those who dream of a scientific world of fewer egos and more open minds and to all who dream of a world of peace and prosperity through knowledge and learning for everyone.” Lytras e Naeve RESUMO O presente trabalho se dedica a estudar o conceito de Big Data, com o objetivo de investigar seu potencial como instrumento capaz de agregar valor ao marketing, reverberando em estratégias de Customer Experience no ambiente do Marketing 3.0. Na era das tecnologias disruptivas e internet, os usuários deixam cada vez mais rastros sobre seus hábitos. A inteligência de dados é um meio de transformar essas “pegadas” digitais em insights relevantes sobre o comportamento de consumidores. Informações precisas e valiosas ajudam as empresas a direcionar estratégias de marketing que resultarão em maiores taxas de conversão, engajamento e vendas. É nesse aspecto que o Big Data atua. A partir da leitura de dados não estruturados, ele permite às empresas conhecer melhor seus consumidores, entender tendências de consumo e formatar soluções. As organizações que forem capazes de ter uma visão holística dos clientes e souberem enfrentar as mudanças conseguirão ser bem sucedidas. Palavras-chave: Big Data; Experiência do Cliente; Marketing 3.0 ABSTRACT This project aims to study the concept of Big Data as a tool capable of adding value to marketing, reverberating into the form of Customer Experience strategies in the human centric Marketing 3.0 environment. In the era of technology disruption and internet, users leave digital traces about themselves everywhere. Customer data intelligence is a means whereby businesses turn those digital footprints into meaningful insights of customer behavior. Objective and valuable information help direct marketing resources towards strategies that will result in higher conversions, engagement and sales rates. It’s in this context that Big Data performs. Through the interpretation of unstructured data, companies have a way of knowing their customers better, understanding consumption tendencies and generating solutions. Those companies that have a holistic viewpoint of its customersand are brazen enough for change will manage to succeed. Keywords: Big Data; Customer Experience; Marketing 3.0 SUMÁRIO 1 INTRODUÇÃO ................................................................................................................. 23 1.1 Histórico da gestão de dados para o relacionamento com os clientes.......................... 25 2 PROBLEMA DE PESQUISA ............................................................................................ 29 2.1 Objetivo geral ................................................................................................................. 29 2.2 Objetivos específicos ..................................................................................................... 30 2.3 Justificativa .................................................................................................................... 30 2.4 Organização da pesquisa .............................................................................................. 33 3 CONTEXTO E REALIDADE INVESTIGADA .................................................................... 34 3.1 Ecossistema de dados ................................................................................................. 35 3.1.1 Dados próprios (1st party data) ................................................................................... 35 3.1.2 Dados de terceiros (3rd party data) ............................................................................. 36 3.1.3 Dados compartilhados com parceiros (2nd party data) ............................................... 38 3.2 Integração dos dados .................................................................................................... 38 3.3. Dados estruturados versus dados não estruturados ..................................................... 39 4 BIG DATA ........................................................................................................................ 40 4.1 Big Data e tecnologia ..................................................................................................... 41 4.1.1. ETL, DW, BI, cloud computing, Big Data, data lake ................................................... 41 4.1.2 Soluções de Big Data.................................................................................................. 44 4.1.2.1.1 Ecossistema de ferramentas presentes com o Hadoop......................................... 47 4.2 Novos perfis profissionais e a era da cultura de dados .................................................. 48 4.2.1 Cientista de dados ...................................................................................................... 49 4.2.2 Especialista em dados ................................................................................................ 49 4.2.3 Administrador / Facilitador de dados ........................................................................... 49 4.3 Big Data e análise de dados .......................................................................................... 49 4.3.1 Métodos analíticos e Big Data para obtenção de insights ........................................... 51 4.3.2 Estratégia analítica ..................................................................................................... 55 4.3.3 Metodologia de análise de dados no mundo do Big Data ............................................ 57 4.3.4 Ferramentas de data mining e análises de Big Data ................................................... 61 4.3.5 Aplicações de Big Data ............................................................................................... 67 4.3.6 Tipos de análises com o Big Data ............................................................................... 68 4.4 Big Data e Customer Experience ................................................................................... 75 4.4.1 Customer experience e a privacidade e segurança dos dados no mundo do Big Data 81 4.4.2 Customer Experience: Estratégia de interação com o consumidor .............................. 84 4.4.3 Customer Experience no Brasil ................................................................................... 85 4.4.4 Aplicação prática: Toyota - Big Data e o insight para a visão 360 graus dos clientes .. 87 4.5. Big Data e Marketing 3.0 ............................................................................................... 91 4.6 Casos práticos de aplicações de Big Data ..................................................................... 93 5 CONSIDERAÇÕES FINAIS ............................................................................................ 103 5.2 Transformações do Big Data no marketing .................................................................. 103 5.2.1 Big Data e os 4 Ps do marketing ............................................................................... 103 5.2.2 Big Data e o modelo tradicional de trabalhar dados .................................................. 105 6 CONCLUSÕES ............................................................................................................... 108 7 PROPOSTAS PARA PESQUISAS FUTURAS ............................................................... 108 REFERÊNCIAS ................................................................................................................. 111 ANEXOS ........................................................................................................................... 118 LISTA DE ILUSTRAÇÕES Figura 1 - Data warehouse: enfoque tradicional de integração dos dados .......................... 26 Figura 2 - Evolução dos sistemas de acordo com o volume de dados ................................ 29 Figura 3 – Integração de daods & ETL ................................................................................ 42 Figura 4 – Ecossistema do Apache Hadoop ....................................................................... 47 Figura 5 – Diagrama de transição de dados, informação, conhecimento e sabedoria. ........ 51 Figura 6 – Tendência do showrooming ............................................................................... 77 Figura 7 – O Impacto do Customer Experience ................................................................... 79 Figura 8 – Processo centrado no consumidor ..................................................................... 84 Figura 9 - Top 20: ranking das empresas segundo a experiência que proporcionam aos clientes (CX INDEX 2015) ................................................................................................... 87 Figura 10 – Toyota: Data-Driven e Visão 360 do consumidor com Apache Spark e MLlib .. 89 Figura 11 – Sistema de Recomendação da Amazon.com ................................................... 94 Figura 12 – Homepage Amazon.com personalizada ........................................................... 95 Figura 13 – Consulta de produtos no site amazon.com ....................................................... 96 Figura 14 – Homepage personalizada Netflix ...................................................................... 98 Figura 15 – “House of Cards” - Produção Netflix baseada em Big Data .............................. 99 Figura 16 – Knowledge Graph Google .............................................................................. 101 Figura 17 – Links patrocinados vs. Busca orgânica .......................................................... 102 Figura 18 – cdkitchen.com – website da “rede de display” com anúncios personalizados . 103 LISTA DE GRÁFICOS Gráfico 1 – Tipos de dados próprios utilizados pelas empresas .......................................... 36 Gráfico 2 - Tipos de dados de terceiros utilizados pelas empresas ..................................... 37 Gráfico 3 - Aumento do market share .................................................................................53 Gráfico 4 - Redução do ciclo de vendas e redução dos custos de venda ............................ 54 Gráfico 5 – Benefícios do uso de dados na tomada de decisões ........................................ 55 Gráfico 6 – As dez ferramentas analíticas mais usadas ...................................................... 62 Gráfico 7 – Motivação para compra na loja – Tendência de showrooming .......................... 76 LISTA DE TABELAS Tabela 1 – Comparativo de ferramentas de análise ............................................................. 66 Tabela 2 – Principais alterações promovidas pelo Big Data ............................................. 107 LISTA DE ABREVIATURAS E SIGLAS AWS – Amazon Web Services B2B – Business-to-Business B2C – Business-to-Consumer B2H – Business-to-Human BI – Business Intelligence BLOB - Binary Large Objects CEO – Chief Executive Officer CMO – Chief Marketing Officer CRM – Customer Relationship Management CSV – Comma Separated Value CXM – Customer Experience Management DMA – Direct Marketing Association DMP – Data Management Platform DW – Data Warehouse ETL – Extract Transform and Load GFS – Google File System IDRF – Identificação por Rádio Frequência ITSMA - Information Technology Services Marketing Association JSON - JavaScript Object Notation KDD – Knowledge Discovery in Databases NER – Named Entity Recognition (em português, REM) NIST - National Institute of Standards and Technology NoSQL - Not Only SQL - Não Somente SQL NPL – Natural Language Processing (em, português, PLN) PNL – Processamento de Língua Natural (em inglês, NPL) POST – Part-of-Speech Tagging (ou POS Tagging) RCFile – Record Columnar File REM – Reconhecimento de Entidade Mencionada (em inglês, NER) RFID - Radio Frequency IDentification (IDRF) SQL - Structured Query Language TOMS – Topic Oriented Multimedia Summarization System TRECVID – TREC Video Retrieval Evaluation GPS – Global Positioning System URA – Unidade de Resposta Audível XML - Extensible Markup Language 23 1 INTRODUÇÃO Na década de 1980, Alvin Toffler (TOFFLER 2001) preconizou o que hoje se testemunha – a economia caminhou da produção para a informação. Segundo o autor, a maneira como a humanidade produziu riqueza ao longo do tempo pode ser dividida em “ondas”: a primeira é a da agricultura, caracterizada pela terra e pelo arado; a segunda veio com a Revolução Industrial, quando a terra deu lugar à indústria e aos bens de consumo, capitaneada pelo motor a vapor; e a terceira onda deu-se quando a geração de riqueza cedeu lugar ao conhecimento. A propagação do computador pessoal e as diversas mudanças na sociedade conduziram à “era da informação”, em que tecnologia, dados e inteligência são tipos de capital essenciais ao sucesso. A partir de meados dos anos 90, as primeiras mudanças em direção a essa nova sociedade foram mais evidenciadas – a informatização alterou o fluxo e a organização da informação. Na década seguinte, um fenômeno disruptivo1 contribuiu para acelerar essa economia da informação – a internet acessível a todos. Esse fato mudou o modo como a sociedade lida com os mais diversos aspectos, do religioso ao cultural, do político ao econômico. As empresas foram obrigadas a rever seus parâmetros de valor em suas estratégias de negócios. Uma ideia que gera vantagem competitiva passou a ser considerada como ativo essencial e de fundamental importância, como se pode observar nos comentários de vários especialistas. Informação é poder, logo, se uma empresa souber como utilizar os dados que tem em mãos, poderá entender como melhorar um produto, como criar uma estratégia de marketing mais eficiente, como cortar gastos, como produzir mais em menos tempo, como evitar o desperdício de recursos, 1 Adjetivo derivado do substantivo disrupção, ou seja, “fratura; interrupção do curso normal de um processo”, segundo o dicionário Houaiss. O americano Clayton M. Christensen, professor de Harvard, transformou o termo disruptive em um conceito, ao falar sobre “tecnologias disruptivas”, nome de seu livro de 1995, e dois anos depois em “inovação disruptiva”, no título “O dilema da inovação”. Segundo Christensen, a teoria do disruptivo explica o fenômeno segundo o qual uma inovação simples, conveniente e acessível transforma mercados ou setores complexos e de alto custo e altera definitivamente conceitos e práticas, redefinindo completamente a indústria. (http://www.christenseninstitute.org/key-concepts/disruptive-innovation-2,/. Acesso em 02 de setembro de 2015). CHRISTENSEN, Clay. Disruptive Innovation Explained. 30 de Março de 2012. https://www.youtube.com/watch?v=qDrMAzCHFUU (Acesso em 02 desetembro de 2015). 24 como superar um concorrente, como disponibilizar serviços para a um cliente especial de maneira satisfatória [...]. (ALECRIM 2015) Conhecimento é o valor dos negócios de hoje e tem sido a fonte do poder econômico, há muitas décadas. Muitos dos mais interessantes e valiosos novos negócios atuais são aqueles fundamentalmente orientados por informações. (traduzido de: HINCHCLIFFE 2011) Muitas empresas perceberam essas mudanças, fundamentais e de longo alcance, e entenderam que utilizar essas informações com inteligência poderia ajudar as áreas de marketing, por exemplo, a veicularem aos consumidores a mensagem certa, para atender a seus desejos e suas necessidades, no momento adequado e no lugar certo. A “palavra-chave”, então, passou a ser relevância. Muitas corporações, a partir da década passada, aprenderam a extrair vantagens de poderosas estruturas de database marketing2 ou complexos sistemas de CRM3 integrados aos sistemas da empresa para apresentar relevância e interesse aos seus clientes e, assim, gerar relacionamentos rentáveis e sólidos. Uma década mais tarde, com a sociedade digital e suas ferramentas, o processo de produção e armazenamento de informações tomou outras proporções. A chamada “era da informação” também trouxe a “era da abundância de informações”. Os dispositivos móveis, as Webs 2.0 e 3.0, as redes sociais, os blogs, os vídeos, o GPS, a computação em nuvem (Cloud Computing), a Internet das Coisas (IoT - Internet of Things 4 ), a tecnologia dos “vestíveis” ou “usáveis” (wearables5) e todas as demais novas tecnologias que surgem diariamente, estão 2 Database marketing – Tecnologia de banco de dados aplicada em marketing para desenvolver, criar e gerenciar dados de clientes, como perfil e histórico de interações com a companhia. Essas informações são usadas para localizar, selecionar, abordar, manter e estabelecer relacionamentos duradouros com os consumidores. (traduzido de: AMA – American Marketing Association. AMA Dictionary. https://www.ama.org/resources/Pages/Dictionary.aspx?dLetter=D. Acesso em 11 de julho de 2015. 3 CRM - Customer Relationship Management – Gestão do Relacionamento com o Cliente – Disciplina que combina tecnologia de banco de dados com serviços ao cliente e comunicação de marketing. O CRM procura desenvolver comunicações individualizadas com os consumidores, analisando dados pessoais (demográficos, sociais, transacionais, etc.). Inclui desde a mais simples forma de emails personalizados até comunicações mais complexas, como comunicações de marketing individualizadas e direcionadas, seja em anúncios de publicidade, visitas a web sites ou em ligações nos serviços de atendimento ao consumidor. (traduzido de: AMA – American Marketing Association. AMA Dictionary. https://www.ama.org/resources/Pages/Dictionary.aspx?dLetter=C#customer+relationship+management. Aacesso em 11 de julho de 2015. 4 IoT ou Internet of Things - sensores wireless, identificação por radio frequência e a nanotecnologia, que conectam as todas as coisas. 5 Wearables- pulseiras, braceletes, relógios, óculos, anéis, trajes e aparelhos digitais que podem ser acoplados ao corpo. https://www.ama.org/resources/Pages/Dictionary.aspx?dLetter=D 25 transformando como a sociedade se conecta e se comunica e como as empresas oferecem novos produtos e se relacionam com seus consumidores. As corporações começam a tirar proveito dessas novas fontes de informações não estruturadas que fluem velozmente – batizadas, no conjunto, de “Big Data”. As transformações são crescentes em todos os setores do mundo de negócios. Surgem novos participantes, alteram-se posições competitivas, novas tecnologias precisam ser aprendidas com rapidez, profissionais desenvolvem novas habilidades e o marketing se reinventa. As empresas que conseguirem se adaptar serão capazes de enfrentar melhor essa revolução. Na era do Big Data, isso se traduz em habilidade para extrair informações relevantes – insights – do oceano de dados para orientar a tomada de decisões e responder às alterações do mercado de forma mais eficiente. Este trabalho se propõe a descrever o Big Data no cenário de transformações e suas contribuições para o “novo marketing”, no qual o CRM (Customer Relationship Management) caminha para o CXM (Customer Experience Management), e o Marketing 1.0, com foco no produto, e o Marketing 2.0, voltado para o consumidor, cedem espaço para o Marketing 3.0, centrado no ser humano (KOTLER, KARATAJAYA e SETIAWAN, Marketing 3.0: as forças que estão definindo o novo marketing centrado no ser humano 2010), promovendo o B2C (Business-to-Consumer) a B2H (Business-to-Human). Com isso, será possível compreender essa conjuntura, à qual os gestores estão sendo desafiados a responder de muitas formas. 1.1 Histórico da gestão de dados para o relacionamento com os clientes O uso de dados para tomada de decisões de marketing não é recente. Desde a década de 1990, as companhias começaram a perceber o valor das informações que possuem de seus consumidores. Segundo Peter Sondergaard, vice-presidente sênior do Gartner Group, “informação é o combustível do século 21, e o sistema de análise é o motor” (BIRCKHEAD 2014). Tal visão impulsionou a necessidade de organizar os dados que as empresas possuíam para manter um histórico do relacionamento estabelecido com cada 26 cliente e possibilitar a “visão única do consumidor”. Era preciso registrar, em um só lugar, perfil sócio-demográfico, interesses, preferências e transações com a empresa, cruzando todos os dados dispostos nos bancos de dados separados: financeiro e contábil, compras, dados cadastrais, respostas de campanhas e ações de relacionamento. O data warehouse (DW), um grande “armazém de dados”, surgiu para solucionar esse problema. Essa tecnologia permitiu reunir todos os dados da empresa, possibilitando uma visão integrada dos clientes, fornecedores e principais stakeholders da organização e gerar análises mais detalhadas. Com o uso da tecnologia e dos dados, os profissionais de marketing passaram a compreender seus clientes, elaborar estratégias e direcionar campanhas personalizadas, obtendo resultados significativos. A Figura 1 ilustra o processo de integração dos dados em um data warehouse. Figura 1 - Data warehouse: enfoque tradicional de integração dos dados Fonte: (BIRCKHEAD 2014) Nesse contexto, desponta o database marketing como disciplina, um conceito de negócios que propiciou formas de se comunicar com os consumidores, atuais e potenciais (prospects), individualmente, estabelecendo o chamado diálogo one-to- one (um a um) e gerando um relacionamento duradouro, conceituado por Peppers e 27 Rogers como Marketing um a um ou Marketing individualizado (PEPPERS e ROGERS 1994). O antigo paradigma, um sistema de produção em massa, mídia de massa e marketing de massa, está sendo substituído por um paradigma inteiramente novo, um sistema econômico individualizado. O futuro individualizado será caracterizado pela produção personalizada, uma mídia individualmente abordável, um marketing individualizado, mudando totalmente as regras da concorrência e do desenvolvimento comerciais. Em vez da concorrência comercial será a fatia de clientes – um cliente de cada vez. (PEPPERS e ROGERS, Marketing um a um 1994) [...] uma forma radicalmente diferente de fazer negócios, em face da nova realidade de computadores mais velozes e mais potentes e dos meios de comunicação cada vez mais interativos. Para lidar com essa realidade, propusemos um novo tipo de concorrência – uma concorrência orientada para o cliente, que denominamos marketing um a um (1:1). [...] a empresa 1:1 usa banco de dados de clientes e comunicação interativa para vender o máximo possível de produtos e serviços para um cliente por vez, durante toda a sua vida como cliente ativo. Trata-se de uma estratégia que exige que a empresa gerencie cada cliente individualmente, em vez de gerenciar meramente produtos, canais de vendas e programas. (PEPPERS e ROGERS, Empresa 1:1 1997) É o marketing impactado pela tecnologia de banco de dados e por técnicas de comunicação do marketing direto6 e do marketing de relacionamento (CRM). Essa evolução facilitou também o processo de análises. Um elemento fundamental para garantir a boa gestão de um database marketing e o sucesso das práticas de CRM reside na conversão dos dados em conhecimento, por meio do data mining, ou “mineração dos dados”, que responde pela análise dos dados dispostos em um data warehouse com o auxílio de ferramentas que buscam tendências ou padrões. De acordo com Berry e Linoff (BERRY e LINOFF 1997), data mining consiste na exploração e análise de grandes volumes de dados com o objetivo de descobrir informações significativas. O foco é estudar os dados, transformando-os em informações sobre as necessidades dos clientes. Esse 6 Marketing Direto: disciplina de marketing cuja comunicação se utiliza de uma ou mais formas de comunicação [venda direta, mala direta, telemarketing, e-mail marketing, publicidade direcionada e segmentada, catálogos, etc.] para obter uma resposta ou transação mensurável junto a públicos específicos ou gerar uma ação de relacionamento que produza encantamento junto ao público-alvo [...]. (*) Segundo a DMA, “Marketing Direto é um sistema interativo de marketing que usa uma ou mais mídias para obter uma resposta mensurável em qualquer lugar e tem isto registrado em uma base de dados” (ABEMD - Associação Brasileira de Marketing Direto. Glossário de Marketing Direto. http://www.abemd.org.br/pagina.php?id=24. Acesso em: 11 de junho de 2015). 28 instrumento permite conhecer os clientes, seus perfis, suas preferências, a probabilidade de comprarem ou abandonarem a empresa. Berry e Linoff enfatizam que o relacionamento com os consumidores constrói-se a partir da observação de suas necessidades, do registro de suas preferências e do aprendizado com suas interações passadas, proporcionadas pela mineração dos dados. Shepard resumiu, assim, o novo marketing como “um processo orientado pela informação e gerenciado pela tecnologia de banco de dados, o que permite o desenvolvimento e a implementação de estratégias personalizadas de marketing” (SHEPARD 1993). A atual explosão de dados vem testando os limites dos data warehouses tradicionais e, a cada dia, surgem novas ferramentas, tanto para capturar e armazenar, como para manipular e analisar adequadamente os dados em escalas exponenciais, possibilitando a geração de insights valiosos para as empresas com utilização de recursos computacionais intensos. Tal volume de dados, processados com incrível velocidade e analisados por poderosas tecnologias de inteligência, tem conduzido as empresas para a era do Big Data. As tecnologias de computação na nuvem (cloud computing) têm beneficiado o data warehousingtradicional como os novos enfoques de Big Data, reduzindo os custos de armazenamento e favorecendo o aperfeiçoamento e o desenvolvimento de novos recursos. Na Figura 2, observa-se a evolução dos sistemas e tecnologias de acordo com o volume de dados processados por área de atuação: armazenamento e processamento de dados, análises e data mining e inteligência de negócios. É, ainda, possível observar a transformação dos objetivos mercadológicos que acompanharam tais tendências. 29 Figura 2 - Evolução dos sistemas de acordo com o volume de dados Fonte: (HINCHCLIFFE 2011) As tecnologias de Big Data não substituem os sistemas tradicionais; elas se complementam. Muitas empresas convivem, hoje, com as duas soluções: o data warehouse tradicional e o ambiente de Big Data. 2 PROBLEMA DE PESQUISA Como o uso do Big Data contribui na estratégia do Marketing 3.0 e orienta o CXM (Customer Experience Management)? 2.1 Objetivo geral Descrever o Big Data, caracterizar as transformações do cenário de marketing atual e identificar como ele modela o perfil do novo marketing de relacionamento, o CXM (Customer Experience Management) centrado não mais no consumidor, mas no ser humano e focado no engajamento e na experiência com a empresa. 30 2.2 Objetivos específicos Descrever os novos tipos de dados, capturados em grande volume, diversificados e não estruturados, que utilizam recursos de computação em grande escala. Identificar as inovações tecnológicas e os modelos de negócios do Big Data e as transformações do marketing e do relacionamento com os clientes, caracterizando as oportunidades de contribuição para a “era da experiência do cliente”. Verificar a evolução e os progressos do Big Data, enfatizando o caráter estratégico dos insights proporcionados pelos dados e do novo estilo de fazer negócio, apoiado em análises complexas e sofisticadas, cada dia mais automatizadas e em tempo real. Caracterizar o cenário de marketing atual, indicando a influência do Big Data no novo modelo de marketing – o Marketing 3.0 – e na nova maneira de relacionamento, que se traduz em engajamento, com o cliente – do CRM ao CXM. Descrever os perfis profissionais demandados para atuar com o Big Data e o novo marketing. Avaliar o impacto do Big Data em um cenário mercadológico em transformação. 2.3 Justificativa Atualmente, muito se fala sobre Big Data. Mas o que vem a ser Big Data? Não restam dúvidas de que, atualmente, as empresas nadam em um oceano crescente de dados, tão volumosos quanto desestruturados, originados de diferentes fontes, que os métodos tradicionais não têm capacidade para analisar e gerenciar. Dentre as diversas origens podem ser citados: web, conteúdo de mídias sociais (tweets, blogs, posts), vídeos, entre outros. Mas Big Data engloba muito mais, desde reconhecimento de voz e sentimentos em call centers, até dados de descobertas de pesquisas médicas e biomédicas. Só o Google processa, diariamente, cerca de 24 petabytes – ou 24.000 terabytes de dados (NEWMAN 2014), dos quais apenas 31 pequena apenas está no formato tradicional de linhas e colunas dos databases convencionais. Para dar uma ideia da velocidade de processamento de informações, seguem alguns números sobre o volume total de dados gerados online por minuto: 2 milhões de pesquisas no Google 685 mil atualizações no Facebook 200 milhões de emails enviados 48 horas de vídeos no YouTube 347 novas publicações em blogs (traduzido de: NEWMAN 2014) Segundo o Gartner Group (GARTNER 2014), consultoria na área de tecnologia, o Big Data implicará investimento maciço nos próximos dois anos, em todo o mundo. Já são movimentados cerca de US$ 70 bilhões por ano no mercado global de Big Data, e a tendência é que tenha havido um crescimento de quase 40% até o final de 2015. O grupo norte-americano prevê ainda que, em 2015, mais de 4 milhões de empregos tenham sido criados em torno do Big Data. Por se tratar de informações cuja apuração é recente, a consultoria ainda não dispõe dos resultados finais. Costuma-se denominar de Big Data essa imensa quantidade de dados não estruturados que o mundo está produzindo atualmente. O termo surgiu a partir do final da década de 2000, quando a virtualização e o acesso à tecnologia tomaram grande proporção. Entretanto, Big Data não trata apenas de quantidade ou de tecnologia. Tampouco é a díade “quantidade de dados e tecnologia” que orienta essa revolução dos dados, mas os insights que eles podem gerar. Com conhecimento, é possível entender o que interessa e motiva as pessoas, o que as faz se engajarem a uma marca ou comprarem seus produtos, ou quais inovações em produtos ou serviços podem ser desenvolvidos para atender as necessidades do público da empresa. 32 O Big Data, portanto, vai além. Engloba um conjunto de cinco Vs7: Volume, Velocidade, Variedade, Veracidade e Valor, que corresponde a um processo de captura de grande volume de dados, gerados em alta velocidade, com variedade de formato e informações, nem sempre confiáveis ou consistentes, que devem ser transformados em insights valiosos para auxiliar tomada de decisões e produzir resultados. Com todas essas transformações na maneira de administrar os dados, o ambiente de marketing também enfrenta mudanças. Segundo Kotler (KOTLER, KARATAJAYA e SETIAWAN, Marketing 3.0: as forças que estão definindo o novo marketing centrado no ser humano 2010), os clientes escolhem, hoje, produtos e empresas de acordo com suas necessidades de criatividade, comunidade e idealismo. Esse movimento foi chamado de Marketing 3.0, que aborda os clientes como pessoas, seres humanos norteados por valores e influenciados por outras pessoas. De acordo com os autores, os consumidores estão ganhando poder (empowerment do consumidor) e estão mais conscientes e ativos. As mudanças no ambiente de negócios – recessão, preocupações com o meio ambiente, novas mídias sociais, empowerment do consumidor, nova onda de tecnologia e globalização – continuarão provocando mudança maciça nas práticas de marketing. Hoje, existe mais confiança nos relacionamentos horizontais do que nos verticais. Os consumidores acreditam mais uns nos outros do que nas empresas. A ascensão da mídia social é apenas um reflexo da migração da confiança dos consumidores das empresas para outros consumidores. (KOTLER, KARATAJAYA e SETIAWAN, Marketing 3.0: as forças que estão definindo o novo marketing centrado no ser humano 2010). Nesse contexto o CRM - Customer Relationship Management - se renova. Ganha espaço o conceito de CXM - Customer Experience Management (também conhecido como CX), que reforça o interesse na individualidade dos consumidores, associando as novas tecnologias para controlar essa dimensão em grande escala. O 7 Embora muitos autores reclamem a autoria desse conceito dos três Vs, posteriormente ampliado para os cinco Vs, a mais aceita é aquela atribuída a Doug Laney que, no final dos anos 90, como analista do Grupo META (atualmente parte do grupo Gartner), divulgou a teoria dos desafios das três dimensões dos dados (volume, velocidade e variedade), dando origem ao conceito dos três Vs (que, mais tarde, o próprio grupo Gartner ampliou, incluindo veracidade e valor como conceitos do Big Data). No final dos anos 2000, Doug Laney publicou o estudo intitulado “3-D Data Management: controlling Data Volume, Velocity and Variet”. (fontes: Gartner Blog Network. Deja VVVu: Other’s Claiming Gartner’s Construct for Big Data. http://blogs.gartner.com/doug-aney/deja-vvvue-others-claiming-gartners-volume-velocity-variety-construct-for-big-data/. Acesso em: 20 de dezembro de 2015; DataFloq. Whay the 3V’s Are Not Sufficient To Describe Big Data. https://datafloq.com/read/3vs- sufficient-describe-big-data/166. Acesso em:20 de dezembro de 2015.) 33 interesse nos consumidores como indivíduos, que demonstram poder nas redes sociais e rapidamente ganham visibilidade, gradativamente tem levado as empresas a perceberem a necessidade de olhar para além dos sistemas de CRM interno. Não é mais possível ignorar as experiências externas dos indivíduos, o CXM – Customer Experience. A possibilidade de agregar dados “holísticos” dos indivíduos e conhecer cada uma das experiências dos consumidores é aumentada com o advento das novas tecnologias em escala e processamentos intensivos. O objetivo é coletar o maior número de informações possíveis de cada cliente para garantir a melhor experiência, antecipando as necessidades e demandas dos consumidores. É possível, assim, observar a estreita relação que o Big Data tem com a nova conjuntura do mercado. O CXM – Customer Experience Management, no ambiente do Marketing 3.0, se beneficia enormemente das tecnologias e soluções analíticas do Big Data. São tendências que convergem para um mesmo objetivo: a obtenção de vantagens competitivas em um mercado em transformação. Por esse motivo, a proposta deste trabalho é consolidar, em um mesmo estudo, a “revolução” do Big Data e a “era” do novo marketing, centrado na experiência do consumidor. 2.4 Organização da pesquisa O trabalho se propõe a descrever a evolução dos dados, tecnologia e formas de análise para geração de insights do Big Data, relacionando-os com o ambiente de marketing em transformação e a nova forma de relacionamento com o consumidor, criando o engajamento por meio do CXM – Customer Experience Management. Esta pesquisa caracteriza-se por ter um caráter exploratório-descritivo. Por se tratar de um assunto com conhecimento científico pouco sistematizado, o caráter exploratório se adequa para explicitar o atual estágio em que se encontra o Big Data aplicado ao marketing. Neste trabalho trata-se de uma pesquisa que busca expor as características dos itens que compõem o tema Big Data e o ambiente mercadológico, estabelecendo a correlação da explosão dos dados, dos avanços tecnológicos, das mudanças nos perfis profissionais demandados e da evolução das soluções e modelos analíticos com as transformações do Marketing 3.0, o despertar da 34 experiência do consumidor (CXM), e a criação de engajamento entre empresas e consumidores. Foram utilizados dados secundários, provenientes de materiais informativos, tais como revistas especializadas, periódicos, publicações, artigos, blogs de profissionais especializados e documentos de empresas provedoras de soluções em Customer Experience ou Big Data. Pelas características do trabalho, os dados provieram de consultas, pesquisas e observações. Após a consolidação dos dados, o conjunto foi analisado com base no referencial teórico, com o objetivo de validar ou não as hipóteses e desenvolver as conclusões que fundamentaram os resultados alcançados. Mais do que apresentar o Big Data como um volume extraordinário de dados, o intuito é caracterizar todo o conceito que o envolve: não apenas em termos quantitativos, mas de abrangência, de possibilidades, de valores, insights, na escala exponencial do Big Data e integrá-lo com o “novo” marketing. Com isso, espera-se descrever as transformações promovidas pelas novas tecnologias que proliferam e avaliar as mudanças operadas no modo como são realizados os negócios e planejadas as estratégias de marketing e de vendas e responder aos profissionais de marketing como eles podem se beneficiar 3 CONTEXTO E REALIDADE INVESTIGADA Com o advento das tecnologias digitais, e sobretudo da internet, quantidades massivas de dados têm sido geradas a uma velocidade surpreendente. Particularmente nos últimos anos, mídias sociais como Facebook, Twitter, LinkedIn e blogs geraram quantidades incríveis de dados de usuários. Por serem criados de forma quase aleatória, esses dados não possuem estrutura. Com o avanço da tecnologia, porém, tais dados podem ser manipulados e analisados para ajudar em tomadas de decisões mais eficientes e inteligentes. Em razão dessas características, a manipulação e o processamento de Big Data necessita de ferramentas e técnicas especiais. Para compreensão dessas ferramentas e técnicas, o trabalho será divido em três grandes partes principais: tecnologias de manipulação e processamento de 35 dados, análise e geração de insights (Big Data analytics) e marketing, enfatizando o Customer Experience (CXM) para geração de valor e engajamento dos clientes com a empresa. 3.1 Ecossistema de dados Os dados tornaram-se parte essencial da realidade atual. Comportamentos, gostos, preferências, desejos e necessidades são utilizados, agrupados, processados e analisados por diversas empresas, de diferentes setores e ramos de atividade, para várias finalidades. Atualmente, os usuários negociam (na forma de cadastros, por meio dos quais fornecem dados pessoais, exemplo) tais informações em troca de melhores produtos. O marketing utiliza esse conhecimento para o desenvolvimento de bens e serviços que se adequem aos desejos e necessidades dos consumidores. Esse ambiente, cercado de dados, informações e conhecimentos, é o que forma o ecossistema de dados. Os dados desse ecossistema podem ser classificados em três níveis de dados: dados próprios, dados captados e negociados por terceiros e dados compartilhados com parceiros. 3.1.1 Dados próprios (1st party data) Estes dados são coletados pelas organizações diretamente de seus consumidores. São informações obtidas a partir de ações ou comportamentos dos clientes, como preenchimento de fichas de cadastros, offline ou online, de diversos canais ou pontos de contato, combinados com dados de gestão de relacionamento com clientes (CRM), dados de acesso ao website ou aplicações da empresa em dispositivos móveis. Não há questões de privacidade envolvidas com esses dados porque ele é extraído diretamente do usuário com o seu consentimento. De acordo com um estudo "Exploring trends and impacts of data driven marketing", realizado, em 2013, pela BlueKai, empresa de gerenciamento de dados (DMP – Data Management Platform) do grupo Oracle, 87% dos profissionais de marketing que participaram da pesquisa responderam utilizar dados próprios. Os tipos de dados mais usados estão detalhados no Gráfico 1 (BlueKai 2013): 36 Gráfico 1 – Tipos de dados próprios utilizados pelas empresas BlueKai Data Impact Report: Exploring Trends and Impact of Data Driven Marketing (Bluekai 2013) Outros tipos de dados próprios incluem: pesquisas de mercado, dados de eventos e seminários, dentre outros. Os dados próprios podem ser utilizados para personalizações e recomendações, para ações de e-mail marketing ou para segmentar e direcionar ofertas e anúncios. Os dados próprios podem ser enriquecidos com dados de terceiros. Um exemplo de dados próprios pode ser o histórico de transações realizadas pelos membros do programa de recompensas de determinada loja. Essa informação pode ser usada para compreender as tendências de comportamento dos clientes, como frequência de compras, preferências de cores, estilos e tamanhos, formas de pagamento, conjunto de itens do carrinho de compras e gastos em cada visita. 3.1.2 Dados de terceiros (3rd party data) Os dados de terceiros são recolhidos e comercializados em grande escala por empresas de coleta de dados, conhecidas como plataformas de gerenciamento de dados (DMP – Data Management Platform) ou também como agregadores de dados, que comercializam informações a outras empresas. BlueKai, eXelate, Peer39, e Nielsen são alguns exemplos de empresas especializadas em coletar, armazenar, 37 classificar e vender dados de terceiros. Pela própria característica da operação, é um processo mais custoso para as empresas que usam esses dados. Proporciona apossibilidade de enriquecer as informações já existentes na empresa, sendo normalmente usados para iniciativas de marketing direcionadas. De acordo com o estudo “BlueKai Data Impact Report”, da BlueKai, de 2013, 72% dos profissionais de marketing que participaram da pesquisa afirmaram trabalhar com dados de terceiros. Os tipos de dados de terceiros mais usados estão detalhados no Gráfico 2 (Bluekai 2013). Gráfico 2 - Tipos de dados de terceiros utilizados pelas empresas BlueKai Data Impact Report: Exploring Trends and Impact of Data Driven Marketing (Bluekai 2013) Outros tipos de dados de terceiros podem ser: tendências de compra, relação de participantes de uma conferência, dados de tráfego na internet, resultados de busca, informações de redes sociais, acessos de vídeos e dados de sensores, dentre outros. Um exemplo de dados de terceiros pode ser uma loja que utiliza dados de um provedor de informações para enriquecer seus próprios dados: segmentações, preferências e hábitos de navegação de usuários da internet. Esses dados auxiliam a empresa a estabelecer uma campanha de marketing para atrair novos clientes. 38 3.1.3 Dados compartilhados com parceiros (2nd party data) Os dados compartilhados em parceria representam outra forma de coleta de dados, intermediária entre os dados próprios e os dados de terceiros. São os dados próprios de uma empresa associados aos dados próprios de outra empresa. Trata- se de uma forma intermediária de dados de terceiro porque, em geral, são dados compartilhados para benefício mútuo, na maior parte das vezes, sem envolver comercializações e trocas monetárias. Desta maneira, empresas podem enriquecer seus dados categorizando melhor sua audiência e, consequentemente, personalizando suas campanhas e ações de marketing. Um exemplo de parceria de dados pode ser uma loja de roupas masculinas trocando dados com uma lavanderia próxima. A lavanderia fornece informações sobre clientes que trouxeram seus ternos em cada semana, durante os últimos cinco meses. A loja de roupas, por sua vez, fornece dados à lavanderia sobre indivíduos que adquiriram novas camisas no último mês. Tanto a lavanderia como a loja de roupas podem executar campanhas cruzadas e direcionadas de marketing. A lavanderia pode enviar e-mails com cupons oferecendo 20% de desconto aos clientes da loja de roupas. A loja de roupas pode desenvolver uma campanha específica para os clientes da lavanderia, oferecendo descontos ou brindes especiais. 3.2 Integração dos dados O ecossistema de dado é evolutivo e ainda existe muito a ser desenvolvido. Os dados próprios (1st-party data) são confiáveis, personalizados e específicos. Os dados de terceiros (3rd-party data) são custosos. Os dados compartilhados com parceiros (2nd-party data) ainda são difíceis ou demorados para se obter. Combinando inteligência de mercado e ferramentas de automação, as marcas conseguem integrar todos os tipos de dados com soluções de Big Data para desenvolver campanhas de marketing cada vez mais personalizadas. É uma tendência que os dados comecem a ser compartilhados, no melhor sistema colaborativo entre empresas de todos os tamanhos e dos mais diversos setores. Com o Big Data e as ferramentas com capacidade para captura, 39 armazenamento e processamento de grandes volumes de dados, as fronteiras entre dados próprios e de terceiros, ficarão mais líquidas. Desta maneira, todos terão uma visão aprofundada e novas estratégias serão adotadas para gerar valor, promoções, fidelidade e relações de engajamento. 3.3. Dados estruturados versus dados não estruturados Big Data refere-se a uma coleção de dados, que provém de fontes tradicionais ou digitais, e representa a matéria-prima para as análises e descobertas que geram valor. Ao definir Big Data, é importante, antes de adotar as tecnologias de análise, entender a combinação de dados multiestruturados que compõem o volume de informações. Para os especialistas, os chamados dados multiestruturados são formados por dados estruturados, semiestruturados e não estruturados, cada um com características e origens próprias. Dados multiestruturados, portanto, referem-se à variedade de formatos e tipos que podem ser derivados, sobretudo de interações entre pessoas e máquinas, tais como aplicativos web ou redes sociais. Esses dados incluem textos e imagens combinados com dados internos estruturados das empresa. Dados estruturados possuem formatação simples, são formados por base de dados relacionados entre si e podem ser extraídos diretamente para data warehouses. Em geral, são gerados a partir de informações e operações internas. Os dados semiestruturados possuem certo grau de estrutura, mas requerem linguagem computacional mais avançada do que as tradicionais SQLs. Normalmente são dados provenientes de logins web e informações de GPS. Já os dados não estruturados não possuem formatação organizada e demandam tecnologias especificas para serem trabalhados. Nesta categoria, estão inclusos todos os novos formatos de dados que surgem a cada dia, como vídeos, músicas, textos, mídias sociais e qualquer outro dado criado por dispositivos web. Dados não estruturados vêm de informações que não estão organizadas ou são facilmente interpretáveis por tradicionais databases ou softwares de análise de dados. 40 O Big Data abrange todos os formatos de dados e, por isso, exige cuidado na adoção de ferramentas certas. Para os estruturados, já existem soluções consolidadas que trabalham bases de dados relacionais, os data warehouses. Os dados semi e não estruturados necessitaram de linguagens específicas. A linguagem SQL não é efetiva para realizar a análise e identificação das informações, por isso, empresas como Google desenvolveram soluções específicas capazes de lidar com tal complexidade. Para as empresas tirarem melhor proveito dessa nova tendência, as tecnologias de armazenamento, gerenciamento e análise de dados precisam ter a capacidade de se integrar e “conversar” entre si. Assim, com sistemas unificados, a comunicação de um sistema para outro é facilitada, evitando erros e atrasos de operações de análise devido à incompatibilidade de sistemas. À medida que tecnologias disruptivas continuem surgindo, provocando transformações nas comunicações e interações entre canais, e quanto mais experiências por dispositivos web e plataformas sociais ocorrerem, dados multiestruturados continuarão a proliferar. Dados multiestruturados ajudam as companhias a tomar decisões mais precisas, a melhorar o atendimento aos consumidores, a identificar iniciativas para aprimorar negócios e a adquirir valor agregado. Todos os segmentos de mercado podem tirar proveito do Big Data, mas é preciso saber identificar as tecnologias que podem realmente ajudar nessa tarefa. 4 BIG DATA Big Data, como já mencionado, tem relação com grandes volumes de dados, produzidos em alta velocidade e ampla variedade, de formatos e tipos diversos. Por esse motivo, necessita de ferramentas preparadas para lidar com tal conjunto de dados, de forma que a informação seja encontrada, processada, analisada e aproveitada de forma ágil, muitas vezes, em tempo real. A extração de informações e insights por meio dos dados permite às empresas adotar ações para melhorar um produto, criar estratégias de marketing mais eficientes, cortar gastos, produzir mais em menos tempo, evitar desperdício de 41 recursos, superar a concorrência, personalizar campanhas para grupos de clientes específicos, direcionar ofertas especiais para clientes, dentre muitas outras. Há bastante tempo, soluções e aplicações de tecnologias com capacidade para processar e tratar grandes volumes de dados não estruturados (em formatos provenientes de textos, documentos, imagens, fotos, áudios e vídeos) e desorganizados, vêm sendo desenvolvidas,e, atualmente, os avanços tecnológicos permitem que se guardem, organizem e analisem dados com muito mais facilidade. As estruturas centralizadas de processamento de dados, como as utilizadas tradicionalmente, não são mais suficientes. O Google, por exemplo, possui vários data centers (centros de processamento de dados) para suas operações, mas que são integrados (ALECRIM 2015). De acordo com Alecrim, “este ‘particionamento estrutural’ [...] não é uma barreira para o Big Data – em tempos de computação nas nuvens, nada mais trivial”. 4.1 Big Data e tecnologia 4.1.1. ETL8, DW, BI9, cloud computing, Big Data, data lake Arquiteturas de data warehouse e business intelligence tradicionais necessitam “trabalhar os dados” em um processo de integração conhecido como ETL (Extract, Transform and Load ou Extrair, Transformar e Carregar). 8 ETL são ferramentas de software cuja função é a extração de dados de diversos sistemas, transformação desses dados conforme regras de negócios e carga dos dados, geralmente em um Data Mart ou um Data Warehouse. (fonte: Wikipedia. https://pt.wikipedia.org/wiki/Extract,_transform,_load. Acesso em 11 de setembro de 2015) 9 BI – Business Intelligence – Inteligência de Negócios. [...] refere-se ao processo de coleta, organização, análise, compartilhamento e monitoramento de informações que oferecem suporte a gestão de negócios. É um conjunto de técnicas e ferramentas para auxiliar na transformação de dados brutos em informações significativas e uteis a fim de analisar o negócio. (fonte: Wikipedia. https://pt.wikipedia.org/wiki/Intelig%C3%AAncia_empresarial. Aceso em: 11 de setembro de 2015) https://pt.wikipedia.org/wiki/Data_Mart https://pt.wikipedia.org/wiki/Data_Warehouse https://pt.wikipedia.org/wiki/Extract,_transform,_load 42 Figura 3 – Integração de daods & ETL Fonte: Jitterbit (http://www.jitterbit.com/solutions/etl-data-integration; acesso em: 11 de setembro de 2015) ETL refere-se a um processo no uso de banco de dados e, especialmente, em data warehousing que: Extrai dados de fontes heterogêneas ou homogêneas; Transforma os dados para armazená-lo em formato ou estrutura adequada para consulta e análise; Carrega os dados para o banco de dados – data marts ou data warehouses. Normalmente, essas três fases são executadas em paralelo. Enquanto os dados estão sendo extraídos, outro processo de transformação é executado. Os dados já processados são carregados enquanto outros são preparados. É um processo que consome relativo tempo e infraestrutura computacional. O processo de integração dos dados é característico das plataformas tradicionais, que armazenam dados exclusivamente estruturados. É um procedimento em que uma parcela dos dados, não compatíveis e não formatados, necessariamente precisa ser descartada. Novos processamentos requerem novo 43 processo de ETL. Com isso, formam-se silos de informações e séries de dados não necessariamente correlacionáveis. A tecnologia, por meio da computação em nuvem, trouxe novas plataformas que contribuem com o armazenamento e gerenciamento de dados e informações e proporcionam benefícios importantes, como tempo de processamento, redução de custos de implantação e maior autonomia e precisão na geração de insights. Nesse contexto, abordagens diferentes surgiram. O uso de data lakes (lagos de dados) é uma delas. Segundo a definição do dicionário técnico da TechTarget, um data lake é um grande repositório de dados armazenados em seu formato original, que é acessado quando há necessidade de utilizar os dados para análises (TechTarget 2015). Dessa forma, dados, de diversos tipos, como notações simples, imagens, relatórios, dados estruturados e não estruturados, são armazenados sem alterações, o que faz com que os dados mantenham a origem e a fidelidade para que diferentes tipos de análises possam ser realizadas em momentos e contextos diferentes. O data lake soluciona, assim, o desafio de armazenamento, integração e acessibilidade dos dados. O ETL, neste caso, inclui novas tecnologias desenvolvidas para permitir análises em tempo real e conexão com outras ferramentas, também elaboradas para lidar com os dados, no formato original, recuperados do repositório. A EMC, empresa especializada em soluções de Big Data, anunciou, em 2015, o lançamento do Federation Business Data Lake, um data lake projetado em nível empresarial. Segundo a organização, um data lake eficiente deve atender três funções básicas (EMC 2015): Armazenamento: armazenamento de dados estruturados e não estruturados, provenientes de diferentes fontes. Análise: oferecimento de modernas ferramentas que permitam vários tipos de análises, como, por exemplo, a plataforma Hadoop (plataforma 44 voltada para processamento de grandes massas de dados armazenados em clusters10). Revelar (gerar insight) e agir: fornecimento de dados aos usuários e aplicativos para que possam ser usados para agir em tempo real ou influenciar o processo de tomada de decisões. 4.1.2 Soluções de Big Data Além de lidar com grandes volumes de dados, de vários tipos, as soluções de Big Data precisam também trabalhar com distribuição de processamento e elasticidade, isto é, lidar com dados em crescimento exponencial. Os bancos de dados tradicionais, especialmente aqueles que exploram o modelo relacional, que utilizam o SQL11 (Structured Query Language), apresentam menor flexibilidade e, portanto, não atendem essas exigências de processamento em escala e elasticidade. Por esse motivo, as soluções de Big Data utilizam o conceito de NoSQL12, (Not only SQL ou "Não apenas SQL). O NoSQL está ligado a soluções de bancos de dados que armazenam dados de diversos formatos, não restritos ao modelo relacional tradicional. Esse tipo de bando de dados possui maior flexibilidade. Os bancos de dados NoSQL além de serem mais flexíveis, são otimizados para trabalhar com processamento paralelo e distribuição global (vários data centers). 10 Cluster - tecnologia capaz de fazer computadores mais simples trabalharem em conjunto, como se formassem uma máquina só. Cluster (ou clustering) é [...] o nome dado a um sistema que relaciona dois ou mais computadores para que estes trabalhem de maneira conjunta no intuito de processar uma tarefa. [...] Cada computador que faz parte do cluster recebe o nome de “nó” (ou “node”). Teoricamente, não há limite máximo de nós, mas independentemente da quantidade de máquinas que o compõe, o cluster deve ser "transparente", ou seja, ser visto pelo usuário ou por outro sistema que necessita desse processamento como um único computador. (fonte: http://www.infowester.com/cluster.php. Acesso em: 26 de dezembro de 2015) 11 SQL (Structured Query Language ou Linguagem de Consulta Estruturada) é a linguagem de pesquisa declarativa padrão para banco de dados relacional (base de dados relacional), de dados estruturados (fonte: https://pt.wikipedia.org/wiki/SQL. Acesso em: 26 de dezembro de 2015) 12 NoSQL (Not Only SQL ou Não Somente SQL) é um termo genérico para uma classe definida de banco de dados não- relacionais (fonte: https://pt.wikipedia.org/wiki/NoSQL. Acesso em: 26 de dezembro de 2015) https://pt.wikipedia.org/wiki/Banco_de_dados_relacional 45 Exemplos de bancos de dado NoSQL são (ALECRIM 2015): Cassandra MongoDB HBase CouchDB Redis Para o Big Data, no entanto, é necessário também utilizar ferramentas que permitam o tratamento, não apenas dos formatos dos dados, mas também do grande volume de dados. Para isso, o Hadoop é, atualmente, a principal referência. 4.1.2.1 Hadoop Hadoop é uma plataforma de código aberto, desenvolvida para processamento e análise de grandes volumes de dados, sejam eles estruturados ou não estruturados. O projetoé mantido pela Apache Foundation, mas conta com a colaboração de várias empresas, como Yahoo!, Facebook, Google e IBM. O projeto teve início quando o Google criou um modelo de programação que distribui o processamento a ser realizado entre vários computadores, chamado de pr para ajudar o seu mecanismo de busca a ficar mais rápido e livre da necessidades de servidores poderosos (e caros). Esta tecnologia recebeu o nome de MapReduce. (ALECRIM 2015). Os programas desenvolvidos realizam o processamento paralelo de conjuntos de dados e podem, portanto, ser executados em servidores com menor esforço. A razão para a escalabilidade desse paradigma é essa natureza distribuída do funcionamento da solução. Uma grande tarefa é dividida em várias tarefas pequenas, executadas em paralelo, em máquinas diferentes, e combinadas para chegar à solução da tarefa maior. http://couchdb.apache.org/ http://redis.io/ http://hadoop.apache.org/ 46 A partir disso, o Google apresentou o Google File System (GFS), um sistema de arquivos13 preparado para lidar com processamento distribuído e com grandes volumes de dados. Posteriormente, o GFS foi incorporado a um software chamado Nutch, um projeto de motor de busca para a web. O Nutch não conseguia lidar com um volume grande de páginas e esse problema de escalabilidade foi solucionado com um aperfeiçoamento, dando origem ao Nutch Distributed Filesystem (NDFS). O Nutch fazia parte de um projeto chamado Lucene, uma biblioteca para indexação de páginas. Este projeto, que poderia ser utilizado em outras aplicações web, além das buscas, levou à criação de outro projeto, que engloba características do Nutch e do Lucene: o Hadoop Distributed File System (HDFS). O HDFS gerencia o armazenamento de dados das máquinas nas quais o cluster do Hadoop está sendo executado. O HDFS é um sistema de arquivos escalonável e distribuído, cujo desenho é baseado fortemente no GFS (Google File System). O Hadoop é tido como uma solução adequada para Big Data por vários motivos (ALECRIM 2015): É um projeto de código aberto, o que permite modificações para customizações e melhorias constantes, graças à sua rede de colaboração. Por isso, vários projetos derivados ou complementares são criados; Proporciona economia, pois não exige pagamento de licenças e pode ser usar hardware convencional; Conta com recursos de tolerância a falhas, como replicação de dados; É escalável, e sempre que surge a necessidade de processamento de maior quantidade de dados, é possível acrescentar computadores sem necessidade de realizar reconfigurações complexas no sistema. O Hadoop pode ser usado em conjunto com bancos de dados NoSQL. A Apache mantém uma solução conjunta com NoSQL: o banco de dados HBase, uma espécie de subprojeto do Hadoop que funciona atrelado ao HDFS. 13 sistema de arquivos é um conjunto de instruções que determina como os dados devem ser guardados, acessados, copiados, alterados, nomeados, eliminados e assim por diante. (ALECRIM 2015) http://nutch.apache.org/ 47 Exemplos de uso do Hadoop são análises de padrões de usuários em sites de e-commerce e recomendações de novos produtos. 4.1.2.1.1 Ecossistema de ferramentas presentes com o Hadoop. A Figura 4 mostra o ecossistema de ferramentas que cercam o Hadoop e seus componentes. São fundamentais à integração, gerenciamento, provisão, monitoramento, processamento, dentre outras funções necessárias às aplicações. Figura 4 – Ecossistema do Apache Hadoop Fonte: Hadoop Ecosystem: an Integrated Environment for Big Data. (http://blog.agroknow.com/?p=3810. Acesso em: 20 de novembro de 2015) YARN: (Yet Another Resource Negotiator) também conhecido como MapReduce V2. É uma estrutura que auxilia na automação e agenda de atividades e gestão de recursos. Flume: É uma ferramenta que combina, recolhe e movimenta grande quantidade de dados. Zookeeper: É uma estrutura que permite a coordenação distribuída de atividades entre os nós do cluster. Sqoop: "SQL-to-Hadoop" é uma ferramenta para a transferência eficiente entre Hadoop e fontes de dados DBMs estruturados, Hive ou HBase. Oozie: É um sistema planejador de fluxo de trabalho para gerenciar os trabalhos do Hadoop. Os trabalhos podem incluir tarefas diversas e não MapReduce. 48 Pig: Inicialmente desenvolvido pelo Yahoo!, Pig é uma estrutura que consiste em linguagem de script de alto nível num ambiente de curto tempo de execução. Permite ao usuário executar MapReduce em cluster do Hadoop. Mahout: É uma ferramenta de aprendizado e mineração de dados. R Conectors: Utilizado para gerar estatísticas dos nós em um cluster. Hive: Sistema de armazenamento de dados de código aberto para consulta (queries) e análise de grandes conjuntos de dados armazenados em arquivos do Hadoop. HBase: É um sistema de gerenciamento de banco de dados não- relacional para HDFS. Ambari: Componente do ecossistema Hadoop usado para provisionamento, gerenciamento e monitoramento do cluster Hadoop. É nesta vastidão de códigos e adaptações de programas que as novas plataformas de gestão de dados buscam subsídios à tomada de decisões, reformulam suas estratégias, redefinem ações de marketing, produtos e serviços. É com base nos dados presentes na internet e nessas plataformas que hoje é possível extrair inusitados insights. É fato que a tecnologia associada com o Big Data pode promover ações para o que chamamos de Marketing 3.0. Igualmente importante e necessário é estabelecer entre as áreas de marketing e tecnologia um canal de colaboração e visão integradas para extrair valor e significado dos dados. 4.2 Novos perfis profissionais e a era da cultura de dados Na era do Big Data, a área de marketing experimenta a necessidade de profissionais com um perfil muito específico, amplo e ambíguo: profissionais focados, com habilidades estratégicas na interpretação de dados. Estas características tornam os profissionais capazes de extrair e aplicar insights que realmente importam para o sucesso de um negócio. Esta capacidade de foco e habilidades é rara de ser encontrada e bastante difícil de ensinar individualmente. Empresas nativas digitais possuem um índice muito maior de profissionais com tais competências. 49 4.2.1 Cientista de dados A habilidade analítica necessária para a descoberta de padrões e correlação de dados e identificação de insights não é nova; está presente em muitos profissionais, como: estatísticos, economistas, analistas e programadores. Todavia, cada vez mais, novas competências são exigidas, juntamente com a capacidade de análise. São habilidades que combinam facilidade para lidar com números, como matemática, métodos quantitativos, estatística e álgebra linear, com conhecimentos de programação, infraestrutura de sistemas, manipulação de dados e técnicas avançadas como machine learning (aprendizado de máquinas) e com capacidade estratégica e de negócios para transformar os resultados obtidos em decisões e ações efetivas. É o perfil que se exige, atualmente, do chamado cientista de dados, profissional demandado para trabalhar com Big Data. 4.2.2 Especialista em dados É um profissional com menor grau técnico, mas com conhecimento de estatística, data mining (mineração de dados) e machine learning, capaz de formular questionamentos e aplicar análises de dados para extração de conhecimentos e valor dos dados. 4.2.3 Administrador / Facilitador de dados Este grupo representa profissionais que detém conhecimentos técnicos para apoiar os projetos de análise, tais como provisionamento de recursos, administração de ambientes, simulações de análise e gerenciamento de arquiteturas de dados de grande escala. Este profissional suporta os dados dentro das empresas e outras organizações. Esse papel requer competênciasrelacionadas com a engenharia da computação, programação e administração de banco de dados. 4.3 Big Data e análise de dados O Big Data está relacionado à captura, armazenamento, tratamento e análise de volume de dados para gerar valor e resultados para as empresas. É fácil 50 perceber, nesse ciclo, que dados, por si só, não têm valor. Fazem parte de uma cadeia, na qual o processo de transformação em informações e conhecimentos úteis é necessário para que efetivamente se produza valor e proporcionem resultados para as organizações. Para deixar claro este aspecto, vale destacar a diferença entre dados, informações, conhecimentos e sabedoria, apontada por Russell Ackoff, precursor do conceito que distingue os termos, estabelecendo uma ordem hierárquica de relações, disposta na pirâmide hierárquica DIKW – Data, Information, Knowledge and Wisdom (ACKOFF 1989). A hierarquia de Ackoff 14 é conhecida como um dos modelos fundamentais na literatura da informação e do conhecimento. De acordo com Rowley (ROWLEY 2007), para Ackoff, dados são símbolos, produtos da observação, que têm pouca utilidade se não estiverem formatados para uso; informações são as relações inferidas a partir dos dados e respondem às perguntas como: “quem”, “o quê”, “quando” e “quantos”; conhecimento é o know-how, que torna possível a transformação de informações em instruções; e a sabedoria é aplicação de valor sobre o conhecimento adquirido, por meio da compreensão, da ponderação, dos princípios e das experiências pessoais do decisor. Na Figura 5, podemos visualizar o diagrama que representa as etapas do processo de transição de dados para sabedoria, ou seja, o trajeto para transformar dados em insights relevantes, que geram valor. 14 A Pirâmide DIKW, de Ackoff, também é conhecida como “Hierarquia do Conhecimento”, “Hierarquia da Informação”, “Pirâmide do Conhecimento” ou “Pirâmide da Sabedoria”. 51 Figura 5 – Diagrama de transição de dados, informação, conhecimento e sabedoria. Fonte: (GENE, CASTRO and MILLS 2004) Nesse sentido, é fundamental transformar dados, simbólicos e estáticos, disponíveis em grande escala e volume, em sabedoria que conduza à otimização de negócios, à obtenção de vantagens competitivas e à tomada de decisões estratégicas mais direcionadas e assertivas, que proporcionem a melhor experiência ao consumidor. 4.3.1 Métodos analíticos e Big Data para obtenção de insights A utilização da tecnologia nos dias atuais, seja para comunicar, fazer compras, aprender, relaxar ou interagir, deixa rastros que viram dados. Acumulados ao longo do tempo e transformados em tempo gasto, preferências, gostos e desejos viram informações. Combinando esses inputs digitais com dados internos de finanças, marketing, serviços, transações dos clientes, tem-se um Big Data. Uma vez que a empresa tenha implementado tecnologias para processar o volume de dados gerados para utilizar o Big Data, ela está apta para pavimentar o caminho para uma visão integral (360 graus) do cliente. Segundo Lisa Arthur (ARTHUR 2013), os dados são essenciais para se construir uma efetiva interação entre a empresa e seus consumidores. Dados conduzem a melhores insights, e melhores insights levam a interações mais profundas – permitindo a entrega da mensagem certa, pelo canal certo, no momento certo, para o consumidor certo. Em troca, essas interações aprimoradas resultam em aumento de receitas e diferenciais competitivos. (ARTHUR 2013) 52 Não restam dúvidas de que as modernas tecnologias são essenciais para lidar com o mundo do Big Data, mas é preciso ter em mente que apenas tecnologia não significa nada. Conforme ressalta Arthur (ARTHUR 2013), “nos dias atuais, os profissionais de marketing precisam ter a habilidade de equilibrar a ciência dos números com a arte da criatividade para se destacarem, inovarem e responderem aos desejos dos consumidores”. Tampouco não basta ter uma equipe de excelência em análise e tecnologias de ponta para desenvolver modelos sofisticados de transformação de dados em informações (Big Data analytics) se os insights gerados não forem utilizados para orientar as ações da empresa: adaptar campanhas e promoções, minimizar despesas e otimizar os investimentos de marketing, adequar as mensagens e os canais de comunicação e entregar ofertas relevantes e personalizadas. Nesse sentido, muitas companhias estão reorganizando pessoas, processos e tecnologia para integrar e automatizar o marketing. Muitas delas têm adotado sofisticados sistemas de gerenciamento de marketing integrado, os chamados sistemas de IMMs (Integrated Marketing Management) para auxiliar a tomada de decisões guiadas pelos insights gerados pelos chamados Big Data analytics, soluções para análises de Big Data. [...] mais dado não significa o dado certo; e o dado sozinho não significa insight. A bola de pelos, que essa massa de dados forma, é o grande obstáculo para a criação de engajamento com os consumidores. Ela se torna uma complicada confusão de interações, aplicações, dados e processos quando as empresas não estão preparadas para lidar com informações, originadas de uma grande variedade de fontes. A bola de pelos representa tanto uma oportunidade quanto uma ameaça do Big Data e dos canais digitais. O valor do Big Data está nos insights; e esses insights só são possíveis com a integração dos dados [...] captados das diferentes origens: online e offline, internos e externos. (traduzido de: ARTHUR 2013) 53 Em 2011, pesquisa da ITSMA (Information Technology Services Marketing Association) revelou que 82% dos profissionais de marketing que trabalham com dados, os chamados savvy marketers 15 , apontam aumento de participação de mercado com a utilização de insights para o marketing, como detalhado no Gráfico 3. Gráfico 3 - Aumento do market share Fonte: ITMA’s 2011 Online Survey on Data Driven Marketing (SCHWARTZ, Julie 2011) A pesquisa informa outros ganhos obtidos com o uso de insights gerados com os dados: redução do ciclo de vendas e redução no custo de vendas, observado por 55% e 53% dos “data savvys”, respectivamente. O Gráfico 4 compara os resultados percebidos no desempenho de vendas dos data savvys comparados com os demais. 15 Os savvy marketers possuem as seguintes características: cultura que atribui importância à tomada de decisões baseada em dados e análises; processo formalizado de armazenamento de dados; índice médio ou acima da média no uso de dados para direcionar ações de marketing (SCHWARTZ, Julie 2011) - http://www.itsma.com/pdfs/research/SV4581AbbSum.pdf. Acesso em: 07 de dezembro de 2015 54 Gráfico 4 - Redução do ciclo de vendas e redução dos custos de venda Fonte: ITMA’s 2011 Online Survey on Data Driven Marketing (SCHWARTZ, Julie 2011) Estudos realizados em 2013 pela Teradata Corporation, com cerca de 1mil profissionais de marketing de diversos países, chegaram a resultados semelhantes. O relatório Global Teradata Data Driven Marketing Survey 2013 conclui que seis entre dez profissionais de marketing (58%) acreditam que as ações orientadas pelos insights gerados por dados contribui para a tomada de decisões mais acertadas, conforme demonstra o Gráfico 5. (Teradata Corporation 2013) 55 Gráfico 5 – Benefícios do uso de dados na tomada de decisões Fonte: 2013 Teradata Data-Driven Marketing Survey, Global (Teradata Corporation 2013) Fica evidente, portanto, que o sucesso de uma empresa, hoje, depende da capacidade de coletar e integrar dados digitais com dados offline tradicionais. Entretanto, as estratégias de marketing não serão bem sucedidas se a empresa não utilizar o Big Data analytics para transformar esses dados em informações úteis, que possam reverter em ações
Compartilhar