Modelagem de dados e ETL no Power BI

Prévia do material em texto

<p>DESCRIÇÃO</p><p>Apresentação dos conceitos de modelagem de dados e o processo de ETL (Extração, Transformação e</p><p>Carregamento) utilizando o Power Query no Microsoft Power BI para diversas fontes de dados, bem</p><p>como a linguagem M para as tarefas de limpeza e transformação dos dados.</p><p>PROPÓSITO</p><p>A compreensão do procedimento de ETL e da etapa de modelagem dos dados é fundamental para a</p><p>análise dos dados, uma vez que a ingestão e a transformação dos dados, observando os</p><p>relacionamentos entre as diversas tabelas, são essenciais para assegurar o enriquecimento da etapa de</p><p>análise dos dados.</p><p>PREPARAÇÃO</p><p>Antes de iniciar este conteúdo, é necessário ter o instalador do Microsoft Power BI Desktop baixado</p><p>localmente, que pode ser encontrado no próprio site do produto de forma gratuita.</p><p>Para a instalação da ferramenta, é necessário ter uma máquina com sistema operacional Windows</p><p>instalado, pois não há alternativas para o Power BI em outros sistemas operacionais. Caso sua máquina</p><p>utilize sistemas operacionais Mac OS ou Linux, será possível apenas a utilização da versão on-line do</p><p>Power BI Services, com acesso exclusivamente por uma conta corporativa ou de estudante.</p><p>Além disso, é necessário baixar os dados públicos disponíveis para download no portal da PRF na</p><p>internet (procurar por Dados Abertos – Acidentes – Polícia Rodoviária Federal), especificamente os</p><p>arquivos referentes aos registros de acidentes de trânsito nas estradas federais nos anos de 2019 e</p><p>2020.</p><p>OBJETIVOS</p><p>MÓDULO 1</p><p>Empregar o Power BI na conexão a diferentes fontes de dados</p><p>MÓDULO 2</p><p>Aplicar a modelagem de dados com o Power BI</p><p>MÓDULO 3</p><p>Empregar a linguagem M do Power Query na limpeza e transformação de dados</p><p>INTRODUÇÃO</p><p>Neste conteúdo, abordaremos o uso do Power BI, mais especificamente o editor da ferramenta Power</p><p>Query, para realizar todo o processo de ingestão e transformação dos dados. Esse recurso é</p><p>extremamente útil para profissionais que atuam nos mais diversos segmentos da indústria, pois é a base</p><p>para a criação de relatórios e dashboards.</p><p>O preparo dos dados de forma adequada é fundamental para que as análises realizadas a partir deles</p><p>sejam ricas de informações e sejam facilmente interpretáveis pelo usuário final. Para atingir esses</p><p>objetivos, estudaremos aqui:</p><p>Como fazer a conexão com algumas das principais fontes de dados utilizadas no mercado;</p><p>Como realizar o processo de ETL no Power Query, utilizando sua interface incrivelmente prática e</p><p>intuitiva;</p><p>Como realizar ETL com a linguagem M, que permite a realização de tarefas mais complexas no</p><p>processo de transformação dos dados.</p><p>Dessa forma, este módulo vai muito além do ensino dos principais métodos de ETL e de funcionalidades</p><p>do Power BI. Ele busca demonstrar que o processo de extração e transformação influencia diretamente</p><p>a tomada de decisões e a forma em que os dados serão interpretados.</p><p>MÓDULO 1</p><p> Empregar o Power BI na conexão a diferentes fontes de dados</p><p>LIGANDO OS PONTOS</p><p>Você consegue reconhecer a importância de conectar-se a diferentes fontes de dados? Em que</p><p>situações práticas seria adequado trabalhar desse modo? Para respondermos a essas perguntas,</p><p>vamos analisar algumas situações práticas.</p><p>O Brasil é um país de dimensões continentais com 27 unidades federativas e uma população acima dos</p><p>200 milhões de pessoas. Esses números dão uma ideia da diversidade de questões regionais e das</p><p>mais diferentes demandas da população. Ao perceber essa realidade, um grupo de pesquisadores sem</p><p>nenhuma vinculação político-partidária se reuniu com o objetivo de estudar as demandas da população</p><p>brasileira com foco na educação primária. Começaram procurando dados relacionados à educação e se</p><p>depararam com o primeiro grande desafio em seu estudo: os dados públicos não estão completos, têm</p><p>diferentes formatos e estão espalhados em diferentes repositórios na internet.</p><p>Ainda fortemente motivado, o grupo traçou o seguinte plano para realizar seus estudos:</p><p>Mapear as fontes de dados dos respectivos repositórios.</p><p>Catalogar as fontes de dados com os formatos dos arquivos, tais como extensões “.txt”, “.csv”,</p><p>“.odt”, “.xlsx” e tabelas de banco de dados.</p><p>Relacionar os arquivos com propósitos, ou seja, determinar a que tipo de informação os dados se</p><p>referem.</p><p>Mapear as colunas de cada um dos arquivos, o que implica duas ações: determinar sobre o que</p><p>cada coluna se refere e determinar a que tipo de dado ela está relacionada.</p><p>No final, os pesquisadores perceberam a necessidade de segmentar o projeto em etapas menores para</p><p>que a pesquisa, realmente, pudesse avançar. O resultado parcial do trabalho foi divulgado em</p><p>congressos científicos e oferece muitas oportunidades para que outras pessoas possam contribuir.</p><p>Você seguiria os mesmos passos dos pesquisadores desse projeto?</p><p>Após a leitura do case, é hora de aplicar seus conhecimentos! Vamos ligar esses pontos?</p><p>3. ANTES DE PROPOR MELHORIAS CONCRETAS PARA A</p><p>EDUCAÇÃO, OS PESQUISADORES PRECISARAM ESTUDAR</p><p>OS DADOS. NESSA ETAPA, PERCEBERAM QUE ANALISAR</p><p>O PROCESSO EDUCACIONAL COMO UM TODO ERA MUITO</p><p>COMPLEXO E REDUZIRAM O ESCOPO DO PROBLEMA.</p><p>ESSA DECISÃO FOI CORRETA? COMO VOCÊ CONTINUARIA</p><p>ESSE PROJETO?</p><p>RESPOSTA</p><p>Sim, os pesquisadores tomaram uma boa decisão ao reduzir o escopo do projeto para focar apenas na</p><p>educação primária. Mesmo assim, eles ainda se depararam com muitos desafios, pois esses dados não</p><p>estão centralizados nem são armazenados seguindo um padrão específico. Para continuar esse projeto, é</p><p>necessário aumentar o escopo lentamente, pois é provável que as próximas etapas compartilhem muitos</p><p>pontos em comum com o que já foi produzido, mas cada novo passo exige muito cuidado para que a</p><p>consistência seja garantida.</p><p>POWER BI E SUA INTEGRAÇÃO COM</p><p>DIVERSAS FONTES DE DADOS</p><p>A disponibilidade dos dados, bem como a localização destes dentro de uma organização (ou ainda fora</p><p>dela), pode modificar de forma substancial o modelo de dados utilizado e a ingestão de forma geral.</p><p>Dados contidos em servidores de bancos de dados, fontes na Web, arquivos de diferentes formatos,</p><p>entre outras fontes, podem ser inseridos de forma simples pela ferramenta Power BI, valendo a máxima</p><p>de que nem sempre o fato de ser possível indica o que é o recomendável.</p><p>javascript:void(0)</p><p> COMENTÁRIO</p><p>O Power BI suporta uma grande variedade de fontes de dados, em formatos como planilhas Excel, CSV,</p><p>XML, JSON, Bancos de Dados (SQL Server, Oracle, MySQL etc.), diversos serviços Azure, Google</p><p>Analytics, Salesforce, SAP, entre tantos outros.</p><p>Nos tópicos a seguir, apresentaremos as formas de ingestão dos tipos mais comuns de bases de dados</p><p>no Power BI, sendo indicada aqui a instrução de como conectar a diferentes tipos de bases, não sendo,</p><p>portanto, abordados conceitos de configuração de bancos de dados.</p><p>Para facilitar o entendimento, imagine uma empresa na qual se deseja construir um relatório de</p><p>despesa, com a finalidade de monitorar os custos de projetos em uma área. Esse relatório pode</p><p>depender de dados de acompanhamento de projeto extraídos de ferramentas de gestão, informação de</p><p>pessoal em planilhas do Excel, despesas lançadas no ERP (Enterprise Resource Planning ou, em</p><p>português, Sistema de Gestão Integrada) da empresa e cotação de dólar em uma fonte on-line.</p><p>Tudo isso é possível utilizando apenas o Power BI, por meio de uma ferramenta denominada Power</p><p>Query, que permite o chamado self-service BI, ou seja, o usuário final consegue fazer a conexão de</p><p>diversas fontes de dados e realizar transformações com muita facilidade por meio de uma interface</p><p>amigável.</p><p> ATENÇÃO</p><p>A ferramenta Power Query está disponível para diversos softwares da Microsoft: Excel, Power BI, SQL</p><p>Server Analysis Services, Power Apps. Neste módulo, exploraremos o editor do Power Query no Power</p><p>BI.</p><p>Nos próximos módulos, também exploraremos essa ferramenta imprescindível quando falarmos de</p><p>outras funcionalidades do Power BI.</p><p> IMPORTANTE</p><p>O Power BI permite de forma muito clara que o usuário realize o processo de ETL (Extraction-</p><p>Transformation-Loading)</p><p>que, em tradução direta, significa Extração-Transformação-Carregamento.</p><p>No entanto, aqui vale a ressalva de que, por vezes, utilizaremos o termo “Carregamento” para nos</p><p>referirmos à primeira etapa, de Extração; isso pode ser observado inclusive nas opções dentro do</p><p>próprio Power BI, onde o verbo Carregar é usado para concluir a obtenção dos dados a partir de</p><p>determinada fonte.</p><p>Portanto, fique atento à terminologia para não confundir com o conceito de ETL.</p><p>As conexões do Power BI possuem duas direções:</p><p>Na extração (“E” de ETL)</p><p>Trata-se de fontes de dados para obtenção dos dados necessários à análise.</p><p>No carregamento (“L” de ETL)</p><p>Trata-se de destino dos dados em um formato próprio para a análise.</p><p>Você já deve ter percebido que, usualmente, o Power BI Desktop cria um único arquivo com extensão</p><p>.pbix, que contém tanto os dados extraídos das fontes e transformados ao longo do processamento</p><p>(Extração e Transformação) quanto os relatórios e dashboards criados sobre os dados “carregados”.</p><p> COMENTÁRIO</p><p>Note que a etapa de Carregamento do processo ETL ocorre no mesmo arquivo, confundindo-se com a</p><p>saída das transformações, de modo que as camadas de dados analíticos e de aplicação de análise</p><p>ficam incorporadas no mesmo arquivo.</p><p>Uma boa prática em projetos de BI é a separação das camadas de aplicação e de dados, o que faz</p><p>sentido quando a mesma base de dados é compartilhada por aplicações diversas.</p><p>Isso é possível de ser feito com o Power BI Service, como ilustra a imagem a seguir, disponível no</p><p>tutorial da Microsoft, em que o arquivo PBIX 1 com o modelo de dados é compartilhado por diferentes</p><p>aplicações com relatórios e dashboards (PBIX 2 e PBIX 3).</p><p>ACESSANDO MENU COM TODAS AS FONTES DE</p><p>DADOS</p><p>O menu Obter Dados na tela inicial do Power BI permite acessar as diversas outras fontes de dados</p><p>disponíveis, bastando clicar em “Tudo” para ter uma lista completa.</p><p> Captura de tela do software Power BI.</p><p>Ao clicar, observe que uma janela com todas as fontes de dados suportadas pelo Power BI será listada,</p><p>sendo que as mais usuais estão entre as primeiras opções.</p><p>O usuário ainda tem a opção de buscar alguma fonte específica, tanto pelo campo de busca ou filtrando</p><p>por tipo de fonte, seja ela um arquivo, bancos de dados, serviços Azure, entre outros.</p><p> ATENÇÃO</p><p>As fontes de dados disponíveis no Power BI estão em contínua expansão e, portanto, novas conexões</p><p>aparecerão marcadas como Beta. Essas fontes possuem funcionalidade e suporte limitados e não se</p><p>recomenda usá-las em ambientes de produção.</p><p>CARGA DE ARQUIVOS CSV</p><p>Inicialmente, discutiremos sobre o carregamento no formato mais trivial, o CSV (comma-separated</p><p>values), que, em português, é traduzido como valores separados por vírgula.</p><p> VOCÊ SABIA</p><p>Uma curiosidade é que, por mais que os arquivos CSV sejam separados por vírgula, ao utilizar, por</p><p>exemplo, o Microsoft Excel no idioma português, o separador deixa de ser a vírgula (,) e passa a ser o</p><p>ponto e vírgula (;). Isso se deve ao fato de que, no Brasil, o separador decimal adotado é a vírgula,</p><p>enquanto nos Estados Unidos, por exemplo, adota-se o ponto. Portanto, para que não haja confusão</p><p>entre os separadores decimais e o separador empregado para os valores da tabela, no Brasil, atenção</p><p>ao lidar com arquivos CSV de fontes que utilizem padrões distintos.</p><p>Utilizaremos, como exemplo, os dados públicos referentes aos registros de acidentes de trânsito nas</p><p>estradas federais, disponíveis para download no portal da internet da Polícia Rodoviária Federal (PRF),</p><p>conforme mencionamos no tópico Preparação deste conteúdo.</p><p> ATENÇÃO</p><p>A razão de nos limitarmos aos dados de 2019 e 2020 é o tamanho dos arquivos.</p><p>De posse dos dados, podemos iniciar o carregamento dos arquivos CSV. Primeiramente, faremos a</p><p>carga apenas dos dados de 2020, seguindo estes passos:</p><p>1. Na página inicial do Power BI, clique no botão Obter Dados.</p><p>2. Em seguida, clique no botão Texto/CSV.</p><p> Captura de tela do software Power BI.</p><p>3. Selecione o arquivo “acidentes2020.csv”.</p><p> Captura de tela do software Power BI.</p><p>Na tela seguinte, o Power BI exibirá uma pré-visualização dos dados, com os 200 primeiros registros.</p><p> Captura de tela do software Power BI.</p><p>Alguns detalhes importantes devem ser observados nesta etapa. O primeiro ponto é o preenchimento do</p><p>campo “Origem do Arquivo”. No exemplo utilizado, o Power BI preencheu com a codificação “1251:</p><p>Europeu Ocidental (Windows)”; no entanto, esse campo deve estar configurado para o padrão “65001:</p><p>Unicode (UTF-8)”. Esse formato garante a codificação correta dos textos do idioma português do Brasil.</p><p>Observe, na imagem a seguir, como a codificação atrapalha na interpretação dos dados:</p><p> Antes - “1251: Europeu Ocidental (Windows)” versus Depois - “65001: Unicode (UTF-8)”. Captura de</p><p>tela do software Power BI.</p><p>O segundo ponto é o campo delimitador, que está pré-configurado para “ponto e vírgula” (;). Atente-se</p><p>ao fato de que esse campo deve ser corretamente configurado, uma vez que o uso do separador de</p><p>texto incorreto não permitirá a quebra do texto em colunas. Lembrando que essa configuração é válida</p><p>para arquivos CSV e TXT.</p><p> Captura de tela do software Power BI.</p><p>O último ponto que deve ser observado é se os cabeçalhos foram automaticamente identificados. Se o</p><p>usuário optar por não adotar a identificação automática do cabeçalho, deve selecionar a opção “Não</p><p>detectar tipos de dados” no campo “Detecção de Tipo de Dados”.</p><p>Para demonstrar os casos em que essa identificação automática não ocorre e deve ser executada em</p><p>fase posterior, faremos a adoção da opção “Não detectar tipos de dados”. Poderá ser observado que os</p><p>cabeçalhos foram passados para a segunda linha da tabela, enquanto os novos cabeçalhos foram</p><p>automaticamente com a palavra Column e o número da coluna.</p><p>Antes de entrarmos em mais detalhes acerca da transformação dos dados, que será vista no módulo</p><p>seguinte, faremos uma introdução à leitura de outras fontes de dados.</p><p> ATENÇÃO</p><p>Vale a observação de que o processo tende a ser muito similar, principalmente para dados já</p><p>estruturados, como arquivos Excel, CSV, TXT, Bancos de Dados etc.</p><p>CARGA DE ARQUIVOS EXCEL</p><p>Para carregar dados nos formatos compatíveis com o Microsoft Excel, como .xlsx, .xls, .xlsm etc., o</p><p>procedimento não difere muito do que foi utilizado para o carregamento de arquivos CSV, inclusive é</p><p>mais simples, uma vez que o acesso pode ser feito por meio de um botão diretamente via página inicial</p><p>do Power BI.</p><p> Captura de tela do software Power BI.</p><p> ATENÇÃO</p><p>Ao clicar, observe que será solicitado o caminho do arquivo, neste caso, .xlsx.</p><p>Com o carregamento do arquivo, será aberta uma tela de navegação pela planilha ou pelas planilhas</p><p>que forem carregadas. Nesse caso, trata-se apenas de uma planilha, e para visualizar uma prévia dos</p><p>dados, basta clicar na planilha, na coluna de Opções de Exibição, no lado esquerdo. A prévia dos dados</p><p>contempla todas as colunas, estas inclusive já identificadas, no entanto, o número de registros é</p><p>truncado.</p><p> Captura de tela do software Power BI.</p><p>Note que, para visualização, basta clicar na planilha, porém, para carregar ou transformar os dados,</p><p>deve-se selecionar a caixa de seleção no lado esquerdo do nome do arquivo.</p><p>CARGA DE ARQUIVOS A PARTIR DE PASTA</p><p>Imagine que uma empresa faça todo o seu registro de vendas com frequência mensal, em arquivos que</p><p>possuem a mesma extensão, com tabelas que possuem as mesmas colunas e são indexadas pela data.</p><p>O Power BI fornece uma forma simples de fazer o carregamento automático de todos esses registros,</p><p>por meio do carregamento de uma Pasta ou Folder.</p><p>Essa opção é encontrada no menu Obter Dados, na opção Pasta.</p><p> Captura de tela do software Power BI.</p><p>Ao clicar no botão “Conectar”, no canto inferior da janela, abre-se uma janela com caixa de texto para</p><p>preencher o caminho da localização da pasta.</p><p> Captura de tela do software Power BI.</p><p>Para compreendermos melhor o emprego do carregamento por pastas, utilizaremos nosso exemplo</p><p>anterior, com dados da PRF. Esses arquivos estão separados por ano.</p><p>Seguindo os passos anteriores, ao clicar em “Procurar...”, encontre o diretório onde salvou a pasta com</p><p>os dados da PRF, especificamente os arquivos acidentes_2019.csv e acidentes_2020.csv.</p><p>Na sequência, uma janela com os arquivos contidos na pasta aparecerá, contemplando algumas</p><p>informações básicas dos arquivos carregados. Para avaliação dos dados combinados, clique no botão</p><p>“Combinar”; então, duas opções serão exibidas: clique na primeira “Combinar e Transformar Dados”. Por</p><p>mais que ainda não seja o momento de realizar as transformações de dados, será possível identificar o</p><p>resultado da combinação dos arquivos.</p><p> Captura de tela do software Power BI.</p><p>A janela “Combinar Arquivos”, exibida na sequência, contempla basicamente as mesmas opções</p><p>observadas na explicação anterior de carregamentos de arquivo CSV. O destaque aqui é a opção</p><p>“Arquivo de Amostra”, que nos permite pré-visualizar os arquivos carregados, configurando-os</p><p>individualmente nas opções “Origem do Arquivo” e “Delimitador”; o primeiro deverá receber a</p><p>configuração “65001: Unicode (UTF-8)” e, no segundo, selecione a opção “Ponto e Vírgula”. Esse</p><p>procedimento é similar ao que realizamos na etapa de carga de arquivos CSV.</p><p> Captura de tela do software Power BI.</p><p>Finalizada a configuração dos arquivos, clique em “OK”. Será aberta uma nova janela do Power BI, o</p><p>Editor do Power Query, que será explorado no próximo módulo. O único ponto relevante que vale frisar</p><p>aqui é que a primeira coluna foi criada automaticamente e foi intitulada como “Nome da Origem”, que</p><p>nada mais é do que o arquivo de origem de cada um dos registros.</p><p> ATENÇÃO</p><p>Na pasta que será consultada, os arquivos lá contidos deverão apresentar o mesmo formato. Colunas</p><p>presentes em um dos arquivos serão consideradas, sendo preenchidas apenas no arquivo de origem,</p><p>nas demais colunas receberão o valor “null”.</p><p>CARGA DE ARQUIVOS A PARTIR DA WEB</p><p>Agora, realizaremos a carga de dados de duas formas:</p><p>Via página da Web</p><p>Carregando dados diretamente da página.</p><p>Via API (Application Programming Interface)</p><p>De forma muito simplificada, é um software que permite que duas aplicações “conversem” entre si.</p><p>Para fazer o carregamento via página da Web, utilizaremos um exemplo básico de uma página que</p><p>contém tabelas, neste caso, uma página da Wikipedia com as informações relativas a todas as unidades</p><p>federativas do Brasil:</p><p>https://pt.wikipedia.org/wiki/Unidades_federativas_do_Brasil#Estados.</p><p>Clique em “Obter dados” e, em seguida, selecione a opção “Web”.</p><p> Captura de tela do software Power BI.</p><p>Uma janela aparecerá. Mantenha a opção “Básico” marcada e, no campo “URL”, entre com o endereço</p><p>conforme imagem a seguir e clique em OK para continuar.</p><p> Captura de tela do software Power BI.</p><p>Na sequência, a janela “Navegador” do Power BI será exibida e, então, buscaremos entre todas as</p><p>tabelas que foram automaticamente identificadas aquela que contém efetivamente as informações</p><p>relativas às unidades federativas.</p><p>Note que os dados são exibidos na aba “Exibição de Tabela” e que a visualização da página completa</p><p>pode ser feita via aba “Exibição da Web”. Definida a tabela, basta clicar em “Carregar” ou, se for o caso,</p><p>“Transformar Dados”.</p><p> Captura de tela do software Power BI.</p><p>O carregamento de dados na Web pode ocorrer também via API, como dito anteriormente. Utilizaremos</p><p>uma API de teste, que realiza consulta de dados no formato JSON (Java Script Object Notation). Para</p><p>isso, realizaremos novamente uma consulta por fonte de dados Web. No entanto, aqui, clicaremos na</p><p>opção “Avançadas” e entraremos com a URL dividida em duas partes, como ilustrado a seguir:</p><p>1. Entre com o endereço https://jsonplaceholder.typicode.com/ na primeira parte da URL.</p><p>2. Na segunda parte da URL, escreva “users”.</p><p>Observe que o campo visualização da URL será automaticamente preenchido.</p><p> Captura de tela do software Power BI.</p><p>Ao clicar em OK, o editor do Power Query será aberto. Note que o Power BI tenta automaticamente</p><p>executar algumas etapas de transformação. Neste caso, observe que as alterações foram corretas, e os</p><p>dados, em formato JSON, foram automaticamente convertidos para a disposição correta.</p><p> ATENÇÃO</p><p>Nem sempre as modificações serão suficientes ou atenderão o propósito desejado, sendo necessário</p><p>que o usuário faça as modificações pertinentes nos dados.</p><p> Captura de tela do software Power BI</p><p>CARGA DE ARQUIVOS A PARTIR DE BANCO DE</p><p>DADOS SQL SERVER</p><p>Para carregar dados a partir de um banco de dados SQL Server, utilizaremos o Banco de dados de</p><p>exemplo AdventureWorks. Siga o passo a passo do link para criar uma cópia local do banco de dados</p><p>https://docs.microsoft.com/pt-br/sql/samples/adventureworks-install-configure?view=sql-server-ver15&tabs=ssms</p><p>ou, se preferir e tiver acesso, utilize um banco de dados SQL Server à sua escolha para fazer a conexão</p><p>direta com o Power BI.</p><p>Novamente, o primeiro passo é acessar a opção da fonte de dados SQL Server, por meio do botão “SQL</p><p>Server” disponível na faixa de atalhos, ou também clicando no botão “Obter dados”, onde a opção “SQL</p><p>Server” também está disponível.</p><p> Captura de tela do software Power BI.</p><p> ATENÇÃO</p><p>Todas as opções podem ser acessadas em “Obter dados” e na opção “Tudo”, basta filtrar pelo tipo de</p><p>fonte de dados, ou até mesmo buscá-la diretamente pelo nome.</p><p>A tela seguinte requer a entrada de informações básicas de acesso ao banco de dados do SQL Server,</p><p>como o nome do servidor e o nome do banco de dados.</p><p> Captura de tela do software Power BI.</p><p>Aqui, devemos ter atenção com o modo de conectividade de dados selecionado. São eles:</p><p>IMPORTAR</p><p>Ao importar os dados, carregamos uma cópia desses dados no Power BI. Esses dados importados</p><p>consomem memória RAM e espaço no disco, uma vez que os dados estão armazenados em arquivos.</p><p>DIRECTQUERY</p><p>Neste caso, não estamos carregando dados no Power BI. Eles permanecem em sua fonte de dados</p><p>original, sendo armazenados no Power BI apenas os metadados, que consistem nos dados sobre os</p><p>dados, ou seja, armazenam-se nomes de tabelas e colunas, tipos dos dados e relacionamentos. A</p><p>principal vantagem é não ser limitado pelo hardware.</p><p>Não será passada aqui nenhuma opção avançada, como, por exemplo, uma instrução SQL. Esse tipo de</p><p>comando pode ser utilizado para direcionar a consulta a alguma tabela ou schema específico do banco</p><p>de dados objeto da consulta. Na sequência, entre com suas credenciais de acesso ao banco de dados e</p><p>clique em “Conectar”.</p><p> Captura de tela do software Power BI.</p><p>Selecione a tabela ou as tabelas que deseja trabalhar e clique em “Carregar”.</p><p> Captura de tela do software Power BI.</p><p> ATENÇÃO</p><p>Em ambientes de teste, a autenticação no banco de dados pode ser feita de maneira explícita, inserindo</p><p>os dados de usuário e senha. Em um ambiente de produção, o método Windows authentication é</p><p>tipicamente adotado.</p><p> COMENTÁRIO</p><p>Observe que o procedimento de conexão com outros tipos de SGBD (Sistema de Gerência de Banco de</p><p>Dados), além do SQL Server, ocorre de forma similar, inserindo as informações do servidor (server), do</p><p>banco de dados (database) e as informações de autenticação do usuário, podendo, ainda, ser passada</p><p>uma instrução em SQL antes de clicar em OK para dar sequência à conexão.</p><p>CARGA DE ARQUIVOS A PARTIR DE BANCO DE</p><p>DADOS GOOGLE BIG QUERY</p><p>Uma das grandes vantagens do Power BI é a enorme gama de fontes de dados que podemos acessar,</p><p>de forma rápida e intuitiva. Entre as fontes de dados on-line frequentemente utilizadas no mercado,</p><p>faremos uma consulta a um banco de dados no Google Big Query, que é um SGBD relacional conhecido</p><p>como “o banco de dados da Google para Big Data”.</p><p>Para realizar a consulta, clique no botão “Obter Dados” e filtre por Banco de Dados. Selecione a opção</p><p>“Google Big Query” e clique em Conectar.</p><p> Captura de tela do software Power BI.</p><p>Na tela seguinte, será solicitada a autenticação via Google e, uma vez concluída a autenticação, basta</p><p>clicar</p><p>em “Conectar”. O carregamento pode levar algum tempo, dependendo da qualidade de conexão</p><p>com a internet, visto que se trata de banco de dados armazenado em nuvem.</p><p> Captura de tela do software Power BI.</p><p>Na tela seguinte, os projetos existentes serão exibidos. Então, basta localizar a tabela ou tabelas que</p><p>deseja utilizar e clique em “Carregar” ou “Transformar Dados”.</p><p> Captura de tela do software Power BI.</p><p> ATENÇÃO</p><p>O processo aqui detalhado também serve para acessar a API do Google Analytics: um serviço oferecido</p><p>pela Google para análise de estatísticas de visitação de websites. Assim como o Google Big Query,</p><p>também requer autenticação na plataforma Google. Neste caso específico, acessaremos um Serviço</p><p>On-line diretamente pelo Power BI.</p><p>CARGA DE ARQUIVOS A PARTIR DE SCRIPT</p><p>PYTHON</p><p>Uma das vantagens do Power BI é a fácil implementação de scripts Python na importação de conjuntos</p><p>de dados, de forma prática, para os usuários habituados a trabalhar com a linguagem. Para essa etapa,</p><p>será necessário instalar o Python em seu computador, caso já não o tenha instalado, bastando seguir as</p><p>instruções no site da própria linguagem Python. Recomenda-se versões acima da 3.6.</p><p>Para realizar a integração com o Power BI, duas bibliotecas são necessárias:</p><p>PANDAS</p><p>É uma biblioteca largamente utilizada para manipulação e análise de dados. Oferece estruturas de</p><p>dados e operações para manipular tabelas numéricas e séries temporais. Os dados importados devem</p><p>estar em uma estrutura de dados do Pandas, caracterizada pela bidimensionalidade, ou seja, são</p><p>organizados em linhas e colunas. São conhecidos como Pandas DataFrames.</p><p>MATPLOTLIB</p><p>É uma biblioteca utilizada para geração de gráficos a partir de dados oriundos de Pandas DataFrames</p><p>ou, então, de dados vetorizados. Uma das dependências instaladas juntamente com o Matplotlib é a</p><p>biblioteca Numpy, largamente utilizada para trabalhar com vetores, matrizes e operações matemáticas</p><p>entre essas estruturas.</p><p>Após a instalação do Python, acesse o prompt de comando do Windows para a instalação das</p><p>bibliotecas citadas, utilizando a ferramenta pip, que já acompanha as versões mais recentes do Python:</p><p>> pip install pandas</p><p>> pip install matplotlib</p><p> ATENÇÃO</p><p>Como carregaremos um arquivo Excel (.xlsx), devemos instalar, também, as bibliotecas a seguir,</p><p>bastando escrever seus nomes separados por espaço:</p><p>> pip install fsspec xlrd openpyxl</p><p>O próximo passo consiste na habilitação do uso de scripts Python no Power BI. Para isso, basta acessar</p><p>Arquivo > Opções e Configurações > Opções > Script do Python.</p><p> Captura de tela do software Power BI.</p><p>Tenha atenção com o diretório base do Python que foi detectado, pois essa opção deve apontar para o</p><p>diretório onde o Python foi instalado. Feito isso, basta clicar em “OK”.</p><p>Para executar um script Python e realizar a importação de dados, basta ir até o menu “Obter Dados”,</p><p>selecionar a opção “Outros”, depois, a opção “Script do Python” e clique em “Conectar”.</p><p> Captura de tela do software Power BI.</p><p>A janela Script do Python aparecerá. Será necessário, então, entrar com o comando a seguir para que</p><p>os dados sejam carregados:</p><p> Captura de tela do software Power BI.</p><p>Ao clicar em “OK”, a janela de navegação dos dados aparecerá. Então, basta selecionar a tabela que foi</p><p>carregada e clicar em “Transformar Dados” ou em “Carregar”.</p><p> Captura de tela do software Power BI.</p><p> COMENTÁRIO</p><p>Lembre-se de que, no próprio script do Python, utilizando as funções do Pandas, é possível realizar</p><p>diversas manipulações de dados, bem como criação de novas colunas, filtros, alterações de tipo e dos</p><p>nomes das colunas, além da realização de operação nas colunas ou até mesmo entre as colunas.</p><p>Nesse caso, o Python absorveria toda a etapa de ETL realizada no Power BI.</p><p>Trata-se de mais uma facilidade proporcionada pelo Power BI aos usuários que utilizam linguagens de</p><p>programação como o Python.</p><p>CONEXÃO A FONTES DE DADOS NO POWER BI</p><p>Para finalizar este módulo, assista a um resumo do módulo, com foco em conexões a diferentes fontes</p><p>de dados no Power BI, no vídeo a seguir.</p><p>VERIFICANDO O APRENDIZADO</p><p>MÓDULO 2</p><p> Aplicar a modelagem de dados com o Power BI</p><p>LIGANDO OS PONTOS</p><p>Você sabe o que é uma modelagem de dados? Como você faria para extrair informação de um conjunto</p><p>de dados que gerasse oportunidades de negócios? Para respondermos a essas perguntas, vamos</p><p>analisar algumas situações práticas.</p><p>A empresa de mineração Aço para o Progresso S.A., organização fictícia, é uma grande produtora de</p><p>ferro que possui diversas minas em operação na região Sudeste do Brasil. Nessas minas, operam</p><p>equipamentos de pequeno, médio e grande porte com diferentes objetivos. Esses equipamentos são</p><p>fundamentais para realizar extração, transporte e processamento do minério. Portanto, precisam passar</p><p>por inspeções diárias, manutenções preventivas, preditivas e corretivas e ter um controle de telemetria</p><p>para localizar em que ponto da mina estão operando e se está tudo funcionando corretamente. Todos os</p><p>dados são armazenados em diferentes formatos e sistemas que, na maioria das vezes, não se</p><p>comunicam, mas que, claramente, são complementares para ter uma visão total do processo.</p><p>O presidente da Aço para o Progresso S.A. contratou uma consultoria para modelar as diversas fontes</p><p>de dados de modo que representassem o processo como um todo. Os consultores conduziram o</p><p>trabalho nas seguintes etapas:</p><p>Compreensão dos processos da mineradora com previsão de conclusão em três meses.</p><p>Mapeamento dos dados nos processos com tempo estimado de dois meses.</p><p>Criação de um modelo que represente os processos e seu relacionamento com os dados com</p><p>previsão de término de três meses.</p><p>Importação dos dados para um banco centralizado já modelado na etapa anterior para representar</p><p>os processos com tempo estimado de três meses.</p><p>Apresentação do sistema para a diretoria da Aço para o Progresso S.A.</p><p>A diretoria ficou muito satisfeita com o resultado do trabalho e todos concordaram que este deve</p><p>continuar, pois há um grande potencial de benefícios ao analisar os dados agregados.</p><p>Você desenvolveria uma estratégia semelhante para modelar os dados da Aço para o Progresso S.A.?</p><p>Após a leitura do case, é hora de aplicar seus conhecimentos! Vamos ligar esses pontos?</p><p>3. CONSIDERE O SEGUINTE CENÁRIO: VOCÊ FOI</p><p>CONTRATADO PARA TREINAR ALGUNS DOS ANALISTAS</p><p>DA AÇO PARA O PROGRESSO S.A. NA MODELAGEM DE</p><p>DADOS. SEU TRABALHO É MUITO IMPORTANTE E, SE FOR</p><p>BEM-SUCEDIDO, VOCÊ DARÁ OUTROS TREINAMENTOS NA</p><p>EMPRESA. NESSE CENÁRIO, QUAL SERIA A ESTRATÉGIA</p><p>QUE VOCÊ ADOTARIA?</p><p>RESPOSTA</p><p>Ensinar pessoas sempre é um grande privilégio e uma oportunidade de aprender também através da natural</p><p>troca de experiências. No cenário descrito, é importante entender que um treinamento deve resultar em</p><p>profissionais qualificados. Portanto, a melhor forma de aprender modelagem é trabalhar em um exemplo real,</p><p>porém pequeno, em que seja possível verificar a aplicação dos conceitos na prática com a utilização de uma</p><p>ferramenta específica para modelagem.</p><p>INTRODUÇÃO À MODELAGEM DIMENSIONAL</p><p>NO POWER BI</p><p>Conforme visto no módulo anterior, podemos utilizar diversas fontes de dados com o Power BI. Isso</p><p>significa que, quando trabalhamos em relatórios mais complexos, nos quais são extraídos dados de</p><p>diferentes origens, é importante que eles estejam conectados da forma apropriada e com as</p><p>transformações necessárias, estando prontos para uso. Essa etapa primordial consiste na modelagem</p><p>de dados.</p><p>javascript:void(0)</p><p> COMENTÁRIO</p><p>Um bom modelo de dados contribui para uma rápida exploração dos dados, facilita as agregações e</p><p>manutenções futuras. Em outras palavras, é uma boa prática de mercado construir modelos de dados</p><p>mais robustos, pensando justamente na facilidade com que eles serão consumidos e mantidos pelos</p><p>times da sua organização.</p><p>Em geral, modelos de dados pequenos são compostos por um número menor de tabelas e de colunas</p><p>para cada tabela. Isso pode contribuir em alguns aspectos, por exemplo,</p><p>deixando essa visualização</p><p>mais intuitiva para o usuário e de execução mais rápida.</p><p> EXEMPLO</p><p>Imagine uma tabela com 100 colunas e outra com 30 colunas; provavelmente, a tabela com 30 colunas</p><p>será mais facilmente trabalhada, uma vez que analisar 100 colunas de uma tabela chega a ser inviável.</p><p>Para que isso não aconteça, tente extrair apenas aquilo que for relevante para sua análise, evitando que</p><p>a própria visualização e compreensão dos dados não fique terrivelmente complexa.</p><p>Seja objetivo quando criar seu modelo de dados.</p><p>A seguir, pode ser observado um modelo de dados de exemplo, similar ao modelo de entidades e</p><p>relacionamentos usado em projeto de banco de dados, em que as tabelas são representadas por caixas.</p><p>Cada caixa apresenta uma lista com todas as colunas presentes, e as linhas representam os</p><p>relacionamentos entre as tabelas.</p><p> ATENÇÃO</p><p>Devemos ter cuidado ao criar esses relacionamentos, pois, mesmo em modelos mais simples, as</p><p>relações podem ficar complexas.</p><p>Nos relacionamentos entre tabelas, destacamos alguns conceitos importantes. São eles:</p><p>CHAVE PRIMÁRIA (PRIMARY KEY)</p><p>Identificadores únicos de uma tabela que não podem ser nulos.</p><p>CHAVE ESTRANGEIRA (FOREIGN KEY)</p><p>Referência em uma tabela a uma chave primária de outra tabela.</p><p>Os relacionamentos entre tabelas são formados quando você tem chaves primárias e estrangeiras em</p><p>comum entre tabelas diferentes. O Power BI permite que isso seja facilmente implementado.</p><p>Imagine que há uma tabela Condutores.</p><p>A chave primária dessa tabela poderia ser a coluna id_condutor.</p><p>Essa tabela pode ser relacionada com outra tabela – por exemplo, Veículos – a partir de uma chave</p><p>estrangeira nesta tabela, também denominada id_condutor, que fará o relacionamento entre o</p><p>condutor, identificado na tabela Condutores, com o veículo correspondente àquela pessoa na tabela</p><p>Veículos.</p><p>Se uma dessas tabelas fosse oriunda de um arquivo CSV e a outra, de um banco de dados relacional, o</p><p>relacionamento criado irá permitir que elas sejam tratadas como um conjunto de dados unificados.</p><p>O esquema de dados gerado a partir da criação do relacionamento das tabelas poderá ser, por exemplo,</p><p>do tipo esquema estrela, que é otimizado para melhor desempenho e usabilidade nas consultas</p><p>analíticas. É um método bastante popular, estudado em conteúdos que tratam da modelagem</p><p>dimensional para BI, introduzido por Ralph Kimball nos anos 1990.</p><p>Nesse tipo de esquema, cada tabela dentro de seu conjunto de dados é definida como:</p><p>TABELA DE FATOS</p><p>Apresenta valores de dados observacionais ou de evento, como pedidos de venda, contagens de</p><p>produtos, preços, datas e horas de transação e quantidades. Pode conter valores repetidos. Nela, é</p><p>bastante comum observar colunas preenchidas com números e datas.</p><p>TABELA DE DIMENSÕES</p><p>Apresenta detalhes sobre os dados nas tabelas de fatos: produtos, locais, funcionários e tipos de</p><p>pedido. É conectada à tabela de fatos por meio de colunas de chave. É usada para filtrar e agrupar os</p><p>dados nas tabelas de fatos.</p><p>Normalmente, as tabelas de fatos são muito maiores do que as tabelas de dimensões, pois um número</p><p>grande de eventos ocorre em tabelas de fatos, como vendas individuais. As tabelas de dimensões</p><p>geralmente são menores, porque se limitam ao número de itens que sejam passíveis de filtros e</p><p>agrupamentos.</p><p>MODELOS DE DADOS DO EXEMPLO PRÁTICO</p><p>Agora, vamos partir para o estudo de um exemplo prático com os dados de ocorrências nas rodovias</p><p>federais, visto no módulo anterior. Nesta etapa, além das informações de acidentes no site da PRF,</p><p>baixe, também, os dados agrupados por ocorrência. Mas lembre-se de baixar os dados referentes ao</p><p>ano de 2020 para os dois casos.</p><p>Como, para este exemplo, há dois arquivos que possuem dados complementares, vamos utilizar o</p><p>método de extração de arquivo, frequentemente denominado carregamento, a partir de uma pasta.</p><p>Assim, será mais fácil fazer a combinação.</p><p>Para isso, certifique-se de que os arquivos de “acidentes” e “datatran2020” estejam na mesma pasta.</p><p>Siga os passos de carga descritos no módulo anterior e selecione “Combinar e Carregar”. Dessa forma,</p><p>o Power BI identificará as colunas nos dois arquivos que tornam possível a transformação desses</p><p>arquivos em uma tabela apenas.</p><p> Captura de tela do software Power BI.</p><p>Em seguida, a janela de combinação de arquivos será aberta, e a opção de “Arquivo de Amostra” estará</p><p>disponível para escolha.</p><p> Captura de tela do software Power BI.</p><p>A opção “Primeiro arquivo” é o formato da tabela única que será criada após a execução da função de</p><p>“Combinar Arquivos” do Power BI. Mas é importante que os passos básicos vistos anteriormente</p><p>também sejam executados nas tabelas base. Não deixe de selecioná-las e fazer as transformações</p><p>necessárias, como, por exemplo, trocar a origem do arquivo de “1252: Europeu Ocidental” para “65001:</p><p>Unicode (UTF-8)”.</p><p>Existem outras formas de unir as informações, mas, pela facilidade em unir os arquivos e por ser um</p><p>método bem simples de ser executado, este é o mais importante para ser compreendido.</p><p>Outra maneira de relacionar arquivos é por meio do gerenciamento de relacionamentos. Para isso,</p><p>basta carregar os conjuntos de dados que deseja unir, fazer os tratamentos iniciais, e o Power BI</p><p>sozinho identificará as chaves que conectam as duas ou mais tabelas. Ao contrário do outro método,</p><p>neste caso, teremos duas tabelas na aba “Campos”.</p><p>A seguir, vemos um exemplo de como o Power BI automaticamente encontra as chaves das tabelas:</p><p> Captura de tela do software Power BI.</p><p>De toda forma, realizar a inclusão ou remoção de relacionamento entre tabelas é uma tarefa simples.</p><p>Para remover um relacionamento, clique com o botão direito do mouse no relacionamento e selecione</p><p>“Excluir”.</p><p>Para criar um relacionamento, arraste e solte os campos que deseja vincular entre as tabelas.</p><p>Para ocultar uma tabela ou coluna individual, basta clicar com o botão direito na tabela ou na coluna</p><p>onde é exibido o Modelo e selecione Ocultar na exibição do relatório.</p><p>Se quiser verificar de forma detalhada os relacionamentos entre suas tabelas, vá até a guia Página</p><p>Inicial, selecione “Gerenciar Relações”.</p><p>A caixa de diálogo “Gerenciar Relações” exibe seus relacionamentos como uma lista em vez de um</p><p>diagrama visual.</p><p>Na caixa de diálogo, você pode selecionar “Detecção automática” para localizar relacionamentos em</p><p>dados novos ou atualizados.</p><p>Se for o caso, selecione “Editar” para modificar seus relacionamentos.</p><p>Você também encontrará opções mais avançadas na seção “Editar” para definir a Cardinalidade de seus</p><p>relacionamentos.</p><p>As opções de cardinalidade são:</p><p>UM PARA MUITOS (1..*)</p><p>Este é o relacionamento padrão e mais comum. A coluna de uma tabela pode ter mais de uma instância</p><p>de um valor. A tabela relacionada (ou tabela de pesquisa) tem apenas uma instância do valor.</p><p>UM PARA UM (1..1)</p><p>A coluna de uma tabela tem apenas uma instância de um valor específico, e a outra tabela relacionada</p><p>tem apenas uma instância de um valor específico.</p><p> DICA</p><p>De forma geral, devemos evitar o uso de relacionamentos bidirecionais, uma vez que eles podem</p><p>comprometer o desempenho da consulta de modelo e até mesmo confundir os usuários.</p><p>TRANSFORMAÇÕES INICIAIS DO MODELO</p><p>Com as tabelas carregadas e os ajustes básicos feitos, clique em “Transformar dados” na aba “Página</p><p>Inicial”.</p><p> Captura de tela do software Power BI.</p><p>Essa tela é a responsável por fazer as transformações que podem ser necessárias na base de dados.</p><p>Assim como no Excel, o usuário tem uma quantidade incrível de recursos disponíveis no Power BI.</p><p>Da mesma forma, essa grande variedade de opções pode confundir e atrapalhar o aprendizado, pois a</p><p>maioria dos recursos é raramente utilizada.</p><p>Portanto, vamos passar pelos instrumentos mais utilizados na etapa de transformação dos dados e</p><p>mostrar o passo a passo de como aplicá-los.</p><p>1. Substituir valores</p><p>Este é um comando bem simples. Não há nada de diferente em relação ao comando do Excel e de</p><p>outros softwares utilizados para a análise</p><p>de dados. Está localizado na aba “Transformar”.</p><p> Captura de tela do software Power BI.</p><p>2. Remover linhas</p><p>As principais funções deste recurso são:</p><p>Remover Duplicadas;</p><p>Remover Linhas em Branco;</p><p>Remover Erros.</p><p> Captura de tela do software Power BI.</p><p>3. Alterar os tipos de dados de uma coluna</p><p>Como já mostrado algumas vezes, o Power BI automatiza com sucesso muitas etapas na transformação</p><p>dos dados, mas alguns equívocos podem acontecer. Um deles é definir o tipo errado para uma coluna</p><p>de dados. O mais comum está relacionado aos textos com números.</p><p>Por exemplo, caso um conjunto de dados tenha uma coluna de CEP ou CPF/CNPJ, o Power BI pode</p><p>entender que essa coluna é um número, mesmo não sendo, e cortar todos os zeros que estão à</p><p>esquerda.</p><p>Ao lado de cada coluna na tabela de dados, existe um ícone que ajuda a identificar a forma que o Power</p><p>BI categorizou a coluna. Ao clicar nesse ícone, é possível escolher outras categorizações para a coluna.</p><p> Captura de tela do software Power BI.</p><p>4. Dividir coluna</p><p>Com este recurso, é possível separar a coluna a partir de algumas definições, sendo a principal forma</p><p>por delimitador. Nas tabelas de exemplo, temos uma coluna de identificação de delegacias, que pode</p><p>ser importante separar em duas colunas: a primeira com a identificação da delegacia e a segunda com a</p><p>UF.</p><p> Captura de tela do software Power BI.</p><p>Ao selecionar a coluna e clicar em “Dividir Coluna por Delimitador”, é possível determinar o delimitador e</p><p>criar uma coluna nova com as informações separadas.</p><p> Captura de tela do software Power BI.</p><p>5. Adicionar coluna</p><p>São vários os recursos dentro da opção de adicionar uma coluna, tanto que o Power BI criou uma aba</p><p>apenas para essa função.</p><p> Captura de tela do software Power BI.</p><p>Dentre os recursos, temos:</p><p>COLUNA DE EXEMPLOS</p><p>O usuário pode determinar um padrão para a coluna que ele quer adicionar a partir de uma coluna</p><p>selecionada. Por exemplo, ao selecionar uma coluna de CPF que não possui máscara, o usuário pode</p><p>criar essa máscara apenas na primeira célula. O Power BI fará a adição da máscara em todas as outras</p><p>células da coluna.</p><p>COLUNA PERSONALIZADA</p><p>O usuário pode criar uma coluna utilizando a linguagem M do Power Query. Este tópico será abordado</p><p>no próximo módulo.</p><p>COLUNA CONDICIONAL</p><p>Com esta função, é possível criar regras ao adicionar uma nova coluna, ou seja, definir o que fará e o</p><p>que não fará parte da coluna nova. Por exemplo, nas tabelas que estamos usando neste módulo, existe</p><p>uma coluna com as informações do horário do acidente. Pode ser interessante divulgar a informação de</p><p>quais turnos apresentam mais acidentes por região. Para criar a coluna dos turnos, o usuário pode</p><p>adicionar uma coluna condicional e dizer que os acidentes ocorridos entre 00:00 e 08:00 pertencem ao</p><p>turno 1, os acidentes ocorridos entre 08:00 e 16:00, ao turno 2, e os acidentes ocorridos entre 16:00 e</p><p>24:00, ao turno 3.</p><p>Além dessas transformações, é possível trocar os formatos das colunas, extrair informações, fazer</p><p>cálculos e transformações com base em data, hora e duração.</p><p>6. Localizar anomalias e estatística de dados</p><p>Com esta funcionalidade, é possível verificar se existem anomalias nos dados da tabela. É uma forma</p><p>rápida de identificar se as colunas possuem muitas células vazias ou com erros, analisar a distribuição</p><p>dos dados e ter disponível algumas informações básicas sobre a coluna selecionada.</p><p>Ao clicar na aba “Exibição”, três opções de visualização da qualidade dos dados estarão disponíveis</p><p>para o usuário:</p><p>Qualidade da coluna;</p><p>Distribuição de colunas;</p><p>Perfil da coluna.</p><p> Captura de tela do software Power BI.</p><p>QUALIDADE DA COLUNA</p><p>Esta opção torna visual a análise de dados válidos. Com ela, é possível perceber rapidamente a taxa de</p><p>erros e dados vazios em uma coluna.</p><p> Captura de tela do software Power BI.</p><p>DISTRIBUIÇÃO DE COLUNAS</p><p>Esta opção ajuda a entender a distribuição dos dados para o usuário fazer uma análise se aquela coluna</p><p>apresenta o que é esperado para aquele conjunto de dados.</p><p> Captura de tela do software Power BI.</p><p>PERFIL DA COLUNA</p><p>Diferentemente das outras exibições, a exibição do perfil da coluna apresenta somente as informações</p><p>da coluna selecionada. Essa apresentação é mais detalhada que as outras e fornece outros dados que</p><p>antes estavam escondidos. As informações de “Mínimo” e “Máximo” são fundamentais em uma análise</p><p>de conjunto de dados numéricos, pois, por meio delas, os grandes erros serão evidenciados para o</p><p>usuário.</p><p> Captura de tela do software Power BI.</p><p>As três exibições em conjunto podem tornar a análise do usuário muito mais assertiva. Nos exemplos</p><p>utilizados, é possível notar isso, pois, ao verificar somente a qualidade da coluna “idade”, o usuário vai</p><p>notar que não há erros nem colunas vazias. Ao utilizar a distribuição de colunas, o usuário observará</p><p>que possui algo de diferente nos dados, mas, somente com o perfil da coluna, será possível perceber</p><p>que muitas idades não foram preenchidas e estão apenas preenchidas com “N/A”. Isso pode ser um</p><p>problema ao apresentar os dados.</p><p> ATENÇÃO</p><p>O Power BI apresenta apenas as informações das primeiras 1000 linhas do conjunto de dados. Para que</p><p>a análise seja feita na tabela completa, clique na parte inferior da tela, em “Criação de perfil de coluna</p><p>com base nas primeiras 1000 linhas”, e troque para “Criação de perfil de coluna com base em todo o</p><p>conjunto de dados”.</p><p> Captura de tela do software Power BI.</p><p>7. Renomear</p><p>Esta é uma função a que devemos dar bastante atenção. Embora não seja tão poderosa quanto as</p><p>outras funções, tornar as informações mais claras para os usuários muitas vezes é mais importante do</p><p>que algumas etapas expostas aqui. Por vezes, uma simples mudança nos nomes das colunas ou nos</p><p>nomes das tabelas faz com que a mensagem seja mais compreendida.</p><p>Por exemplo, temos duas tabelas neste módulo:</p><p>“ACIDENTES2020”</p><p>Que busca trazer informações sobre o estado de cada ferido e sobre os veículos envolvidos no acidente.</p><p>“DATATRANS2020”</p><p>Que busca fazer uma apresentação macro dos acidentes, como a quantidade de feridos e a quantidade</p><p>de veículos envolvidos no acidente.</p><p> DICA</p><p>Uma boa prática é renomear a tabela para que o usuário possa identificar rapidamente o propósito de</p><p>cada conjunto de dados.</p><p>BREVE INTRODUÇÃO À LINGUAGEM DAX</p><p>Em todas as nossas etapas até o momento, utilizamos uma série de botões com funções que estão</p><p>automatizadas pelo Power BI. Mas também é possível adicionar ou modificar colunas por meio de linhas</p><p>de código.</p><p>A linguagem utilizada dentro do software para fazer essas modificações é o DAX (Data Analysis</p><p>Expressions). Sua estrutura é muito parecida com a estrutura de fórmulas do Excel. Além disso, o Power</p><p>BI busca tornar sua utilização algo simples e rápido.</p><p>Para utilizar o DAX, o usuário deve voltar à tela inicial do Power BI, selecionar a tela de "Dados"</p><p>localizada no canto esquerdo e clicar em "Nova Coluna". Dessa forma, a barra de fórmulas ficará</p><p>disponível para a aplicação do DAX.</p><p>A estrutura da linguagem segue um padrão. Ao clicar em "Nova Coluna", algo similar ao padrão</p><p>apresentado a seguir será mostrado na barra de fórmulas:</p><p>javascript:void(0)</p><p>javascript:void(0)</p><p> Captura de tela do software Power BI.</p><p>Assim, vamos utilizar esse padrão para criar uma coluna com o número total de feridos. Ela vai ficar</p><p>deste jeito:</p><p>Total de Feridos = [feridos_leves] + [feridos_graves]</p><p>TOTAL DE FERIDOS =</p><p>É o nome da nova coluna que será adicionada mais o símbolo de igual, que faz referência ao que será</p><p>escrito em seguida.</p><p>[FERIDOS_LEVES] E [FERIDOS_GRAVES]</p><p>São referências às colunas que farão parte dos cálculos. Note que as colunas estão entre colchetes.</p><p>Isso faz parte da estrutura da linguagem.</p><p>+</p><p>É o operador matemático que será utilizado.</p><p>Para finalizar, o usuário pode apertar a tecla Enter ou clicar no símbolo de concluído/visto (√) logo à</p><p>esquerda do código.</p><p> Captura de tela do software Power BI.</p><p>Os operadores disponíveis são:</p><p>OPERADORES ARITMÉTICOS</p><p>Utilizados</p><p>para executar operações matemáticas básicas, como adição, subtração, multiplicação, divisão</p><p>e exponenciação.</p><p>OPERADORES DE COMPARAÇÃO</p><p>Utilizados para comparar dois valores. O resultado é um valor lógico: True ou False.</p><p>OPERADOR DE CONCATENAÇÃO DE TEXTO</p><p>Utilizado para unir dois valores. Por exemplo, se a tabela possui uma coluna para Cidades e outra para</p><p>Estados, é possível utilizar esse operador para unir as duas informações: “Belo Horizonte - Minas</p><p>Gerais”.</p><p>OPERADORES</p><p>LÓGICOS</p><p>Utilizados para combinar expressões, a fim de produzir um único resultado.</p><p>A utilização do DAX é comumente associada às operações citadas, mas é possível fazer mais com ela.</p><p>A função SWITCH é um bom exemplo do poder do DAX na transformação dos dados. Com ela, o</p><p>usuário pode determinar alguns critérios e obter uma coluna a partir desses critérios definidos.</p><p> EXEMPLO</p><p>Para aplicarmos a função SWITCH em nossa tabela, vamos imaginar que será necessário criar um</p><p>dashboard com o mapa do Brasil e apresentar o número de feridos por estado. Felizmente, em nossa</p><p>tabela, existe uma coluna que faz referência à UF do acidente. Porém a descrição está abreviada, e o</p><p>Power BI errou em algumas associações, como com o Estado de Rondônia (RO), associando à</p><p>Romênia, e o Estado de Sergipe (SE), associando à Suécia.</p><p>Um caminho para solucionar esse problema é utilizar a função SWITCH. A função final ficará assim:</p><p>Estado = SWITCH('Dados PRF'[uf],"BA","Bahia","SE","Sergipe","RO","Rondônia",'Dados</p><p>PRF'[uf])</p><p>A sintaxe para a função SWITCH é a seguinte:</p><p>1. Primeiro, devemos apontar a coluna que será lida pela função: ‘Dados PRF’[uf].</p><p>2. Depois, basta seguirmos um padrão de indicar o que deve ser buscado e o resultado a partir dessa</p><p>busca:</p><p>Procurar por “BA” e trocar para “Bahia”;</p><p>Procurar por “SE” e trocar para “Sergipe”;</p><p>Procurar por “RO” e trocar para “Rondônia”.</p><p>3. Por fim, o Switch deixa disponível a opção de informar o que fazer caso não encontre os dados</p><p>informados pelo usuário. Note que, na fórmula, está escrita a coluna que está sendo transformada, ou</p><p>seja, caso não encontre BA, SE ou RO, copie o que está na coluna original.</p><p> Captura de tela do software Power BI.</p><p> ATENÇÃO</p><p>Em alguns casos, será necessário fazer um cálculo ou empregar uma função em uma tabela, fazendo</p><p>referência a uma coluna de outra tabela. Para isso, o Power BI obriga que o usuário utilize a função</p><p>Related. Portanto, se a função anterior buscasse as informações em outra tabela, sua fórmula deveria</p><p>ficar assim:</p><p>Estado = SWITCH(Related('acidentes2020'[uf]), "BA","Bahia","SE","Sergipe","RO", "Rondônia",'Dados</p><p>PRF'[uf])</p><p>MODELAGEM DE DADOS NO POWER BI</p><p>No vídeo a seguir, apresentamos um resumo do módulo, com ênfase nos recursos de modelagem de</p><p>dados e nas transformações no modelo usando Power BI.</p><p>VERIFICANDO O APRENDIZADO</p><p>MÓDULO 3</p><p> Empregar a linguagem M do Power Query na limpeza e transformação de dados</p><p>LIGANDO OS PONTOS</p><p>Você conhece os problemas relacionados à análise de grandes volumes de dados? Sabe os cuidados</p><p>necessários antes de realizar uma análise de dados? Para entendermos sobre os conceitos na prática,</p><p>vamos analisar uma situação.</p><p>A corretora Invista Bem S.A., empresa fictícia, atua com investimentos voltados para construção civil.</p><p>Essa é uma área com grandes variações de preços ao longo do tempo e, por isso mesmo, os analistas</p><p>da Invista Bem S.A. precisam investigar o mercado com muita atenção, pois um erro pode causar</p><p>grandes prejuízos financeiros e de imagem. São muitas as fontes de dados de dados e informações, tais</p><p>como:</p><p>Sites confiáveis de notícias do mercado e política nacional e internacional.</p><p>Redes sociais, em especial alguns grupos que tratam de assuntos específicos. Apesar de essas</p><p>fontes não serem confiáveis, são importantes para formar uma opinião sobre investimentos.</p><p>Dados disponibilizados por fontes oficiais.</p><p>Informações fornecidas por consultorias especializadas.</p><p>Todos esses dados e informações são processados para, posteriormente, serem submetidos a um</p><p>sistema de inteligência artificial (I.A.). Conforme sua base de conhecimento, a inteligência artificial</p><p>emitirá respostas sobre os investimentos, que deverão passar ainda pela crítica de analistas</p><p>especialistas.</p><p>Recentemente, os especialistas perceberam que as respostas produzidas pelo sistema de I.A. não</p><p>estavam consistentes. Então, foi aberto um processo interno para identificar o problema e descobriu-se</p><p>que muitos dos dados que chegavam para o sistema estavam inconsistentes e não havia uma crítica</p><p>automatizada para detectar isso. Dessa forma, foi feita a implementação de uma etapa do projeto que</p><p>detectasse problemas de inconsistência e fizesse a limpeza dos dados. Logo que essa etapa foi</p><p>concluída, o sistema de I.A. voltou a produzir bons resultados.</p><p>Ao fazer um retrospecto do problema, os analistas chegaram à conclusão de que o volume e a</p><p>diversidade das fontes de dados dificultaram a detecção rápida do problema. Como a Invista Bem S.A.</p><p>possui uma equipe qualificada de analistas e ferramentas que auxiliam na detecção de inconsistência e</p><p>limpeza dos dados, o problema foi resolvido e a empresa continua auxiliando seus clientes a realizarem</p><p>bons investimentos.</p><p>Você teria feito as mesmas ações dos analistas da Invista Bem S.A. para realizar a limpeza dos dados e</p><p>garantir a consistência do processo?</p><p>Após a leitura do case, é hora de aplicar seus conhecimentos! Vamos ligar esses pontos?</p><p>3. CONSIDERE O SEGUINTE CENÁRIO: VOCÊ FOI</p><p>CONTRATADO PELA INVISTA BEM S.A. PARA MELHORAR O</p><p>MODELO DE DADOS. EXISTEM MUITAS EXPECTATIVAS</p><p>SOBRE O RESULTADO DO SEU TRABALHO. COM BASE EM</p><p>SUA EXPERIÊNCIA, COMO VOCÊ CUMPRIRIA ESSA</p><p>MISSÃO? DE QUE MANEIRA IRIA DEMONSTRAR QUE SEU</p><p>TRABALHO FOI BEM-SUCEDIDO?</p><p>RESPOSTA</p><p>A Invista Bem S.A. é uma empresa de investimentos que utiliza grandes volumes de dados de diversas</p><p>fontes. Portanto, a primeira ação a ser tomada é mapear todas essas fontes e medir a dimensão do volume</p><p>de dados. Cumprida essa etapa, vem a análise do processo de limpeza e transformação de cada um dos</p><p>dados. Aqui, é fundamental fazer o registro de todas as ocorrências de inconsistências, pois isso será muito</p><p>importante para demonstrar, posteriormente, como sua intervenção gerou resultados.</p><p>INTRODUÇÃO À LINGUAGEM M</p><p>Durante o processo de tratamento dos dados importados para o Power BI, é possível utilizar outra</p><p>linguagem no software para executar essa função: a linguagem M, com o nome original de Power</p><p>Query Formula Language.</p><p>A linguagem M é o código utilizado para fazer a preparação e transformação dos dados no Power Query,</p><p>presente no Power BI e no Excel, além de outros produtos da Microsoft.</p><p>javascript:void(0)</p><p>Em todas as etapas que vimos até agora, a linguagem M estava envolvida, desde pequenas ações,</p><p>como excluir uma coluna, até ações como trocar o nome das células de uma coluna por meio da função</p><p>“Coluna de Exemplo”.</p><p>Isso acontece porque há um cuidado da Microsoft em permitir que o usuário consiga utilizar o software</p><p>sem ter grandes conhecimentos em programação e, ao mesmo tempo, permitir que conhecedores da</p><p>lógica de programação ou programadores possam extrair o melhor da ferramenta.</p><p>O Power Query é o responsável por fazer tudo isso funcionar, pois ele é uma tecnologia de conexão de</p><p>dados que permite extrair informações de várias fontes e tipos, fazer a limpeza, transformação e</p><p>readequação dos dados, além de criar automações e integrações que reduzem bastante o trabalho do</p><p>usuário.</p><p>UTILIZAÇÃO DA LINGUAGEM M NO POWER BI</p><p>Um bom início para entender como funciona essa linguagem é desmistificar sua utilização. O próprio</p><p>Power BI a utiliza sem que fique claro para nós que ela está sendo executada.</p><p>Vamos utilizar a mesma base de dados sugerida no módulo anterior para ilustrar o que foi dito. Após</p><p>carregar o arquivo e passar por todos os estágios iniciais do Power BI para que ela esteja disponível</p><p>para uso, clique em "Transformar dados" na aba "Página Inicial" do Power BI. Você será conduzido para</p><p>o editor do Power</p><p>Query.</p><p> Captura de tela do software Power BI.</p><p>Verifique se a barra de fórmulas está disponível para você. Ela fica logo acima da tabela apresentada e</p><p>é similar à barra de fórmulas do Excel.</p><p> Captura de tela do software Power BI.</p><p>Caso não esteja disponível, clique na aba “Exibição” e, em seguida, marque a caixa “Barra de</p><p>Fórmulas”.</p><p> Captura de tela do software Power BI.</p><p>Note que a fórmula presente na barra foi preenchida automaticamente. Este é o caso mencionado</p><p>anteriormente, em que o Power BI utiliza a linguagem M sem ser executado qualquer código pelo</p><p>usuário. Ao clicar na seta à direita da fórmula, a barra será expandida para favorecer a visualização.</p><p> Captura de tela do software Power BI.</p><p>Em seguida, para nos colocar mais próximos da linguagem M, vamos alterar o tipo de uma coluna por</p><p>meio da barra de fórmulas do editor do Power Query. No conjunto de dados disponibilizados pela PRF, a</p><p>coluna “data_inversa” está em um formato diferente do apresentado pelo Power BI.</p><p> Captura de tela do software Power BI.</p><p>Note que a PRF utiliza essa informação em uma ordem diferente do habitual. O Power BI forçou para</p><p>que a visualização ficasse no padrão que conhecemos: trocou de 2019-01-01 para 01/01/2019.</p><p>Para você ter seu primeiro contato com a linguagem M, troque o formato, descrito como type, de “date”</p><p>para “text” na fórmula que faz referência à coluna “data_inversa” e clique em confirmar. Em alguns</p><p>casos, não será necessário clicar em confirmar para que a fórmula mude a visualização da coluna.</p><p> Captura de tela do software Power BI.</p><p>Repare que, agora, a coluna “data_inversa” está refletindo o formato que está no arquivo original. Nesse</p><p>caso, o que fizemos foi mudar o tipo de informações para esta coluna de Data para Texto – processo</p><p>muito parecido com o que é feito no Excel. Agora, troque “text” para “date”, e a coluna voltará ao formato</p><p>anterior.</p><p>Outro item no Power BI que tem uma relação direta com a linguagem M, mas que acaba passando fora</p><p>de nossa atenção, é a configuração de consulta que aparece no canto direito da tela. Nesse item, é</p><p>possível visualizar as etapas de tratamento dos dados que estão sendo aplicadas à tela que estamos</p><p>manipulando.</p><p> Captura de tela do software Power BI.</p><p>Veja que, ao clicar nas outras etapas disponíveis, a fórmula na barra de fórmulas muda:</p><p> Captura de tela do software Power BI.</p><p>Essa interface apresentada pelo Power BI nos ajuda a entender como funciona a estrutura da linguagem</p><p>M: cada transformação é feita respeitando a hierarquia das etapas.</p><p>Ao clicar em "Editor Avançado", fica mais fácil entender essa estrutura.</p><p> Captura de tela do software Power BI.</p><p>A sintaxe da linguagem M é dividida em dois blocos:</p><p>let</p><p>Em que são definidas as variáveis.</p><p>in</p><p>Saída do que foi definido no primeiro bloco.</p><p> Captura de tela do software Power BI.</p><p>Tudo que o Power BI reconheceu como importante para tornar a experiência do usuário mais simples</p><p>está presente nessas linhas de código. Na imagem anterior, é possível perceber que cada etapa da</p><p>transformação inicial dos dados está bem destacada.</p><p>Na linha 2, está o primeiro passo de leitura do arquivo, em que são especificadas as informações de</p><p>localização dos dados, o formato e a forma com que o Power BI vai ler a tabela. O nome dessa primeira</p><p>etapa foi definido automaticamente como “Fonte”.</p><p>Em seguida, na linha 3, é criada uma expressão para transformar a primeira linha do arquivo como o</p><p>cabeçalho da tabela. Vamos utilizar essa expressão para realçar a estrutura hierárquica da linguagem M:</p><p>#"Cabeçalhos Promovidos" = Table.PromoteHeaders(Fonte, [PromoteAllScalars=true]),</p><p>Essa é a expressão completa que promove a primeira linha ao cabeçalho da tabela. Ao desmembrá-la,</p><p>temos:</p><p>#"Cabeçalhos Promovidos"</p><p>Cada etapa precisa ter um nome, porém, a sintaxe da linguagem não permite que exista um espaço</p><p>entre as palavras. Assim, há duas formas de resolver esse obstáculo. Colocando o underscore entre as</p><p>palavras (Cabeçalhos_Promovidos) ou o identificador dentro dos caracteres #"" (#"Cabeçalhos</p><p>Promovidos").</p><p>=</p><p>Em seguida temos o identificador e o símbolo de igual (=) para determinar o que há dentro da</p><p>expressão.</p><p>Table.PromoteHeaders</p><p>Esta é a função que promove a primeira linha ao cabeçalho da tabela e segue um padrão de sintaxe de</p><p>várias outras linguagens de programação. Primeiro, é definido o objeto a ser referenciado e, em seguida,</p><p>é determinada a função escolhida.</p><p>(Fonte, [PromoteAllScalars=true]),</p><p>Este é o momento em que a transformação por etapas é feita. Antes de definir o que será executado</p><p>dentro da função PromoteHeaders, é preciso referenciar a função anterior, para que o Power Query</p><p>entenda que essa função será executada a partir do resultado da função anterior. É possível perceber</p><p>que o mesmo acontece na função seguinte: #"Tipo Alterado".</p><p>Vejamos alguns pontos importantes sobre a linguagem M e seu funcionamento:</p><p>A vírgula determina o fim de uma expressão.</p><p>M é uma linguagem case-sensitive, isto é, que faz distinção entre letras maiúsculas e minúsculas.</p><p>Comentários podem ser escritos após duas barras (//), caso sejam feitos em apenas uma linha, ou entre</p><p>barras e asteriscos (/* comentário */), em várias linhas.</p><p>As funções da linguagem DAX não são reconhecidas em comandos da linguagem M.</p><p>EMPREGO DA LINGUAGEM M NO DIA A DIA</p><p>Como vimos, o Power BI automaticamente utiliza a linguagem M para fazer suas transformações,</p><p>mesmo que o usuário não perceba. Ao conhecer não só as funcionalidades, mas também a sintaxe da</p><p>linguagem M, o usuário consegue facilitar seu trabalho na limpeza dos dados.</p><p>Voltando ao problema do módulo anterior, suponhamos que o usuário precise acertar as informações</p><p>dentro da coluna “fase_dia”, com o objetivo de reduzir as variações de fases do dia para apenas duas:</p><p>diurno e noturno.</p><p> DICA</p><p>Uma forma de fazer isso é clicando na coluna “fase_dia” e, em seguida, em “Remover Duplicadas”.</p><p> Captura de tela do software Power BI.</p><p>Assim, é possível empregar as funcionalidades da “Coluna de Exemplos”.</p><p> Captura de tela do software Power BI.</p><p>As alterações foram feitas, mas, no momento, a tabela caiu de mais de 200 mil linhas para apenas 4.</p><p>Retornando ao que foi dito anteriormente, as transformações feitas no Power BI seguem uma hierarquia.</p><p>Por isso, será possível retirar apenas a etapa da função que removeu as linhas e deixar a etapa da troca</p><p>das informações.</p><p> Captura de tela do software Power BI.</p><p> ATENÇÃO</p><p>Apenas deletar a linha de comando responsável por remover as linhas da tabela fará com que o código</p><p>apresente um problema. Isso acontece porque uma função sempre faz referência à função anterior.</p><p>Então, é preciso acertar o nome da tabela presente na função #"Coluna Condicional Adicionada".</p><p>Também é possível executar a eliminação da etapa de remoção de linhas por meio da caixa de “ETAPAS</p><p>APLICADAS” que fica à direita da tela. Basta clicar no “X” referente à etapa e confirmar a requisição.</p><p> Captura de tela do software Power BI.</p><p>Além disso, é possível adicionar linhas de código a uma tabela diferente. Por exemplo, se o usuário</p><p>percebe que todos os conjuntos de dados relacionados à PRF possuem os nomes dos Estados</p><p>abreviados, e que é interessante que seus relatórios criados no Power BI possuam os nomes completos,</p><p>é possível reaproveitar o código criado na primeira tabela e direcioná-lo para as novas tabelas.</p><p> DICA</p><p>Uma boa prática na utilização do Power Query é revisar as etapas de transformação que foram</p><p>executadas. O usuário vai notar que é muito comum, após a criação de algumas etapas, que parte delas</p><p>esteja duplicada. Isso ocorre devido ao esforço do Power BI em automatizar todas as funções dentro do</p><p>software.</p><p>Além disso, o Power BI não possui uma variedade de sugestões de nomes para as etapas, acarretando</p><p>várias etapas com o nome de “Coluna Renomeada” ou “Coluna Removida”. Por isso, o usuário pode</p><p>aproveitar para renomear as etapas de forma clara, para que outras pessoas possam utilizar.</p><p>Compreender as funções</p><p>que foram explicadas neste módulo é fundamental para entender que a</p><p>linguagem M não está tão distante do uso do Power BI no dia a dia. Um usuário pode executar várias</p><p>etapas do processo de ETL sem acessar a caixa de “Editor Avançado” do Power Query.</p><p> COMENTÁRIO</p><p>Caso tenha interesse e disposição para utilizar a sintaxe da linguagem M, você pode descobrir por meio</p><p>dela várias formas de tornar seu trabalho mais fácil e rápido, além de criar uma rotina de estudos para</p><p>melhorar o refinamento dos dados. O responsável por essa etapa deve perceber que um relatório ou</p><p>dashboard perfeito passa pela boa execução das tarefas descritas aqui.</p><p>EMPREGO DA LINGUAGEM M NO POWER BI</p><p>No vídeo a seguir, apresentamos um resumo deste módulo, demonstrando a utilização da linguagem M</p><p>no processo de limpeza e transformação de dados no Power BI.</p><p>VERIFICANDO O APRENDIZADO</p><p>CONCLUSÃO</p><p>CONSIDERAÇÕES FINAIS</p><p>Neste conteúdo, abordamos os elementos mais relevantes de preparação dos dados com o uso do</p><p>Power BI, demonstrando que é uma ferramenta poderosa e, ao mesmo tempo, muito prática, pois</p><p>permite que sejam feitas manipulações que, antes, demandavam o envolvimento de outros times de</p><p>tecnologia e, hoje, podem ser realizadas por uma só pessoa.</p><p>Isso representa um grande avanço para que os times de negócio sejam mais ágeis na tomada de</p><p>decisões e que estas sejam amparadas em dados mais estruturados e obtidos das mais diversas fontes</p><p>que a empresa dispõe, como Excel, bancos de dados relacionais, serviços em nuvem, APIs, Web, ERP</p><p>etc.</p><p>Para a realização dessa tarefa de ETL, é fundamental a compreensão do Editor do Power Query, que é</p><p>o grande responsável pela capacidade excepcional do Power BI de realizar transformações incríveis nos</p><p>dados, utilizando uma interface gráfica amigável e clara, na qual transformações antes complexas</p><p>podem ser realizadas com um clique.</p><p>Vimos que o Power Query é baseado na linguagem M, que permite ao usuário criar regras de leitura dos</p><p>dados e automatizar as etapas de limpeza e extração, por meio de uma lógica de programação</p><p>fundamentada em uma série de passos que podem ser reproduzidos em outros conjuntos de dados.</p><p>Essas funcionalidades justificam a crescente popularidade que o Power BI ostenta no mercado,</p><p>passando a figurar no Quadrante Mágico do Gartner Group como uma das plataformas líderes no</p><p>mercado de Business Intelligence and Analytics (BI&A).</p><p> PODCAST</p><p>Para encerrar o nosso aprendizado, vamos ouvir uma interessante conversa entre o especialista em</p><p>análise e visualização de dados e a sua cliente da área de negócios, responsável por validar as análises</p><p>produzidas no Power BI.</p><p>AVALIAÇÃO DO TEMA:</p><p>REFERÊNCIAS</p><p>KIMBALL, R.; ROSS, M. The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling.</p><p>3rd. ed. Indianapolis, Indiana: John Wiley Sons, 2013.</p><p>KIMBALL, R.; ROSS M. The Kimball Group Reader: Remastered Edition. Indianapolis, Indiana: John</p><p>Wiley Sons, 2016.</p><p>RAVIV, G. Collect, Combine, and Transform Data Using Power Query in Excel and Power BI</p><p>(Business Skills) (English Edition). 1. ed. Kindle, Microsoft Press, 2018. E-book.</p><p>EXPLORE+</p><p>Para aprofundar ainda mais seus conhecimentos na utilização do Power BI, recomendamos que você</p><p>pesquise e acesse a documentação oficial na página da Microsoft: Documentação do Power BI –</p><p>Power BI – Microsoft Docs. Essa documentação é vasta, e existem muitos detalhes que lá são</p><p>explorados. Você encontrará mais exemplos, principalmente para acessar mais fontes de dados, e</p><p>outras informações sobre o uso do Power Query e da linguagem M, para construir modelos de dados</p><p>extremamente robustos e que auxiliam no dia a dia de uma empresa.</p><p>A Microsoft também disponibiliza uma página para que o usuário possa se aprofundar mais sobre os</p><p>Operadores DAX – DAX – Microsoft Docs. Vale a pena o acesso.</p><p>Busque, também, no YouTube o canal oficial da Microsoft Power BI, onde você encontrará tutoriais,</p><p>webinars e atualizações sobre novos recursos do software.</p><p>CONTEUDISTA</p><p>Humberto Cesar Souza Lomeu</p><p> CURRÍCULO LATTES</p><p>javascript:void(0);</p><p>javascript:void(0);</p>