May 2

Prévia do material em texto

Descoberta de Conhecimento
1 Descoberta de conhecimento com BIG DATA
Descoberta de conhecimento em bancos de dados (KDD) é um processo utilizado a partir de uma grande coleção de dados. Essa técnica amplamente usada inclui preparação e seleção de dados, limpeza de dados, incorporação de conhecimento prévio em conjuntos de dados e interpretação de soluções precisas a partir dos resultados observados. 
Você atua como analista de banco de dados em uma empresa de crédito. Em uma base de dados de clientes da empresa, é necessário realizar um processo de mineração de dados que permita eleger os clientes mais adequados para realizar novas propostas de crédito.
Nessa base de dados, existem alguns campos de dados que não têm um padrão adequado para realização de análises com qualidade.
Com base nessas informações, responda:
1) Quais cuidados são necessários na etapa de transformação, a fim de garantir êxito na mineração dos dados?
Na etapa de transformação dos dados é importante realizar a sua padronização, a fim de garantir que na etapa seguinte, de mineração, os algoritmos e técnicas processem os dados de modo a garantir o reconhecimento de padrões e uma qualificação na extração de conhecimento.
2) Qual a importância de realizar a adequação desses dados, garantindo uma padronização?
Neste caso é importante analisar as bases de dados em busca de campos que não tenham um padrão de preenchimento. Por exemplo, o campo data, que normalmente tem entradas nos formatos dd/mm/aaaa ou dd/mm/aa.
Exercícios
1. Atualmente as informações de bases de dados atingem grandes quantidades de forma muito fácil. A filtragem desses dados, seguida de estudos para transformá-los em conhecimento que permita embasar gestores nas suas tomadas de decisão, é de extrema importância. O processo KDD tem como objetivo transformar em conhecimento esses grandes volumes de dados de maneira sistemática. Analisando a figura abaixo, qual a sequência correta das etapas que compõem o processo KDD?
A. 1- Pré-processamento; 2 - Seleção; 3 - Mineração de dados; 4 - Interpretação e avaliação; e 5 -Transformação.
B. 1- Seleção; 2- Pré-processamento; 3- Transformação; 4-Mineração de dados; e 5- Interpretação e avaliação.
C. 1- Transformação; 2- Pré-processamento; 3- Seleção; 4-Mineração de dados; e 5- Interpretação e avaliação.
D. 1- Mineração de dados; 2- Pré-processamento; 3- Transformação; 4-Seleção; e 5- Interpretação e avaliação.
E. 1- Interpretação e Avaliação; 2- Pré-processamento; 3- Transformação; 4-Mineração de dados; e 5- Seleção.
2. A mineração de dados é uma etapa do KDD que consiste na aplicação de técnicas estatísticas e inteligência artificial em bases de dados volumosas com o objetivo de reconhecer padrões e relações robustas entre os dados. Como deve ser realizada a escolha da técnica mais adequada para a etapa de mineração de dados?
A. A escolha deve ser realizada com base na definição dos usuários.
B. A escolha deve ser com base no tipo de problema a ser solucionado.
C. A escolha da técnica deve ser sempre por modelos preditivos.
D. A escolha deve ser por meio de um algoritmo de escolha de técnicas.
E. A escolha pode ser aleatória.
3. Na etapa de interpretação e avaliação do processo KDD, o conhecimento adquirido é interpretado e avaliado para verificar se o objetivo final foi alcançado. O que ocorre caso o objetivo final não tenha sido alcançado?
A. O processo é encerrado sem sucesso.
B. O processo é encerrado e outros analistas de Big Data devem recomeçar o processo com outros objetivos.
C. Como o KDD é iterativo, o processo pode retornar a uma das etapas anteriores.
D. O processo entra em looping e não se encerra nunca.
E. O processo deve ser redesenhado sem a etapa de mineração de dados.
4. A etapa de transformação dos dados no processo KDD é de extrema importância para a etapa de mineração, pois garante o seu armazenamento adequado. Qual das situações abaixo representa a etapa de transformação de dados?
A. Realização de uma limpeza na base de dados, mantendo apenas os dados consistentes.
B. Aplicação de técnicas de segmentação e regras de associação na base de dados.
C. Construção de campos que realizam alguns cálculos que podem facilitar na mineração de dados.
D. Apresentação dos padrões de conhecimento extraídos da base de dados.
E. Definir quais bases de dados serão utilizadas para aplicação do processo KDD.
5. No processo KDD, a qualidade dos dados é crucial para obtenção de êxito, pois pode determinar a eficiência dos algoritmos de mineração de dados. Qual das etapas do processo KDD é responsável por garantir a qualidade dos dados a serem processados?
A. Etapa de pré-processamento e limpeza.
B. Etapa de mineração dos dados.
C. Etapa de apresentação do conhecimento extraído.
D. Etapa de seleção dos dados.
E. Etapa de transformação dos dados.
2 Aplicações da ciência de Dados
A ciência dos dados tem como objetivo gerar conhecimentos importantes diante dos dados obtidos referente às operações desempenhadas pelos processos do mundo corporativo. Com isso, diversas tecnologias e métricas podem ser aplicadas em conjunto, para melhorar as tomadas de decisão que irão impactar tanto no presente, quanto no futuro da empresa.
Como presidente da empresa, você planejou implementar recursos que melhorassem os indicadores de desempenho, tendo como foco principal a valorização dos clientes, bem como a adequação dos preços dos serviços e daqueles que podem ser ofertados para trazer a fidelização do cliente para a empresa. Antes disso, a empresa utilizava banco de dados separados para marketing e operações, sendo operados por fornecedores externos.
Como você aplicará a ciência dos dados e as demais tecnologias relacionadas ao armazenamento e análise de dados para retomar o sucesso da empresa?
Por possuir diversos bancos de dados, o que fragmenta as informações da empresa, o ideal é, inicialmente, sugerir o uso de um único data warehouse empresarial interno, para que os dados da empresa sejam armazenados nela mesma. Com isso, espera-se que a visão dos dados inseridos no contexto da empresa estejam mais claros.
Assim, novos planos podem ser oferecidos para que as informações históricas sejam todas integradas, gerando valores estratégicos e planos de ações futuras. Com o uso dos conceitos da ciência dos dados e demais tecnologias podem-se inserir arquiteturas que lidem com o acesso às informações em tempo real no data warehouse, com o objetivo principal de dar suporte à tomada de decisões táticas em tempo real e com previsões futuras.
Exercícios
1. Os dados são, atualmente, os recursos mais valiosos das grandes corporações. Neles, é possível encontrar diversas informações sobre o negócio e sobre os consumidores dos serviços e produtos disponibilizados pela empresa. Aponte a alternativa que apresenta o momento em que a ciência dos dados é aplicada.​​​​​​​
A. É utilizada com dados antigos, gerando relatórios retroativos.
B. É utilizada apenas com dados presentes e as informações são analisadas e descartadas posteriormente, não gerando nenhuma informação futura.
C. É utilizada em análises preditivas, com o intuito de prever os próximos passos que o negócio deve tomar.
D. É utilizada em análises prescritivas, questionando sobre ações que já ocorreram.
E. É utilizada em análises diagnósticas e prescritivas, diante de fatos que já ocorreram.
2. Os ambientes corporativos atuais realizam operações cada vez mais complexas, já que as pressões externas aos negócios acabam demandando grandes mudanças e adoção de tecnologias cada vez mais modernas. Aponte a alternativa que condiz com o conceito correto de ciência dos dados.​​​​​​​
A. A ciência dos dados gera maior concorrência entre as empresas, por indicar quais serviços e produtos devem ser criados.
B. A ciência dos dados atua trazendo conceitos multidisciplinares para a análise de dados, contribuindo para nortear o negócio em suas ações futuras.
C. A ciência dos dados é o primeiro conceito aplicado na análise de dados. Depois disso, eles são armazenados eanalisados por outras ferramentas.
D. A ciência dos dados é utilizada para definição de cargos executivos dentro da empresa.
E. A ciência dos dados contribui por meio de relatórios e planilha de dados.
3. Em um único negócio, pode-se deparar com muitos terabytes de dados, os quais são compostos por dados oriundos de ações executadas constantemente. Diante das dificuldades de grandes redes em lidar com a quantidade e diversidade de informações geradas, além da alta concorrência, da prosperidade de negócios eletrônicos na internet, dentre outros, assinale a alternativa que apresenta uma possível contribuição aos negócios e que pode ser trazida pela ciência dos dados e pela business intelligence.​​​​​​​
A. Crescente taxa de sobrecarga de informações.
B. Para executar a filtragem das informações, deve haver obrigatoriamente outra tecnologia.
C. São tecnologias que podem ser aplicadas em qualquer máquina, já que não exigem configurações específicas.
D. Trazem a automatização de processos decisórios, principalmente os que têm os clientes como foco.
E. Podem ser aplicadas por meio de planilhas eletrônicas e tabelas com dados inseridos manualmente.
4. Com o avanço tecnológico, é possível se deparar com diversos recursos voltados a várias vertentes de negócios e aplicações. Já há algum tempo, os dados representam os principais ativos das empresas, gerando lucro. Existem várias tecnologias e metodologias voltadas a sua análise e ao seu processamento. Assim, assinale a alternativa que melhor descreve a inteligência de negócios (business intelligence - BI).
A. Significa, no mundo dos negócios, um grande volume de dados.
B. Disponibilização de tecnologia com foco na armazenagem de dados oriundos de diversas fontes.
C. Traz o agrupamento de dados relacionados entre si.
D. Aplica conceitos estatísticos na análise de dados futuros do negócio.
E. Possibilita a transformação de dados brutos em informações úteis para o negócio.
5. Atualmente, as empresas encontram-se em um contexto altamente competitivo. Assim, pretendem obter a maior quantidade de dados possíveis sobre seus clientes por meio do uso de tecnologias, com o intuito de obter suporte para suas decisões. Como a inteligência de negócio e a ciência dos dados podem ser incorporadas aos processos das empresas para que possam ser gerados lucros e progressos nos negócios?​​​​​​​
A. Com ferramentas e arquiteturas de análise e interpretação das informações disponibilizadas sobre o negócio, além de análises de aplicações futuras.
B. Por meio de uso de dados antigos e planilhas desenvolvidas pelos funcionários de diversos setores da empresa.
C. Monitorando as ações e os processos das empresas desde o seu surgimento até o presente momento, buscando a causa dos problemas.
D. Diversificando as formas de armazenamento das empresas, por meio de diversos bancos de dados distintos.
E. Permitindo que as empresas façam uso de tipos de dados específicos e descartando os demais.
3 Mineração de textos (Text mining)
Uma das tarefas da mineração de textos é realizar a contagem de palavras presentes em uma frase ou texto para que seja levado em conta o seu grau de importância no contexto selecionado para estudo.
O texto a seguir é referente a uma redação do Enem, a qual obteve nota 1000 em janeiro de 2017.
A partir da análise desse texto, explique o relatório gerado em relação à expressão inclusão social.
Para este Desafio, use a ferramenta gratuita e on-line, Textalyser.
Instruções para a utilização da ferramenta:
1) Coloque a redação no campo: “Enter your text to analyze here”;
2) Os demais campos devem ser preenchidos conforme descrito:
Analysis options (opções de análise): 
Minimum characters per word (Caracteres mínimos por palavra): 
Special word or expression to analyze (Palavra ou expressão especial para analisar):
Number of words to be analyzed (Número de palavras a serem analisadas) : 
Ignore numbers (Ignorar números): 
Log the query — only for websites) (Registre a consulta — somente para sites): 
Apply stoplist (Aplicar lista final): 
Apply own stoplist (Aplicar lista própria):
Make a link analysis (Faça uma análise de link):
Exhaustive polyword phrases (Frases polivalentes exaustivas):
3) Clique em Analyze the text para obter o resultado.
Resultado da ferramenta:
Contagem total de palavras: 260
Quantidade de palavras diferentes: 186
Fator de complexidade (densidade lexical): 71,5%
Legibilidade (índice Gunning-Fog): (6-easy, 20-hard) 20.7
Número total de caracteres: 2.834
Número de personagens sem espaços: 2.290
Média de sílabas por palavra: 2,39
Quantidade de frases: 16
Duração média das frases (palavras): 30
Max length length (palavras): 63
(Para obter uma nota de estudos sobre a cultura e a formação de uma vaga de exame auditivo nas escolas por meio da contratação de estudos sobre as oportunidades de vagas nas universidades, com o objetivo de garantir a inclusão social dos indivíduos surdos; uma máquina socializadora do estado).
Min. comprimento sentença (palavras): 6
(o direito à educação de qualidade)
Beta de legibilidade (alternativa): (100-easy, 20-hard, ideal 60-70)
Frequência e principais palavras, analisando: palavra, ocorrências, frequência e classificação.
Comprimento da palavra, analisando: comprimento da palavra (caracteres), contagem de palavras e frequência.
Contagem de sílabas, analisando: contagem de sílabas, contagem de palavras e frequência.
Frequência de frases de palavras, analisando: expressão, contagem de expressões, Frequência e proeminência.
Frequência de palavra em frases, analisando: expressão, contagem de expressões, frequência e proeminência
Contagem de palavras não filtradas, analisando: expressão, contagem de expressões, frequência e proeminência.
Espera-se que a frequência seja de 0,5%, pois trata-se da frequência com que a expressão inclusão social é mostrada no texto, para um total de duas vezes nesse formato.
Exercícios
1. A mineração de texto é realizada para obter informações importantes de um texto por meio da elaboração de padrões e tendências por meio de padrões estatísticos. Quais são os benefícios da mineração de texto?
A. Busca de informações implícitas em documentos, análise gradativa de grandes volumes de textos e uma melhor compreensão dos conteúdos que estão indisponíveis em documentos textuais.
B. Busca de informações específicas em documentos, análise qualitativa e quantitativa de grandes volumes de textos e uma melhor compreensão dos conteúdos disponíveis em documentos textuais.
C. Busca de informações explícitas em documentos, análise qualitativa de textos e compreensão de conteúdos que estão disponíveis em documentos na web.
D. Busca de informações específicas em documentos, análise gradual de grandes volumes de textos e uma melhor compreensão dos conteúdos disponíveis em documentos textuais.
E. Busca de informações explícitas em documentos, análise qualitativa e quantitativa de pequenos textos e uma baixa compreensão dos conteúdos disponíveis em documentos textuais.
2. Recuperação de informação, KDT e mineração de textos têm alto grau de dependência no que diz respeito ao processamento de linguagem natural, especialmente utilizando processos de linguística computacional. Assinale a alternativa que corresponde ao processamento de linguagem natural.
A. Faz uso de computador para interpretar e manipular palavras como parte da linguagem.
B. Realizar uma combinação das palavras que são variantes morfológicas em várias formas de representação.
C. Idealiza um tratamento no texto, impedindo a definição de uma estrutura compatível com as entradas dos algoritmos de mineração.
D. Impede que documentos relevantes sejam escolhidos e processados.
E. Transforma o texto em documentos para análise, sem um processamento de linguagem natural e de métodos analíticos.
3. Qual o é objetivo principal da indexação e normalização dos textos?
A. Facilitar a identificação de similaridade de significado entre suas palavras, considerando as variaçõesmorfológicas e problemas de sinonímia.
B. Facilitar a identificação de diferentes significados entre suas palavras, considerando as variações morfológicas e problemas de processamento.
C. Facilitar, selecionar e identificar diferentes significados entre suas palavras, sem considerar as variações morfológicas e problemas de processamento.
D. Minerar, selecionar e identificar semelhantes significados entre suas palavras, sem considerar as variações morfológicas e problemas de processamento.
E. Minerar, selecionar e assimilar semelhantes significados entre suas palavras, sem considerar as variações morfológicas e problemas de processamento
4. Qual é a finalidade da utilização da técnica de mineração de texto (Knowledge Discovery in Texts — KDT)?
A. Identificar os padrões e conhecimentos necessários para auxiliar em tomadas de decisões.
B. Identifica o processo de descoberta de conhecimento, potencialmente inútil e previamente conhecido, em bases de dados desestruturadas.
C. Gerar conhecimento irrelevante para a área de negócios, o que facilita a tomada de decisões.
D. Padronizar conhecimentos não tão explícitos e menos relevantes em bases de dados estruturadas.
E. Potencializar padrões e conhecimentos, dificultando a tomada de decisões.
5. Assinale a alternativa que representa corretamente uma das principais ferramentas de mineração de texto.
A. TagCrowd, pode ser executada em computadores com sistemas operacionais como, por exemplo: Windows, Linux ou Mac OS. Se diferencia das demais por apresentar os principais conceitos no texto e o relacionamento entre eles, utilizando grafos; porém, não está disponível on-line.
B. TextAlyser, pode ser executada em computadores com sistemas operacionais como, por exemplo: Windows, Linux ou Mac OS. Se diferencia das demais por apresentar os principais conceitos no texto e o relacionamento entre eles, utilizando grafos; on-line e gratuita.
C. WordCounter, uma ferramenta gratuita on-line para analisar textos destacando grupos de palavras, permitindo que o usuário descubra, de forma rápida, o assunto principal do texto que está sendo analisado, verificando as palavras e expressões utilizadas.
D. Sobek, ferramenta criada por Steven Morgan Friedman, também on-line e gratuita, que apresenta uma relação de palavras mais utilizadas em um texto, ou seja, mostra as palavras redundantes em uma lista e, tem por objetivo encontrar estatísticas de uso de palavras e termos no texto.
E. TextAlyser, uma ferramenta gratuita on-line que destaca grupos de palavras, permitindo ao usuário que descubra de forma ágil o principal assunto do texto que está em análise, verificando as palavras e expressões utilizadas.
4 Business Intelligence (BI)
Business Intelligence (BI) compreende um conjunto de soluções que envolvem aplicações, bancos de dados, metodologias, arquiteturas e ferramentas que permitem a transformação de dados brutos em informações gerenciais com o objetivo de fornecer subsídios para a tomada de decisão. Veja o seguinte caso:
Considerando que os dados dos pedidos são armazenados no banco de dados da empresa, quais relatórios gerenciais uma ferramenta de BI poderia extrair para proporcionar a análise de vendas do negócio? Apresente três relatórios.
Diversos relatórios gerenciais podem ser extraídos a partir da base de dados de venda dos pneus. Considerando os dados fornecidos nos pedidos, os seguintes relatórios gerenciais podem ser extraídos por uma ferramenta data mart:
Relatório sintético, agrupado por mês/ano, da quantidade dos modelos dos pneus vendidos por região (estado/cidade). Objetivo: identificar para quais regiões do país, utilizando o endereço do cliente como referência, a empresa vende mais ou menos pneus. 
Relatório sintético, agrupado por categoria e por cliente, da quantidade de pneus vendidos em cada mês do ano em comparação com os mesmos meses do ano anterior. Objetivo: identificar se as vendas estão caindo ou subindo e quais os clientes responsáveis por isso.
Relatório sintético, agrupado por cliente e marca de pneus, da projeção de vendas para o próximo mês. Objetivo: identificar se há tendência de crescimento ou de diminuição de vendas, por cliente, por meio da análise das séries históricas das vendas.
Exercícios
1. Business Intelligence pode ser conceituado como um conjunto de soluções que envolvem aplicações, bancos de dados, metodologias, arquiteturas e ferramentas que permitem a transformação de dados brutos em informações gerenciais. Tomando por base esse conceito, selecione a alternativa que representa a ordem de algumas das atividades que podem ser executadas com a utilização de BI em uma organização com o objetivo de promover a melhoria de processos.
A. Análise de informações, tomada de decisões e execução de ações.
B. Reajuste de indicadores, análise de informações e tomada de decisões.
C. Análise de informações, reajuste de indicadores e tomada de decisões.
D. Reajuste de indicadores, execução de ações e tomada de decisões.
E. Análise de informações, execução de ações e tomada de decisões.
2. Business Intelligence pode fornecer diversos benefícios às organizações, dos quais um dos principais é a capacidade de fornecer informações condensadas, precisas e ágeis a respeito do desempenho dos negócios às pessoas interessadas, de modo que facilitem o planejamento e a tomada de decisões. Com base nessa definição, selecione a alternativa que representa outro(s) benefício(s) que BI pode trazer a uma empresa que deseja implantá-lo.
A. Aumento da carga de trabalho dos empregados.
B. Definição da missão da organização.
C. Redução de tempo e de custos nos processos internos.
D. Implantação de atividades de conferência dos relatórios gerenciais.
E. Centralização das informações gerenciais em nível de diretoria.
3. A arquitetura de um BI envolve diversos componentes, que vão desde servidores de alto desempenho e discos de grande capacidade de armazenamento a sistemas inteligentes que proporcionam a transformação de dados brutos em informações privilegiadas, disponibilizando-as aos usuários de acordo com os diversos níveis hierárquicos de uma organização. Sabendo que uma simplificação dessa arquitetura pode ser representada em três fases principais, indique a alternativa que as apresenta na sequência correta.
A. Transformação de dados, extração de dados em informações e produção do conhecimento.
B. Coleta de conhecimento, extração de dados e transformação de dados.
C. Transformação de conhecimento, coleta de dados e extração de dados.
D. Coleta de dados, divulgação de dados e transformação de dados em informações.
E. Extração de dados, transformação de dados em informações e produção do conhecimento.
4. Um data warehouse é como um repositório de dados que armazena informações oriundas dos diversos sistemas de uma organização. Os dados são armazenados em um formato que mantém as informações consolidadas por assunto/categoria, facilitando a extração de relatórios gerenciais para a análise de grandes volumes. A partir do momento em que os dados brutos são transformados em informações consolidadas, é possível extrair relatórios que exibem séries históricas que possibilitam visualizar e analisar eventos passados e compará-los aos eventos atuais, fornecendo subsídios para a tomada de decisão na organização. Levando em consideração o conceito apresentado, marque a alternativa que representa algumas das principais características de um data warehouse.
A. Informações categorizadas e integradas.
B. Informações integradas e voláteis.
C. Informações voláteis e seguras.
D. Séries histórias e descentralizadas.
E. Informações descentralizadas e categorizadas.
5. A implantação de BI nas drogarias Longs Drug Stores apresentou diversos benefícios àquela rede de farmácias em relação à precificação dos produtos, uma vez que a precificação era realizada manualmente pelas diversas lojas espalhadas pelo país, com base em critérios como a concorrência local e a estação do ano. A partir desse caso de aplicação apresentado, indique a alternativa que apresenta umadas principais vantagens obtidas pela rede de drograrias com a implantação do BI.
A. Identificação dos produtos mais vendidos por determinadas épocas do ano.
B. Capacidade de simular o possível impacto produzido nas vendas a partir da mudança de preços de alguns produtos.
C. Análise dos preços dos concorrentes.
D. Seleção de descontos por categorização de produto.
E. Identificação dos maiores consumidores da rede.