Baixe o app para aproveitar ainda mais
Prévia do material em texto
Análise Exploratória de Dados (CC0269) Professor: Paulo Rogério Faustino Matos Monitor: Felipe Deus Contatos: paulomatos@caen.ufc.br felipedeusdanobrega@gmail.com Período: 2013 – I Carga horária/ Créditos: 64 horas/ 4 créditos Horário da Disciplina: 3a e 5a (18:30 – 20:10) Horário de atendimento do monitor: segunda-feira, das 14:00 às 18:00 (NCF/CAEN) Pré-requisitos: - x - Análise Exploratória de Dados Prof. Dr. Paulo Matos 2 Programa da disciplina I – OBJETIVO Com a atual disponibilidade dos recursos computacionais e a partir do aprofundamento do estudo das ciências matemática e estatística, inúmeros são os avanços evidenciados na análise de dados e modelagem de fenômenos, sejam estes de natureza comportamental, na área de saúde, econômica ou atuarial, diferenciando estas ciências das demais, ao permitir que se testem empiricamente arcabouços e modelos, por exemplo. Em suma, em um estudo empírico o pesquisador se depara com o usual problema de analisar e entender um determinado conjunto de dados relevante ao seu objetivo particular. Assim, o primeiro passo em estudos aplicados consiste em sujar as mãos com os dados, visando transformá-los em informações, de forma que possam fundamentar comparações e conclusões. Os objetivos serão: (i) propiciar ao aluno não somente um maior contato com métodos quantitativos per si, mas sim familiarizá-lo com as técnicas, fazendo-o reconhecer sua relevância e aplicação quando da solução de modelos econômicos e (ii) conjugar conhecimentos acadêmicos e profissionais através de uma exposição clara, didática e objetiva, abordando conceitos teóricos que norteiam a análise e o raciocínio analítico, como também propondo casos e exercícios, dos mais simples e usuais aos mais complexos e específicos. II – EMENTA Introdução; Análise dos dados; Métricas estatísticas; Análise bidimensional. III – CONTEÚDO PROGRAMÁTICO #1. Introdução Estatística descritiva e inferencial População e amostra Variáveis qualitativas e quantitativas #2. Análise dos dados (B&M: 2 e FBS&C: 2) Tipos de variáveis Representação gráfica Representação tabular Análise Exploratória de Dados Prof. Dr. Paulo Matos 3 #3. Métricas estatísticas (B&M: 3 e FBS&C: 3) Medidas de posição Medidas de dispersão Quantis Assimetria e curtose Box plot #4. Análise bidimensional (B&M: 4) Variáveis qualitativas Variáveis quantitativas IV – REFERÊNCIAS BIBLIOGRÁFIAS Bibliografia Básica: [B&M] Bussab, Wilson e Morettin, Pedro, “Estatística básica”. Ed. Saraiva, 6ª edição, 2010 [FBS&C] Fávero, L. Belfiore, P., Silva, F. e Chan, B., “Análise de dados”. Ed. Campus, 1ª edição, 2009 V – METODOLOGIA - Aulas presenciais teóricas - Apresentação de estudos de caso - Resolução de exercícios - Utilização de softwares (Excel) VI – AVALIAÇÃO A nota final será determinada pela média ponderada das seguintes notas parciais: - 40% referentes à avaliação individual - 40% referentes à trabalho em equipe - 20% referentes à lista de exercícios individual Análise Exploratória de Dados Prof. Dr. Paulo Matos 4 VII – CURRICULUM RESUMIDO DO PROFESSOR Paulo Rogério Faustino Matos é Doutor em Economia pela Fundação Getulio Vargas (EPGE/FGV-RJ, 2003 - 2006), onde foi bolsista Nota 10 da FAPERJ – destinada ao primeiro lugar do curso – e Engenheiro Civil pela Universidade Federal do Ceará (UFC, 1997 - 2002). Atualmente é Professor Adjunto III nos programas de Graduação em Ciências Atuariais da UFC e de Pós-Graduação em Economia da UFC (CAEN/UFC). Em termos de pesquisa, é pesquisador do CNPq, compõe o grupo de pesquisadores do Laboratório de Estudo da Pobreza (LEP/CAEN) e do Núcleo de Conjuntura Econômico-Financeira (NCF/CAEN), é parecerista de algumas das principais revistas em finanças e economia do país e membro da Sociedade Brasileira de Finanças (SBFin). Suas áreas de pesquisa são: i) Finanças Internacionais; ii) Apreçamento de Ativos e iii) Sistema Financeiro e Desenvolvimento. Participa atualmente como Conselheiro do Instituto de Desenvolvimento Econômico, Social e de Políticas Públicas (IDESPP). Endereço para CV lattes: http://lattes.cnpq.br/0288522400109962 Análise Exploratória de Dados Prof. Dr. Paulo Matos 5 Sumário 1. Introdução ............................................................................................................................................................................ 6 2. Análise dos dados ..................................................................................................................................................... 11 3. Métricas estatísticas ............................................................................................................................................... 26 4. Análise bidimensional ....................................................................................................................................... 53 Análise Exploratória de Dados Prof. Dr. Paulo Matos 6 1. Introdução 1.1. Contexto histórico Desde a antigüidade, as civilizações já demonstravam preocupação em registrar o número de habitantes, de nascimento, de óbitos e até faziam estimativas das riquezas individual ou social. Uma aplicação bastante comum era a cobrança de impostos por parte do estado, o que possivelmente motivou o uso da ciência estatística, cuja origem vem de status, que significa em latim Estado. Com essa palavra faziam- se as descrições e dados relativos aos Estados, tornando a Estatística um meio de administração para os governantes. Mais recentemente se passou a falar em estatística em várias ciências de todas as áreas do conhecimento humano, onde pode definir a Estatística como “um conjunto de métodos e processos quantitativos que servem para estudar e medir os fenômenos coletivos”. Ao se estudar os fenômenos coletivos, o que interessa são os fatos que envolvem os elementos desses fenômenos, como eles se relacionam e qual o seu comportamento. 1.2. Amostra e população A estatística consiste em uma espécie de matemática aplicada, podendo ser vista como um conjunto de técnicas utilizadas para planejar experimentos, obter dados e organizá-los, resumi-los, analisá- los, interpretá-los e deles extrair conclusões. Esta ciência tal e qual a estudamos hoje em dia, faz uso do sistema numérico hindu-arábico, o qual foi introduzido nas sociedades que habitam o ocidente há cerca de oito séculos. Como veremos em detalhes na subseção a seguir, iremos trabalhar com dados numéricos ou não, os quais precisam ser coletados. A vertente da ciência que lida com a extração de dados consiste na teoria da amostragem, cujo estudo se dá durante o curso de inferência estatística. Mesmo antes de um estudo detalhado sobre esta teoria de amostragem, os conceitos de população a mostra precisam ser abordados. Definição 1: (População) População é o conjunto constituído por todos os indivíduos que representam pelo menos uma característica comum, cujo comportamento interessa analisar (inferir). Assim sendo, o objetivo das generalizações estatísticas está em dizer se algo acerca de diversas características da população estudada, com base em fatos conhecidos.Definição 2: (Amostra) Amostra pode ser definida como um subconjunto, uma parte selecionada da totalidade de observações abrangidas pela população, através da qual se faz inferência sobre as características da população. Uma amostra tem que ser representativa, a tomada de uma amostra bem como seu manuseio requer cuidados especiais para que os resultados não sejam distorcidos. Mas qual a relevância de se estudar uma amostra? Bem, em muitos fenômenos, ou é muito custoso, toma muito tempo, destrói a população ou é mesmo impossível se observar todos os elementos que compõem a população completa. Nestes casos, se observa um subconjunto, ou seja, uma amostra. Um exemplo interessante consiste na coleta de dados sobre a população brasileira. Exemplo 1: Em 2010, o IBGE realizará o XII Censo Demográfico, que se constituirá no grande retrato em extensão e profundidade da população brasileira e das suas características sócio-econômicas e, ao mesmo tempo, na base sobre a qual deverá se assentar todo o planejamento público e privado da próxima década. O Censo 2010 será um retrato de corpo inteiro do país com o perfil da população e as características de seus domicílios. Análise Exploratória de Dados Prof. Dr. Paulo Matos 7 A fase preparatória da operação censitária teve início em 2007 e seus trabalhos foram intensificados a partir de 2008. A coleta está fixada para começar em 1º de agosto de 2010 e o início da divulgação dos resultados em dezembro do mesmo ano. Percorrer por inteiro um país como o Brasil, de dimensões continentais, com cerca de 8 milhões de km2 de um território heterogêneo e, muitas vezes, de difícil acesso, é uma tarefa que envolve grandes números. Veja, a seguir, as dimensões do Censo 2010. - Universo a ser recenseado: todo o Território Nacional - Número de municípios: 5.565 municípios - Número de domicílios: aproximadamente 58 milhões de domicílios - Número de setores censitários: 314.018 setores censitários - Pessoal a ser contratado e treinado: cerca de 240 mil pessoas - Orçamento previsto: R$ 1,4 bilhão A Pesquisa Nacional por Amostra de Domicílios - PNAD investiga anualmente, de forma permanente, características gerais da população, de educação, trabalho, rendimento e habitação e outras, com periodicidade variável, de acordo com as necessidades de informação para o País, como as características sobre migração, fecundidade, nupcialidade, saúde, segurança alimentar, entre outros temas. A PNAD 2009 investigou 399.387 pessoas em 153.837 domicílios por todo o país a respeito de temas como população, migração, educação, trabalho, família, domicílios e rendimento, tendo setembro como mês de referência. 1.3. Áreas da estatística Em uma sequência tradicional, o estudo da estatística tem seu início caracterizado pela análise exploratória dos dados, ou seja, análise através de gráficos, tabelas ou métricas estatísticas descritivas a partir das informações coletadas junto às entidades portadoras de características comuns úteis na compreensão do comportamento de interesse. Após esta etapa, já de conhecimento dos elementos de probabilidade incondicional e condicional, faz-se uso de relações matemáticas funcionais paramétricas de forma que se possa modelar a probabilidade de se observar determinadas realizações em variáveis aleatórias isoladamente ou conjuntamente. Assim, somente a partir de uma amostra coletada, o fenômeno poderá ser estudado estatisticamente, sendo para tal, necessário descobrir qual distribuição que possui o melhor fitting e uma vez descrita esta distribuição, fazer uso de técnicas de estimação para que se obtenha valores para os parâmetros da distribuição ou de outras características de interessa desta população. Como estimar tais valores dos parâmetros populacionais a partir de amostras e analisar as propriedades destes parâmetros são etapas do estudo de inferência estatística. Por fim, é possível que um pesquisador se dedique mais especificamente às inúmeras técnicas de estimação dos parâmetros, as quais compõem a análise multivariada, onde se estuda análise de regressão, análise discriminante, correlação canônica, componentes principais, dentre outras ferramentas. Um vez modelado corretamente o fenômeno e usada a técnica de estimação adequada, além de se entender sobre os parâmetros populacionais, pode-se ainda realizar exercícios de previsão, de forma que tentemos antever resultados prováveis. Em suma, em um estudo científico rigoroso o qual envolva estatística, é estritamente necessário que se observe com detalhes os dados antes de levantar suposições estatísticas e testes de hipóteses. Mas o uso indiscriminado de pacotes estatísticos computacionais, sem o exame cuidadoso dos dados profissionais da área, conduz, às vezes, a resultados aberrantes. Análise Exploratória de Dados Prof. Dr. Paulo Matos 8 1.4. Definições relevantes A seguir, apresentaremos as definições mais relevantes da estatística descritiva. Definição 3: (Dados estatísticos) Dados são tido como os elementos mais importantes quando do uso da estatística, os dados são os fatos e números coletados, a matéria-prima a ser analisada e sintetizada para apresentação e interpretação. É importante também que venhamos a trabalhar outras definições básicas, a fim de evitarmos o uso incorreto e impreciso da linguagem estatística. Definição 4: (Elementos) Elementos são as “entidades” sobre as quais os dados são coletados. Definição 5: (Variáveis) Variáveis são as características de interesse para os elementos, podendo ser observadas ou medidas Definição 6: (Observações) Observações são o conjunto de medidas coletadas para um determinado elemento. A mensuração de determinado fenômeno ou objeto é um processo por meio do qual os números ou símbolos são anexados a uma característica, em função de determinados procedimentos. Definição 7: (Variável qualitativa) Variável cujos “valores” não são numericamente mensuráveis, sendo expressos por atributos, classes, categorias ou qualidades: sexo, cor da pele, classe social, formação, etc. Se tais variáveis possuem uma ordenação natural, indicando intensidades crescentes de realização, são classificadas de qualitativas ordinais (por ex: classe social - baixa, média ou alta). Se não for possível estabelecer uma ordem natural entre seus valores, são classificadas como qualitativas nominais (por ex: sexo - masculino ou feminino). Definição 8: (Variável quantitativa) Variável que assume valores numéricos. Tais variáveis podem ser classificadas ainda em discretas ou contínuas. Variáveis discretas podem ser vistas como resultantes de contagens, e assumem, em geral, valores inteiros, como por exemplo, anos de estudo. Neste caso, é possível uma bijeção com um conjunto enumerável não necessariamente finito, como os inteiros. Já as variáveis contínuas podem assumir qualquer valor dentro de um intervalo especificado e são, geralmente, resultados de uma mensuração. Neste caso, a escala numérica de seus possíveis valores corresponde ao conjunto dos números reais, ou seja, podem assumir, teoricamente, qualquer valor entre dois limites, como o peso em kg de uma pessoa mensurado por uma balança muito acurada. Para exemplificar, observemos a tabela 1.1. seguir. Nesta tabela, podemos identificar inicialmente que há 6 características de interesse, ou variáveis: formação, ter concluído pós-graduação, anos de estudo, altura e peso. Os dados (90 ao todo) desta amostra foram obtidos ao coletarmos as medidas ou observações para cada um dos elementos, ou seja, cada um dos funcionários. Uma primeira curiosidade que “salta aos olhos” consiste no fato de que há variáveis que assumem valoresnuméricos enquanto outras não, como a altura e a formação, respectivamente. Tal distinção ocorre, pois é possível analisarmos, para qualquer amostra, tanto variáveis qualitativas, como quantitativas. Outro aspecto a ser destacado nesta tabela é que a mesma nos fornece dados de apenas uma amostra dos funcionários e não de todos os funcionários da empresa em questão. Entendendo o termo população como o conjunto total de elementos portadores de, pelo menos, uma característica comum, definimos então amostra como sendo uma “pequena” parcela representativa da população que é examinada com o propósito de tirarmos conclusões sobre a essa população. Isso ocorre, pois em qualquer estudo científico enfrentamos o dilema de se analisar a população ou uma amostra. Obviamente teríamos uma precisão muito superior se fosse analisado o grupo inteiro, ou seja, a população, do que uma pequena parcela representativa, denominada amostra. Análise Exploratória de Dados Prof. Dr. Paulo Matos 9 Observa-se que é impraticável na grande maioria dos casos, estudarmos a população em virtude de distâncias, custo, tempo, logística, entre outros motivos. Tabela 1.1. Amostra dos funcionários da Empresa XXX com suas respectivas características Funcionário Formação Pós- graduação Anos de estudo Salário (R$) Altura (cm) Peso (Kg) Antônio Filho Administração Sim 24 5.500,00 156 65,8 Bernardo Aguiar Contabilidade Não 21 3.650,00 175 80,9 Carlos Smitch Economista Não 22 3.650,00 202 99,9 Ciro Alcântara Engenharia Sim 25 35.000,00 180 79,1 Débora Lima Psicologia Não 20 5.500,00 145 46,1 Eduardo Rossi Marketing Sim 24 7.800,00 180 85,1 Flavio Gomes Economista Não 23 2.800,00 165 67,7 Ingrid Paes Engenharia Não 20 3.650,00 180 76,9 João Mendonça Jornalista Sim 23 5.120,00 178 75,5 Marcelo Vilar Direito Não 21 8.930,00 161 60,9 Mirian Carvalho Comunicação Sim 24 4.500,00 168 65,1 Noraide Mendes Direito Sim 22 8.930,00 150 54,7 Orlando Moraes Odontologia Não 22 6.500,00 179 80,8 Pedro Malta Engenharia Não 21 3.650,00 190 89,9 Rodrigo Broa Nutrição Não 22 2.800,00 187 78,9 A alternativa praticada nestes casos é o trabalho com uma amostra confiável. Se a amostra é confiável e proporciona inferir sobre a população, chamamos de inferência estatística. Neste contexto, mesmo não sendo pertencendo ao escopo desta seção, é importante que venhamos a saber que os parâmetros são valores singulares que existem na população e que servem para caracterizá-la, sendo necessário examinar toda a população, enquanto, estimativa é um valor aproximado do parâmetro, calculado com o uso apenas de uma amostra. Neste contexto, devemos ainda definir o que seria uma estatística. Ainda com o objetivo de resumir, ou descrever o conjunto de dados, usaremos algumas medidas características, usadas para representar, de uma forma ou de outra, a própria distribuição do conjunto de dados. Qualquer medida obtida a partir das informações dos dados é chamada estatística. O objetivo de se calcular estatísticas é resumir as informações obtidas em um único valor, de modo que esse valor dê uma característica da amostra, que possa nos levar a ter uma idéia de uma característica da população. Exemplos básicos de estatísticas seriam, por exemplo, a soma dos anos de estudo dos funcionários pertencentes á amostra, ou mesmo, o valor de peso do aluno mais “magro” desta sala. Para que a inferência seja válida, é necessário que haja um bom uso da técnica de amostragem, determinando corretamente a população, dimensionando precisamente o tamanho da amostra e primando pela aleatoriedade, sendo esta última característica extremamente relevante para que venhamos a garantir, tanto quanto possível, o acaso na escolha. Análise Exploratória de Dados Prof. Dr. Paulo Matos 10 Um último aspecto a ser analisado é disposição dos dados em questão, se estes se encontram identificados pelo caráter variável ao longo do tempo ou se dentre diferentes elementos. Para melhor entendermos o primeiro caso, observemos a tabela 1.2. a seguir. Tabela 1.2. Indicadores financeiros selecionados da Empresa XXX (quadriêncio 2003 – 2006) Indicador 2003 2004 2005 2006 Receita operacional bruta (R$ milhões) 20.895 29.020 35.350 46.746 Exportações (US$ milhões) 4.229 5.534 7.021 9.656 Exportações líquidas (US$ milhões) 3.672 4.618 6.339 8,784 Lucro líquido (R$ milhões) 4.509 6.460 10.443 13.431 Investimentos (US$ milhões) 1.988 2.092 4.998 26.324 Nela, possuímos valores coletados de várias características, como por exemplo, receita operacional, exportações, etc., para apenas um elemento, ou seja, a Empresa XXX. Claramente os valores para cada uma dessas características estão sofrendo alteração de uma observação para outra em razão do efeito temporal. Estamos diante, portanto de séries temporais de características de uma mesma empresa. Para segundo caso, voltemos a observar a tabela 1.1. Nela não há efeito temporal influenciando os valores, uma vez que foram todos coletados em um mesmo período. O que faz com que haja diversos valores para uma mesma característica, como salário, por exemplo, são os diversos elementos observados, ou seja, os diversos funcionários da amostra. Dizemos comumente que estamos diante de dados cross-section, ou em corte transversal. Este detalhamento será explorado na seção seguinte. Em softwares como o Statistical Package for the Social Sciences (SPSS), ou ainda o Microsoft Access, é possível criar rótulos (labels) de variáveis qualitativas, sejam estas nominais ou ordinais, assim como planilhas ricas em macros para variáveis quantitativas. Com relação à obtenção direta dos dados a partir de questionários, é preciso que este seja estruturado tendo em vista o tratamento a ser realizado nos dados, assim como o objetivo final da pesquisa. Em teoria da amostragem, assim como nas disciplinas aplicadas, são abordadas práticas úteis na elaboração de questionários. Análise Exploratória de Dados Prof. Dr. Paulo Matos 11 2. Análise de dados 2.1. Introdução A análise exploratória de dados nos fornece um extenso repertório de métodos para um estudo detalhado dos dados, antes de adaptá-los, ou mesmo usá-los em inferências ou regressões. Nessa abordagem, a finalidade é obter dos dados a maior quantidade possível de informação, que indique modelos plausíveis a serem utilizados numa fase posterior, a análise confirmatória de dados ou inferência estatística. Em um estudo estatístico, uma vez definido o que se pretende pesquisar, ou seja, especificado corretamente o problema, as próximas etapas seriam o planejamento, a qual visa definir as questões relacionadas ao levantamento das informações e a coleta de dados, na qual se registra sistematicamente os dados observados. De posse dos dados, precisamos começar a “tratá-los”, “manipulá-los”, para assim poder apresentá- los e usá-los em inferências. Assim, de uma maneira mais formal, definimos as atividades de coleta, organização, descrição dos dados, cálculo e interpretação de coeficientes como compondo a estatística descritiva. Iremos nos ater aqui nesta seção à organização e descrição dos dados. Nas seções seguintes, iremos lidar com o cálculo e interpretação das estatísticas calculadas. 2.2. Representação tabular e gráfica Basicamente, há duas formas de apresentação, que não se excluem mutuamente. A apresentação tabular, ou seja é uma apresentação numérica dos dados em linhas e colunas distribuídas de modo ordenado, segundo regras práticas fixadas pelo Conselho Nacional de Estatística.A apresentação gráfica dos dados numéricos constitui uma apresentação geométrica permitindo uma visão rápida e clara do fenômeno. É importante conhecer e saber construir os principais tipos de tabelas, gráficos e medidas resumo para realizar uma boa análise descritiva dos dados. Vamos tentar entender como os dados se distribuem, onde estão centrados, quais observações são mais freqüentes, como é a variabilidade, etc., tendo em vista responder às principais questões do estudo. Cada ferramenta fornece um tipo de informação e o seu uso depende, em geral, do tipo de variável que está sendo investigada. A seguir, algumas das abordagens mais usadas e relevantes. 2.2.1. Representação tabular Apresentação tabular numérica de dados é a representação das informações por intermédio de uma tabela. Uma tabela é uma maneira bastante eficiente de mostrar os dados levantados e que facilita a compreensão e interpretação dos dados. Para organizar uma série estatística ou uma distribuição de frequências, existem algumas normas nacionais ditadas pela Associação Brasileira de Normas Técnicas (ABNT) as quais devem ser respeitadas. Assim, toda tabela estatística de conter: a) Elementos essenciais ∙ Título – indica a natureza do fato estudado (o quê?), as variáveis escolhidas na análise do fato (como?), o local (onde?) e a época (quando?). Análise Exploratória de Dados Prof. Dr. Paulo Matos 12 ∙ Corpo – é o conjunto de linhas e colunas que contém, respectivamente, as séries horizontais e verticais de informações. ∙ Cabeçalho – designa a natureza do conteúdo de cada coluna. ∙ Coluna indicadora – mostra a natureza do conteúdo de cada linha. b) Elementos complementares (se necessário) ∙ Fonte – é o indicativo, no rodapé da tabela, da entidade responsável pela sua organização ou fornecedora dos dados primários. ∙ Notas – são colocadas no rodapé da tabela para esclarecimentos de ordem geral. c) Sinais convencionais ∙ – (hífen), quando o valor numérico é nulo; ∙ ... (reticência), quando não se dispõe de dado; ∙ ? (ponto de interrogação), quando há dúvidas quanto à exatidão do valor numérico; ∙ 0; 0,0; 0,00 (zero), quando o valor numérico é muito pequeno para ser expresso pela unidade utilizada, respeitando o número de casas decimais adotado; ∙ X (letra x), quando o dado for omitido. d) Numerar as tabelas quando houver mais de uma. e) As tabelas devem ser fechadas acima e abaixo por linha horizontal, não sendo fechadas à direita e à esquerda por linhas verticais. É facultativo o emprego de traços verticais para separação de colunas no corpo da tabela. f) Os totais e subtotais devem ser destacados. g) Manter a uniformidade do número de casas decimais. A título de ilustração, observemos as tabelas 2.1. e 2.2. a seguir. Como exemplo, observemos este trecho abaixo extraído de Matos, Oquendo e Trompieri (2012). “Utilizam-se 155 observações de retornos mensais de índices de bolsas de valores dos BRICs entre janeiro/1998 e novembro/2010 (fontes: CMA e Bloomberg). São eles Índice Bovespa (São Paulo, Brasil), Shanghai Composite (Xangai, China), SENSEX-30 (Bombaim, Índia) e o Russian Trading System Index (Moscou, Rússia). As características e códigos dos índices são descritas na tabela 2.1., enquanto as principais estatísticas descritivas estão na Tabela 2.2.” Tabela 2.1. Análise Exploratória de Dados Prof. Dr. Paulo Matos 13 Tabela 2.2. O interessante nestas tabelas é que na primeira, há somente dados cadastrais, ou seja, qualitativos sobre os índices das bolsas, enquanto na segunda tabela, constam apenas dados numéricos, os quais não foram exatamente coletados de alguma fonte, mas sim calculados pelos autores. Trata-se de estatísticas descritivas associadas aos 4 momentos da distribuição de probabilidade, objeto de estudo da seção 3. 2.2.2. Representação gráfica A seguir, algumas das representações mais usuais de dados através de gráficos. Diagrama circular: para construir um diagrama circular ou gráfico de pizza, repartimos um disco em setores circulares correspondentes às porcentagens de cada valor (multiplica-se a freqüência relativa por 100). Este tipo de gráfico adapta-se muito bem para as variáveis qualitativas nominais. A título de ilustração, observemos os diagramas a seguir na figura 2.1. Como exemplo, segue trecho de Matos e Nogueira (2012). “O presente trabalho foca-se nos Fundos Multimercados Multiestratégia por poderem adotar mais de uma estratégia de investimento, sem o compromisso declarado de se dedicarem a uma em particular, admitindo alavancagem. Segundo a ANBIMA (2011), esse seguimento representa 54,5% da indústria Brasileira de Multimercados com mais de 2.900 fundos e patrimônio total superior a R$ 216 bilhões, conforme observa-se na figura a seguir.” Figura 2.1: Participação % dos Fundos de Investimento Multimercado por Modalidade Fonte: ANBIMA (09/2011) 0,65 1,48 1,00 1,48 11,91 0,40 54,50 3,11 23,53 1,96 Balanceados Capital Protegido Long And Short ‐Neutro Long And Short ‐Direcional Multimercados Macro Multimercados Trading Multimercados Multiestrategia Multimercados Multigestor Multimercados Juros e Moedas Multimercados Estrategia Especifica Análise Exploratória de Dados Prof. Dr. Paulo Matos 14 Gráfico de barras: para construir um gráfico de barras, representamos os valores da variável no eixo das abscissas e suas as freqüências ou porcentagens no eixo das ordenadas. Para cada valor da variável desenhamos uma barra com altura correspondendo à sua freqüência ou porcentagem. Este tipo de gráfico é interessante para as variáveis qualitativas ordinais ou quantitativas discretas, pois permite investigar a presença de tendência nos dados. Observe a figura 2.2. a seguir. Figura 2.2: Relação dívida/PIB Dispersão X vs. Y: Pode ser útil para a análise que se consiga visualizar em um locus gráfico, possíveis padrões de relação entre duas variáveis distintas, sendo neste caso aconselhável o uso de um gráfico de dispersão nos eixos X e Y. A título de ilustração, observemos os diagramas a seguir na figura 2.3. Análise Exploratória de Dados Prof. Dr. Paulo Matos 15 Como exemplo, observemos este trecho abaixo extraído de Pinto, Matos e Simonassi (2012). “Ainda sob esta ótica, Caetano (2006) afirma que países com características demográficas similares às brasileiras despendem com previdência como proporção do PIB algo em torno de 4%. O autor ainda ressalta, dentre os 52 países analisados em sua pesquisa, que o Brasil possui percentual de contribuintes na força de trabalho inferior a mediana internacional e valor médio da aposentadoria em relação à renda per capta equivalente a 59,4%, enquanto a medida internacional se situa em 48,3%. Tais indicadores demonstram que proporcionalmente o país possui representatividade contributiva modesta para níveis elevados de benefícios, revelando um perfil desastroso para a sustentabilidade de qualquer sistema previdenciário. Figura 2.3: Gastos com Previdência Social e proporção da população com 65 anos ou mais Fonte: Giambiagi et al. (2007, p.181) Perfazendo a análise de variáveis abordadas no estudo de Giambiagi et al. (2007), seria acertado esperar que a proporção de pessoas acima de 65 anos na população do país e o percentual do PIB gasto com benefícios previdenciários apresente uma correlação positiva. A Figura 5 traz esta realidade, em que se observa que paísescom populações mais idosas gastam mais com previdência, o que os coloca no quadrante direito superior. Por outro lado, países considerados jovens tendem a permanecer no quadrante esquerdo inferior. Já no quadrante direito inferior, apesar da população mais velha, situam-se nações que registram gastos modestos, geralmente explicado por questões culturais, sistemas eficientes alcançados por reformas prévias ou forte crescimento do PIB. O Brasil é o único país da análise que se encontra deslocado de sua realidade demográfica, mas com dispêndios em níveis semelhantes a de países como Holanda e Reino Unido. Diante deste cenário, verifica-se que o Brasil é um país fora do padrão internacional, com regras generosas, incompatibilidade demográfica, baixo esforço contributivo ao mesmo tempo em que repõe parcelas elevadas da renda. Um panorama tão custoso do ponto de vista fiscal exige a adoção mandatória de medidas em esforço mútuo por parte do Estado e da sociedade.” Distribuição de freqüência: quando da análise de dados, é comum procurar conferir certa ordem aos números tornando-os visualmente mais amigáveis. O procedimento mais comum é o de divisão por Análise Exploratória de Dados Prof. Dr. Paulo Matos 16 classes ou categorias, verificando-se o número de indivíduos pertencentes a cada classe. Não há um modo único de se alocar valores em intervalos, mas sugere-se o seguinte procedimento: 1. Determina-se o menor, o maior valor para o conjunto e a amplitude (maior – menor); 2. Definir o limite inferior da primeira classe (Li) que deve ser igual ou ligeiramente inferior ao menor valor das observações; 3. Definir o limite superior da última classe (Ls) que deve ser igual ou ligeiramente superior ao maior valor das observações; 4. Definir o número de classes (K), que será calculado usando ࡷ ൌ , . ࢍሺሻ ou ࡷ ൌ √ , onde n é a quantidade de observações. K deve estar compreendido entre 5 a 15; 5. Conhecido o número de classes define-se a amplitude das classes assim: Ac = (Ls – Li)/K. Não é necessário que as classes tenham exatamente a mesma amplitude, mas usualmente assume-se isso; 6. Com o conhecimento da amplitude de cada classe, definem-se os limites para cada classe (inferior e superior). Comumente, usamos o histograma para representar graficamente uma distribuição de freqüências. Este recurso consiste em retângulos contíguos com base nas faixas de valores da variável e com área igual à freqüência relativa da respectiva faixa. Desta forma, a altura de cada retângulo é denominada densidade de freqüência ou simplesmente densidade definida pelo quociente da área pela amplitude da faixa. Alguns autores utilizam a freqüência absoluta ou a porcentagem na construção do histograma, o que pode ocasionar distorções (e, conseqüentemente, más interpretações) quando amplitudes diferentes são utilizadas nas faixas. Abaixo um histograma ilustrativo contendo a distribuição de freqüência (figura 2.4.). Figura 2.4: Histograma e possíveis distribuições (fitting) de operações descobertas de aquisição de títulos públicos do governo americano de curto prazo Normalmente, as operações com ativos financeiros possuem retornos brutos em torno de 1,0, sendo possível observar neste histograma (statigraphics ou easyfit) que há uma maior frequência de retornos entre 0,93 e 1,03, com poucas observações a partir de 1,15 ou abaixo de 0,89. É possível ainda observar que distribuições melhor fitam o histograma. Análise Exploratória de Dados Prof. Dr. Paulo Matos 17 Gráficos ou lineares: são freqüentemente usados para representação de séries cronológicas com um grande número de períodos de tempo. As linhas são mais eficientes do que as colunas, quando existem intensas flutuações nas séries ou quando há necessidade de se representarem várias séries em um mesmo gráfico. A título de ilustração, observemos os diagramas a seguir na figura 2.5. Como exemplo, observemos este trecho extraído de Matos, Oquendo e Trompieri (2012). “É evidente ao se analisar os gráficos de retornos acumulados (Figura 3) que as bolsas destes países dividem uma tendência de longo prazo comum. A bolsa chinesa apresenta certo descolamento em alguns momentos. Todas apresentam valorização no período de “boom” econômico entre 2002 e 2007 aproximadamente, assim como forte queda por ocasião da crise financeira internacional de 2008, tendo as bolsas de China e Índia iniciado seu período de perdas mais cedo que Brasil e Rússia. Todas ainda apresentaram recuperação importante durante os anos 2009 e 2010, embora neste período a intensidade de recuperação tenha sido mais heterogêneo.” Figura 2.5: Retorno acumulado nominal mensal dos índices dos BRIC´s. Mapa: o uso de mapas com cores diferentes para variáveis quantitativas ou qualitativas é menos comum, mas igualmente útil quando da necessidade em se observar muitas observações ao mesmo tempo, todas elas sobre uma mesma variável, a qual assume diferentes valores em um mesmo instante de tempo para várias economias. Observe o exemplo da figura 2.6. Análise Exploratória de Dados Prof. Dr. Paulo Matos 18 Figura 2.6: Dívida pública per capita em diversas economias Análise Exploratória de Dados Prof. Dr. Paulo Matos 19 Como exemplo, visando apresentar um mix de tabelas e recursos gráficos disponíveis, observemos este trecho abaixo extraído de Pinto, Matos e Simonassi (2012). “No início de sua história como instituição, a previdência encontrava-se figurada através dos IAPs e CAPs. Ressalte-se que tais institutos eram configurados em moldes semelhantes aos fundos de previdência complementar conhecidos atualmente e regidos pela acumulação de seus recursos. Baseada em regimes capitalizados, a previdência, muitas vezes era utilizada como fonte de financiamento para diversos setores da economia. Segundo Oliveira et al. (1999), muitos recursos dos institutos foram investidos em hospitais e ambulatórios, na Companhia Vale do Rio Doce, na Companhia Hidroelétrica do Vale de São Francisco, bem como na construção de Brasília. O baixo rendimento das aplicações, associado ao não pagamento da cota de responsabilidade da União, a sonegação por parte dos empregadores e o processo inflacionário, impossibilitaram, já na década de 1950, a manutenção de um sistema capitalizado, o que ocasionou a adoção do sistema praticado nos dias de hoje, o de repartição simples. Nas últimas décadas, tem-se observado as consideráveis dificuldades de países que adotam este tipo de regime e um movimento crescente de reformas e migrações a sistemas capitalizados. Tais modificações possuem origem na inadequação destes sistemas frente às mudanças demográficas, econômicas e sociais pelas quais o mundo tem passado. Em relação aos aspectos demográficos, destacam-se o forte processo de envelhecimento, o aumento progressivo da longevidade e as baixas taxas de natalidade. No Brasil, cenário semelhante ocasiona a diminuição da base de financiamento e o aumento das despesas com benefícios. Enquanto na década de 1940, registrava-se 31 contribuintes por beneficiário, esta proporção reduz para menos de 3 para 1 já no início dos anos 80. Somado a este fator o alto grau de informalidade registrado durante anos, a ampliação da cobertura sem apropriada fonte de custeio e a concessão de aposentadorias precoces, foi possível observar o surgimento do déficit previdenciário, despertando as discussões em tornodo equilíbrio financeiro do RGPS. A Tabela 2.3 traz o histórico dos resultados anuais do RGPS. Nota-se o grande aumento no saldo previdenciário negativo na última década, chegando a contabilizar valores 60 vezes maiores do que há 15 anos. Segundo Dantas (2009), o ritmo de crescimento das despesas com benefícios do RGPS associado a pouca expansão da arrecadação desencadearam o debate sobre a necessidade de uma reforma da Previdência no Brasil. Na Figura 2.7, acompanha-se claramente este processo de ampliação dos gastos previdenciários, iniciado com o advento da Lei nº 8.213/91, em que se determinou a padronização dos benefícios urbanos e rurais. Notórias são as particularidades associadas aos benefícios rurais que contribuem para este movimento. Compostos em sua grande maioria de benefícios praticamente de caráter assistencial, mesmo que arrolados dentro do grupo dos previdenciários, apresentam-se carentes de financiamento através de contribuições, pela própria fragilidade e larga inexistência de relações de trabalho formalizadas. A segunda característica refere-se à menor idade de concessão de benefício em relação aos trabalhadores urbanos, que são os principais contribuintes do sistema. Em relação à arrecadação, também se observa a tendência de crescimento, porém em níveis inferiores às despesas. Segundo Dantas (2009), entre 1993 e 1992, as despesas com benefícios tiveram um aumento de 34,5%, enquanto as receitas cresceram 13,6%. Em 2010, os gastos previdenciários alcançaram a ordem de 6,9% do PIB, enquanto se registrou receitas correspondentes a 5,7%, gerando um déficit de 1,2% do PIB, porém, no início da década de 90, este resultado era superavitário. Análise Exploratória de Dados Prof. Dr. Paulo Matos 20 Ano Arrecadação Líquida (em milhões R$) Despesas com Benefícios (em milhões R$) Saldo Previdenciário (em milhões R$) 1990 70.902,98 43.934,75 26.968,23 1991 63.736,56 46.067,49 17.669,07 1992 62.878,05 50.144,89 12.733,16 1993 71.451,90 67.463,36 3.988,55 1994 76.251,67 74.429,94 1.821,73 1995 91.596,05 92.326,85 (730,80) 1996 99.851,29 100.488,95 (637,66) 1997 103.285,17 110.463,79 (7.178,62) 1998 105.202,85 121.220,77 (16.017,92) 1999 105.448,80 125.598,18 (20.149,38) 2000 101.938,93 132.935,27 (30.996,34) 2001 117.467,40 141.404,53 (23.937,13) 2002 120.848,69 149.592,04 (28.743,35) 2003 117.727,41 156.130,44 (38.403,03) 2004 128.736,02 172.572,83 (43.836,81) 2005 140.843,11 189.625,33 (48.782,21) 2006 155.438,53 208.465,90 (53.027,37) 2007 169.617,72 223.915,81 (54.298,09) 2008 185.151,91 226.372,20 (41.220,29) 2009 196.511,04 242.945,40 (46.434,36) 2010 217.525,07 261.878,31 (44.353,24) a Valores expressos em reais constantes, atualizados pelo INPC mensal, a preço de dezembro/2010. b Fonte: Anuário Estatístico da Previdência Social. Tabela 2.3. Arrecadação líquida, Despesa com Benefícios e Saldo Previdenciário de 1990 a 2010 a, b A partir de 1995, o aumento do universo de beneficiários, a crise econômica e a política de concessão de ganhos reais do salário mínimo serviram como catalisadores do déficit. Quando se registrou o primeiro resultado previdenciário negativo, iniciaram-se as tentativas de combate à sua expansão. Como reflexos desta necessidade, foram aprovadas a Emenda Constitucional n.º 20 de 1998, que estabeleceu, em linhas gerais, a relação entre a fonte de custeio e os benefícios, e a Lei n.º 9.876/99, normativo que instituiu o fator previdenciário com objetivo de desestimular a aposentadoria precoce. Análise Exploratória de Dados Prof. Dr. Paulo Matos 21 Figura 2.7: Evolução do saldo previdenciário, da arrecadação líquida e de despesas (benefícios) do RGPS Fonte: MPAS e BACEN. a Valores expressos em reais constantes, atualizados pelo INPC mensal, a preço de dezembro/2010. 2.3. Exercícios Exercício #1. Observe a base de dados contida na Tabela 2.3. a) Construa um histograma para o saldo previdenciário. Comente. b) Construa um gráfico de dispersão (eixos X e Y) para as variáveis arrecadação líquida e despesas com benefícios. Comente se há algum padrão entre estas duas grandezas. -3% -2% -1% 0% 1% 2% 3% 4% 5% 6% 7% 8% ‐100.000 ‐50.000 0 50.000 100.000 150.000 200.000 250.000 300.000 1990 1992 1994 1996 1998 2000 2002 2004 2006 2008 2010 M ilh õe s Saldo Previdenciário Arrecadação líquida Despesa com benefícios Saldo previdenciário/ PIB Arrecadação líquida/ PIB Despesa com benefícios/ PIB Análise Exploratória de Dados Prof. Dr. Paulo Matos 22 Exercício #2. Observe os dados contendo índices de variação de preço (inflação) de diversas economias em vários continentes na Tabela 2.4. a) Identifique a melhor forma de representar graficamente estes dados. b) Monte um histograma para as inflações de 2007 e outro para as inflações de 2011. Compare e comente. Tabela 2.4. Inflações de um cross-section de economias Co un tr y 20 07 20 11 Co un tr y 20 07 20 11 Co un tr y 20 07 20 11 Co un tr y 20 07 20 11 Ta nz an ia 6, 40 19 ,8 0 Ka za kh st an 10 ,8 0 7,4 0 In do ne si a 6, 59 3, 79 Eu ro A re a 3,1 0 2, 70 Ke ny a 12 ,00 18 ,9 3 Ho ng Ko ng 3, 80 5,7 0 La tv ia 14 ,00 4, 00 Fr an ce 2,6 0 2, 50 Vi et na m 12 ,75 18 ,1 3 Hu ng ar y 7, 40 4,1 0 U. K in go dm 2, 10 4, 20 Ire la nd 4,7 0 2, 50 An go la 11 ,78 11 ,3 8 Si ng ap or e 3, 70 5,5 0 Co lo m bi a 5, 69 3, 73 Ne th er la nd s 1,9 0 2, 40 M on go lia 15 ,10 11 ,1 0 Sa ud i A ra bi a 6, 47 5,3 0 Po rtu ga l 2, 70 3, 70 C. Re pu bl ic 5,4 0 2, 40 Tu rk ey 8, 39 10 ,4 5 Al ge ria 3, 51 5,1 6 Li th ua ni a 8, 10 3, 40 Ta iw an 3,3 3 2, 03 Eg yp t 6, 90 10 ,4 0 Ch in a 6, 50 4,1 0 So ut h Ko re a 3, 61 4, 20 Bu lg ar ia 12 ,5 0 2, 80 Ni ge ria 6, 60 10 ,3 0 Es to ni a 9, 57 3,7 0 Th ai la nd 3, 20 3, 60 Ca na da 2,4 0 2, 30 Pa ki st an 8, 79 9, 75 M ex ic o 3, 76 3,8 2 Au st ria 3, 50 3, 20 Gr ee ce 3,9 0 2, 40 Ar ge nt in a 8, 50 9, 50 Pa ra gu ay 6, 00 4,9 0 Be lg iu m 3, 10 3, 20 Sl ov en ia 5,6 0 2, 00 Bo ts w an a 8, 10 9, 20 Pe ru 3, 93 4,7 2 Ita ly 2, 60 3, 30 Sw ed en 3,5 0 2, 30 Gh an a 12 ,70 8, 58 Ch ile 6, 27 4,4 0 Lu xe m bo ur g 3, 40 3, 20 Is ra el 3,4 0 2, 20 Rw an da 6, 60 8, 34 Ru ss ia 11 ,9 0 6,1 0 Au st ra lia 3, 00 3, 10 Ge rm an y 3,1 0 2, 10 Na m ib ia 7, 10 7, 20 Tu ni si a 5, 10 4,2 0 M al ay si a 2, 40 3, 00 Sp ai n 4,2 0 2, 40 Bo liv ia 11 ,73 6, 90 Po la nd 4, 00 4,6 0 Un ite d St at es 4, 10 3, 00 Ne w Ze al an d 3,2 0 1, 80 Ic el an d 5, 86 6, 50 Ph ili pp in es 3, 90 4,2 0 Fi nl an d 2, 60 2, 90 No rw ay 2,8 0 0, 20 In di a 5, 51 6, 49 Sl ov ak ia 3, 40 4,4 0 De nm ar k 2, 30 2, 50 U. A ra b E. 11 ,1 0 0, 20 Br az il 4, 46 6, 50 Sr i L an ka 18 ,8 0 4,9 0 M ac ed on ia 4, 90 2, 80 Ja pa n 0,7 0 ‐0 ,2 0 So ut h Af ric a 8, 90 6, 10 Uk ra in e 16 ,6 0 4,6 0 Ro m an ia 6, 60 3, 14 Sw itz er la nd 2,0 0 ‐0 ,7 0 Análise Exploratória de Dados Prof. Dr. Paulo Matos 23 Exercício #3. Observe os dados na Tabela 2.5. Construa um gráfico linear mensal para as variáveis arrecadação líquida e despesas com benefícios. a) Comente se há algum padrão entre estas duas grandezas.b) Há algum sinal de sazonalidade, ou seja, comportamento atípico de determinados meses do ano. Comente possíveis razões. Tabela 2.5. Rubricas previdenciárias Arrecadação líquida (em R$ constantes de dez/2010, com base no INPC) Despesa com benefícios previdenciários (em R$ constantes de dez/2010, com base no INPC) Fonte: Ministério da Previdência Fonte: Ministério da Previdência jan-08 R$ 13.136.719.488,11 R$ 19.101.981.368,67 fev-08 R$ 13.914.652.924,72 R$ 16.279.693.997,70 mar-08 R$ 14.083.655.906,04 R$ 17.143.108.589,12 abr-08 R$ 14.579.536.959,18 R$ 17.794.034.758,48 mai-08 R$ 14.450.551.944,75 R$ 17.595.963.323,85 jun-08 R$ 14.651.635.955,58 R$ 17.893.000.207,87 jul-08 R$ 14.890.654.608,24 R$ 17.341.226.683,78 ago-08 R$ 14.817.939.080,00 R$ 19.378.247.043,72 set-08 R$ 15.061.302.428,95 R$ 23.378.659.125,25 out-08 R$ 15.037.390.509,53 R$ 17.167.824.220,64 nov-08 R$ 15.073.245.317,91 R$ 19.769.724.189,65 dez-08 R$ 25.454.628.028,69 R$ 23.528.738.804,19 jan-09 R$ 13.251.852.623,69 R$ 20.232.230.517,16 fev-09 R$ 14.459.740.664,57 R$ 17.300.501.644,76 mar-09 R$ 15.570.977.058,99 R$ 19.001.555.312,52 abr-09 R$ 15.355.171.289,37 R$ 18.732.887.606,59 mai-09 R$ 15.600.531.036,88 R$ 18.568.515.481,32 jun-09 R$ 15.171.832.478,08 R$ 18.819.665.713,72 jul-09 R$ 15.377.570.789,89 R$ 18.707.118.886,46 ago-09 R$ 15.486.615.247,63 R$ 21.069.840.498,57 set-09 R$ 15.129.898.190,81 R$ 24.978.985.964,58 out-09 R$ 15.922.634.805,59 R$ 18.894.270.131,49 nov-09 R$ 17.938.128.217,27 R$ 21.263.839.552,30 dez-09 R$ 27.246.091.981,71 R$ 25.375.989.760,03 jan-10 R$ 14.855.323.907,21 R$ 18.769.047.175,40 fev-10 R$ 15.937.738.791,82 R$ 19.900.395.957,84 mar-10 R$ 16.528.421.372,26 R$ 23.528.196.285,23 abr-10 R$ 16.870.588.671,01 R$ 19.982.094.010,55 mai-10 R$ 17.057.213.183,57 R$ 19.720.992.901,31 jun-10 R$ 17.074.542.192,17 R$ 19.935.688.207,42 jul-10 R$ 17.358.693.215,77 R$ 20.002.666.791,96 ago-10 R$ 17.872.271.156,77 R$ 23.457.111.363,54 set-10 R$ 17.567.935.279,61 R$ 26.995.411.173,70 out-10 R$ 17.850.969.383,15 R$ 20.059.136.441,42 nov-10 R$ 18.027.644.911,00 R$ 22.478.634.723,89 dez-10 R$ 30.523.729.644,36 R$ 27.048.937.407,80 Data Exercício #4. Observe os Patrimônios líquidos das empresas registradas junto à ANS como filantrópicas nos anos de 2008 a 2010 (Tabela 2.6.). Monte um histograma de cada cross-section para cada ano. É possível inferir algo sobre a crise financeira de 2008 sobre este segmento? Seria necessário ou recomendável retirar algumas das observações, em razão do seu comportamento extremo na amostra? Análise Exploratória de Dados Prof. Dr. Paulo Matos 24 Tabela 2.6. PL de filantrópicas 20 10 20 09 20 08 20 10 20 09 20 08 A SS O C IA Ç Ã O A D V EN TI ST A N O R TE B R A S. D E PR EV . E A SS IS T. A S A Ú D E 65 .2 37 64 .2 57 54 .2 98 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC Ó R D IA D E ST A R . P . Q U A TR O 22 3 1. 49 6 2. 42 8 A SS O C IA Ç Ã O B EN EF IC EN TE C A TÓ LI C A 8. 26 4 7. 11 6 6. 90 4 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC O R D IA D E V A LI N H O S 64 9 -2 .6 22 A SS O C IA Ç Ã O C A SA F O N TE D A V ID A 11 .9 29 8. 44 4 93 3 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC O R D IA D E V IT O R IA 49 .1 54 48 .0 11 46 .2 86 A SS O C IA Ç Ã O D O S FU N C IO N Á R IO S PÚ BL IC O S D O E SP ÍR IT O S A N TO -3 .2 07 -2 .0 79 18 7 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC Ó R D IA E M . D O N A Z IL D A S A LV A G N I 4. 62 2 3. 42 6 2. 66 5 A SS O C IA Ç Ã O D R . B A R TH O LO M EU T A C C H IN I 69 .7 41 28 .3 60 25 .5 52 IR M A N D A D E D E M IS ER IC O R D IA D E A M ER IC A N A 10 .8 27 3. 04 4 2. 60 3 A SS O C IA Ç Ã O E V A N G EL IC A B EN EF IC EN TE D E LO N D R IN A -5 7. 94 3 -7 8. 15 3 IR M A N D A D E D E M IS ER IC Ó R D IA D E M O N TE A LT O 16 .1 95 5. 27 8 5. 00 6 A SS O C IA Ç Ã O H O SP IT A L D E C A R ID A D E IJ U I 10 .6 95 10 .2 88 7. 04 7 IR M A N D A D E D E M IS ER IC O R D IA D E PO R TO F ER R EI R A 5. 40 5 5. 73 6 6. 10 7 A SS O C IA C A O H O SP IT A LA R S A N TA R O SA LI A 17 .8 43 19 .6 78 19 .4 72 IR M A N D A D E D O H O SP IT A L D E N O SS A S EN H O R A D A S D O R ES 6. 37 0 7. 35 2 8. 66 9 BE N EF IC EN C IA C A M IL IA N A D O S U L 50 .8 75 47 .0 13 43 .6 33 IR M A N D A D E D O S EN H O R B . J ES U S D O S PA SS O S D A S TA C A SA D E M . D E B. P A U LI S 35 4 96 5 2. 98 5 BE N EF IC EN C IA N IP O -B R A SI LE IR A D A A M A ZO N IA 8. 51 3 8. 61 4 10 .2 64 IR M A N D A D E N O SS A S EN H O R A D A S G R A Ç A S 67 .8 40 12 .2 82 11 .4 64 C EN TR O B A R BA C EN EN SE D E A SS IS TÊ N C IA M ED IC A E S O C IA L 3. 44 0 2. 95 9 2. 90 0 IR M A N D A D E N O SS A S EN H O R A D A S M ER C ES D E M O N TE S C LA R O S 29 .4 19 29 .2 63 31 .5 93 C IR C U LO O PE R A R IO C A X IE N SE 10 3. 88 7 38 .6 35 37 .6 05 IR M A N D A D E SA N TA C A SA D E M IS ER IC Ó R D IA D E M A R IN G Á 7. 92 9 7. 11 4 C O N FE R ÊN C IA S Ã O JO SÉ D O A V A Í 60 .8 30 58 .1 40 48 .2 46 IR M A N D A D E SA N TA C A SA M IS ER IC O R D IA D E SÃ O JO SÉ D O S C A M PO S 17 .3 36 27 .8 04 33 .2 57 FU N D A Ç Ã O A SS IS TE N C IA L V IÇ O SE N SE 5. 55 5 7. 10 6 8. 22 3 R EA L SO C IE D A D E PO R TU G U ES A D E BE N EF IC EN C IA -3 7. 16 0 -9 .4 73 -8 40 ,0 0 FU N D A Ç Ã O B EN EF IC EN TE R IO D O C E 7. 88 5 7. 60 6 7. 26 4 SA N TA C A SA D A M IS ER IC Ó R D IA D E SÃ O JO Ã O D EL R EI 60 9. 99 9 47 3. 63 2 43 5. 34 0, 00 FU N D A Ç Ã O F IL A N TR Ó PI C A E B EN EF IC IE N TE D E SA Ú D E A R N A LD O G A V A ZZ A 6. 80 2 7. 11 4 7. 70 6 SA N TA C A SA D E M IS ER IC O R D IA D A B A H IA 0 10 5. 65 7 10 4. 23 3, 00 FU N D A Ç Ã O G ER A LD O C O R R EA 16 .3 36 25 .7 77 23 .0 43 SA N TA C A SA D E M IS ER IC Ó R D IA D E A R A Ç A TU BA 9. 00 2 11 .6 92 18 .8 00 ,0 0 FU N D A C A O L EO N O R D E BA R R O S C A M A R G O 42 .2 29 35 .2 35 34 .3 02 SA N TA C A SA D E M IS ER IC O R D IA D E BA R R A M A N SA 17 .1 47 4. 87 9 7. 50 3, 00 FU N D A Ç Ã O P A D R E A LB IN O 84 .3 42 64 .7 02 59 .5 83 SA N TA C A SA D E M IS ER IC Ó R D IA D E BA R R ET O S 6. 39 3 1. 60 2 4. 68 7, 00 FU N D A Ç Ã O S Ã O F R A N C IS C O X A V IE R 15 7. 79 0 12 2. 18 5 10 4. 68 6 SA N TA C A SA D E M IS ER IC O R D IA D E C A SA B R A N C A -6 .6 84 -5 .6 83 -4 .1 82 ,0 0 H O SP IT A L C ÉS A R L EI TE 10 .3 10 9. 63 2 8. 91 8 SA N TA C A SA D E M IS ER IC O R D IA D E IT A BU N A 38 .0 84 2. 09 1 3. 24 4, 00 H O SP IT A L D E C A R ID A D E D E V A R G EM G R A N D E D O S U L 3. 95 8 3. 88 3 4. 11 2 SA N TA C A SA D E M IS ER IC Ó R D IA D E IT A PE V A 22 .2 14 22 .6 47 19 .2 93 ,0 0 H O SP IT A L D E C A TA G U A SE S 10 .5 02 9. 75 3 9. 34 0 SA N TA C A SA D E M IS ER IC O R D IA D E JO SE B O N IF A C IO 2. 24 6 2. 16 0 H O SP IT A L EV A N G ÉL ICO D E R IO V ER D E 4. 97 5 4. 97 5 8. 06 7 SA N TA C A SA D E M IS ER IC Ó R D IA D E JU IZ D E FO R A 81 .9 54 52 .1 11 50 .9 57 ,0 0 H O SP IT A L IM A C U LA D A C O N C EI Ç Ã O - A M H IC -S A Ú D E -8 2 6 6 SA N TA C A SA D E M IS ER IC Ó R D IA D E LO R EN A -8 51 -2 .2 71 -8 .4 92 ,0 0 H O SP IT A L PA D R E JÚ LI O M A R IA 4. 64 7 4. 21 0 4. 21 0 SA N TA C A SA D E M IS ER IC Ó R D IA D E M A R IN G Á 7. 11 4 5. 40 8, 00 H O SP IT A L SA O P A U LO 8. 10 0 9. 38 2 9. 38 2 SA N TA C A SA D E M IS ER IC Ó R D IA D E PA SS O S 26 .1 21 23 .8 05 19 .6 39 ,0 0 IE A S - I N ST IT U TO D E EN SI N O E A SS IS TÊ N C IA S O C IA L 46 .6 19 47 .4 70 46 .3 34 SA N TA C A SA D E M IS ER IC O R D IA D E SÃ O JO SÉ D O R IO P A R D O - H O SP IT A L SÃ O V IC 6. 51 7 6. 54 6 6. 63 0, 00 IR M A N D A D E D A S A N TA C A SA D A M IS ER IC Ó R D IA D E SA N TO S 11 5. 33 0 46 .4 25 49 .8 16 SA N TA C A SA D E M IS ER IC Ó R D IA D E TU PÃ 4. 31 4 3. 50 2 2. 63 0, 00 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC Ó R D IA D E A R A R A S 13 .1 61 11 .2 00 10 .3 98 SA N TA C A SA D E M IS ER IC O R D IA D E V IT Ó R IA D A C O N Q U IS TA 18 .1 82 1. 55 3 70 6, 00 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC Ó R D IA D E C U R IT IB A 33 .8 51 30 .8 43 30 .7 77 SA N TA C A SA D E M IS ER IC Ó R D IA D E V O TU PO R A N G A 40 .5 98 26 .4 38 20 .2 06 ,0 0 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC O R D IA D E IL H EU S 59 6 2. 01 4 SA N TA C A SA D E M IS ER IC O R D IA D O N A C A R O LI N A M A LH EI R O S 19 .5 52 22 .1 02 23 .6 15 ,0 0 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC Ó R D IA D E LE M E -3 .1 29 -3 .8 49 SA N TA C A SA D E M IS ER IC Ó R D IA E A SI LO D O S PO BR ES D E BA TA TA IS 17 .2 71 18 .1 31 18 .6 97 ,0 0 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC O R D IA D E LI M EI R A 6. 22 1 4. 87 6 5. 61 2 SB H S A N TA C A SA D E M IS ER IC O R D IA D E R IB EI R A O P R ET O -2 1. 27 0 -1 7. 86 1 -1 7. 88 9, 00 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC Ó R D IA D E M A U Á 1. 02 1 2. 51 1 2. 43 6 SO C IE D A D E BE N EF IC EN TE U N IÃ O O PE R Á R IA D E A R A R A Q U A R A 1. 75 5 1. 21 7 1. 02 1, 00 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC Ó R D IA D E M U ZA M BI N H O 1. 66 9 1. 91 8 2. 14 5 SO C IE D A D E D E BE N EF IC ÊN C IA E F IL A N TR O PI A S Ã O C R IS TO V Ã O 51 .6 74 45 .1 97 45 .6 50 ,0 0 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC Ó R D IA D E O SV A LD O C R U Z 80 9 77 8 70 6 SO C IE D A D E ES PA N H O LA D E BE N EF IC EN C IA 6. 54 6 6. 16 0 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC Ó R D IA D E PI R A C IC A BA 35 .0 32 31 .3 59 27 .5 35 SO C IE D A D E IT A LI A N A D E BE N EF IC ÊN C IA E M U TU O S O C O R R O -3 .3 41 -2 .7 44 94 5, 00 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC Ó R D IA D E R IO C LA R O 13 .1 10 10 .4 97 7. 42 3 SO C IE D A D E LI TE R Á R IA E C A R IT A TI V A S A N TO A G O ST IN H O 53 .8 10 54 .8 24 54 .5 45 ,0 0 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC Ó R D IA D E SÃ O JO SÉ D O R IO P R ET O 28 .6 20 24 .7 79 21 .1 08 SO C IE D A D E O PE R Á R IA H U M A N IT Á R IA 2. 85 7 3. 77 9 3. 71 3, 00 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC Ó R D IA D E SÃ O R O Q U E 2. 72 8 2. 99 4 1. 91 6 ST A C A SA M IS N S R A F Á TI M A E B EN EF P O R TU G U ES A D E A R A R A Q U A R A 7. 65 0 -7 29 -1 .1 40 ,0 0 IR M A N D A D E D A S A N TA C A SA D E M IS ER IC Ó R D IA D E SO R O C A BA 30 .9 91 23 .4 71 28 .2 38 PL (R $ m il) O pe ra do ra fi la nt ró pi ca O pe ra do ra fi la nt ró pi ca PL (R $ m il) Análise Exploratória de Dados Prof. Dr. Paulo Matos 25 Exercício #5. Observe os retornos (variação de cotação) dos índices das principais bolsas de valores da A. Latina (Tabela 2.7). Identifique qual a melhor representação gráfica para ambas as séries temporais. Tabela 2.7. PL de filantrópicas BOGOTÁ UENOS AIRE CARACAS LIMA SANTIAGO SÃO PAULO IGBC MERVAL IBVC IGBVL IPSA IBOVESPA jan-08 -12,519% -7,743% -8,087% -13,183% -3,732% -7,334% fev-08 1,053% 2,512% -6,543% 14,908% -1,646% 6,212% mar-08 2,109% 0,547% 4,717% 6,520% 10,269% -4,496% abr-08 8,420% -4,669% 2,871% -7,666% -5,701% 10,446% mai-08 -1,090% 0,904% -11,792% -5,197% -6,405% 6,175% jun-08 -19,444% -4,227% 4,431% -11,980% -11,808% -10,907% jul-08 3,946% -10,620% 4,717% -12,309% 2,007% -8,734% ago-08 -0,135% -3,674% 6,546% -4,609% -2,731% -6,670% set-08 2,211% 1,688% 8,763% -3,454% 3,677% -11,424% out-08 -20,712% -34,712% 3,346% -32,784% -17,266% -25,066% nov-08 13,338% 8,164% 6,381% 15,594% 7,154% -2,048% dez-08 6,456% 4,671% 1,490% -6,305% 3,258% 2,118% jan-09 -5,876% -1,668% -0,445% -4,333% 8,604% 4,089% fev-09 -2,713% -6,361% 7,704% -3,779% 2,028% -0,200% mar-09 -0,661% 3,192% 13,591% 38,385% -0,459% 3,638% abr-09 8,780% 6,062% -5,144% 6,682% -0,224% 15,007% mai-09 7,310% 12,324% -12,026% 21,844% 9,204% 12,091% jun-09 4,379% -4,932% 1,925% -5,012% 4,972% -3,489% jul-09 5,824% 3,765% -1,703% 4,939% -2,368% 6,253% ago-09 3,592% 4,120% 11,099% 1,361% -2,648% 2,901% set-09 5,652% 9,462% -6,355% 2,973% 0,670% 8,599% out-09 -10,612% -0,407% -1,437% -8,987% -1,390% -0,363% nov-09 5,031% 1,491% 5,125% 0,621% 5,320% 8,532% dez-09 -0,467% 6,704% 1,838% -1,632% 6,356% 1,541% Data Análise Exploratória de Dados Prof. Dr. Paulo Matos 26 3. Métricas estatísticas 3.1. Introdução Comumente, ouvimos notícias em jornais tais como esta: “....... ao longo do último mês, o retorno médio de uma ação ON da Companhia Vale do Rio Doce (VALE 3) foi de 5,45 %, tendo portanto batido o mercado, apesar de ter apresentado uma maior oscilação, cerca de 1,98 % ....” Assim como a maioria das informações estatísticas contidas nos jornais, revistas e demais tipos de publicação, os fatos numéricos acima reportados consistem na manipulação de dados ou observações, de forma a reuni-los e apresentá-los de forma clara para que o leitor possa entender. Tais sumários, sejam tabulares, gráficos ou numéricos, são conhecidos como estatísticas descritivas. Vimos inicialmente, no capítulo anterior, que a representação gráfica adequada pode ser bem mais informativa que uma simples representação tabular, por permitir obervar comportamentos ao longo do tempo ou dentre um corte transversal de dados. Um passo adiante neste processo consiste no cálculo de métricas estatísticas a partir da amostra, ou mesmo, a partir de toda a população. A partir destes cálculos, será possível sumarizar em um ou poucos números representativos toda uma amostra. 3.2. Conceitos básicos e definições Suponha que você esteja diante de um processo de entendimento sobre a distribuição de renda de toda uma população de funcionários públicos no Brasil, a qual segueuma determinada “função de distribuição de probabilidade”. Sua suspeita é a de que na média, a faixa salarial é superior à média observada na iniciativa privada, em torno de R$2.300,00. A partir de uma amostra “aleatória”, se observa a média amostral തܺ e pode se fazer inferência sobre sua hipótese em investigação. Mas o quão próximo teria que ser തܺ de R$2.300,00 para se afirmar que o setor público ganha melhor ou pior que o setor privado? Perceba que o estudo das propriedades da distribuição de തܺ são fundamentais neste caso! Mesmo sendo este um assunto estudado apenas em inferência estatística, nesta etapa inicial e descritiva da pesquisa estatística, procede-se com o cálculo das estatísticas descritivas. Mais especificamente, iremos definir agora o que é uma estatística e depois apresentar as mais comumente extraídas da amostra. Definição 1: Seja ଵܺ, ܺଶ, ܺଷ, … , ܺ uma amostra aleatória de tamanho n de uma população e ܶሺݔଵ, ݔଶ, ݔଷ, … , ݔሻ uma função com contradomínio em Թ e cujo domínio contenha o espaço amostral de ଵܺ, ܺଶ, ܺଷ, … , ܺ. Então, uma variável ou vetor aleatório ܻ ൌ ܶሺ ଵܺ, ܺଶ, ܺଷ, … , ܺሻ que consista em uma função dos valores da amostra será dito uma estatística e sua distribuição de probabilidade será a dita distribuição amostral. Observe que esta definição é muito ampla, sendo a única restrição mais técnica, que esta não possa depender de um parâmetro da distribuição dos elementos da amostra aleatória. A estatística deverá ser simplesmente uma função dos elementos da amostra aleatória. As inúmeras estatísticas vão desde funções muito simples, como o maior valor da amostra, ás médias, ou métricas de dispersão, por exemplo, dentre outras. 3.3. Medidas de tendência central 3.3.1. Aspectos teóricos Qual seria o peso médio em Kg dos alunos desta turma? Apesar de delicada, essa seria uma questão simples, facilmente a partir de uma coleta direta de dados junto aos próprios alunos. Estamos assim, diante de uma situação que requer o uso de estatísticas que de certa forma procuram identificar um valor em Análise Exploratória de Dados Prof. Dr. Paulo Matos 27 torno do qual os dados tendem a se agrupar. Podemos definir medidas de posição como sendo as estatísticas que representam uma série de dados orientando-nos quanto à posição da distribuição em relação ao eixo horizontal do gráfico um histograma. Apesar desta definição um tanto prolixa, tais medidas são bem simples e extremamente comuns, como veremos a seguir. Dentre todas as medidas de posição, destacamos como as mais importantes, as medidas de tendência central ou promédias – estatísticas que visam localizar o centro de um conjunto de dados.1 As medidas de tendência central mais utilizadas são: a média aritmética, a moda e a mediana.2 Média aritmética: Definimos a média aritmética amostral ( തܺ) como sendo simplesmente a razão entre a soma dos valores de todas as observações e a quantidade total destas observações que compõem a amostra. Formalmente, esta estatística pode ser obtida através da seguinte fórmula: തܺ ൌ ݔଵ ݔଶ ڮ ݔ ݊ ൌ ݔ ݊ ୀଵ Quando do cálculo de algumas estatísticas, passa a ser relevante que venhamos a definir se estamos trabalhando com toda a população ou se apenas com uma amostra desta. Sendo a média a estatística em questão, quando do estudo de uma população e não de uma amostra, o que muda é apenas a letra que denota a média populacional aritmética (ࣆ), apesar de ࣆ e ࢄഥ possuírem exatamente a mesma fórmula. Exemplo 3.1: Calcule o a receita operacional média e o lucro líquido médio da empresa XXX, com base na amostra de tempo durante 2003 a 2006. Compare estes valores. Ver Tabela 3.1., a seguir. Tabela 3.1. Indicadores financeiros selecionados da Empresa XXX (quadriêncio 2003 – 2006) Indicador 2003 2004 2005 2006 Receita operacional bruta (R$ milhões) 20.895 29.020 35.350 46.746 Exportações (US$ milhões) 4.229 5.534 7.021 9.656 Exportações líquidas (US$ milhões) 3.672 4.618 6.339 8,784 Lucro líquido (R$ milhões) 4.509 6.460 10.443 13.431 Investimentos (US$ milhões) 1.988 2.092 4.998 26.324 Baseado na definição, podemos constatar que a média aritmética várias propriedades: 1ª propriedade: Somando-se (ou subtraindo-se) uma constante (c) a todos os valores das observações de uma variável, a média do conjunto fica aumentada (ou diminuída) dessa constante. 2ª propriedade: Multiplicando-se (ou dividindo-se) todos os valores observados de uma variável por uma constante (c), a média do conjunto fica multiplicada (ou dividida) por essa constante. 3ª propriedade: Uma característica que torna a utilização da média vantajosa em certas aplicações é o fato de que quando se pretende representar a quantidade total expressa pelos dados, podemos utilizar a média, uma vez que, ao multiplicar a média pelo número total de elementos, obtemos a quantidade pretendida. 1 Algumas das outras medidas de posição existentes são as separatrizes, as quais que englobam: os decis, os quartis e os percentis. 2 Outros promédios menos usados são as médias: geométrica, harmônica, quadrática, cúbica e biquadrática. Análise Exploratória de Dados Prof. Dr. Paulo Matos 28 4ª propriedade: A soma algébrica do desvio de cada uma das observações em relação à média aritmética é nula. 5ª propriedade: Há unicidade na média de uma amostra. É importante que se tenha maturidade para perceber que se por um lado tal estatística possui características desejáveis, como por exemplo, a extrema facilidade de seu cálculo e sua interpretação, por outro lado, trata-se de uma medida extremamente sensível aos dados, ou mais especificamente, bastante sensível a mudanças nos valores observados, sendo, portanto necessário ter cuidado com a sua utilização, pois a mesma pode dar uma imagem “distorcida” dos dados. Mais especificamente, veremos nos exemplos que, ao levar em consideração todos os dados coletados da amostra ou população, a média passa a depender dos valores extremos, ou outliers. Outras métricas de tendência central, não necessariamente. Extensões: Arquitas de Tarento, um matemático pitagórico que floresceu por volta de 400 a.C., definiu que existiam três tipos de média: i) um número é a média aritmética de dois outros quando o excesso do primeiro para o segundo é igual ao excesso do segundo para o terceiro, ii) a média geométrica quando a proporção do segundo para o terceiro é igual à proporção do primeiro para o segundo, e iii) a média harmônica quando a quantidade que o primeiro excede o segundo em relação ao primeiro é igual à quantidade que o segundo excede o terceiro em relação ao terceiro. Assim, quando diante de uma série que evolua, ao longo do tempo, por exemplo, não de maneira linear, mas exponencial, então a média geométrica (ܩ) pode ser mais indicada, assim como no caso de uma evolução recíproca, onde a média harmônica (ܪ) é mais indicada. Seguem as relações destas métricas, ambas para um conjunto de observações positivas: ܩ ൌ ඥݔଵ. ݔଶ … . ݔ ൌ ඩෑݔ ୀଵ ܪ ൌ ݊ 1 ݔଵ 1ݔଶ ڮ 1ݔ ൌ ݊. 1 ݔ ୀଵ Exemplo 3.2: Em uma certa situação, a média harmônica provê a correta noção de média. Por exemplo, se metade da distância de uma viagem é feita a 40 km por hora e a outra metade da distância a 60 km por hora, então a velocidade média para a viagem é dada pela média harmônica, que é 48; isso é, o total de tempo para a viagem seria o mesmo se se viajasse a viagem inteira a 48 quilômetros por hora. Note, entretanto que se a viagem fosse metade do tempo em uma velocidade e a outra metade na outra velocidade, a média aritmética, nesse caso 50 km por hora,proveria a correta noção de média. Exemplo 3.3: Em finanças, a média harmônica é usada para calcular o custo médio de ações compradas durante um período. Por exemplo, um investidor compra $1000 em ações todo mês durante três meses. Se os preços na hora de compra forem de $8, $9 e $10, então o preço média que o investidor pagou por ação é de $8,926. Entretanto, se um investidor comprasse 1000 ações por mês, a média aritmética seria usada. Outras utilizações são em previsões do tempo que é o campo estudado pelos meteorologistas. Exemplo 3.4: Se um investimento rende 50% no primeiro ano e 90% no segundo ano, qual o rendimento médio desse investimento? Análise Exploratória de Dados Prof. Dr. Paulo Matos 29 Moda: A moda (ܯ) ou valor modal, como o próprio nome diz, trata-se do valor mais observado dentro da amostra, do conjunto de dados em questão, isto é, aquele valor que ocorre com maior frequência em uma série de valores. A moda deve ser utilizada quando desejamos obter uma medida rápida e aproximada de posição ou quando a medida de posição deva ser o valor mais “típico da distribuição”. Assim, da representação gráfica dos dados, obtém-se imediatamente o valor que representa a moda. Esta medida é especialmente útil para reduzir a informação de um conjunto de dados qualitativos, apresentados sob a forma de nomes ou categorias, para os quais obviamente não se pode calcular a média e por vezes a mediana. Quando estivermos lidando com dados em tempo contínuo, então graficamente poderemos identificar a classe modal. É interessante que observemos que apesar de simples e intuitiva, não há necessidade formalizarmos muito a definição desta estatística, como por exemplo, através de uma fórmula. Exemplo 3.5: (Qualitativamente) Qual seria a formação modal de todos os estudantes desta sala de aula? Exemplo 3.6: (Quantitativamente) Qual seria o peso modal dos alunos desta sala? Baseado na definição, podemos analisar as propriedades da moda: 1ª propriedade: Não se pode assegurar a unicidade da moda, nem mesmo a sua existência. Sendo, portanto a moda uma estatística facilmente reconhecida, bastando para isso procurar o valor (ou a categoria para casos qualitativos) que mais apareça, o que poderíamos dizer no caso de uma amostra onde nenhum valor se repete mais de uma vez? E isso ocorre com freqüência? Neste caso, estamos diante de uma amostra amodal. Exemplo 3.7: Qual seria a data de aniversário modal das alunas desta sala? E o que poderíamos dizer no caso da existência de mais de um valor ou mais de uma categoria que se repete bastante? Teríamos uma amostra bimodal, caso houvesse duas modas, trimodal, se três e assim sucessivamente. Exemplo 3.8: (Quantitativamente) Qual a idade modal de todos os estudantes desta sala? Mediana: A mediana (ܯ݀) de um conjunto de valores observados, os quais estejam dispostos segundo uma ordem (crescente ou decrescente), é o valor (pertencente ou não ao conjunto) situado de tal forma que, o separa em dois subconjuntos de mesmo número de elementos, ou seja, a mediana é o valor que divide esse conjunto ordenado ao meio, com 50% dos elementos sendo menores ou iguais à mediana e os outros 50% sendo maiores ou iguais à mediana. De outra forma, podemos entender esta estatística como sendo o valor que ocupa a posição central dos dados ordenados. Com base na definição, atentemos para o fato de que o primeiro passo para o cálculo de uma mediana é ordenar os dados, na ordem crescente ou decrescente, indiferentemente. Feito isto, uma primeira especificidade desta estatística consiste no fato de que sua fórmula muda dependendo da quantidade de observações. Assim, se o número de observações for ímpar, teremos que a mediana será o termo da amostra de ordem dada por ሺ݊ 1ሻ/2. Quando de uma amostra contendo uma quantidade par de observações, o valor mediano será então a média aritmética dos dois valores centrais, ou seja, os termos de ordem ݊/2 e ሺ݊ 2ሻ/2 . Baseado na definição, podemos analisar as propriedades da mediana: 1ª propriedade: Quando o número de elementos da série estatística for ímpar, haverá coincidência da mediana com um dos elementos da série. 2ª propriedade: Porém, quando o número de elementos da série estatística for par, nunca haverá coincidência da mediana com um dos elementos da série. Análise Exploratória de Dados Prof. Dr. Paulo Matos 30 Veremos a seguir, que uma vez exemplificado, torna-se bem simples esta de obter esta intuitiva estatística. Exemplo 3.9: Qual seria a mediana do rendimento mensal que os funcionários desta sala gostariam de possuir quando da aposentadoria? Qual seria agora esse valor do rendimento mensal desejado mediano, caso essa amostra incluísse também o professor? Em suma, vimos as 3 métricas de tendência central mais comumente reportadas em estudos empíricos. Listaremos a seguir algumas observações, as quais estabelecem comparações interessantes entre as estatísticas de medida central aqui estudadas. 1ª observação: Em uma série, em um conjunto qualquer de valores observados, a mediana, a média e a moda não possuem, necessariamente, o mesmo valor. 2ª observação: A mediana depende da posição e não dos valores per si dos elementos na série ordenada. Essa é uma das diferenças mais marcantes entre mediana e a média, uma vez que esta última por refletir todos os dados da amostra, se deixa influenciar fortemente pelos valores extremos. 3ª observação: Suponhamos um caso em que os dados estejam distribuídos de uma maneira aparentemente, ou graficamente, simétrica. Podemos claramente deduzir que neste caso, a média aproxima- se da mediana. De fato, isto somente ocorrerá, quando em distribuições simétricas ou pertencentes à família Cauchy. Ver Casela e Berger (2002) para maiores detalhes deste teorema. Exemplo 3.10: Seja a unidade de Carajás, a que possui atualmente o maior volume anual de extração de minério de ferro extraído. Suponha que, esta apresente no próximo ano um aumento muito significativo desse volume, enquanto as demais unidades permaneçam com o mesmo volume, teremos então que o volume médio de uma unidade sofrerá um notável aumento (a média é muito sensível a valores extremos), o mesmo não ocorrendo com a mediana, a qual permanece constante. Tal diferença faz com que o uso da mediana seja recomendado quando da observação de valores muito extremos, "muito grandes" ou "muito pequenos", mesmo que estes valores surjam em pequeno número na amostra. Estes valores são os responsáveis pela má utilização da média em muitas situações em que teria mais significado utilizar a mediana, como podemos observar no exemplo a seguir. Exemplo 3.11: Suponha que nesta sala, dos n funcionários, n-1 possuam salários cujos valores possuem uma mesma ordem aproximada de grandeza e apenas um dos alunos (felizardo) possua um salário extremamente mais elevado que os dos demais. Neste caso, seria justo e “informativo” incluir este funcionário com melhor remuneração na amostra, tira a média aritmética e divulgar na imprensa o salário médio de um funcionário da companhia? Não seria mais apropriado e intuitivo obter a mediana? Exemplo 3.12: Observemos a Tabela 3.1, seria mais informativo reportar o investimento anual médio ou mediano da empresa XXX, ao longo do período compreendido entre 2003 e 2006? Tomemos cuidado, pois o “mau” uso da estatística descritiva, por mais simples que seja, pode informar de maneira distorcida a amostra em questão. É preciso que se use a medida de tendência central que melhor represente esta amostra. 3.4. Medidas de dispersão 3.4.1. Aspectos teóricos Observe a seguinte afirmação: “Imaginem uma situação na qual o professor avisa
Compartilhar