Prévia do material em texto
Ciclo de vida de um processo de ciência de dados Apresentação A ciência de dados abrange os estudos, as metodologias e os processos para a análise de um conjunto de dados. A matéria-prima da informação, o dado, é coletada, armazenada e, depois, processada para que gere o conhecimento necessário ao objeto de estudo. O contexto se propõe a analisar dados estruturados, semiestruturados e não estruturados em um ciclo contínuo de melhoria e garantia da veracidade. Assim, as boas práticas são necessárias para que o produto entregue seja, de fato, uma representação da realidade e solução para o problema dado. Nesta Unidade de Aprendizagem, você vai conhecer as etapas do ciclo de vida dentro de ciência de dados, identificar as fases de coleta e armazenamento e realizar a análise da recuperação e o descarte dos dados. Bons estudos. Ao final desta Unidade de Aprendizagem, você deve apresentar os seguintes aprendizados: Reconhecer as etapas do ciclo de vida de um processo em ciência de dados. • Identificar as fases de coleta e armazenamento dos dados.• Analisar a recuperação e o descarte dos dados.• Desafio A ciência de dados tem aplicações diversas dentro da sociedade e pode ser utilizada para organizar o contexto de dados de uma instituição. Dessa forma, ao aplicar o ciclo de vida, é possível realizar um melhor mapeamento das fontes de dados e processos para o ganho de informação. Aponte a câmera para o código e acesse o link do conteúdo ou clique no código para acessar. https://statics-marketplace.plataforma.grupoa.education/sagah/4f8a027b-c971-483c-ab3b-5835eced3c6d/29483277-1a92-4af5-b64f-2c11023e52fe.jpg Você foi contratado para realizar um relatório do ciclo de vida para o processo de ciência de dados que o hospital quer implantar. Informe ao diretor, a partir das fases de coleta, armazenamento, recuperação e descarte, como ele deverá lidar com seu ambiente. Separe seu relatório por fases e, ainda, fale sobre a privacidade. Infográfico Os passos dentro do ciclo de vida de um processo de ciência de dados são importantes, e dentro de cada um há atividades bem definidas. A necessidade de segmentar os passos parte do método científico de investigação, em que precisamos realizar pequenos fragmentos para, ao final, extrair conhecimento de uma base de dados. Neste Infográfico, você vai conhecer os passos e as atividades que são realizados em cada parte do ciclo de vida. Aponte a câmera para o código e acesse o link do conteúdo ou clique no código para acessar. https://statics-marketplace.plataforma.grupoa.education/sagah/8523d565-f1c7-4183-8766-f6d2008f2d83/73cc39a7-5821-483a-ba80-c045f03f1fcd.jpg Conteúdo do livro O contexto da ciência de dados ascendeu juntamente com a alta produção e consumo de dados pela humanidade. Logo, foi necessário realizar uma sistematização de estudos e metodologias para compor os passos necessários para a análise de um conjunto de dados. Na obra Introdução à ciência de dados, base teórica desta Unidade de Aprendizagem, leia o capítulo Ciclo de vida de um processo de ciência de dados, no qual você irá conhecer as etapas do ciclo de vida de um processo em ciência de dados, identificar as fases de coleta e armazenamento dos dados e analisar a recuperação e o descarte dos dados. Boa leitura. INTRODUÇÃO A CIÊNCIA DE DADOS Luiz Fernando Calaça Silva Ciclo de vida de um processo de ciência de dados Objetivos de aprendizagem Ao final deste texto, você deve apresentar os seguintes aprendizados: Reconhecer as etapas do ciclo de vida de um processo em ciência de dados. Identificar as fases de coleta e armazenamento dos dados. Analisar a recuperação e o descarte dos dados. Introdução A sociedade transformou-se pelo conhecimento advindo de dados, os quais foram coletados de desenhos, pinturas, escritos e falas. A partir do seu armazenamento, durante os séculos, muitas informações chegaram até nós. Mais recentemente, o mundo transformou-se para o contexto digital, e a maioria dos dados se encontram on-line para serem consu- midos, enquanto muitos outros são produzidos em escala exponencial. A fim de conceber processos, metodologias e algoritmos, a ciência de dados envolve diversas disciplinas nos seus pormenores e tem ciclos de vida claros e definidos (AMARAL, 2016). O seu intuito é justamente identificar dados, armazená-los corretamente e realizar a devida análise — e o descarte do que é desnecessário. É possível analisar dados estruturados e não estruturados, visando, sobretudo, à extração de conhecimento para uma tomada de decisão. Na era do big data, em que há um grande volume de dados, fazem-se necessários os devidos processos para a sua compreensão, uma vez que eles oferecem inúmeras possibilidades. Neste capítulo, você vai estudar sobre as etapas do ciclo de vida de um processo em ciência de dados. Além disso, vai ver quais são as fases de coleta e armazenamento dos dados, e como analisar a sua recuperação e o seu descarte. 1 Etapas do ciclo de vida de um processo Quando se observa o método científi co, vê-se que há uma segmentação de fases, para que a investigação tenha êxito. Logo, também no contexto da ciência de dados existe uma estruturação. Nesse sentido, o ciclo de vida de um processo em ciência de dados é composto pelos passos necessários para a extração do conhecimento daquele conjunto de dados. Segundo Sant’Ana (2016), o ciclo de vida dos dados é composto por quatro fases: coleta, armazenamento, recuperação e descarte. Além disso, há alguns fatores que permeiam todas as fases, conforme a Figura 1: privacidade, integração, qualidade, direitos autorais, disseminação e preservação. Figura 1. Ciclo de vida dos dados para ciência da informação. Fonte: Adaptada de Sant’Ana (2016). CVD 1 Contexto 1 CVD Contexto Descarte Pr iv ac id ad e In te gr aç ão Q ua lid ad e D ire ito s au to ra is D is se m in aç ão Pr es er va çã o Pr iv ac id ad e In te gr aç ão Q ua lid ad e D ire ito s au to ra is D is se m in aç ão Pr es er va çã o DescarteArmazenamento Armazenamento BD1 BD Co let a Recuperação Co let a Recuperação A qualidade dos dados A confi ança no contexto dos dados está intimamente ligada à sua qualidade. Em geral, é preciso verifi car se a fonte dos dados é segura e quem os produziu, a fi m de procurar pela veracidade inicial. No contexto do framework DAMA DMBoK, segundo Brackett et al. (2009), uma das suas áreas de conhecimento é o gerenciamento de qualidade dos dados. O seu objetivo é claro: uma vez que dados de qualidade ruim podem gerar decisões ruins, ele organiza processos para um programa de qualidade de dados. Ciclo de vida de um processo de ciência de dados2 Nesse documento, também são propostas práticas como a definição de papéis. Por exemplo, sugere-se que haja um responsável que coleta e armazena os dados, que deve responder pela veracidade desses dados e pelo quanto eles representam a realidade. Além disso, sugere-se a criação de métricas de qualidade de dados, de modo a planejar como mensurá-los e melhorá-los. Assim, tem-se um monitoramento contínuo da relação dos dados com o negócio, de maneira que se possa realizar ações e verificar se elas estão cumprindo as expectativas. Segundo Fagundes, Macedo e Freund (2018), no seu trabalho de revisão bibliográfica das pesquisas no campo da qualidade de dados, há ainda diversas lacunas e oportunidades para a melhoria nesse contexto. O DAMA é uma organização sem fins lucrativos que produziu o DMBoK. Trata-se de um guia sobre gerenciamento de dados com o foco na gestão, na governança e na qualidade de dados e informação. A privacidade A privacidade vem à tona, no contexto dos dados, justamente pelo princípio da confi dencialidade em diversos espaços da vida pessoal, profi ssional e empresarial. Dados diversos têm sido coletados por pessoas físicas, empresas, instituições e governos, que sabem o quanto eles são valiosose, com isso, podem extrair informações para os seus negócios. Em nosso meio, observamos que os dados que fornecemos em nossas redes sociais, aplicativos bancários, entre outros, devem ser privados. Esse aspecto é tão sério que é possível abrir processos judiciais, caso ocorra algum vazamento, conforme a Lei Geral de Proteção de Dados (BRASIL, 2018), que regula as atividades de tratamento de dados pessoais. Segundo Brito e Machado (2017), há uma ligação entre a privacidade e a qualidade dos dados. Garantir a privacidade pode resultar em dados que não são verídicos, já que a fonte não pode ser explorada em todos os seus âmbi- tos. Assim, pode-se perceber a complexidade envolvida no equilíbrio entre preservar a fonte e manter a qualidade e a utilização dos dados. 3Ciclo de vida de um processo de ciência de dados Ainda em relação a essa questão, é necessário organizar a forma como será feito o armazenamento, para que ele não afete a privacidade. Assim, esse aspecto envolve diversos outros contextos — inclusive a filosofia e a sociologia — para compor a legalidade moral do armazenamento dos dados, bem como para qual fim serão utilizados. Por exemplo, alguns serviços na internet pedem que os seus usuários informem os seus dados e, em troca, podem utilizar gratuitamente as diversas plataformas. No entanto, é importante refletir sobre até que ponto esse uso é de fato gratuito e se os dados não estariam sendo utilizados para alguma aplicação para a qual o usuário não deu o seu consentimento. A disseminação A internet tem se tornado cada vez mais uma fonte riquíssima de informações. As pessoas a utilizam para compras e vendas, para comunicação e divulgação, para ministrar cursos e dar dicas, entre diversas outras atividades. Assim, também avançamos para o contexto da disseminação dos dados. A vantagem desse cenário, por exemplo, é que, quando uma empresa deseja criar um branding de marca e quer que a sua mensagem chegue a diversos usuários, ela pode se beneficiar da disseminação. A desvantagem é que, quando a segurança dos dados falha e eles são disponibilizados publicamente de forma indevida, vários atores querem consumir esse conteúdo — nem sempre de forma ética. De fato, um cenário positivo da disseminação massiva é a sua utilização para educar a população em diversas áreas, como a saúde, principalmente a respeito de cuidados específicos sobre os quais todos devem saber. Porém, quando fotos privadas de uma pessoa se disseminam sem autorização, por exemplo, esse cenário representa o lado negativo dessa disseminação. Antigamente, as informações circulavam apenas em uma pequena vizi- nhança. Santos e Andreoli (2015) observam que, nas relações interpessoais, ainda é comum o chamado “boca a boca”: alguém achou alguma notícia inte- ressante ou comprou algo que julga ser vantajoso, então repassa a informação para a vizinhança ou para os meios nos quais circula. No entanto, quando consideramos o contexto da internet, esse “boca a boca” pode se tornar viral, em proporções inimagináveis, ultrapassando as fronteiras de países: um simples vídeo, uma mensagem ou foto pode alcançar milhões de pessoas rapidamente. Portanto, a disseminação de informações na internet pode ser muito benéfica, quando bem utilizada, mas é importante considerar os problemas causados com o seu uso nocivo. Ciclo de vida de um processo de ciência de dados4 Os direitos autorais Outro aspecto importante está relacionado aos conteúdos que são protegidos por direitos autorais. Logo, podem ser consumidos somente pelos canais per- mitidos ou autorizados pelo detentor dos direitos, ou outorgados formalmente a alguma entidade. O que comumente chamamos de pirataria é quando ocorre a violação dos direitos autorais de uma propriedade que é protegida. Segundo Feres, Oliveira e Gonçalves (2017), de acordo com estudos con- duzidos para a União Europeia, em geral, acredita-se que, para entender a pirataria, é preciso pensar em tudo aquilo que as indústrias produtoras, nos seus diversos âmbitos, desejam ver protegido. Feres, Oliveira e Gonçalves (2017) pontuam que o termo “pirataria” foi sendo construído ao longo da história e antecede o próprio conceito de propriedade intelectual. Considere, por exemplo, a violação dos softwares licenciados, os quais a população mundial consumiu como pirataria. Em função do seu alto valor de aquisição desses sistemas operacionais e softwares específicos, muitas pessoas passaram a utilizá-los por meio desse tipo de violação. Outro exemplo é o das músicas MP3, que foram massivamente baixadas, o que ocasionou uma mudança de mercado. Nesse formato, a entrega poderia ser feita de forma eficiente, mas não foi possível conter a violação de produtos privados. O autor Paiva (2016) observa que, no século XX, várias tecnologias causaram uma mudança drástica na indústria fonográfica, e o formato de música MP3 foi o que mais causou impacto na distribuição musical. Mesmo com as taxas de transferência baixa na internet, o fluxo de consumo aumentou exponencialmente. Os dados privados têm uma titularidade, e o seu uso deve ser observado — ao contrário dos dados públicos, que podem ser utilizados sem restrição, conforme o autor os coloca à disposição. No Brasil, a propriedade intelectual é regida pelas seguintes leis: Lei nº 9.279 de 14 de maio de 1996 (Lei de Pro- priedade Industrial), Lei nº 9.609, de 19 de fevereiro de 1998 (Lei do Software) e Lei nº 9.610, de 19 de fevereiro de 1998 (Lei de Direitos Autorais). A preservação A fase de coleta dos dados refere-se ao processo de identifi car os dados neces- sários para o problema, de forma que sejam armazenados e preservados para a sua análise posterior. Também devem ser armazenados os dados e metada- dos possíveis, a fi m de colaborar com a preservação do conjunto de dados. Os metadados são informações sobre os dados. Por exemplo, em uma foto, da- dos como dia e horário da foto são informações sobre a foto, ou seja, metadados. 5Ciclo de vida de um processo de ciência de dados Segundo Sant’Ana (2016), a preservação dos dados coletados e armazenados pode exigir que algumas informações adicionais também sejam armazena- das. Por exemplo, algumas características dos dispositivos que coletaram os dados poderiam ser utilizadas para dar um maior significado e auxílio no conhecimento sobre eles. Portanto, para a preservação dos dados, é necessário armazená-los devidamente. Eles devem ser descartados apenas com critérios rigorosos e, oportunamente, deve-se guardar dados sobre esses dados. A integração Durante a coleta, podem ser identifi cados diversos silos de dados, que podem ser integrados para que se possa ter mais conhecimento a respeito do problema estudado. Por exemplo, poderíamos buscar uma fonte de dados que contivesse dados das escolas municipais de determinada cidade, e gostaríamos de integrá- -la com uma base sobre a condição fi nanceira das famílias que têm os seus fi lhos matriculados nessas escolas. Assim, a integração é um quadro comum no contexto dos dados, de modo a formar um quebra-cabeça que fará sentido na sua completude. Como um exemplo dessa integração, Santin et al. (2019) demonstram que, ao se fundir dados públicos de saúde e de transporte, pode-se descobrir insights que as bases isoladas não poderiam gerar. Segundo Sant’Ana (2016), para que seja possível utilizar bem os dados, é necessário certo nível de integração entre entidades distintas, para uma melhor análise e conhecimento. Bases integradas podem compor um conhecimento que terá mais valor que as individualizadas. Assim, a integração visa a compor um grau de informação distinta dos seus componentes separados. Além disso, visa à preservação dos dados, já que, unidas, as bases geram um conhecimento mais amplo a respeito de um contexto, ao mesmo tempo em que se mantém as suas bases originais com o devido significado. 2 A recuperação e o descarte dos dados A recuperação e o descarte dos dados são tão importantescomo os passos iniciais de coleta e armazenamento. Ao serem armazenados, os dados precisam ser recuperáveis, e é comum ver, durante as análises, que parte do conjunto pode ter problemas: campos vazios, dados errados, dados fora do desvio padrão, entre outros. Esses dados problemáticos, então, serão descartados. Ciclo de vida de um processo de ciência de dados6 O processo de extrair, transformar e carregar os dados, conhecido como ETL (Extract, Transform e Load), tem como princípio a ideia de integração de diversas bases. Pode-se buscar inúmeras fontes, organizá-las transformando os dados em paralelo a outras e, então, carregá-los para uma nova estrutura de armazenamento. Assim, o armazenamento deve ser feito de forma que os arquivos ou dados sejam recuperáveis, isto é, sejam alocados em formatos que permitam a con- sulta e a posterior análise. Organizar arquivos em formatos não suportáveis por linguagens de programação pode fazer daquela coleta um projeto inviável para o processo de dados. O descarte dos dados se faz necessário para compreendê-los melhor — costuma-se chamar esse processo de limpeza. Existem várias técnicas e pro- cedimentos que podem ser adotados para esse processo, mas é preciso sempre levar em consideração as legislações sobre o descarte, a necessidade de ter uma cópia de segurança de pelo menos parte dos dados, entre outros aspectos. Os sistemas de recuperação na web semântica Para que possam ser encontrados na internet, os dados armazenados precisam ter a semântica necessária. A partir disso, entra-se no contexto da web semântica. Santarém (2017, documento on-line) afirma: Com essa grande oferta de dados disponíveis é necessário um segundo passo, o desfrute desses datasets. É necessário transformar todo esse conjunto de informações em conhecimento útil e aplicável, de forma a mudar positivamente a vida das pessoas [...]. Nesse sentido, estruturas como o RDF (Resource Description Framework) organizam os dados em estruturas a serem armazenadas, de forma que a linguagem SPARQL possa recuperar essa informação. 7Ciclo de vida de um processo de ciência de dados 3 A análise exploratória em um conjunto de dados e as fases do ciclo de vida de ciência de dados A análise exploratória oferece um conhecimento inicial sobre os dados. A partir dela, é possível observar o resumo das características principais dos dados, para depois compreendê-los melhor. De forma geral, o seu intuito é analisar os dados antes mesmo de aplicar qualquer técnica estatística. Nesse sentido, como demonstram Rodrigues e Dias (2017), a visualização dos dados consegue transmitir melhor a informação. Logo, faz-se necessário concebê-los de forma a auxiliar no ciclo de vida em ciência de dados. Para ilustrar as fases do ciclo de vida dos dados, imagine que precisa acessar os dados da empresa Airbnb para o estado do Rio de Janeiro, no Brasil. Utilizando a linguagem Python 3 e o ambiente de desenvolvimento Google Cola- boratory, você pode realizar a coleta de dados da seguinte forma: Após a coleta, os dados serão armazenados em memória. Assim, você poderá recu- perá-los e obter um conhecimento no dataset sobre a quantidade de colunas e linhas. Ciclo de vida de um processo de ciência de dados8 Organize a retirada do sinal de dólar do campo price, para que possa utilizá-lo. Realize então a verificação de valores de aluguéis discrepantes (outliers) em relação aos valores do conjunto de dados, conforme mostra a Figura 2. Esses dados serão descartados. Figura 2. Gráfico de valores altos no pico. Com isso, você pôde conhecer a dimensão dos dados e outliers e, assim, iniciar os primeiros descartes por meio da análise exploratória. 9Ciclo de vida de um processo de ciência de dados AMARAL, F. Introdução à ciência de dados: mineração de dados e big data. Rio de Janeiro: Alta Books, 2016. BRACKETT, M. (ed.). et al. The dama guide to the data management body of knowledge. [S. l.]: Technics Publications, 2009. BRASIL. Lei n. 13.709, de 14 de agosto de 2018. Lei Geral de Proteção de Dados Pessoais (LGPD). Brasília, 2018. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2015- 2018/2018/lei/L13709.htm. Acesso em: 29 abr. 2020. BRITO, F. T.; MACHADO, J. C. Preservação de privacidade de dados: fundamentos, técnicas e aplicações. In: JORNADAS DE ATUALIZAÇÃO EM INFORMÁTICA, 36., 2017. Anais [...]. São Paulo: SBC, 2007. Disponível em: http://csbc2017.mackenzie.br/public/ files/all/livro-jai.pdf. Acesso em: 29 abr. 2020. FAGUNDES, P. B.; MACEDO, D. D. J.; FREUND, G. P. A produção científica sobre qualidade de dados em big data: um estudo na base de dados Web of Science. Revista Digital de Biblioteconomia e Ciência da Informação, v. 16, n. 1, 2018. Disponível em: https://periodi- cos.sbu.unicamp.br/ojs/index.php/rdbci/article/view/8650412. Acesso em: 29 abr. 2020. FERES, M. V. C.; OLIVEIRA, J. V.; GONÇALVES, D. D. Robin Hood às avessas: software, pirataria e direito autoral. Revista Direito GV, v. 13, n. 1, 2017. Disponível em: http:// bibliotecadigital.fgv.br/ojs/index.php/revdireitogv/article/view/68899/66490. Acesso em: 29 abr. 2020. PAIVA, J. E. R. Copyrights, MP3 and the New Recording Industry in Brazil. Sonora, n. 9, 2016. Disponível em: https://www.publionline.iar.unicamp.br/index.php/sonora/ article/view/676. Acesso em: 29 abr. 2020. RODRIGUES, A. A.; DIAS, G. A. Estudos sobre visualização de dados científicos no contexto da Data Science e do Big Data. Pesquisa Brasileira em Ciência da Informação e Biblioteconomia, v. 12, n. 1, 2017. Disponível em: https://periodicos.ufpb.br/index.php/ pbcib/article/view/34774. Acesso em: 29 abr. 2020. SANT’ANA, R. C. G. Ciclo de vida dos dados: uma perspectiva a partir da ciência da informação. Informação & Informação, v. 21, n. 2, 2016. Disponível em: http://www.uel. br/seer/index.php/informacao/article/download/27940/20124. Acesso em: 29 abr. 2020. SANTARÉM SEGUNDO, J. E. Web semântica: introdução a recuperação de dados usando SPARQL. In: ENCONTRO NACIONAL DE PESQUISA EM CIÊNCIA DA INFORMAÇÃO, 15., 2014. Anais […]. Belo Horizonte: UFMG, 2014. Disponível em: http://repositorios.questoese- mrede.uff.br/repositorios/handle/123456789/3191?show=full. Acesso em: 29 abr. 2020. Ciclo de vida de um processo de ciência de dados10 Os links para sites da web fornecidos neste capítulo foram todos testados, e seu fun- cionamento foi comprovado no momento da publicação do material. No entanto, a rede é extremamente dinâmica; suas páginas estão constantemente mudando de local e conteúdo. Assim, os editores declaram não ter qualquer responsabilidade sobre qualidade, precisão ou integralidade das informações referidas em tais links. SANTIN, P. L. L. et al. Integração de dados públicos de saúde e transporte: caracterização para modelagem multicamadas. In: WORKSHOP DE COMPUTAÇÃO URBANA, 3., 2019. Anais [...]. Porto Alegre: SBC, 2019. Disponível em: https://ojs.sbc.org.br/index.php/ courb/article/view/7471. Acesso em: 29 abr. 2020. SANTOS, A.; ANDREOLI, T. Marketing viral: um estudo de caso de três vídeos do banco Itaú que se tornaram virais de sucesso. Revista GeTeC, v. 4, n. 8, 2015. Disponível em: http://www.fucamp.edu.br/editora/index.php/getec/article/view/672. Acesso em: 29 abr. 2020. Leituras recomendadas BRASIL. Lei n. 9.279, de 14 de maio de 1996. Regula direitos e obrigações relativos à pro- priedade industrial. Brasília, 1996. Disponível em: http://www.planalto.gov.br/ccivil_03/ Leis/L9279.htm. Acesso em: 29 abr. 2020. BRASIL. Lei n. 9.610, de 19 de fevereiro de 1998. Altera, atualiza e consolida a legislação sobre direitos autorais e dá outras providências. Brasília, 1998. Disponível em: http:// www.planalto.gov.br/ccivil_03/leis/L9610.htm. Acesso em: 29 abr. 2020. BRASIL. Lei n. 9.609, de 19 de fevereiro de 1998. Dispõe sobre a proteção da propriedade intelectual de programa de computador, sua comercialização no País, e dá outras providências. Brasília, 1998. Disponível em: http://www.planalto.gov.br/ccivil_03/leis/L9609.htm. Acesso em: 29 abr. 2020. 11Ciclo de vida de um processo de ciência de dados Dica do professor É importante verificar que há limites, na forma da Lei, para a coleta, o armazenamento, a recuperação e o descarte. Empresas ou acadêmicos devem observar que os dados devem ser utilizados com responsabilidade. Nesta Dica do professor, você vai compreender os processos do ciclo de vida de ciência de dados em comparativo com a Lei Geral de Proteção de Dados (LGPD). Aponte a câmera para o código e acesse o link do conteúdo ou clique no código para acessar. https://fast.player.liquidplatform.com/pApiv2/embed/cee29914fad5b594d8f5918df1e801fd/5cefed76b30095798a1122cad301e8b8 Exercícios 1) A união de bases de dados similares, para tentar melhorar a análise dos dados, é uma tarefa comum em ciência de dados. Dado que uma base de dados A contém dados íntegros, com grande confiabilidade e com campos similares aos de uma base de dados B, ambas as bases poderiam ser usadas para analisar um conjunto de dados. No entanto, na base B, verifica-se que 65% de seu total de campos está nulo, e muitos dados contêm erros relacionados ao formato. Qual seria uma boa estratégia a ser adotada dentro dos processos de ciência de dados? A) Devem-se descartar as duas bases, justamente por não ser possível realizar a integração. B) Mantém-se a segunda base somente, pois, como ela contém erros, de fato, será o objeto de estudo. C) A base A será mantida, pois contém dados confiáveis, e a base B será descartada. D) É possível integrar as duas bases, mesmo com alguns erros na base B. E) A base B tem colunas correlatas à base A; portanto, deve-se realizar a integração. Em ciência de dados, o contexto do armazenamento dos dados tem seus pormenores para que tenhamos a devida segurança e fácil recuperação. Um hospital armazena os dados de seus pacientes a fim de que possa ter mais segurança e, também, realizar o devido tratamento. Especificamente na área de dermatologia, há uma pequena amostra de dados armazenados: 2) Eles foram realizados por um dermatologista de renome; assim, há alta taxa de confiabilidade e qualidade nos dados. No entanto, ele armazenou os dados dentro de seu smartphone em bloco de anotação digital, ao qual somente ele tem acesso. A partir do problema, o que se pode inferir a respeito do armazenamento, da recuperação, da qualidade e da privacidade? A) O médico armazenou de forma a dificultar a recuperação dos dados por outros; no entanto, não há privacidade. B) Ele armazenou em um formato correto e com alta confiabilidade, de modo que não ocorra perda dos dados. C) A coleta tem qualidade e confiabilidade, e, de fato, o armazenamento foi feito de forma errada, já que dificulta a recuperação, com possibilidades de perda. D) A privacidade é mantida por ser um acesso único, e a recuperação é fácil. Já a qualidade dos dados é baixa e com pouca confiabilidade. E) Ao priorizar a privacidade, o médico afetou a confiabilidade dos dados; portanto, eles devem ser descartados. A partir da Lei Geral de Proteção de Dados (LGPD), as instituições devem ter o devido cuidado nos processos de ciência de dados, a fim de garantir a eficiência necessária com o cumprimento das normas. 3) Um sistema, alocado na Internet, solicita ao usuário dados pessoais e os armazena em uma base de dados relacional confiável, à qual somente a própria empresa tem acesso, utilizando- a para o fim de marketing. De acordo com a Lei Geral da Proteção de Dados e as fases de coleta e descarte do processo de ciência de dados, pode-se afirmar que: A) o usuário pode solicitar a qualquer momento uma cópia dos dados, bem como compreender para que fim estão sendo utilizados. B) mesmo que o usuário peça o descarte, a empresa não é obrigada a fazê-lo, já que o usuário assinou um contrato digital de consentimento. C) a empresa pode utilizar os dados para o fim necessário, ou seja, mesmo que tenha iniciado com marketing, poderá, posteriormente, realizar a venda dos dados. D) para que seja realizada a coleta de dados, a empresa não precisa que o usuário informe o consentimento, pois pode utilizar-se de outras vias. E) se o usuário pedir o descarte dos dados, a coleta não mais poderá ser realizada em nenhum momento, pois o usuário será excluído permanentemente. 4) Em ciência de dados, a preservação dos dados tem, em sua essência, o objetivo de contribuir para que o dado coletado tenha suas informações originais e fidedignas, sem perda de informações quando de sua recuperação. No processo de identificação de pragas, um agrônomo pode colher, em campo, diversas fotografias em alta qualidade de cada uma delas e catalogá-las em seu sistema com o intuito de organizar uma base necessária para os seus estudos. No entanto, ao realizar os processos para a identificação, percebe que o horário e a qualidade das fotografias têm um papel importante para a catalogação. No que se refere aos fatores que permeiam as fases da ciência de dados, o que se pode compreender nesse contexto? A) A parte dos direitos autoriais foi violada, já que realizou fotografias de diversas pragas sem a autorização devida. B) Devido à qualidade baixa dos dados, não é possível prosseguir com os estudos. C) Estas seriam fotografias que se disseminariam facilmente nas redes sociais, pois todos compreenderiam seu significado. D) A preservação das fotografias não é necessária, já que, após os estudos, elas serão descartadas. E) Mostra a importância dos metadados, já que o dia e a hora das fotografias, bem como a sua qualidade, são dados que poderiam ser obtidos. • 5) Na etapa de preparação de dados a serem submetidos ao processo de mineração de dados, uma importante tarefa consiste no processo de normalização dos dados numéricos, que está dentro do contexto da análise exploratória e do pré-processamento dos dados. Com isso, leva-se o conjunto de dados a uma mesma escala, evitando distorções na execução dos algoritmos de aprendizado de máquina utilizados na descoberta de conhecimento de dados, afetando a análise dos resultados. A respeito da análise exploratória e o descarte dos dados, é possível afirmar: A) Mesmo que a análise exploratória mostre campos nulos, a extração de conhecimento ainda pode ser feita com esses campos. B) O descarte é realizado minuciosamente, retirando-se o que não faz sentido ao problema ou o que não tem condições de ter conhecimento extraído. C) A mineração de dados é realizada já durante a coleta, a fim de que já se possa obter insights dos dados. D) A análise exploratória é um passo que poderia ser ignorado, já que, ao identificar um dado na coleta, ele deve fazer parte de solução. E) A normalização dos dados é parte importante anterior à coleta e faz com que a mineração dos dados seja mais efetiva. Na prática O ciclo de vida dos dados é importante na realização dos passos necessários para o resultado final: a extração da informação. Ele pode ser utilizado em qualquer conjunto de dados. Neste Na Prática, você verá sua utilização dentro dos dados educacionais e como estes podem ajudar uma prefeitura a tomar decisões para a melhoria do serviço à população. Aponte a câmera para o código e acesse o link do conteúdo ou clique no código para acessar. https://statics-marketplace.plataforma.grupoa.education/sagah/4304dd4c-fae8-4fe7-b9f1-5e254dd6d94a/bf1e2f8c-c05e-4d58-9acb-7dd6f071d666.jpg Saiba + Para ampliar o seu conhecimento a respeito desse assunto, veja abaixo as sugestões do professor: Você sabe extrair informações de dados? Assista ao vídeo a seguir, que mostra, de forma irreverente, como se deve olhar para um conjunto de dados para que se possa extrair conhecimento, quais são os primeiros passos e onde encontrar dados abertos e confiáveis para que se possa começar no mundo dos dados. Aponte a câmera para o código e acesse o link do conteúdo ou clique no código para acessar. Ciência de dados educacionais: definições e convergências entre as áreasde pesquisa Há grande interesse na aplicação de técnicas oriundas da área de Big Data em problemas pertencentes ao contexto da informática na Educação. O artigo a seguir procura fundamentar a análise de dados educacionais a partir da ciência de dados. Aponte a câmera para o código e acesse o link do conteúdo ou clique no código para acessar. https://www.youtube.com/embed/RlGOaSPFtXc https://www.researchgate.net/publication/320698163_Ciencia_de_Dados_Educacionais_definicoes_e_convergencias_entre_as_areas_de_pesquisa