Baixe o app para aproveitar ainda mais
Prévia do material em texto
Coordenadora SELMA CARLOTO Autora das obras: Compliance Trabalhista; Compliance Trabalhista e a efetividade dos Direitos Humanos; Lei Geral de Proteção de Dados enfoque nas relações de Trabalho; Manual Prático de Adequação à Lei Geral de Proteção de Dados; Lei Geral de Proteçao de Dados e Segurança da Informacao:perguntas e respostas; coordenadora/autora da obra LGPD comentada, enfoque nas relações de trabalho. Pesquisadora da Usp, departamento de Direito Civil, de Lei Geral de Proteção de Dados. Exin Data Protection Officer certifiicada. Professora convidada da Fundação Getúlio Vargas da FGV Direito Rio e dos MBAs de Gestão de Pessoas, Gestão Empresarial e Gestão Comercial da área de Direito. Professora premiada como destaque da área de Direito pela rede FGV Management, e pelo IDE, nos anos 2011, 2012, 2013 e 2014 consecutivamente, dos cursos de pós-graduação. Prêmio de destaque no MBA de Direito do Trabalho da Fgv Management Rio de 2016. Condecorada pela FGV Direito Rio com o prêmio de desempenho como docente nos cursos de pós-graduação da FGV em 2011, 2013 e 2015. Membro do Instituto Nacional de Proteção de Dados. Mestre pela Universidade de São Paulo (USP). Doutoranda em engenharia da informação na Universidade Federal do ABC em Inteligência Artificial. Doutorado em Direito do Trabalho na Universidade Federal de Buenos Aires (UBA). Especialista pela FADISP. Autora dos livros publicados na Argentina, Editorial Quorom, Manual de Derecho Laboral e Interesses Metaindividuais e ações coletivas. E-mail: selmacarloto@hotmail.com inst.selmacarloto@hotmail.com © Coord. Selma Carloto EDITORA MIZUNO 2022 Revisão Técnica: Selma Carloto Nos termos da lei que resguarda os direitos autorais, é expressamente proibida a reprodução total ou parcial destes textos, inclusive a produção de apostilas, de qualquer forma ou por qualquer meio, eletrônico ou mecânico, inclusive através de processos xerográficos, reprográficos, de fotocópia ou gravação. Qualquer reprodução, mesmo que não idêntica a este material, mas que caracterize similaridade confirmada judicialmente, tam- bém sujeitará seu responsável às sanções da legislação em vigor. A violação dos direitos autorais caracteriza-se como crime incurso no art. 184 do Código Penal, assim como na Lei n. 9.610, de 19.02.1998. O conteúdo da obra é de responsabilidade dos autores. Desta forma, quaisquer medidas judiciais ou extrajudiciais concernentes ao conteúdo serão de inteira responsabilidade dos autores. Todos os direitos desta edição reservados à EDITORA MIZUNO Rua Benedito Zacariotto, 172 - Parque Alto das Palmeiras, Leme - SP, 13614-460 Correspondência: Av. 29 de Agosto, nº 90, Caixa Postal 501 - Centro, Leme - SP, 13610-210 Fone/Fax: (0XX19) 3571-0420 Visite nosso site: www.editoramizuno.com.br e-mail: atendimento@editoramizuno.com.br Impresso no Brasil Printed in Brazil Inteligência Artificial nas Relações de Trabalho. Autores Renomados: Brasil, Portugal, Espanha, Itália, Rússia e Estados Unidos. Catalogação na publicação Elaborada por Bibliotecária Janaina Ramos – CRB-8/9166 I61 Inteligência artificial nas relações de trabalho / Selma Carloto, Alberto Levi, André Kazuo, et al.; Selma Carloto (Organizadora) – Leme-SP: Mizuno, 2022. Outros autores Bruno Henrique Andrade Alvarenga Erotilde Ribeiro dos Santos Minharro Fabiano Colichio Lopes Fernanda Massote Leitão Alvarenga Francesca Columbu Francisca Ramón Fernández Irina Filipova Ivani Contini Bramante José Joaquim Fernandes Oliveira Martins José Luiz de Moura Faleiros Júnior Luciane Cardoso Barzotto Teresa Coelho Moreira Thomas Keffas Dantas Túlio de Oliveira Massoni Vivian Maria Caxambu Graminho 320 p.; 16 x 23 cm ISBN 978-65-5526-404-3 1. Direito do trabalho. I. Carloto, Selma. II. Levi, Alberto. III. Kazuo, André. IV. Carloto, Selma (Organizadora). V. Título. CDD 344 Índice para catálogo sistemático I. Direito do trabalho apresentação Esta obra traz o real conceito do que é Inteligência Artificial, aprendizado de máquina (machine learning), deep learning (aprendizado profundo) e outros tratamentos com algoritmos de inteligência artificial, incluindo-se plataformas digitais, de forma interdisciplinar, com autores internacionais e nacionais renomados, das áreas jurídica e da engenharia e os riscos aos direitos fundamentais dos trabalhadores e os medos, assim como possíveis benefícios, trazidos pelas novas tecnologias. Com esta obra, convidamos o leitor a entrar no mundo da Inteligência Artificial, do futuro que chegou e se tornou presente, com segurança, além de conhecer e aprender a legislação e posicionamentos de outros países, incluindo Portugal, Espanha, Itália, Estados Unidos e Rússia. soBre os aUtores COORDENADORA E AUTORA DA OBRA SELMA CARLOTO Autora das obras: Compliance Trabalhista; Compliance Trabalhista e a efe- tividade dos Direitos Humanos; Lei Geral de Proteção de Dados enfoque nas relações de Trabalho; Manual Prático de Adequação à Lei Geral de Pro- teção de Dados; Lei Geral de Proteçao de Dados e Segurança da Informa- cao:perguntas e respostas; coordenadora/autora da obra LGPD comentada, enfoque nas relações de trabalho. Pesquisadora da Usp, departamento de Direito Civil, de Lei Geral de Proteção de Dados. Exin Data Protection Of- ficer certifiicada. Professora convidada da Fundação Getúlio Vargas da FGV Direito Rio e dos MBAs de Gestão de Pessoas, Gestão Empresarial e Gestão Comercial da área de Direito. Professora premiada como destaque da área de Direito pela rede FGV Management, e pelo IDE, nos anos 2011, 2012, 2013 e 2014 consecutivamente, dos cursos de pós-graduação. Prêmio de destaque no MBA de Direito do Trabalho da Fgv Management Rio de 2016. Condecorada pela FGV Direito Rio com o prêmio de desempenho como docente nos cursos de pós-graduação da FGV em 2011, 2013 e 2015. Mem- bro do Instituto Nacional de Proteção de Dados. Mestre pela Universidade de São Paulo (USP). Doutoranda em engenharia da informação na Univer- sidade Federal do ABC em Inteligência Artificial. Doutorado em Direito do Trabalho na Universidade Federal de Buenos Aires (UBA). Especialista pela FADISP. Autora dos livros publicados na Argentina, Editorial Quorom, Ma- nual de Derecho Laboral e Interesses Metaindividuais e ações coletivas. E-mail: selmacarloto@hotmail.com / Instagram:@selmacarloto AUTORES ALBERTO LEVI Professor Titular de Direito do Trabalho – Universidade de Modena e de Reggio Emilia (Italia). Advogado. Autor de diversas obras. Professor da Universi- dade Estadual da República de San Marino. Professor e pesquisador uni- versitário associado pleno. Membro corres pondente a academia brasileira de Direito do Trabalho e da Academia Sul Riograndense de Direito do Trabalho do Brasil (ASRDT) Membro da Associação Italiana de Direito do Trabalho e Previdência Social. ANDRÉ KAZUO TAKAHATA André Kazuo Takahata é docente dos cursos de graduação em Engenharia de Informação e Pós-graduação em Engenharia da Informação (PPG-INF) na Fundação Universidade Federal do ABC (UFABC). Possui graduação, mestrado e doutorado em Engenharia Elétrica pela Universidade Estadual de Campinas. Atualmente ministra disciplinas ligadas à eletrônica, progra- mação e processamento de linguagem natural (PLN) na graduação e a res- peito de métodos de engenharia para aprendizado de máquina e aprendi- zado profundo. Possui trabalhos nas áreas de otimização e processamento digital de sinais nas áreas de processamento de sinais sísmicos, interfa- ce cérebro-computador e caracterização de sinais de potenciais local de campo para doença de Parkinson. Além disso, tem trabalhado com PLN com linguagem biomédica, em especial em textos científicos a respeito da COVID-19 em língua portuguesa e em voicebots para a área da saúde no Brasil. Também está orientando trabalho de doutorado a respeito de combate à discriminação em processos de recrutamento e seleção com uso de algoritmos de aprendizado de máquina. BRUNO HENRIQUE ANDRADE ALVARENGAMestre em Direito Privado pela Pontifícia Universidade Católica de Minas Gerias. Especialista em Direito Civil pela Instituto de Educação Continuada da Pontifícia Universidade Católica de Minas Gerais. Professor Universitá- rio. Autor de artigos e publicações jurídicas. Advogado. E-mail: bruno@ andradealvarenga.adv.br. EROTILDE RIBEIRO DOS SANTOS MINHARRO Juíza Titular da 2ª Vara do trabalho de São Caetano do Sul (2ª Região – São Paulo). Doutora e mestre em direito do trabalho pela Faculdade de Direito da Universidade de São Paulo. Professora de Direito Processual do Trabalho e de Compliance nas Relações Trabalhistas e Previdenciárias da Faculdade de Direito de São Bernardo do Campo. Pesquisadora do Núcleo de Pesquisa e Extensão “O Trabalho além do Direito do Trabalho” (USP). Ocupa a Cadeira 07 da Academia Brasileira de Direito da Seguridade Social. FABIANO COLICCHIO LOPES Engenheiro, palestrante e CEO, Estados Unidos, responsavel por projetos e implementação de iniciativas transformacionais e métodos de inteligen- cia artificial. M.B.A.na Darden School of Business, University of Virginia (UVA), Charlottesville, VA, especialista em Administração de Empresas pela Fundação Getulio Vargas (FGV), São Paulo, Brasil. B.S. Graduado em Engenharia Industrial pela Faculdade de Engenharia Industrial (FEI), São Bernardo do Campo, Brasil. FERNANDA MASSOTE LEITÃO ALVARENGA Advogada e sócia do escritório Araújo Massote & Moss, colunista do portal Megajuridico, conselheira da AMAT e Membro da Comissão de Direitos Sociais e Trabalhistas da OAB/MG Graduada em Direito pela Pontifícia Universidade Católica de Minas Gerais, possui MBA em Direito do Tra- balho pela Fundação Getúlio Vargas e Pós-Graduação em Novo Direito do Trabalho pela Pontifícia Universidade Católica do Rio Grande do Sul. É pós- graduanda em Direito e Compliance Trabalhista pelo IEPREV. E-mail: f.massote@ammassociados.adv.br. FRANCESCA COLUMBU Professora da Universidade Presbiteriana Mackenzie, CCT – Campinas. Doutora em Direito pela Universidade de Roma “Tor Vergata” e pela USP. Vice-presidente do Instituto Ítalo-brasileiro de Direito do Trabalho. Coor- denadora do Grupo de Pesquisa Direito, Inovação e Tecnologia – GPDIT. FRANCISCA RAMÓN FERNÁNDEZ Profesora titular de Derecho civil. Universitat Politècnica de Valéncia. Li- cenciada y Doctora en Derecho por la Universitat de València. En la actua- lidad desempeña su actividad profesional en la Universitat Politècnica de València, adscrita a la Escuela Técnica Superior de Ingeniería del Diseño (ETSID). Tiene una amplia trayectoria docente e investigadora con dis- tintas publicaciones en revistas de impacto y editoriales de reconocido prestigio. Ha sido reconocida su trayectoria investigadora con diversos Premios de Investigación. Ficha pública institucional: http://www.upv.es/fi- cha-personal/frarafer Orcid: http://orcid.org/0000-0002-0936-8229 Con- tacto: frarafer@urb.upv.es IRINA FILIPOVA PhD, Professora associada do Departamento de Direito do Trabalho e Direito Ambiental da Lobachevsky State University of Nizhny Novgo- rod, Federação Russa. Desde 2007, Irina Filipova realiza estudos jurídicos comparativos sobre as peculiaridades da regulamentação trabalhista em países europeus e na Rússia. Em 2018, ganhou o Concurso Jean Mon- net (Comissão Europeia, Erasmus +). Depois de se formar na Escola de Administração de Moscou SKOLKOVO em 2016, ela começou a estudar os problemas de mudança da regulamentação trabalhista na sociedade da informação. Em 2018, Irina Filipova estava entre os participantes do Pro- grama “Ilha 10-21”. Foi um seminário intensivo de 2 semanas para líderes de tecnologia conduzido pela Agência de Iniciativas Estratégicas do Gover- no da Rússia. Em 2019, ela se tornou a vencedora do concurso de proje- tos de pesquisa de iniciativa financiado pela Fundação Russa para Pesquisa Básica (RFBR). Título do projeto: “Mudança dos Princípios de Regulação Jurídica do Trabalho em Conexão com a Transformação das Relações de Trabalho na Economia Digital”. O projeto de pesquisa enfoca o impacto da inteligência artificial nas relações de trabalho e no direito do trabalho. Em 2020, Irina Filipova criou o primeiro curso online de russo (MOOC) “Regulamentação legal da inteligência artificial”.1 IVANI CONTINI BRAMANTE Desembargadora Federal do Trabalho. Professora da Faculdade de Direito de São Bernardo do Campo. Doutora pela PUC/SP. Especialista em Rela- ções Coletivas Comparada pela OIT/Torino/Itália. Membro da Academia Brasileira de Direito da Seguridade Social – ABDSS. Membro do Instituto 1 PhD, Associate Professor, Department of Labor Law and Environmental Law, Lobachevsky Sta- te University of Nizhny Novgorod, Russian Federation. Since 2007, Irina Filipova has been con- ducting comparative legal studies on the peculiarities of labor regulation in European countries and Russia. In 2018, she won the Jean Monnet Competition (European Commission, Eras- mus+). After graduating from the Moscow School of Management SKOLKOVO in 2016, she began to study the problems of changing labor regulation in the information society.In 2018, Irina Filipova was among the participants of the Program “Island 10-21”. It was a 2-week in- tensive seminar for technology leaders conducted by the Agency for Strategic Initiatives under the Government of Russia. In 2019, she became the winner of the competition for initiative research projects funded by the Russian Foundation for Basic Research (RFBR). Project title: “Change in the Principles of Legal Regulation of Labor in Connection with the Transformation of Labor Relations in the Digital Economy”. The research project focuses on the impact of artificial intelligence on labor relations and labor law. In 2020, Irina Filipova created the first Russian online course (MOOC) “Legal regulation of artificial intelligence”. de Pesquisa e Estudos de Direito da Seguridade Social – IPEDIS. Profes- sora convidada do Instituto Jus Gentium Conimbrigae Núcleo de Direitos Humanos da Universidade de Coimbra. Pesquisadora do Núcleo Além do Trabalho da USP/SP. Membro do Instituto Nacional de Proteção de Dados. JOSÉ JOAQUIM FERNANDES OLIVEIRA MARTINS Licenciado em Direito pela Faculdade de Direito da Universidade de Coimbra e Mestre em Direito (Pré-Bolonha), Área de Especialização de Ciências Jurídico-Criminais, pela mesma Faculdade, tendo recebido o Pré- mio Doutor Guilherme Moreira para o melhor trabalho apresentado por um aluno no decurso da licenciatura. Profissionalmente, e após ter com- pletado o estágio de advocacia, ingressou no Centro de Estudos Judiciá- rios, encontrando-se, há mais de 10 anos, a exercer funções de Juiz de Direito na jurisdição laboral e tendo sido Árbitro Presidente do Tribunal Arbitral constituído no âmbito da Lei Geral do Trabalho em Funções Pú- blicas. Foi Secretário Regional do Centro da Associação Sindical dos Juízes Portugueses, sendo atualmente membro do seu Conselho Geral e Vogal do Conselho de Administração da “Casa do Juiz”, bem como autor de vários artigos científicos, mormente nas áreas do Direito do Trabalho e do Direito Penal. JOSÉ LUIZ DE MOURA FALEIROS JÚNIOR Doutorando em Direito Civil pela Universidade de São Paulo – USP/Largo de São Francisco. Doutorando em Direito, na área de estudo ‘Direito, Tec- nologia e Inovação’, pela Universidade Federal de Minas Gerais – UFMG. Mestre e Bacharel em Direito pela Universidade Federal de Uberlândia – UFU. Membro do Instituto Avançado de Proteção de Dados – IAPD e do Instituto Brasileiro de Estudos de Responsabilidade Civil – IBERC. Ad- vogado. E-mail: jfaleiros@usp.br Doutorando em Direito Civil pela Universidade de São Paulo – USP/Largo LUCIANE CARDOSO BARZOTTO Mestre em Direito pela Universidade do Vale do Rio dos Sinos (UNISI- NOS). Doutora em Direito pela Universidade Federal do Paraná (UFPR). Professora adjunta da Universidade Federal do Rio Grande do Sul e Pro- fessora do PPGDir Mestrado e Doutorado (UFRGS). Desembargadorado Tribunal Regional do Trabalho da 4ª Região. TERESA COELHO MOREIRA Doutora em Direito. Professora Auxiliar com Agregação da Escola de Di- reito da Universidade do Minho. Membro integrado do JusGov – Centro de Investigação em Justiça e Governação e Coordenadora do Grupo de Investigação em Direitos Humanos do mesmo. Vice-Presidente da Dire- ção da APODIT – Associação Portuguesa de Direito do Trabalho. Coor- denadora científica do Livro Verde sobre o Futuro do Trabalho. tmoreira@ direito.uminho.pt THOMAS KEFFAS DANTAS Doutorando em Direito Comercial pela Universidade de São Paulo. Mes- tre em Direito Constitucional pela Universidade Federal do Rio Grande do Norte. Graduado em Direito pela Universidade Federal do Rio Grande do Norte. Professor de Direito Constitucional, Direito Econômico, Direito Empresarial. Coordenador do Curso de Direito das Faculdades Integra- das Campos Salles. Membro do Grupo de Estudos em Direito Civil da Sociedade em Rede – USP. Membro do Grupo de Estudos em Direito e Desenvolvimento – UFRN TÚLIO DE OLIVEIRA MASSONI. Doutor em Direito do Trabalho pela USP. Bacharel em Ciências Sociais pela USP – FFLCH. Professor de Direito do Trabalho da UNIFESP – Universi- dade Federal de São Paulo. Vice-presidente do Instituto Ítalo-brasileiro de Direito do Trabalho. Professor convidado nos cursos de Pós-Graduação da PUC-COGEAE e outras. VIVIAN MARIA CAXAMBU GRAMINHO Mestre em Direito pela Universidade do Extremo Sul Catarinense – UNESC. Doutoranda em Direito pela Universidade Federal do Rio Gran- de do Sul – UFRGS. Advogada inscrita na OAB/PR nº 44.053. sUMÁrIo ARTIGOS DE AUTORES BRASILEIROS AUDITORIA PARA DETECÇÃO DE VIESES DISCRIMINATÓRIOS EM MÉTODOS DE MACHINE LEARNING ..................................................... 17 SElMA CARlOTO | ANDRÉ KAzUO TAKAhATA DESMISTIFICANDO A AUTOMAÇÃO DE ESCRITÓRIO E A INTElIGÊNCIA ARTIFICIAl ............................................................................................................... 34 FABIANO COlICChIO lOPES OS PROBlEMAS DA PROTEÇÃO JURÍDICA DO SOFTWARE: 10 ANOS DEPOIS ......................................................................................................... 49 ThOMAS KEFFAS DANTAS INTElIGÊNCIA ARTIFICIAl NA JUSTIÇA BRASIlEIRA ........................ 62 EROTIlDE RIBEIRO DOS SANTOS MINhARRO lGPD, DIREITOS FUNDAMENTAIS E INTElIGÊNCIA ARTIFICIAl: IMPACTOS NAS RElAÇÕES DE TRABAlhO ............................................ 80 lUCIANE CARDOSO BARzOTTO | VIVIAN MARIA CAxAMBU GRAMINhO INTElIGÊNCIA ARTIFICIAl. O FUTURO DO TRABAlhO E O TRA- BAlhO DO FUTURO ............................................................................................ 99 IVANI CONTINI BRAMANTE INOVAÇÕES TECNOlÓGICAS: CAMINhO PARA O FIM DO TRABAlhO? 124 BRUNO hENRIqUE ANDRADE AlVARENGA SINDICATOS, GERENCIAMENTO AlGORÍTMICO NAS PlATA- FORMAS DIGITAIS E DIREITO À INFORMAÇÃO ...................................... 137 FRANCESCA COlUMBU | TúlIO DE OlIVEIRA MASSONI PERSPECTIVAS SOBRE VIGIlÂNCIA E PRIVACIDADE NO CONTExTO lABORAl REMOTO: AlGUMAS REFlExÕES qUANTO AO “B.Y.O.D.” E AO TElETRABAlhO .............................................................................................. 186 JOSÉ lUIz DE MOURA FAlEIROS JúNIOR O USO DA TECNOlOGIA BLOCKCHAIN COMO PROVA ....................... 200 FERNANDA MASSOTE lEITÃO AlVARENGA ARTIGOS DE AUTORES PORTUGUESES A DISCRIMINAÇÃO AlGORÍTMICA ............................................................... 219 TERESA COElhO MOREIRA DIREITO E PROCESSO DO TRABAlhO E INTElIGÊNCIA ARTIFICIAl (PRIMEIRAS REFlExÕES A PARTIR DO DIREITO PORTUGUÊS) ......... 235 JOSÉ JOAqUIM FERNANDES OlIVEIRA MARTINS ARTIGO DE AUTOR ITALIAnO A PLATFORM ECONOMY E OS REFlExOS NA FISIONOMIA DA FIGURA PATRONAl ............................................................................................................... 261 AlBERTO lEVI ARTIGO DE AUTORA ESPAnhOLA PlATAFORMAS DIGITAIS, PROTEÇÃO DE DADOS, INTElIGÊNCIA ARTIFICIAl E DIREITOS NAS RElAÇÕES DE TRABAlhO: UMA PERSPECTIVA ESPANhOlA ............................................................................. 273 FRANCISCA RAMÓN FERNáNDEz. ARTIGO DE AUTORA RUSSA IMPACTO DA INTElIGÊNCIA ARTIFICIAl NAS RElAÇÕES DE TRABAlhO: UMA ExPERIENCIA RUSSA ................................................... 303 IRINA FIlIPOVA ARTIGOS DE AUTORES BRASILEIROS AUDITORIA PARA DETECÇÃO DE VIESES DISCRIMINATÓRIOS EM MÉTODOS DE MACHINE LEARNING SElMA CARlOTO1 ANDRÉ KAzUO TAKAhATA2 1 Introdução Um dos dilemas éticos mais complexos e que gera atualmente inten- sa preocupação é a proteção à privacidade e a outros direitos fundamentais dos trabalhadores, diante da utilização massiva de novas e cada vez mais 1 Autora das obras: Compliance Trabalhista; Compliance Trabalhista e a efetividade dos Direitos Humanos; Lei Geral de Proteção de Dados enfoque nas relações de Trabalho; Manual Prático de Adequação à Lei Geral de Proteção de Dados; Lei Geral de Proteçao de Dados e Segurança da Informacão: perguntas e respostas; coordenadora/autora da obra LGPD comentada, enfoque nas relações de trabalho. Pesquisadora da Usp, departa- mento de Direito Civil, de Lei Geral de Proteção de Dados. Exin Data Protection Officer certifiicada. Professora convidada da Fundação Getúlio Vargas da FGV Direito Rio e dos MBAs de Gestão de Pessoas, Gestão Empresarial e Gestão Comercial da área de Direito. Professora premiada como destaque da área de Direito pela rede FGV Management, e pelo IDE, nos anos 2011, 2012, 2013 e 2014 consecutivamente, dos cursos de pós-gra- duação. Prêmio de destaque no MBA de Direito do Trabalho da Fgv Management Rio de 2016. Condecorada pela FGV Direito Rio com o prêmio de desempenho como docente nos cursos de pós-graduação da FGV em 2011, 2013 e 2015. Membro do Instituto Na- cional de Proteção de Dados. Mestre pela Universidade de São Paulo (USP). Doutoranda em engenharia da informação na Universidade Federal do ABC em Inteligência Artificial. Doutorado em Direito do Trabalho na Universidade Federal de Buenos Aires (UBA). Especialista pela FADISP. Autora dos livros publicados na Argentina, Editorial Quorom, Manual de Derecho Laboral e Interesses Metaindividuais e ações coletivas. 2 André Kazuo Takahata é docente dos cursos de graduação em Engenharia de Informação e Pós-graduação em Engenharia da Informação (PPG-INF) na Fundação Universidade Federal do ABC (UFABC). Possui graduação, mestrado e doutorado em Engenharia Elé- trica pela Universidade Estadual de Campinas. Atualmente ministra disciplinas ligadas à eletrônica, programação e processamento de linguagem natural (PLN) na graduação e a respeito de métodos de engenharia para aprendizado de máquina e aprendizado profun- do. Possui trabalhos nas áreas de otimização e processamento digital de sinais nas áreas de processamento de sinais sísmicos, interface cérebro-computador e caracterização de sinais de potenciais local de campo para doença de Parkinson. Além disso, tem trabalha- do com PLN com linguagem biomédica, em especial em textos científicos a respeito da COVID-19 em língua portuguesa e em voicebots para a área da saúde no Brasil. Também está orientando trabalho de doutorado a respeito de combate à discriminação em pro- cessos de recrutamento e seleção com uso de algoritmos de aprendizado de máquina. 18 INTELIGÊNCIA ARTIFICIAL NAS RELAÇÕES DE TRABALHO AUTORES RENOMADOS: BRASIL, PORTUGAL, ESPANHA, ITÁLIA, RÚSSIA E ESTADOS UNIDOS invasivas e avançadas tecnologias digitais pelas empresas, que surgem no atual cenário de big data, principalmente durante a pandemia, o que au- mentou a necessidade do contato digital entre pessoas e nas empresas, com isolamento social. Já existem empresas que utilizam microchips sob a pele dos trabalhadores, o que pode ser considerado uma nova e verdadei- ra “escravidão eletrônica”, marcada pelos avanços tecnológicos. O que parecia um sonho do futuro inalcançável, transformou-se emrealidade, em busca de maior produtividade e efetividade. Na realização de tarefas, as empresas passaram a utilizar robôs e algoritmos de Inteligên- cia Artificial, mas estes nem sempre são, como aqueles que sempre ima- ginamos e vimos em filmes de ficção científica, em formato humanoide. Como humanos, todos os dias, sem avaliar as etapas destes proces- sos, reconhecemos rostos, identificamos objetos e vozes, o som particular de um instrumento musical, o que fazemos desde a que nascemos, desde a infância, de forma totalmente imperceptivel. Estas são tarefas que apredemos de forma natural, sem necessidade de criação de um programa, quando conhecemos o rosto terno de nossa mãe, a família e aprendemos a sorrir e com o tempo a falar, mas estas ta- refas serão tão fáceis e singelas para um robô? Em um mundo cada vez mais tecnológico e digital permeado por mentes inteligentes e computacionais e do outro lado máquinas que imi- tam os processos própios do ser humano e a inteligência humana, sendo chamadas de máquinas de inteligência artificial, passam a ser criados algo- ritmos, cada vez mais avançados, além de novos métodos, ou softwares de inteligência artificial. Um algoritmo é um conjunto de instruções e pode ser ou não de inteligência artificial. Um programa é um conjunto de instruções, ou ope- rações, que processam dados iniciais, o qual poderá ter como sinônimo o algoritmo, incluindo a transformação de dados, naquilo que é almejado. Se falamos, por exemplo, de reconhecimento facial, processo pró- prio e natural em um ser humano, um programa de inteligência artificial passa a analisar as amostras de imagens de rostos, podendo capturar e identificar um padrão específico de um rosto e reconhecer até um rosto de alguém particular, dependo da tecnologia . O direito à privacidade renasce num cenário de novos tempos da tecnologia digital, como resposta, aos ataques e às consequências sofridas pelos trabalhadores, principalmente com a utilização de algoritmos de in- teligência artificial e outras novas tecnologias, que permitem a invasão da privacidade e práticas discriminatórias em prejuízos dos trabalhadores. 19 AUDITORIA PARA DETECÇÃO DE VIESES DISCRIMInATÓRIOS EM MÉTODOS DE MAChInE LEARnInG Selma Carloto | André Kazuo Takahata O aumento do uso de novas tecnologias resulta na crise do direito do trabalhado, da necessidade do uso ético das novas tecnologias. O Di- reito do Trabalho é um direito fundamental, que se encontra cada vez mais ameaçado pelo uso de tecnologias mais baratas que o custo do trabalhador para as empresas e que os controlam e as substituem, dominam esse novo cenário de busca incessante do lucro por parte do poder econômico das empresas. Os robôs não dormem, não precisam de férias e nem possuem direitos trabalhistas. A inteligência artificial cerca nosso dia-a-dia e os algoritmos de apren- dizado de máquina aprendem e reconhecem padrões em dados existentes e os aplicam a novas instâncias para replicar rapidamente o que lhes foi ensinado. Por um lado temos a redução do fator de erro humano e a ace- leração de processos, levando-se menos de um segundo para que uma de- cisão que um um trabalhador humano levaria e tomaria após várias horas. Ao montarmos um algoritmo, dividimos o problema apresentado, em três fases fundamentais representadas na figura 1. Entrada: corresponde aos dados de entrada do algoritmo. Processamento: são os procedimentos utilizados para se alcançar um resultado final. Saída: são os dados já processados. Figura 1:algoritmo- fases 20 INTELIGÊNCIA ARTIFICIAL NAS RELAÇÕES DE TRABALHO AUTORES RENOMADOS: BRASIL, PORTUGAL, ESPANHA, ITÁLIA, RÚSSIA E ESTADOS UNIDOS A informática nasceu inicialmente para auxiliar os homens em tarefas rotineiras e repetitivas e a Inteligência Artificial (IA), que inclui estatística, cálculo e programação também é muito bem-vinda na eliminação destas tarefas, principalmente, mas não apenas, aquelas repetitivas e mais pesadas para os seres humanos. Ocorre que podemos nos deparar com vieses discriminatórios oriundos de esteriótipos. Um algoritmo que concede um salário mais alto a um empregado homem do que a uma mulher terá viés discriminatório sexista, assim como aquele que priorize ou elimine homens ou mulheres, mais jovens, ou idosos, terá viés por idade. Este fato pode ocorrer, pois quando treinados, com dados históricos anteriores, de seleções para determinados ofícios, ou em uma leitura apenas estatística, estes algoritmos poderão privilegiar os homens às mulheres, apenas em decorrência destes serem prevalentes em determinadas tarefas ou trabalhos, mas muitas vezes o treinamento da máquina pode ser fruto de preconceitos inerentes aos homens e à sociedade e que são levados às máquinas que estão aprendendo com aqueles. Se quem a treina discrimina a mesma irá discriminar de forma mais intensa. Desta forma, urge a existência de algoritmos que aproximam o diálogo das ciências exatas com o Direito. Em recente estudo de 2021, que resultou no artigo de (BANDY, 2021) Problematic Machine Behavior: A Systematic Literature Review of Algorithm Audits, Northwestern University, USA é ressaltada a importância de um sof- tware para auditar métodos de IA e sua importância pública, sendo des- tacado que existem ainda poucos estudos a respeito, não obstante a im- portância atual do tema com a utilização e criação de novas tecnologias de forma cada vez mais intensa. Nesse trabalho, os estudos são sintetizados e organizados principalmente por comportamento, incluindo discriminação, distorção, exploração e erro de julgamento, com códigos também forne- cidos para o domínio e organização, como, por exemplo, em grandes em- presas, como o Google, Facebook, Amazon, entre outras e os métodos de auditoria, por exemplo, fantoche de meia, scrape direto, crowdsourcing, etc. A revisão mostra como os estudos de auditoria anteriores expuseram o contato com o público e algoritmos que exibem comportamento pro- blemático, como algoritmos de pesquisa culpados de discriminação. Os estudos revisados também sugerem alguns comportamentos, incluindo-se discriminação com base em identidades intersetoriais, domí- nios, como algoritmos de publicidade, métodos de auditoria de código em organizações como Twitter, TikTok e LinkedIn, os quais exigem atenção de 21 AUDITORIA PARA DETECÇÃO DE VIESES DISCRIMInATÓRIOS EM MÉTODOS DE MAChInE LEARnInG Selma Carloto | André Kazuo Takahata uma auditoria futura. O trabalho é concluido oferecendo os ingredientes comuns de auditorias bem-sucedidas e discutindo a auditoria de algoritmo no contexto de pesquisa mais ampla trabalhando em direção à justiça al- gorítmica. (BANDY, 2021) Nesse contexto, cabe-se ressaltar que um comportamento é dito problemático quando causa dano, ou dano potencial. Destaca-se no con- texto brasileiro que estes aspectos são abordados, nos termos da recente Lei Geral de Proteção de Dados (LGPD), que entrou em vigor final de 2020, seguida das sanções da Autoridade Nacional de Proteção de Dados (ANPD), a partir de agosto passado de 2021, a qual poderá auditar es- tes aspectos discriminatórios e impor altas sanções, em decorrência desta desconformidade, já que existe lesão aos direitos de personalidade, sendo que a presente legislação, assim como a Constituição Federal, se preo- cupam e protegem o dano não apenas físico, mas o moral ou extrapatri- monial, que poderá trazer consequências muito mais graves ao cidadão, à pessoa natural, na linguagem dos direitos humanos e ao homem, (que inclui homens e mulheres), na linguagem geral. O tema é de alta relevância, já que é ainda muito pouco explorado, com pesquisas ainda escassas e hoje o mundo é movido por tecnologias de inteligência artificial, cada vez mais utilizadas, além de ter sido previsto exatamente pela recente legislação de proteção de dados do Brasil que as máquinas poderão ser auditadas por máquinas e ainda, caso remanes- centes aspectos discriminatórios que a AutoridadeNacional de Proteção de Dados poderá auditar as novas tecnologias e aplicar elevadas sanções a quem estiver em desacordo ou desconformidade, utilizando-se de méto- dos automatizados para discriminar em desrespeito à privacidade e outros direitos fundamentais. Este tema é interdisciplinar, sendo a Inteligência Artificial uma das áreas da ciência mais interdisciplinares e como a ciência jurídica não é ma- temática e estamos falando de valores humanos, princípios, a tecnologia terá de ir além de um modelo preditivo de prognósticos ou regressão. Devemos assegurar que os direitos fundamentais e humanos das pessoas naturais não sejam lesados e afastados por meio de novas tecnologias e passa a ser urgente, neste novo cenário, a criação de uma nova tecnologia para auditar estes aspectos, que têm trazido cada vez mais lesão, prin- cipalmente estes dois últimos anos e que agora poderão e deverão ser auditados por determinação legal. O aprendizado de máquina, a partir de um conjunto de dados, poderá reforçar estereótipos, induzindo vieses, discriminando e repetindo pre- conceitos anteriores, mas muitas vezes uma região poderá ter mais homens, 22 INTELIGÊNCIA ARTIFICIAL NAS RELAÇÕES DE TRABALHO AUTORES RENOMADOS: BRASIL, PORTUGAL, ESPANHA, ITÁLIA, RÚSSIA E ESTADOS UNIDOS mulheres, brancos, negros, o que poderia influenciar no aprendizado da máquina que poderá discriminar em razão de idade, gênero, origem racial, entre outros, já que ela é como uma criança que aprende o que lhe ensinam. O controlador, ou responsável, deverá fornecer, nos termos da Lei Geral de Proteção de Dados, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, ou oriunda de métodos de inteligência artificial e em caso de não oferecimento destas informações por aquele, observan- do-se o segredo comercial e industrial, a Autoridade Nacional de Proteção de Dados poderá realizar auditoria para verificação de aspectos discrimi- natórios em tratamento automatizado de dados pessoais. No aspecto jurídico, uma das problemáticas da machine learning é a possibilidade de tratamento diferenciado, de uma discriminação negativa do titular de dados, que, automaticamente, ofenderia diretamente a Lei Geral de Proteção de Dados. O artigo 6, que traz os princípios da Lei Ge- ral de Proteção de Dados, inciso IX, da LGPD, reza: “IX - não discrimina- ção: impossibilidade de realização do tratamento para fins discriminatórios ilícitos ou abusivos.” (BRASIL. Lei 13.709, 2018) Ao tratarmos dados sensíveis, adotando uma das bases legais do ar- tigo 11 da Lei 13.709/2018 (LGPD), estamos diante de uma prática lícita, mas desde que o tratamento não inclua vieses discriminatórios, uma vez, que, devemos atender sempre o princípio da boa-fé e os demais princípios da Lei Geral de Proteção de Dados, previstos no artigo 6º e que incluem não apenas a finalidade, adequação, necessidade, que, no Brasil, equiva- le à minimização no Regulamento Geral de Proteção de Dados (RGPD), da União Europeia, como a transparência, prevenção, segurança, qualida- de de dados, livre acesso, responsabilidade e prestação de contas, assim como o princípio da não discriminação. Estes 10 princípios deverão estar sempre concomitantemente presentes em todos os tratamentos de dados ou teremos uma desconformidade à Lei Geral de Proteção de Dados. A discriminação positiva, ou real, para corrigir desigualdades, medi- da de correção de assimetrias e forma de justiça distributiva, protegendo minorias, não é vetada pela LGPD, mas a discriminação negativa ofende um dos princípios basilares da LGPD, o da não discriminação para fins ilícitos ou abusivos. Sempre que estivermos diante de vieses preconceituosos, em pro- cesso seletivo, ou em outras atividades de tratamento, passamos a enfren- tar práticas discriminatórias de dados sensíveis por algoritmos e a empresa 23 AUDITORIA PARA DETECÇÃO DE VIESES DISCRIMInATÓRIOS EM MÉTODOS DE MAChInE LEARnInG Selma Carloto | André Kazuo Takahata será responsável por esta prática, já que o risco é potencializado em trata- mentos automatizados e o risco da atividade econômica é do empregador, que assumiu o risco de discriminar. Outra questão a analisar ainda, o robô poderá será equiparado a um empregado, ou preposto do empregador, ainda que uma máquina ape- nas dotada de Inteligência Artificial? Será que o robô apenas reforçou o esteriótipo já existente, que se potencializou eliminando um grupo com histórico discriminatório? Ou foi o empregado que inseriu os dados de treinamento, ou que realizou esta atividade de tratamento, com dados que foram inseridos no treinamento de máquina, ou machine learning, que sempre discriminou e ensinou a máquina a discriminar? Nos termos do artigo 932 do Código Civil: “são também responsáveis pela reparação civil: (…) “III - o empregador ou comitente, por seus empre- gados, serviçais e prepostos, no exercício do trabalho que lhes competir, ou em razão dele.” (BRASIL. Lei 10.406, 2002) 2 lei Geral de Proteção de Dados Preocupado com os aspectos discriminatórios, que poderão ser re- forçados e constatados em atividades de tratamento por meio de inteli- gência artificial, o legislador incluiu o artigo 20 da Lei geral de Proteção de Dados, o qual dispõe sobre os aspectos discriminatórios decorrentes de tratamentos em métodos de Inteligência Artificial em relações em geral, trabalhistas, corporativas, de consumo e crédito, sempre que envolvida lesão a direitos de personalidade: Art. 20. O titular dos dados tem direito a solicitar a revisão de decisões tomadas unicamente com base em tratamento au- tomatizado de dados pessoais que afetem seus interesses, inclu- ídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade. (Re- dação dada pela Lei nº 13.853, de 2019) Vigência § 1º O controlador deverá fornecer, sempre que solicitadas, in- formações claras e adequadas a respeito dos critérios e dos pro- cedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial. § 2º Em caso de não oferecimento de informações de que trata o § 1º deste artigo baseado na observância de segredo comercial e industrial, a autoridade nacional poderá realizar auditoria para verificação de aspectos discriminatórios em tratamento au- tomatizado de dados pessoais.” (BRASIL. Lei 13.709, 2018) (des- taques nossos) 24 INTELIGÊNCIA ARTIFICIAL NAS RELAÇÕES DE TRABALHO AUTORES RENOMADOS: BRASIL, PORTUGAL, ESPANHA, ITÁLIA, RÚSSIA E ESTADOS UNIDOS Com base neste dispositivo garante-se a possibilidade de revisão de decisões tomadas unicamente com base em tratamento automatizado de dados pessoais e que afetem os seus interesses. Na União Europeia, o artigo 22 Regulamento Geral de Proteção de Dados traz a necessidade de revisão destas atividades de tratamento de dados por métodos de Inteli- gência Artificial, por pessoa natural, mas o mesmo não foi repetido pela legislação nacional, podendo máquinas revisar aspectos discriminatórios de máquinas. 3 Autoridade Nacional de Proteção de Dados Em consequência surgem em grande massa situações de titulares de dados não satisfeitos e sentindo-se lesados, os quais poderão, não apenas ajuizar ações individuais, mas denunciar estas práticas ilícitas à ANPD, órgão vinculado ao governo que tem por função regular alguns institutos da LGPD, no Brasil, assim como auditar e aplicar sanções que poderão alcançar o pata- mar de 50 (cinquenta milhões de reais) por infração: “Art. 52. Os agentes de tratamento de dados, em razão das infrações cometidas às normas previstas nesta Lei, ficam sujeitos às seguintes sanções administrativas aplicáveis pela autoridade nacional: (Vigência) I - advertência, com indicação de prazo para adoção de medidas corretivas; II - multa simples, de até 2% (dois por cento) do faturamento da pessoa jurídica de direito privado,grupo ou conglomerado no Brasil no seu último exercício, excluídos os tributos, limitada, no total, a R$ 50.000.000,00 (cinquenta milhões de reais) por infração; III - multa diária, observado o limite total a que se refere o inciso II; IV - publicização da infração após devidamente apurada e confirma- da a sua ocorrência; V - bloqueio dos dados pessoais a que se refere a infração até a sua regularização; VI - eliminação dos dados pessoais a que se refere a infração” (BRA- SIL. Lei 13.709, 2018) Não podemos nos esquecer da possibilidade de ações civis públi- cas por parte de entidades legitimadas, nos termos da Lei de Ação Civil Pública e mesmo de ações coletivas nos termos do Código de Defesa ao Consumidor. Nos termos do artigo 20 da Lei Geral de Proteção de Dadso, po- derá a ANPD realizar uma auditoria para verificação de aspectos discri- minatórios em tratamento automatizado e por meio de outro método de Inteligência Artificial. 25 AUDITORIA PARA DETECÇÃO DE VIESES DISCRIMInATÓRIOS EM MÉTODOS DE MAChInE LEARnInG Selma Carloto | André Kazuo Takahata Wilson, 2021, destaca que é complexo para o desenvolvedor se en- volver concomitantemente com as facetas sociais e jurídicas de “justiça” e a dificuldade de desenvolver um software que concretize estes valores e passar por uma auditoria de algoritmo independente para garantir a corre- ção técnica e a responsabilidade social de seus algoritmos. “Academics, activists, and regulators are increasingly urging compa- nies to develop and deploy sociotechnical systems that are fair and un- biased. Achieving this goal, however, is complex: the developer must (1) deeply engage with social and legal facets of “fairness” in a given context, (2) develop software that concretizes these values, and (3) undergo an independent algorithm audit to ensure technical cor- rectness and social accountability of their algorithms. To date, there are few examples of companies that have transparently undertaken all three steps.” (WILSON et al. 2021) 4 Vieses Algorítmicos em Métodos de Machine Learning As preocupações vêm se acentuando cada vez mais com a crescente utilização e adoção de métodos de machine learning. A adoção de técnicas de machine learning na contratação é extremamente controversa e impul- sionada por preconceitos humanos, um problema antigo, mas com conse- quências atuais, já que atualmente as empresas passaram a utilizar-se, cada dia mais, destas novas tecnologias, com uma tendência cada vez maior de automação de processos, eliminando-se custos e tempo nestes processos. A problemática maior vem sendo no uso dos métodos de machine learning (ML) em recrutamento e seleção, o que precisará ser auditado por outro software, como determinado pela LGPD e em última instância, não sendo eliminados estes aspectos, a própria ANPD, vinculada ao governo, deverá possuir uma nova tecnologia, para auditar as empresas que desres- peitem as normas de proteção de dados. Não há razão de assumir-se, a priori, que os sistemas de ML sem domínio de contratação serão automaticamente “objetivos”, “neutros” ou “livres de preconceitos”. (WILSON et al. 2021) 5 Estudo de Casos 5.1 Pymetrics Existem algumas empresas que têm realizado as etapas anteriormen- te abordadas, envolvendo questões sociais e jurídicas, com a concretização de 26 INTELIGÊNCIA ARTIFICIAL NAS RELAÇÕES DE TRABALHO AUTORES RENOMADOS: BRASIL, PORTUGAL, ESPANHA, ITÁLIA, RÚSSIA E ESTADOS UNIDOS valores, passando por uma auditoria de algoritmos independentes e éticos para garantir a correção técnica e a responsabilidade social de seus algo- ritmos. Como exemplo, trazemos a Pymetrics, uma startup que oferece um serviço de triagem de candidatos, na avaliação pré-emprego, para os empregadores, com base em dados e aprendizado de máquina. A pyme- trics proativamente elimina os aspectos discriminatórios da machine lear- ning, antes da implantação, para cumprir com as normas e diretrizes sobre Procedimentos de Seleção de Empregados. A auditoria pode ser interna ou externa, a primeira conduzida por empregados e a segunda por espe- cialistas externos. Neste caso, esta se trata de uma auditoria externa, mas com a facilidade de acesso ao código fonte, o qual contem os algoritmos de tratamento. (WILSON et al. 2021) Com relação ao processo, apresentaram a auditoria cooperativa como uma estrutura para auditores de algoritmos externos para auditar os sistemas de empresas privadas dispostas. (WILSON et al. 2021) As auditorias externas sempre são muito importantes para as em- presas eliminarem aspectos discriminatórios e não correrem risco de uma auditoria embasada na própria norma de proteção de dados do Brasil, pelo governo, podendo evitar as altas sanções anteriormente mencionadas da Autoridade Nacional de Proteção de Dados. 5.2 Redes Neurais Profundas A aprendizagem profunda, em inglês Deep Learning, consiste em um ramo de aprendizado de máquina que é baseado em algoritmos que tentam modelar abstrações de alto nível de dados e os quais se utilizam de um grafo profundo, o qual possui diversas camadas de processamento, sendo as mesmas compostas por várias transformações lineares e não lineares. No artigo Mitigating Algorithmic Bias: Evolving an Augmentation Policy that is Non-Biasing (SMITH, Philip; RICANEK, 2020) os autores destacam que o aprendizado profundo tem se mostrado eficaz para uma ampla va- riedade de circunstâncias anteriormente apenas superadas por humanos. Lembre-se que IA é uma área da Ciência da Computação que objetiva replicar habilidades próprias da inteligência humana em computadores. As redes neurais profundas (DNNs) foram aplicadas a uma infinida- de de tecnologias emergentes, como veículos autônomos, moderação de conteúdo automatizado, sistemas de detecção de intrusão e muitas apli- cações de DNNs, que se concentram na capacidade de compreender os seres humanos. Os estudos sobre a análise de sentimento, reconhecimento 27 AUDITORIA PARA DETECÇÃO DE VIESES DISCRIMInATÓRIOS EM MÉTODOS DE MAChInE LEARnInG Selma Carloto | André Kazuo Takahata de fala e o processamento de linguagem natural demonstram avanços promissores em direção a este objetivo. Não obstante alguns bons resultados, deparamo-nos no problema de que se o conjunto de dados, que costumavam treinar uma rede neural é tendencioso, então o modelo resultante também será tendencioso. Ao considerar a idade e estimativa de gênero, o viés algorítmico pode surgir devido a grupos não representados na população. Alguns subgrupos podem ser mais difíceis de identificar, o que exigiria mais dados, ou um modelo mais robusto para se obter resultados imparciais. Restou provado que o aumento de dados escolhidos, como estratégia, diminui o erro, mas também pode aumentá-lo, não sendo ainda a solução. Logo, a aplicação de políticas de aumento de dados foi mostrada para re- duzir o erro em uma quantidade significativa, mas se por um lado poderá diminuir vieses para conjunto de dados maior, poderá também piorar para um conjunto de dados menor. Os resultados deste trabalho mostram que vieses em um método de IA poderão ser reduzidos sem sacrificar o desempenho do modelo. Na ver- dade, o desempenho aumentou para quase todos subgrupos isolados. Os resultados foram obtidos por gênero e idade no conjunto de dados MOR- PH-II, e resultados para o conjuntos de dados IMDB e Wiki são relatados pela primeira vez com a finalidade de dar uma ideia de desempenho geral. Executar o algoritmo avaliando centenas de modelos é um processo caro, podendo ser solução, segundo o artigo, mas o que ainda não é conclusivo. 5.3 Auditar um Algoritmo como Método de Pesquisa No artigo Problematic Machine Behavior: A Systematic Literature Re- view of Algorithm Audits (BANDY, 2021), afirma-se que, auditar um algorit- mo, tornou-se um método de pesquisa importante para diagnosticar com- portamentos problemáticos em sistemas algorítmicos e se questiona ainda se os algoritmos de publicidade direcionadafacilitam a discriminação? Se algoritmos de recomendação do YouTube elevam os vídeos extremistas? Se algoritmos de reconhecimento facial têm pior desempenho em mulheres de pele mais escura? E as questões continuam a se multiplicar à medida que os algoritmos ganham mais força e são cada vez mais utilizados na sociedade. Destaca-se neste artigo que apesar da crescente importância públi- ca das auditorias de algoritmos, as quais abordam o presente problema da constatação de vieses discriminatórios, relativamente pouco trabalho foi 28 INTELIGÊNCIA ARTIFICIAL NAS RELAÇÕES DE TRABALHO AUTORES RENOMADOS: BRASIL, PORTUGAL, ESPANHA, ITÁLIA, RÚSSIA E ESTADOS UNIDOS feito para esclarecer a trajetória passada e a agenda futura de auditoria de algoritmos. Revisões sistemáticas da literatura têm sido uma parte impor- tante da pesquisa da ciência da computação e que ajudam na identificação de lacunas existentes. O artigo conduziu um SLR de escopo de auditorias de algoritmo, rastreando mais de 500 artigos de uma variedade de jornais e conferências. Foram identificados comportamentos de máquina proble- máticos que ajudam a organizar este trabalho, bem como a criar estraté- gias para trabalhos futuros. Foram identificados quatro tipos principais de comportamento pro- blemático em sistemas algorítmicos: a discriminação, distorção, explora- ção e erro de julgamento, sendo a maioria dos estudos revisados focados na discriminação (N = 21) ou distorção (N = 29). Os estudos de auditoria também deram mais atenção a algoritmos de pesquisa (N = 25), algorit- mos de publicidade (N = 12) e algoritmos de recomendação (N = 8), o que ajudou a diagnosticar uma série de comportamentos problemáticos nesses sistemas. A revisão sistemática mencionada demonstrou que as auditorias de al- goritmos diagnosticaram uma série de máquinas problemáticas, com discri- minação algorítmica acentuada, concentrada em algoritmos de publicidade e distorção em algoritmos de pesquisa. Estes estudos fornecem evidências empíricas de que os danos públicos dos sistemas algorítmicos atuam em sistemas públicos do mundo real afetando milhões de pessoas. Esta revi- são também sugeriu que algumas áreas já estão prontas para futuras audi- torias de algoritmos, incluindo o tratamento discriminatório, em termos de identidades intersetoriais, explorando ainda mais algoritmos de publicidade que são a espinha dorsal econômica de grandes empresas de tecnologia, e empregando métodos como auditoria de código. Sugere-se que algumas empresas merecem maior atencão e que as futuras auditorias continuem a examinar algoritmos voltados para o público, concentrando-se em compor- tamento problemático, incluindo principalmente os vieses discriminatórios. 5.4 Algoritmos Pré-Emprego No estudo do artigo Mitigating Bias in Algorithmic Hiring: Evalua- ting Claims and Practices Manish (RAGHAVAN; BAROCAS; KLEINBERG; LEVY, 2021) pode-se constatar o interesse crescente na utilização de algo- ritmos de recrutamento. Neste artigo, foram documentadas e analisadas as reivindicações e práticas de empresas que oferecem algoritmos para avaliação de empregos. 29 AUDITORIA PARA DETECÇÃO DE VIESES DISCRIMInATÓRIOS EM MÉTODOS DE MAChInE LEARnInG Selma Carloto | André Kazuo Takahata Foram identificados fornecedores de algoritmos de pré-emprego para selecionar candidatos. Foram documentados seus procedimentos de desenvolvimento e validação, e avaliadas suas práticas, com foco particular nos esforços para detecção e mitigação de vieses. Esta análise considerou os aspectos técnicos e perspectivas legais. Tecnicamente, foram conside- rados esforços para detectar e mitigar preconceitos. Foram consideradas as perspectivas legais e técnicas, em relação à coleta de dados e metas de previsão, e explorados os riscos e compensações que essas escolhas re- presentam. Também foi discutido como as técnicas de desenviesamento algorítmico se relacionam e criam desafios para a lei. Como as avaliações algorítmicas são construídas, validadas e exami- nadas para uma tendência? Neste trabalho, foram documentadas e anali- sadas as reivindicações e práticas de empresas que oferecem algoritmos para avaliação de empregos. Em particular, identificaram-se fornecedores de algoritmos de pré -emprego e avaliações (ou seja, algoritmos para selecionar candidatos), documentou-se o que eles divulgaram, seus procedimentos de desenvol- vimento e validação, e avaliaram-se suas práticas, com foco particular nos esforços para detectar e mitigar vieses. Foram considerados aspectos téc- nicos e as perspectivas legais. Tecnicamente, foram consideradas várias opções de fornecedores: de coleta de dados, de previsão e de explora- ção dos riscos e compensações que essas escolhas representam. Também se discutiram técnicas de desviesamento algorítmico que fazem interface com, e criam desafios para a lei antidiscriminação. Na presente pesquisa, foram constatados 18 fornecedores de ser- viços baseados em algoritmos de avaliações pré-emprego. Os tipos de avaliações oferecidos variam por fornecedor. Os tipos de avaliação mais populares foram perguntas (11 fornecedores), análise de entrevista de ví- deo (6 fornecedores) e jogabilidade (por exemplo,quebra-cabeças ou jo- gos de vídeo) (6 fornecedores). A maioria dos fornecedores (15) oferece avaliações personalizadas, ou personalizáveis, adaptando a avaliação aos dados específicos do cliente, ou requisitos de trabalho. Os fornecedores, em geral, deixam para os clientes determinar quais resultados eles desejam prever, incluindo, por exemplo, análise de desempenho, número de vendas e tempo de retenção. Estes determinam qual conjunto pré-determinado de competências são mais relevantes para o trabalho específico, sendo o algoritmo modelado de acordo com o soli- citado pelo cliente. 30 INTELIGÊNCIA ARTIFICIAL NAS RELAÇÕES DE TRABALHO AUTORES RENOMADOS: BRASIL, PORTUGAL, ESPANHA, ITÁLIA, RÚSSIA E ESTADOS UNIDOS Neste trabalho, foi feita uma análise aprofundada das práticas rela- cionadas a vieses de fornecedores de avaliação algorítmica e as descober- tas tiveram amplas implicações para a descoberta de sistemas algorítmicos e socioténicos e que dada à natureza sensível dos modelos construídos resta inviável a realização de uma auditoria nos moldes tradicionais e que, em termos gerais, os modelos resultam da aplicação das práticas de um fornecedor. Aprendendo sobre esta prática pode-se tirar conclusões e le- vantar questões sobre o modelo resultante. 5.5 Dependência Algorítmica e Preconceitos No artigo Bias in algorithmic decision-making (ROVATSOS; MITTELS- TADT; KOENE, 2020) verifica-se que à medida que nossas sociedades se tornam cada vez mais dependentes de algoritmos, refletindo a volta de preconceitos, em formato digital. Mas os sistemas algorítmicos que usa- mos também têm o potencial de amplificar, acentuar e sistematizar nossos vieses em uma escala sem precedentes, ao mesmo tempo que apresentam a aparência de objetivos, neutros árbitros. Este resumo da paisagem reúne a literatura e os debates em torno do viés algorítmico,os métodos e estra- tégias que podem ajudar a mitigar seu impacto, e explora quatro setores em que este fenômeno já está começando a ter consequências no mundo real - serviços financeiros, governo local, crime, justiça e recrutamento. Identificamos um estudo de caso para cada setor que pode ter consequên- cias significativas para indivíduos e grupos no Reino Unido: empréstimo algorítmico redlining, bem-estar infantil, avaliações de risco de infratores e seleção de currículos. O artigo traz, mais uma vez, as indagações e dificuldades quanto ao processo de recrutamento. No recrutamento online, os algoritmos agora são frequentemente usados para filtrar automaticamente os formulários de emprego, com base em critérios definidos, que criam uma lista restrita para recrutadores humanos, para depois os filtrar manualmente. A Unilever é um exemplo proeminente de uma empresa que está usandoalgoritmos para rastrear seus candidatos. Todos os anos, esta empresa processa mais de 1,8 milhões de pedidos de emprego e recruta mais de 30.000 trabalhadores. Eles contrataram a empresa Pymetrics, a qual é especialista em recruta- mento de IA, já mencionado no item 4.1, para criar uma plataforma online, que realiza avaliações de triagem inicial. O chefe de Recursos Humanos da empresa afirmou que, com este tratamento economizou cerca de 70.000 horas-pessoa de trabalhadores para entrevistar e avaliar candidatos. Um dos problemas potenciais com este tipo de abordagem é que os dados que eles estão usando para treinar seus algoritmos às vezes refletem 31 AUDITORIA PARA DETECÇÃO DE VIESES DISCRIMInATÓRIOS EM MÉTODOS DE MAChInE LEARnInG Selma Carloto | André Kazuo Takahata e perpetuam estereótipos arraigados e suposições sobre gênero e raça que continuam existindo até hoje. Por exemplo, um estudo descobriu que as ferramentas da PNL podem aprender a associar nomes afro-america- nos a nomes negativos e nomes femininos com trabalho doméstico, em vez de profissionais, ou outras ocupações. Outro estudo descobriu de for- ma semelhante que os sistemas treinados aprenderam a associar mulheres à família e às artes e humanidades, enquanto os homens foram associados a carreiras, matemática e ciências. 5.6 Amazon Embora esses pesquisadores observem que essas associações são precisas na medida em que refletem tendências e preconceitos do mundo real, apresentam problemas quando as empresas procuram romper com os padrões históricos de emprego, diversificando sua força de trabalho. Por exemplo, relatórios, em 2018, afirmavam que a Amazon havia interrompido o desenvolvimento de uma máquina “sexista”, uma ferramenta baseada em aprendizagem desenvolvida em seu escritório de Edimburgo para auxiliar o recrutamento interno devido a preocupações com os preconceitos de gê- nero que poderiam ser incorporados. O desenvolvimento desta ferramen- ta envolveu treinamento de até 500 modelos diferentes para reconhecer até 50.000 termos relevantes nos currículos dos candidatos, mas a empresa descobriu que pegou mais os termos que os candidatos do sexo masculino usavam em seus currículos frequentemente. Não está claro se a Amazon abandonou este projeto principalmente devido a essas preocupações, pois parece que geralmente não estava produzindo resultados. Embora o uso de métodos de IA tenha o potencial de melhorar a precisão e ser um método econômico de filtrar empregados em potencial durante o processo de recrutamento, há uma necessidade de pesquisar como os algoritmos usados desta forma podem levar a resultados diferen- tes para redes sociais e grupos étnicos. Mais uma vez, constatamos a preocupação com os aspectos discri- minatários, em recrutamento e seleção, além da necessidade de superar este problema e lembremos que a Autoridade Nacional de Proteção de Dados poderá auditar aspectos discriminatórios em métodos de IA. 6 Conclusão No presente artigo, pesquisamos os vieses discriminatórios que vêm sendo também constatados e identificados, não apenas no Brasil, como em outros países, incluindo métodos de machine learning e deep learning, com 32 INTELIGÊNCIA ARTIFICIAL NAS RELAÇÕES DE TRABALHO AUTORES RENOMADOS: BRASIL, PORTUGAL, ESPANHA, ITÁLIA, RÚSSIA E ESTADOS UNIDOS o surgimento de um arcabouço envolvendo algoritmos, ferramentas de análise e boas práticas que permitam auditar os aspectos discriminatórios das empresas privadas. Destacamos que este software também poderá ser utilizado pelo governo, para auditoria, nos termos da LGPD. Demonstrou-se a relevância e dificuldade do aprendizado supervi- sionado de máquina e o porquê há geralmente reforço dos estereótipos tecnicamente acarretando vieses discriminatórios. A justificativa de coleta de dados em um processo seletivo deverá ser mérito para uma vaga específica e a existencia da necessidade do pro- cessamento destes dados, para cada vaga, ou finalidade, devendo ser asse- gurada a privacidade por padrão, privacy by default, sub príncipio do privacy by design, em segurança da informação e devendo ser sempre garantida a proteção de dados dos titulares e consequentemente a sua privacidade, que lhe é umbilcalmente inerente. Destacamos aqui, por fim, a importância da criação de um arca- bouço técnico-jurídico para auditar os aspectos discriminatórios dos pro- gramas de recrutamento e seleção, além do papel fundamental da função fiscalizatória e de auditoria da Autoridade Nacional de Proteção de Dados, permitida pela Lei Geral de Proteção de Dados, além da criação de softwa- res de auditoria e correção em softwares e métodos de machine learning. lISTA DE SIGlAS ANPD - Autoridade Nacional de Proteção de Dados IA - Inteligência Artificial LGPD - Lei Geral de Proteção de Dados RGPD - Regulamento Geral de Proteção de Dados REFERÊNCIAS BANDY, Jack. Problematic machine behavior: a systematic literature review of algo- rithm audits. Northwestern University, USA. 2021. Disponível em: https://arxiv.org/ pdf/2102.04256.pdf. BISHOP, Christopher M. Pattern recognition and machine learning. [S.l.], 2006. BITTENCOURT, J. R.; OSÓRIO, F. Annef–artificial neural networks framework: uma solução software livre para o desenvolvimento, ensino e pesquisa de aplicações de inteligência artifi- cial multiplataforma (WSL 2001). WORKSHOP SOBRE SOFTWARE LIVRE, 2. Anais... Por- to Alegre: SBC, 2001. Disponível em: http://wsl.softwarelivre.org/2001/0004/paper4.pdf.
Compartilhar