Ética e Inovação Responsável com Dados

Prévia do material em texto

<p>Como citar este material:</p><p>KLAFKE, Guilherme Forma; FEFERBAUM, Marina. Introdução à Ética e à Inovação</p><p>Responsável com Dados. Rio de Janeiro: FGV, 2023.</p><p>Todos os direitos reservados. Textos, vídeos, sons, imagens, gráficos e demais componentes</p><p>deste material são protegidos por direitos autorais e outros direitos de propriedade intelectual, de</p><p>forma que é proibida a reprodução no todo ou em parte, sem a devida autorização.</p><p>SUMÁRIO</p><p>INTRODUÇÃO À ÉTICA E À INOVAÇÃO RESPONSÁVEL COM DADOS.............................................. 5</p><p>LÓGICA DE RISCO E RELAÇÃO COM A ÉTICA: RISCOS JURÍDICOS, TÉCNICOS E SOCIAIS ..................5</p><p>Mapa normativo da governança digital ..............................................................................................9</p><p>PRINCÍPIOS ÉTICOS PARA A IA .................................................................................................................... 12</p><p>Beneficência ........................................................................................................................................... 15</p><p>Não maleficência .................................................................................................................................. 16</p><p>Autonomia .............................................................................................................................................. 17</p><p>Justiça ...................................................................................................................................................... 18</p><p>Explicabilidade ....................................................................................................................................... 19</p><p>ELABORAÇÃO DE MATRIZ DE RISCO ......................................................................................................... 20</p><p>Requisito #1: ação e supervisão humanas ..................................................................................... 23</p><p>Requisito #2: solidez técnica e segurança....................................................................................... 24</p><p>Requisito #3: privacidade e governação dos dados ..................................................................... 25</p><p>Requisito #4: transparência ............................................................................................................... 26</p><p>Requisito #5: diversidade, não discriminação e equidade .......................................................... 27</p><p>Requisito #6: bem-estar societal e ambiental ................................................................................ 28</p><p>Requisito #7: responsabilização ........................................................................................................ 29</p><p>ESTRUTURA E INSTRUMENTOS DE GOVERNANÇA DIGITAL ................................................................ 30</p><p>Noções gerais de governança ............................................................................................................ 30</p><p>Aspectos específicos da governança digital.................................................................................... 32</p><p>Ética na governança digital ................................................................................................................. 33</p><p>REFERÊNCIAS BIBLIOGRÁFICAS ..................................................................................................... 37</p><p>PROFESSORES-AUTORES ................................................................................................................ 49</p><p>GUILHERME FORMA KLAFKE ....................................................................................................................... 49</p><p>FORMAÇÃO ACADÊMICA .................................................................................................................... 49</p><p>EXPERIÊNCIAS PROFISSIONAIS .......................................................................................................... 49</p><p>MARINA FEFERBAUM .................................................................................................................................... 50</p><p>FORMAÇÃO ACADÊMICA .................................................................................................................... 50</p><p>EXPERIÊNCIAS PROFISSIONAIS .......................................................................................................... 50</p><p>PUBLICAÇÕES ........................................................................................................................................ 50</p><p>Neste curso, apresentaremos como a governança digital pode auxiliar no enfretamento e na</p><p>mitigação dos riscos da tecnologia digital no escopo das organizações, por exemplo, entes estatais,</p><p>sociedades empresárias, associações, etc. Partimos de como e por que regular a tecnologia digital pela</p><p>lógica do risco e como isso se insere no contexto da governança digital. Seguimos os princípios basilares</p><p>de uma ética digital e a sua manifestação concreta por meio da matriz de risco da Assessment List for</p><p>Trustworthy Artificial Intelligence (Altai), isto é, Lista de Avaliação para uma Inteligência Artificial</p><p>Confiável. Por fim, como implantar um programa ético em um modelo de governança digital.</p><p>O objetivo geral deste curso é compreender como a governança digital é necessária para o</p><p>desenvolvimento ético da tecnologia digital.</p><p>Ao final deste curso, você será capaz de: compreender a lógica de risco na tecnologia digital e</p><p>na respectiva regulação; apresentar os três conjuntos do mapa normativo da governança, as suas</p><p>intersecções e relações; apresentar os cinco princípios éticos para a IA; apresentar a matriz de risco</p><p>da Altai; desenvolver a proposta de comitês de ética digital e a sua relação com a governança digital.</p><p>Lógica de risco e relação com a ética: riscos jurídicos, técnicos</p><p>e sociais</p><p>Um dos debates jurídicos que cercam o desenvolvimento de tecnologias e aplicações digitais</p><p>é a preocupação – justificável – de que o direito se torne um obstáculo à inovação em função de</p><p>um excesso de cautela. Por outro lado, utilizar uma lógica reativa do sistema jurídico para minimizar</p><p>as externalidades das inovações deixaria o direito sempre atrás do desenvolvimento tecnológico. O</p><p>ponto de equilíbrio no direito atual é a lógica do risco, já implantada na proteção de dados pessoais</p><p>e aplicável, por conseguinte, à manipulação de dados pessoais. No lado de quem realiza as</p><p>INTRODUÇÃO À ÉTICA E À INOVAÇÃO</p><p>RESPONSÁVEL COM DADOS</p><p>6</p><p>manipulações, a gestão do risco depende, em grande parte, de um sistema de governança digital. O</p><p>objetivo último é desenvolver um direito capaz de conduzir o desenvolvimento tecnológico ao invés</p><p>de persegui-lo, transformando a velocidade da inovação de um inimigo para um aliado:</p><p>Precisamos mudar da perseguição para a liderança. Se gostamos da direção</p><p>em que nos movemos ou para onde vamos, então a velocidade com que</p><p>nos movemos ou nos aproximamos do nosso objetivo pode ser algo</p><p>realmente positivo. Quanto mais gostamos para onde vamos, mais rápido</p><p>desejaremos chegar lá (FLORIDI, 2018, p. 2).</p><p>A IA enquanto tecnologia genérica – a qual não deve ser confundida com a IA genérica, que</p><p>significa a tecnologia de IA para solução de problemas genéricos – reputa-se de difícil regulação. Há</p><p>casos de aplicações específica já reguladas, como direção autônoma1 e drones2, mas pouco sobre as</p><p>tecnologias associadas a IA, como os algoritmos de aprendizado de máquina e as suas técnicas, não</p><p>obstante o crescente debate sobre o tema e as preocupações sobre as consequências de um mundo</p><p>cada vez mais robotizado – como aumento do desemprego e das desigualdades em níveis sem</p><p>precedentes –, manifestadas, inclusive, por líderes da indústria como Elon Musk, Bill Gates e Steve</p><p>Wozniak (SCHERER, 2015).</p><p>Pelo menos até o presente, regular os “motores” da IA se mostra improdutivo e ineficiente:</p><p>improdutivo, pois novos algoritmos</p><p>“é útil pensar na governança como uma espécie de rule of law da organização”</p><p>(FEFERBAUM, 2018).</p><p>Talvez o termo rule of law não seja tão esclarecedor fora do direito e da ciência política, mas</p><p>A sua ideia é relativamente simples e facilmente assimilável. Ao pé da letra, significa império da lei</p><p>ou governo da lei, traduções que exprimem relativamente bem a sua essência. Em português</p><p>(jurídico) – estado de direito – é menos evidente, ainda que intercambiável.</p><p>Na sua tradução literal, rule of law exprime a ideia de existência de uma ordenação jurídica</p><p>da unidade política (por exemplo, tudo o que for análogo ao Estado nacional), pela qual tudo e</p><p>todos se submetem, antes de tudo, ao direito. Nos reinos, impérios e outras formas de organização</p><p>política da Antiguidade e da Idade Média, o governante era a lei. O seu poder não se submetia a</p><p>nenhum outro. Não havia, então, a rule of law, já que toda disposição normativa podia ser alterada</p><p>por determinação de quem governava.</p><p>Com a limitação do poder real em relação à nobreza pela Magna Carta, surge uma forma</p><p>primitiva do constitucionalismo moderno, no qual a ordem política se torna regulada pelo direito.</p><p>O documento oferecia garantias à nobreza, impedido ao rei agir de maneira a praticar atos</p><p>arbitrários, por exemplo, assegurando o devido processo legal.</p><p>A tripartição dos poderes teorizada por Montesquieu séculos mais tarde introduziu a ideia de</p><p>freios e contrapesos, pelo qual o direito se separou definitivamente da política, criando um sistema</p><p>de legitimação dos atos de poder. Como resultado, emergiram organizações políticas mais estáveis</p><p>do ponto de vista estrutural, permitindo o surgimento de instituições duradouras – como os Estados</p><p>nacionais – e o surgimento da democracia moderna. Se o rule of law nasce com o</p><p>constitucionalismo, ele chega à maturidade com a tripartição de poderes.</p><p>31</p><p>Em uma analogia rápida, a governança pode ser entendida como uma estruturação jurídico-</p><p>política de uma organização, com mecanismos de controle do poder dos administradores perante</p><p>os interessados (stakeholders), estabelecendo uma espécie de ordem jurídica própria (da</p><p>organização), sendo o seu direito positivo (isto é, as disposições estabelecidas em documentos</p><p>normativos da organização) tudo aquilo compreendido na região de governança do mapa normativo</p><p>da organização, tal qual no diagrama de Venn do mapa no normativo da governança digital</p><p>formulado por Floridi (2018), mas sem se restringir ao digital, compreendendo, portanto, também</p><p>as normas do “não digital”.</p><p>Tal qual uma ordem jurídica – e, portanto, ao rule of law –, a governança não se limita ao</p><p>seu direito interno, isto é, às disposições normativas, como regras, protocolos, políticas e princípios.</p><p>Em outras palavras, governança não é sinônimo de repertório normativo, assim como o rule of law</p><p>não é sinônimo de direito positivo. Em ambos os casos, os textos normativos são parte da sua</p><p>composição, não correspondendo à sua totalidade.</p><p>Para funcionar, isto é, para que o direito seja aplicado, tanto a governança quanto a rule of law</p><p>dependem de mecanismos de fiscalização, jurisdição – leia-se, julgamento ou consultoria de</p><p>conformidade jurídica –, além de um organograma com competências definidas para produzir e</p><p>executar regras, ordens, etc. A implantação de um modelo de governança depende, sobretudo, de uma</p><p>estrutura dedicada a funções especializadas de controle jurídico, além de mecanismos para provocá-lo</p><p>por outros pontos da organização. Um departamento de compliance, por exemplo, seria algo similar a</p><p>um Judiciário, sendo as suas rotinas de avaliação de conformidade algo análogo aos processos judiciais.</p><p>É evidente que estruturas de governança importam em custos para a organização, inclusive</p><p>de tempo, encarecendo as rotinas de trabalho e a administração como um todo, sendo mais usual</p><p>em grandes estruturas, cujo custo é diluído, trazendo, inclusive, ganhos indiretos, por exemplo, ao</p><p>evitar riscos desnecessários apontados pelo compliance.</p><p>Dito de outra maneira, nem toda organização requer ou se beneficia de uma estrutura de</p><p>governança, a qual não faz qualquer sentido em pequenos negócios, como os familiares, com pequena</p><p>equipe e estrutura hierárquica diminuta com pouco especialização de funções, como a frequente</p><p>concentração das contas e do direito na figura do contador contratado como prestador de serviços.</p><p>Do lado oposto, há casos em que a governança é obrigatória. Em sociedades anônimas, por</p><p>exemplo, a emissão de ações, a transparência administrativa, a prestação de contas dos resultados</p><p>do período, o pagamento de dividendos, a responsabilidade dos administradores, a assembleia de</p><p>cotistas, etc. são mecanismos de controle da organização exigidos por lei.</p><p>Entre a total desnecessidade e a completa obrigatoriedade, há um grande espaço para</p><p>estabelecer normas e mecanismos de controle, a depender da sua utilidade. Seja obrigatório, seja</p><p>facultativo, esses mecanismos de controle são, em última análise, instrumentos de ordenação da</p><p>gestão, que é o equivalente à ordenação do poder/política do rule of law. Em uma organização</p><p>complexa com muitos atores, uma ordenação superior simplifica a gestão, já que conforma a ação</p><p>de administradores e demais agentes.</p><p>32</p><p>Aspectos específicos da governança digital</p><p>É tentador pensar na governança digital como uma mera extensão da governança como um</p><p>todo, como uma parcela sua, naturalmente acomodada na estrutura existente, correlacionada,</p><p>portanto, ao porte da instituição e ao tipo societário. Se em uma sociedade digital, o digital é uma</p><p>nova dimensão espacial da sociedade, não seria o digital (apenas) uma parte indissociável da</p><p>governança? Em outras palavras, não seria a governança digital a parcela da governança que alcança</p><p>a dimensão digital do espaço?</p><p>Não é difícil perceber que a governança atual já cuida habitualmente do digital, a começar</p><p>pelos seus ativos digitais e pela infraestrutura de TI ao estabelecer, por exemplo, políticas de</p><p>segurança, rotinas de manutenção e atualização, etc., antes mesmo do surgimento da sociedade</p><p>digital. Diga-se, também, regras de uso de e-mail e outras tecnologias de comunicação, limitação</p><p>de acesso a Web no local de trabalho entre outros. Em razão da covid-19 como emergência mundial</p><p>de saúde pública e das medidas sanitárias de distanciamento social, o crescimento teletrabalho e do</p><p>uso de plataformas on-line, como armazenamento em nuvem, que podem envolver regras de</p><p>segurança e confidencialidade. Nada disso se apresenta como grande desafio para governança.</p><p>A ocupação do espaço digital começa a mudar esse cenário. As organizações passam a coletar</p><p>dados comportamentais de clientes e “transeuntes” nas interações no espaço digital, até mesmo sem</p><p>propósito específico e sem determinação gerencial nesse sentido. Trabalhadores se tornam</p><p>monitoráveis fora do horário de trabalho nos seus movimentos nas redes sociais. A postura on-line</p><p>das organizações passa a ser patrulhadas por todos. Pelo menos nos primeiros momentos, a</p><p>governança tradicional sequer considera o espaço digital e as suas consequências.</p><p>Com o amadurecimento dos debates sociais, surge a regulação da proteção de dados, obrigando</p><p>a implantação de componentes de governança para tutelar o direito dos titulares. A exigência da</p><p>LGPD quanto à nomeação de um encarregado de dados da organização vai nesse sentido.</p><p>Ao mesmo tempo, começava a primavera da IA, fomentada pela crescente potência</p><p>computacional, facilidade de acesso a dados e popularização dos algoritmos. As limitações éticas da</p><p>tecnologia já apareciam na personalização de resultados, como os vieses raciais dos buscadores de</p><p>conteúdo. Muitos casos se seguiram, exigindo novas abordagens.</p><p>A governança digital chega como uma resposta necessária aos desafios do espaço digital,</p><p>descolando-se da governança tradicional: se a governança tradicional se volta aos interesses da</p><p>organização e do capital em função da responsabilização da</p><p>pessoa de gestores quanto ao risco que</p><p>oferece ao capital, a governança digital se abre para os interesses da sociedade e do planeta para</p><p>responsabilização da organização enquanto unidade quanto ao risco que oferece ao público. Nesse</p><p>sentido, os mecanismos tradicionais não são suficientes.</p><p>33</p><p>Ética na governança digital</p><p>Em grande parte, tanto o risco de aplicações de IA quanto o de interação social no ambiente</p><p>digital – como a violência de gênero agregadamente danosa – decorrem de vieses culturais, ou seja,</p><p>do comportamento humano, exatamente o que a ética se presta a enfrentar, como já discutido ao</p><p>longo da unidade quatro deste curso.</p><p>No caso da IA, eles aparecem nos dados, em forma de padrões assimiláveis pelo aprendizado de</p><p>máquina, com reflexos no modelo de aplicação. No caso do ambiente digital, eles aparecem pela</p><p>amplificação desses comportamentos, seja no alcance espaço-temporal, seja no agregado.</p><p>Há outros, como os danos decorrentes de problemas mal formulados, cuja solução da</p><p>máquina diverge do intuito do desenvolvedor. Um exemplo curioso é o caso Amanda Lewis na</p><p>plataforma de relacionamento Coffee Meets Bagel.</p><p>Coffee Meets Bagel permitia a seus usuários especificar preferências raciais,</p><p>religiosas, entre outras, para seus encontros, o qual o algoritmo procuraria</p><p>obedecer nas suas sugestões diárias. Lewis relatou como após não ter</p><p>especificado nenhuma preferência racial (ou, mais precisamente,</p><p>indicando que ela estava aberta a se encontrar com usuários de qualquer</p><p>dos grupos raciais elencados), ela começou a receber sugestões</p><p>exclusivamente de homens asiáticos. O problema era que se houvesse um</p><p>desequilíbrio ainda que leve no número de mulheres abertas a encontros</p><p>com homens asiáticos e no número de homens asiáticos, haveria um</p><p>excesso de homens asiáticos na população de candidatos do aplicativo das</p><p>usuárias (KEARNS; ROTJ, 2019).39</p><p>Para contornar a situação, a única opção de Lewis era excluir das suas preferências encontros</p><p>com homens asiáticos, amplificando o desequilíbrio, em prejuízo desse grupo de homens e das</p><p>mulheres abertas a eles, “encorajadas” a aplicar a mesma restrição.</p><p>Sem um controle, ocorrências do tipo tendem a crescer na mesma proporção da aplicação</p><p>de tecnologias afins. As matrizes de risco para autoavaliação ética em IA, como a Fria/Altai,</p><p>servem exatamente a isso. O desafio é torná-las parte do ciclo de vida dos sistemas adotados e</p><p>garantir a sua imparcialidade. Quer dizer, a adoção de avaliação ética de tecnologias digitais parte</p><p>da criação de mecanismos imunes aos interesses da organização, não bastando, portanto, constar</p><p>na estrutura de governança.</p><p>39 Tradução livre de “Lewis described how after not specifying any racial preferences (or, more precisely, indicating that she</p><p>was willing to be matched with people from any of the site’s listed racial groups), she began to receive daily matches</p><p>exclusively with Asian men. The problem was that if there were even a slight imbalance in the number of women who</p><p>accept matches with Asian men, and the number of Asian men, there would be an oversupply of Asian men in the app’s</p><p>user population”.</p><p>34</p><p>Soluções nesse sentido já existem na área da saúde para dar efetividade aos princípios da bioética,</p><p>particularmente na área médica, orientada pela Declaração de Helsinque. Como as iniciativas de</p><p>diretrizes ética para IA se aproximam dos princípio da bioética, tal qual constatado por Floridi e Cowls</p><p>(2019) e reproduzido na sua Estrutura Unificada de Cinco Princípios Éticos, parece pertinente adotar</p><p>os seus modelos de controle ético, já bastante aprimorados ao longo de décadas de aplicação.</p><p>Ainda que varie conforme o país, o modelo vigente de controle ético em saúde se baseia em</p><p>comitês éticos imparciais. Eles podem pertencer a organização usuária, pertencer a organização</p><p>credenciada, ser uma organização credenciada da iniciativa privada ou ser uma organização de direito</p><p>público. Há casos em que a avaliação por comitê é obrigatória, e casos em que é facultativa. A opção</p><p>por uma implementação ou outra depende em grande parte da regulação da área médica do país.</p><p>Também há uma distinção entre avaliação de prática médica, como tratamentos e intervenções,</p><p>e pesquisa médica com seres humanos. A própria Declaração de Helsinque faz tal distinção, a qual</p><p>servia inclusive como divisão primária dos artigos, isto é, das suas seções, das sete primeiras revisões,</p><p>ou seja, até a revisão de 2008. Na revisão de 2013, a declaração recebeu uma nova divisão primária,</p><p>com seções mais específicas, algumas destinadas especificamente à pesquisa médica.</p><p>A distinção entre pesquisa e clínica é pertinente, pois não diz respeito somente à medicina.</p><p>Pesquisas com seres humanos ocorrem em diversas áreas do conhecimento, que reconhecem com</p><p>frequência a necessidade de avaliação ética da metodologia. Na área das ciências sociais, por</p><p>exemplo, há instituições que exigem avaliação ética quanto à aplicação de questionários, realização</p><p>de entrevistas, etc.</p><p>Estender essa lógica para a manipulação de dados para aplicações de IA é um passo bastante</p><p>natural. Se há exigência de avaliação ética na coleta de dados pessoais, também deve-se fazê-lo em</p><p>relação às suas manipulações, principalmente as destinadas a treinamento de modelos de IA. E se</p><p>há exigência nesse sentido na pesquisa acadêmica, que se submete a condições menos rígidas de</p><p>privacidade, é de se inferir que pesquisas e aplicações não acadêmicas de IA também devam</p><p>submeter-se a avaliação ética, inclusive com mais rigor e exigência, mas por que e como fazê-lo?</p><p>O motivo de se proceder com avaliação ética por comitês vai além de uma preocupação</p><p>ideológica em construir um futuro mais seguro, compreendendo, antes de tudo, uma maneira de</p><p>resguardar a organização dos riscos econômicos associados aos riscos públicos, que podem voltar-se</p><p>à organização por meio da responsabilização. Ao minimizar o risco público, a avaliação ética de um</p><p>sistema de IA previne os danos potenciais desse sistema, reduzindo a chance de responsabilização</p><p>civil em ações de reparação de danos.</p><p>Já, no que concerne a sua implantação de um modelo de governança digital, há um guia</p><p>específico elaborado pela Accenture (2019). A implantação deste comitê deve definir os seguintes</p><p>aspectos nesta ordem: (i) função organizacional; (ii) conteúdo ético; (iii) composição; (iv) hierarquia</p><p>e competência; (v) procedimento e governança.</p><p>35</p><p>Definir a função do comitê dentro da organização (i) é primordial. É preciso definir se ele</p><p>terá função normativa, ou seja, de definir as diretrizes que outras estruturas devem seguir; se terá</p><p>função consultiva, que responderá a questionamentos de outras estruturas; se terá função</p><p>deliberativa, que decidirá as questões a ele levadas ou se será um órgão de controle ou auditoria,</p><p>pelo qual as questões serão passadas a ele e ele dará a palavra final. Ele pode ter uma ou mais funções,</p><p>a depender da realidade da organização.</p><p>Posteriormente, é necessário pensar no conteúdo ético (ii) do comitê. É preciso montar uma</p><p>base de conhecimento ético o que diz respeito aos valores básicos a serem seguidos; princípios</p><p>norteadores; casos e precedentes; também saber o que é necessário na prática para dar concretude</p><p>aos valores e aos princípios elencados. Os valores a serem seguidos dizem respeito ao bem jurídico</p><p>principal que o comitê protegerá. Se o bem jurídico for a condição de agente do sujeito atingido</p><p>pela IA, o valor básico é o exercício da autonomia; se o bem jurídico for a dignidade, o valor básico</p><p>é evitar discriminação, e assim por diante. Para dar concretude a esses princípios e bens há</p><p>ferramentas. Para dar concretude à autonomia, por exemplo, há a aplicação do consentimento</p><p>informado, que diz respeito ao direito à explicação, ferramentas que sejam informativas ao usuário</p><p>e que apresente os critérios que fundamentam uma decisão tomada pela IA.</p><p>A composição (iii) do comitê precisa estar de</p><p>acordo com a realidade da organização,</p><p>principalmente em relação à atividade desenvolvida e ao seu tamanho. A depender do tamanho da</p><p>organização, é possível ter vários comitês. Uma estrutura mínima é que o comitê tenha pessoas da área</p><p>técnica, ou seja, da ciência de dados, que construa ou entenda da construção de IA; pessoas da área da</p><p>ética – se for uma organização da área de saúde, podem ser pessoas da bioética, por exemplo –; pessoas</p><p>da área jurídica; pessoas da prática, ou seja, que utilizam aquela determinada IA no dia a dia – se for</p><p>uma IA voltada para hospitais, é preciso que tenha profissionais da saúde no comitê – e representantes</p><p>dos destinatários da IA – ainda no exemplo de uma IA usada em hospitais, pacientes – ou advogados</p><p>ou pessoa jurídica que os represente. A depender do tamanho da organização, a mesma pessoa pode ter</p><p>duas especializações ou pertencer a dois segmentos, sem que haja conflito de interesses.</p><p>A hierarquia e competência (iv) do comitê diz respeito ao poder que este comitê terá na</p><p>organização, qual a sua posição no organograma. É preciso definir também o seu objeto/escopo de</p><p>atuação, bem como a fase ou o momento de atuação. É preciso também definir se ele será um canal</p><p>de consulta e quais agentes terão a possibilidade de levar questões a ele, ou seja, quem terá a</p><p>“capacidade postulatória” de levar questões a ele. Isso está ligado à função do comitê na organização,</p><p>a hierarquia e competência do comitê deve estar de acordo com sua função.</p><p>Por fim, em relação ao procedimento e governança (v) é preciso definir o regimento interno do</p><p>comitê e as suas normas adjetivas, ou seja, o seu organograma, quais cadeiras terão e a competência dos</p><p>membros, quais os colegiados, prazos, entre outras definições; o rito, se será sumário/simplificado ou se</p><p>ordinário/completo e tudo isso deve adequar-se à dinâmica da atividade desenvolvida pela organização.</p><p>O tempo de resposta que o comitê deverá dar às suas consultas também deve ser definido, e isso deve,</p><p>necessariamente, estar de acordo com a dinâmica da organização.</p><p>36</p><p>Seguindo esses passos é possível ter um comitê de ética em IA. Entendemos que a implantação</p><p>desse comitê faz parte do desenvolvimento do human rights by design, ou seja, de pensar em direitos</p><p>humanos não pelo aspecto da sua violação, mas pensar preventivamente e integrá-los no</p><p>desenvolvimento de organizações.</p><p>Comparando a origem dos comitês de ética em IA com os comitês de ética em pesquisa com</p><p>seres humanos ou com animais – caso haja o desenvolvimento de pesquisa desse tipo pela</p><p>organização é obrigação legal ter comitê de ética neste sentido –, os comitês de ética em pesquisa</p><p>surgiram devido a reiteradas práticas antiéticas identificadas em pesquisas.</p><p>Atualmente, algumas organizações já foram acionadas, inclusive judicialmente, por usuários</p><p>ou representantes, por tratar os seus dados de maneira indevida e antiética. Será que as organizações</p><p>precisam esperar que problemas aconteçam para a partir daí atuar? Entendemos que não, que é</p><p>razoável supor algum controle do gênero para o tratamento de dados pessoais no futuro,</p><p>particularmente no que concerne à IA. Como mencionado, a criação do comitê, que hoje seria uma</p><p>estratégia de negócio, amanhã pode ser uma necessidade legal. Antecipar essa necessidade mostra</p><p>que a organização respeita os direitos humanos e merece a confiança do público.</p><p>37</p><p>REFERÊNCIAS BIBLIOGRÁFICAS</p><p>ACCENTURE; NORTHEASTERN UNIVERSITY ETHICS INSTITUTE. Building data and AI</p><p>ethics committees. 2019. Disponível em: https://www.accenture.com/_acnmedia/PDF-107/Accenture-</p><p>AI-And-Data-Ethics-Committee-Report-11.pdf#zoom=50. Acesso em: 18 maio 22.</p><p>ALEXY, Robert. Teoria da argumentação jurídica. Tradução: Zilda Hutchinson Schild Silva. São</p><p>Paulo: Landy, 2001.</p><p>ALEXY, Robert. The construction of constitutional rights. Revue française de droit constitutionnel,</p><p>v. 91, n. 3, 2012.</p><p>ALEXY, Robert. Constitutional rights and proportionality. Revus. Journal for Constitutional Theory</p><p>and Philosophy of Law/Revija za ustavno teorijo in filozofijo prava, n. 22, p. 51-65, 2014.</p><p>Disponível em: https://journals.openedition.org/revus/2783. Acesso em: 31 jan. 2023.</p><p>ALVES, Paulo. Facebook e Cambridge Analytica: sete fatos que você precisa saber. Tech Tudo, 24</p><p>mar. 2018. Disponível em: https://www.techtudo.com.br/noticias/2018/03/facebook-e-</p><p>cambridge-analytica-sete-fatos-que-voce-precisa-saber.ghtml. Acesso em: 31 jan. 2023.</p><p>ANDREWMOWBRAY. Constitution Act, s44 consultation: version 24. Portal AustLII Communities,</p><p>2021. Disponível em: https://austlii.community/foswiki/DataLex/ElectKB. Acesso em: 31 jan. 2023.</p><p>ARAÚJO, Peu. Escalada e pixo na madrugada de São Paulo: uma noite com Eneri. TAB Uol, 12</p><p>fev. 2021. Disponível em: https://tab.uol.com.br/noticias/redacao/2021/02/12/escalada-e-pixo-</p><p>na-madrugada-de-sao-paulo-uma-noite-com-eneri.htm. Acesso em: 31 jan. 2023.</p><p>ASSOCIAÇÃO BRASILEIRA DE JURIMETRIA (ABJ). O que é jurimetria? Portal ABJ, [2010?].</p><p>Disponível em: https://abj.org.br/conteudo/jurimetria. Acesso em: 30 jun. 2022.</p><p>ASSOCIAÇÃO BRASILEIRA DE MOBILIDADE E TECNOLOGIA (Amobitec). Carta de</p><p>princípios sobre a proteção social de trabalhadores em plataformas. 27 abr. 2022. Disponível em:</p><p>https://amobitec.org/wp-content/uploads/2022/04/GT-Trab-Plataformas-Carta-de-</p><p>Principios.pdf. Acesso em: 31 jan. 2023.</p><p>https://www.accenture.com/_acnmedia/PDF-107/Accenture-AI-And-Data-Ethics-Committee-Report-11.pdf%23zoom=50</p><p>https://www.accenture.com/_acnmedia/PDF-107/Accenture-AI-And-Data-Ethics-Committee-Report-11.pdf%23zoom=50</p><p>https://journals.openedition.org/revus/2783</p><p>https://www.techtudo.com.br/noticias/2018/03/facebook-e-cambridge-analytica-sete-fatos-que-voce-precisa-saber.ghtml</p><p>https://www.techtudo.com.br/noticias/2018/03/facebook-e-cambridge-analytica-sete-fatos-que-voce-precisa-saber.ghtml</p><p>https://austlii.community/foswiki/DataLex/ElectKB</p><p>https://tab.uol.com.br/noticias/redacao/2021/02/12/escalada-e-pixo-na-madrugada-de-sao-paulo-uma-noite-com-eneri.htm</p><p>https://tab.uol.com.br/noticias/redacao/2021/02/12/escalada-e-pixo-na-madrugada-de-sao-paulo-uma-noite-com-eneri.htm</p><p>https://amobitec.org/wp-content/uploads/2022/04/GT-Trab-Plataformas-Carta-de-Principios.pdf</p><p>https://amobitec.org/wp-content/uploads/2022/04/GT-Trab-Plataformas-Carta-de-Principios.pdf</p><p>38</p><p>ASSOCIAÇÃO BRASILEIRA DA PROPRIEDADE INTELECTUAL (ABPI). A inteligência</p><p>artificial e a revolução das patentes. Portal LDSoft, 10 maio 2019. Disponível em:</p><p>https://www.ldsoft.com.br/blogs/a-inteligencia-artificial-e-a-revolucao-das-patentes/#:~:text=De</p><p>%20acordo%20com%20Artigo%2010,problema%20e%20da%20solu%C3%A7%C3%A3o%20</p><p>dada. Acesso em: 30 jun. 2022.</p><p>ASSOCIAÇÃO MÉDICA MUNDIAL (WMA). Declaração de Helsinque. Fortaleza: WMA, 2013.</p><p>ASSOCIAÇÃO NACIONAL DOS PROFISSIONAIS DE PRIVACIDADE DE DADOS</p><p>(ANPPD). Portal das violações – LGPD. Portal ANPPD, 2022. Disponível em:</p><p>https://anppd.org/violacoes. Acesso em: 31 jan. 2023.</p><p>ASTUR, Diego Costa et al. Stress fractures: definition, diagnosis and treatment. Bethesda, MD:</p><p>National Library of Medicine, 2016. Disponível em: https://pubmed.ncbi.nlm.nih.gov/26962487.</p><p>Acesso em: 31 jan. 2023.</p><p>ÁVILA, Humberto. Teoria dos princípios: da definição à aplicação dos princípios jurídicos. 12. ed.</p><p>ampl. São Paulo: Malheiros, 2011.</p><p>BACHUR, João Paulo. A diferenciação funcional da religião na teoria social de Niklas Luhmann.</p><p>Revista Brasileira de Ciências Sociais [on-line], v. 26, n. 76, p. 177-190, 2011. Disponível em:</p><p>https://doi.org/10.1590/S0102-69092011000200010. Acesso em: 31 jan. 2023.</p><p>BACHUR, João Paulo. A teoria dos sistemas sociais de Niklas Luhmann. Revista da Faculdade de</p><p>Direito do Sul de Minas, Pouso Alegre, v. 36, n. 2, p. 77-94, jul./dez. 2020. Disponível em:</p><p>https://www.fdsm.edu.br/conteudo/artigos/88c1a19dc439f4ffbfd452fed29b2b4a.pdf. Acesso em:</p><p>31 jan. 2023.</p><p>BIEBER, Friedemann; MOGGIA, Jakob. Risk shifts in the gig economy: the normative case for</p><p>an insurance scheme against the effects of precarious work. Journal of Political Philosophy, v. 29, n.</p><p>3, p. 281-304, 2021.</p><p>BRANT, Leonardo. Intervenção na Bienal é caso de polícia. Cultura e Mercado, 27 out. 2008.</p><p>Disponível em: https://culturaemercado.com.br/intervencao-na-bienal-e-caso-de-policia/#:~:text=</p><p>A%20Funda%C3%A7%C3%A3o%20Bienal%20de%20S%C3%A3o%20Paulo%20e%20a,no</p><p>%20%C3%BAltimo%20domingo%2C%2026%20de%20outubro%20de%202008. Acesso em:</p><p>31 jan. 2023.</p><p>https://www.ldsoft.com.br/blogs/a-inteligencia-artificial-e-a-revolucao-das-patentes/#:%7E:text=De%20acordo%20com%20Artigo%2010,problema%20e%20da%20solu%C3%A7%C3%A3o%20dada</p><p>https://www.ldsoft.com.br/blogs/a-inteligencia-artificial-e-a-revolucao-das-patentes/#:%7E:text=De%20acordo%20com%20Artigo%2010,problema%20e%20da%20solu%C3%A7%C3%A3o%20dada</p><p>https://www.ldsoft.com.br/blogs/a-inteligencia-artificial-e-a-revolucao-das-patentes/#:%7E:text=De%20acordo%20com%20Artigo%2010,problema%20e%20da%20solu%C3%A7%C3%A3o%20dada</p><p>https://anppd.org/violacoes</p><p>https://pubmed.ncbi.nlm.nih.gov/26962487</p><p>https://doi.org/10.1590/S0102-69092011000200010</p><p>https://www.fdsm.edu.br/conteudo/artigos/88c1a19dc439f4ffbfd452fed29b2b4a.pdf</p><p>https://culturaemercado.com.br/intervencao-na-bienal-e-caso-de-policia/#:%7E:text=A%20Funda%C3%A7%C3%A3o%20Bienal%20de%20S%C3%A3o%20Paulo%20e%20a,no%20%C3%BAltimo%20domingo%2C%2026%20de%20outubro%20de%202008</p><p>https://culturaemercado.com.br/intervencao-na-bienal-e-caso-de-policia/#:%7E:text=A%20Funda%C3%A7%C3%A3o%20Bienal%20de%20S%C3%A3o%20Paulo%20e%20a,no%20%C3%BAltimo%20domingo%2C%2026%20de%20outubro%20de%202008</p><p>https://culturaemercado.com.br/intervencao-na-bienal-e-caso-de-policia/#:%7E:text=A%20Funda%C3%A7%C3%A3o%20Bienal%20de%20S%C3%A3o%20Paulo%20e%20a,no%20%C3%BAltimo%20domingo%2C%2026%20de%20outubro%20de%202008</p><p>39</p><p>BOBBIO, Norberto. O positivismo jurídico: lições de filosofia do direito. São Paulo: Ícone, 2006.</p><p>BRASIL. Congresso Nacional. Projeto de Lei Federal nº 21/2020. 2020a. Estabelece fundamentos,</p><p>princípios e diretrizes para o desenvolvimento e a aplicação da inteligência artificial no Brasil; e dá</p><p>outras providências. Disponível em: https://www.camara.leg.br/propostas-legislativas/2236340.</p><p>Acesso em: 31 jan. 2023.</p><p>BRASIL. Ministério da Economia (ME). Guia para elaboração de análise de impacto regulatório</p><p>(AIR). Brasília: ME, 2021.</p><p>BRASIL. Ministério da Saúde (MS). Ecossistema FHIR. Portal Rede Nacional de Dados em Saúde</p><p>(RNDS), 2020b. Disponível em: https://rnds-guia.tst.saude.gov.br/docs/rnds/tecnologias. Acesso</p><p>em: 31 jan. 2023.</p><p>BRASIL. Ministério do Planejamento, Orçamento e Gestão (MP). Guia de Interoperabilidade:</p><p>cartilha técnica. Brasília: MP, 2015.</p><p>BREGMAN, Peter. 13 ways we justify, rationalize, or ignore negative feedback. Harvard Business</p><p>Review, 14 fev. 2019. Disponível em: https://hbr.org/2019/02/13-ways-we-justify-rationalize-or-</p><p>ignore-negative-feedback. Acesso em: 31 jan. 2023.</p><p>CANAL TECH. Waze admite falha que direcionou motoristas a avenida congestionada em São Paulo.</p><p>Canal Tech, 25 out. 2017. Disponível em: https://canaltech.com.br/apps/waze-admite-falha-que-</p><p>direcionou-motoristas-a-avenida-congestionada-em-sao-paulo-102426. Acesso em: 31 jan. 2023.</p><p>CENTRO DE DIREITO, INTERNET E SOCIEDADE (Cedis-IDP); JUSBRASIL. Painel</p><p>LGPD nos tribunais. Jusbrasil, out. 2021. Disponível em: https://www.jusbrasil.com.br/static/</p><p>pages/lgpd-nos-tribunais.html. Acesso em: 31 jan. 2023.</p><p>CHURCH, Zach. Study: false news spreads faster than the truth. MIT Management Sloan School,</p><p>8 mar. 2018. Disponível em: https://mitsloan.mit.edu/ideas-made-to-matter/study-false-news-</p><p>spreads-faster-truth#:~:text=And%20false%20news%20reached%201%2C500%20people%20</p><p>about%20six,study%20of%20the%20spread%20of%20false%20news%20online. Acesso em: 31</p><p>jan. 2023.</p><p>COLEMAN, Jules L. The practice of principle: in defense of a pragmatist approach to legal theory.</p><p>New York: Oxford University Press, 2003.</p><p>https://www.camara.leg.br/propostas-legislativas/2236340</p><p>https://rnds-guia.tst.saude.gov.br/docs/rnds/tecnologias/</p><p>https://hbr.org/2019/02/13-ways-we-justify-rationalize-or-ignore-negative-feedback</p><p>https://hbr.org/2019/02/13-ways-we-justify-rationalize-or-ignore-negative-feedback</p><p>https://canaltech.com.br/apps/waze-admite-falha-que-direcionou-motoristas-a-avenida-congestionada-em-sao-paulo-102426</p><p>https://canaltech.com.br/apps/waze-admite-falha-que-direcionou-motoristas-a-avenida-congestionada-em-sao-paulo-102426</p><p>https://www.jusbrasil.com.br/static/pages/lgpd-nos-tribunais.html</p><p>https://www.jusbrasil.com.br/static/pages/lgpd-nos-tribunais.html</p><p>https://mitsloan.mit.edu/ideas-made-to-matter/study-false-news-spreads-faster-truth#:%7E:text=And%20false%20news%20reached%201%2C500%20people%20about%20six,study%20of%20the%20spread%20of%20false%20news%20online</p><p>https://mitsloan.mit.edu/ideas-made-to-matter/study-false-news-spreads-faster-truth#:%7E:text=And%20false%20news%20reached%201%2C500%20people%20about%20six,study%20of%20the%20spread%20of%20false%20news%20online</p><p>https://mitsloan.mit.edu/ideas-made-to-matter/study-false-news-spreads-faster-truth#:%7E:text=And%20false%20news%20reached%201%2C500%20people%20about%20six,study%20of%20the%20spread%20of%20false%20news%20online</p><p>40</p><p>COMISSÃO EUROPEIA. FUTURIUM. EUROPEAN AI ALLIANCE. Altai – The Assessment</p><p>List on Trustworthy Artificial Intelligence. 2019.</p><p>CORTIZ, Diogo; BURLE, Caroline. Mapeamento de princípios de inteligência artificial. [S.l.]:</p><p>Ceweb.br, NIC.br, CGI.br, 2020. Disponível em: https://ceweb.br/publicacoes/mapeamento-de-</p><p>principios-de-inteligencia-artificial/?page=1. Acesso em: 31 jan. 2023.</p><p>CSIRO. Rule-based Reporting systems (RuleRS). Portal CSIRO Business Processes and Legal Informatics,</p><p>2020. Disponível em: https://research.csiro.au/bpli/tools/rulers. Acesso em: 31 jan. 2023.</p><p>DEVLIN, Baron Patrick. The enforcement of morals. Maccabaean lecture in jurisprudence, 1959.</p><p>Disponível em: https://psi329.cankaya.edu.tr/uploads/files/Devlin,%20The%20Enforcement%</p><p>20of%20Morals%20(1959)(1).pdf. Acesso em: 31 jan. 2023.</p><p>DIJCK, José van; POELL, Thomas; WAAL, Martijn de. The platform society: public values in a</p><p>connective world. Oxford: Oxford University Press, 2018.</p><p>DUGGAN, Maeve. Online harassment. Pew Research Center, 22 out. 2014. Disponível em:</p><p>https://www.pewresearch.org/internet/2014/10/22/online-harassment. Acesso em: 31 jan. 2023.</p><p>DWORKIN, Ronald. O império do direito. Tradução: Port. Jefferson Luiz Camargo. São Paulo:</p><p>Martins Fontes, 1999.</p><p>DIMOULIS, Dimitri. Positivismo jurídico: introdução a uma teoria do direito e defesa do</p><p>pragmatismo jurídico-político. São Paulo: Método, 2006.</p><p>DW. Dieselgate: Volkswagen to pay €830 million settlement to German consumers. 28 fev. 2020.</p><p>Disponível em: https://www.dw.com/en/dieselgate-volkswagen-to-pay-830-million-settlement-to-</p><p>german-consumers/a-52572281. Acesso em: 31 jan. 2023.</p><p>DWORKIN, Ronald. A justiça de toga. Tradução: Jefferson Luiz Camargo. São Paulo: WMF</p><p>Martins Fontes, 2010.</p><p>ENTWISTLE, Noel. Styles of learning and teaching: an integrated outline of educational psychology</p><p>for students, teachers and lecturers. London; New York: Routledge, 2012.</p><p>https://ceweb.br/publicacoes/mapeamento-de-principios-de-inteligencia-artificial/?page=1</p><p>https://ceweb.br/publicacoes/mapeamento-de-principios-de-inteligencia-artificial/?page=1</p><p>https://research.csiro.au/bpli/tools/rulers/</p><p>https://psi329.cankaya.edu.tr/uploads/files/Devlin,%20The%20Enforcement%20of%20Morals%20(1959)(1).pdf</p><p>https://psi329.cankaya.edu.tr/uploads/files/Devlin,%20The%20Enforcement%20of%20Morals%20(1959)(1).pdf</p><p>https://www.pewresearch.org/internet/2014/10/22/online-harassment</p><p>https://www.dw.com/en/dieselgate-volkswagen-to-pay-830-million-settlement-to-german-consumers/a-52572281</p><p>https://www.dw.com/en/dieselgate-volkswagen-to-pay-830-million-settlement-to-german-consumers/a-52572281</p><p>41</p><p>ESTADO DE MINAS. Morte de brasileiros em apartamento no Chile traz dúvidas sobre Airbnb. 23</p><p>maio 2019.</p><p>Disponível em: https://www.em.com.br/app/noticia/internacional/2019/05/23/</p><p>interna_internacional,1056160/morte-de-brasileiros-em-apartamento-no-chile-traz-duvidas-sobre</p><p>-airbnb.shtml. Acesso em: 31 jan. 2023.</p><p>FEFERBAUM, Marina. O papel das comunidades econômicas na defesa dos direitos humanos. Rio de</p><p>Janeiro: Lumen Juris, 2018.</p><p>FERRAZ JUNIOR, Tercio Sampaio. Função social da dogmática jurídica. São Paulo: Atlas, 2015.</p><p>FERRAZ JUNIOR, Tercio Sampaio. Introdução ao estudo do direito: técnica, decisão, dominação.</p><p>5. ed. São Paulo: Atlas, 2007.</p><p>FLORIDI, Luciano. Soft ethics and the governance of the digital. Philos. Technol. v. 31, n. 1-8,</p><p>2018. Disponível em: https://doi.org/10.1007/s13347-018-0303-9.</p><p>FLORIDI, Luciano; COWLS, Josh. A unified framework of five principles for AI in Society. SSRN,</p><p>20 set. 2019. Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3831321.</p><p>Acesso em: 31 jan. 2023.</p><p>FOLHA DE S.PAULO. Em meio ao vazio, Bienal foi alvo de críticas em 2008. 31 dez. 2008.</p><p>Disponível em: https://m.folha.uol.com.br/ilustrada/2008/12/481286-em-meio-ao-vazio-bienal-</p><p>foi-alvo-de-criticas-em-2008.shtml. Acesso em: 31 jan. 2023.</p><p>FULLER, Lon L. The morality of law: revised edition. New Haven; London: Yale University, 1969.</p><p>FUNDAÇÃO GETULIO VARGAS (FGV). Você já ouviu falar em netiqueta? Netiqueta FGV.</p><p>YouTube, 2013. Disponível em: https://www.youtube.com/watch?v=kYpANxK1BCk. Acesso em:</p><p>31 jan. 2023.</p><p>GLÖCKNER, Andreas. The irrational hungry judge effect revisited: simulations reveal that the</p><p>magnitude of the effect is overestimated. Judgment and decision making, v. 11, n. 6, p. 601-610, 2016.</p><p>Disponível em: http://journal.sjdm.org/16/16823/jdm16823.html. Acesso em: 31 jan. 2023.</p><p>GOOGLE. Relatório de transparência: cumprimento das diretrizes da comunidade do YouTube.</p><p>2022. Disponível em: https://transparencyreport.google.com/youtube-policy/removals?hl=pt_</p><p>BR&total_removed_videos=period:2021Q4;exclude_automated:all&lu=total_removed_videos.</p><p>Acesso em: 31 jan. 2023.</p><p>https://www.em.com.br/app/noticia/internacional/2019/05/23/interna_internacional,1056160/morte-de-brasileiros-em-apartamento-no-chile-traz-duvidas-sobre-airbnb.shtml</p><p>https://www.em.com.br/app/noticia/internacional/2019/05/23/interna_internacional,1056160/morte-de-brasileiros-em-apartamento-no-chile-traz-duvidas-sobre-airbnb.shtml</p><p>https://www.em.com.br/app/noticia/internacional/2019/05/23/interna_internacional,1056160/morte-de-brasileiros-em-apartamento-no-chile-traz-duvidas-sobre-airbnb.shtml</p><p>https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3831321</p><p>https://m.folha.uol.com.br/ilustrada/2008/12/481286-em-meio-ao-vazio-bienal-foi-alvo-de-criticas-em-2008.shtml</p><p>https://m.folha.uol.com.br/ilustrada/2008/12/481286-em-meio-ao-vazio-bienal-foi-alvo-de-criticas-em-2008.shtml</p><p>https://www.youtube.com/watch?v=kYpANxK1BCk</p><p>http://journal.sjdm.org/16/16823/jdm16823.html</p><p>https://transparencyreport.google.com/youtube-policy/removals?hl=pt_BR&total_removed_videos=period:2021Q4;exclude_automated:all&lu=total_removed_videos</p><p>https://transparencyreport.google.com/youtube-policy/removals?hl=pt_BR&total_removed_videos=period:2021Q4;exclude_automated:all&lu=total_removed_videos</p><p>42</p><p>GRUPO INDEPENDENTE DE PERITOS DE ALTO NÍVEL SOBRE A INTELIGÊNCIA</p><p>ARTIFICIAL (GPAN-IA). Orientações éticas para uma IA de confiança. 2018.</p><p>GÜNTHER, Klaus. Responsabilização na sociedade civil. Tradução: Flavia Portella Püschel. In:</p><p>PUSCHEL, Flávia P.; MACHADO, Marta Rodriguez de A. Teoria da responsabilidade no Estado</p><p>democrático de direito: textos de Klaus Günther (Série direito em debate. Direito desenvolvimento</p><p>justiça). São Paulo: Saraiva, 2009.</p><p>HALPIN, A. The methodology of jurisprudence: thirty years off the point. Canadian Journal of</p><p>Law and Jurisprudence, v. XIX, n. 1, p. 67-105, jan. 2006.</p><p>HART, H. L. A. Social solidarity and the enforcement of morality. In: HART, H. L. A. Essays in</p><p>jurisprudence and philosophy. New York: Clarendon; Oxford, 1983.</p><p>HART, H. L. A. O conceito de direito. Tradução: Antônio de Oliveira Sette-Câmara. São Paulo:</p><p>WMF Martins Fontes, 2009.</p><p>HARTMANN, Philipp Max; ZAKI, Mohamed; FELDMANN, Niels; NEELY, Andy. Capturing</p><p>value from big data: a taxonomy of data-driven business models used by start-up firms. International</p><p>Journal of Operations & Production Management, v. 36, n. 10, 2016, p. 1382-1406. Disponível em:</p><p>https://bit.ly/3Dh3mpo. Acesso em: 31 jan. 2023.</p><p>HOLMES JR., Oliver Wendell. The path of the law. Harvard Law Review, v. 10, n. 457, 1897, p.</p><p>3. Disponível em: http://moglen.law.columbia.edu/LCS/palaw.pdf. Acesso em: 31 jan. 2023.</p><p>INSTITUTO DE REFERÊNCIA EM INTERNET E SOCIEDADE (Iris-BH). Linha do tempo.</p><p>Portal Bloqueios.info, 2022. Disponível em: https://bloqueios.info/pt/linha-do-tempo. Acesso em:</p><p>31 jan. 2023.</p><p>INTERNATIONAL ORGANIZATION FOR STANDARDIZATION (ISO);</p><p>INTERNATIONAL ELECTROTECHNICAL COMMISSION (IEC). Guide 2:2004.</p><p>Standardization and related activities: general vocabulary. Geneve: ISO/IEC, 2004.</p><p>ISAAK, J.; HANNA, M. J. User data privacy: Facebook, Cambridge Analytica, and Privacy</p><p>Protection. Computer, v. 51, n. 8, p. 56-59, August 2018. Disponível em:</p><p>https://ieeexplore.ieee.org/abstract/document/8436400. Acesso em: 31 jan. 2023.</p><p>https://bit.ly/3Dh3mpo</p><p>http://moglen.law.columbia.edu/LCS/palaw.pdf</p><p>https://bloqueios.info/pt/linha-do-tempo</p><p>https://ieeexplore.ieee.org/abstract/document/8436400</p><p>43</p><p>JOBIN, Anna; IENCA, Marcello; VAYENA, Effy. The global landscape of AI ethics guidelines.</p><p>Nature Machine Intelligence, v. 1, n. 9, p. 389-399, 2019.</p><p>KEARNS, Michael; ROTJ, Aaron. The ethical algorithm: the science of socially aware algorithm</p><p>design. New York: Oxford University, 2019.</p><p>KELSEN, H. O que é justiça? A justiça, o direito e a política no espelho da ciência. São Paulo:</p><p>Martins Fontes, 2001, p. 251-260 [Por que a lei deve ser obedecida?].</p><p>KER, João. Dark kitchens se espalham em São Paulo e perturbam vizinhos. Portal UOL, 2 maio</p><p>2022. Disponível em: https://noticias.uol.com.br/ultimas-noticias/agencia-estado/2022/05/02/</p><p>dark-kitchens-se-espalham-em-sao-paulo-e-perturbam-vizinhos.htm. Acesso em: 31 jan. 2023.</p><p>LANEY, Douglas B. Infonomics: how to monetize, manage, and measure information as an asset</p><p>for competitive advantage. New York: Taylor & Francis, 2018, p. 87.</p><p>LEEK, Jeff. The elements of data analytic style: a guide for people who want to analyze data. [S.l.]:</p><p>Leanpub, 2015.</p><p>LEMOS, Vinícius. 'Já acabou, Jéssica?': jovem abandonou estudo e caiu em depressão após virar</p><p>meme. BBC News Brasil, 1º set. 2021. Disponível em: https://www.bbc.com/portuguese/brasil-</p><p>58351743#:~:text=Se%20eu%20parar%20pra%20pensar,Lara%20%C3%A0%20BBC%20New</p><p>s%20Brasil.&text=Ap%C3%B3s%20a%20repercuss%C3%A3o%2C%20ela%20se,e%20come%</p><p>C3%A7ou%20um%20tratamento%20psiqui%C3%A1trico. Acesso em: 31 jan. 2023.</p><p>LESSIG, Lawrence. Code: version 2.0. New York: Basic Books, 2006. Disponível em:</p><p>https://aberta.org.br/portfolio/code-2-0. Acesso em: 31 jan. 2023.</p><p>LOUCAIDES, Darren. Por dentro do Telegram. Tradução: Rogerio Galindo. Revista Piauí, 188,</p><p>maio 2022. Disponível em: https://piaui.folha.uol.com.br/materia/por-dentro-do-telegram. Acesso</p><p>em: 31 jan. 2023.</p><p>LUHMANN, Niklas. O direito da sociedade. Tradução: Saulo Krieger. São Paulo: Martins Fontes,</p><p>2016. Disponível em: https://edisciplinas.usp.br/pluginfile.php/6680487/mod_resource/content/</p><p>1/O%20direito%20da%20sociedade.pdf. Acesso em: 31 jan. 2023.</p><p>https://noticias.uol.com.br/ultimas-noticias/agencia-estado/2022/05/02/dark-kitchens-se-espalham-em-sao-paulo-e-perturbam-vizinhos.htm</p><p>https://noticias.uol.com.br/ultimas-noticias/agencia-estado/2022/05/02/dark-kitchens-se-espalham-em-sao-paulo-e-perturbam-vizinhos.htm</p><p>https://www.bbc.com/portuguese/brasil-58351743#:%7E:text=Se%20eu%20parar%20pra%20pensar,Lara%20%C3%A0%20BBC%20News%20Brasil.&text=Ap%C3%B3s%20a%20repercuss%C3%A3o%2C%20ela%20se,e%20come%C3%A7ou%20um%20tratamento%20psiqui%C3%A1trico</p><p>https://www.bbc.com/portuguese/brasil-58351743#:%7E:text=Se%20eu%20parar%20pra%20pensar,Lara%20%C3%A0%20BBC%20News%20Brasil.&text=Ap%C3%B3s%20a%20repercuss%C3%A3o%2C%20ela%20se,e%20come%C3%A7ou%20um%20tratamento%20psiqui%C3%A1trico</p><p>https://www.bbc.com/portuguese/brasil-58351743#:%7E:text=Se%20eu%20parar%20pra%20pensar,Lara%20%C3%A0%20BBC%20News%20Brasil.&text=Ap%C3%B3s%20a%20repercuss%C3%A3o%2C%20ela%20se,e%20come%C3%A7ou%20um%20tratamento%20psiqui%C3%A1trico</p><p>https://www.bbc.com/portuguese/brasil-58351743#:%7E:text=Se%20eu%20parar%20pra%20pensar,Lara%20%C3%A0%20BBC%20News%20Brasil.&text=Ap%C3%B3s%20a%20repercuss%C3%A3o%2C%20ela%20se,e%20come%C3%A7ou%20um%20tratamento%20psiqui%C3%A1trico</p><p>https://aberta.org.br/portfolio/code-2-0/</p><p>https://piaui.folha.uol.com.br/materia/por-dentro-do-telegram/</p><p>https://edisciplinas.usp.br/pluginfile.php/6680487/mod_resource/content/1/O%20direito%20da%20sociedade.pdf</p><p>https://edisciplinas.usp.br/pluginfile.php/6680487/mod_resource/content/1/O%20direito%20da%20sociedade.pdf</p><p>44</p><p>MARSHALL. Nuremberg Code: directives for human experimentation. s.d. Disponível em:</p><p>https://www.marshall.edu/ori/nuremberg-code-directives-for-human-experimentation. Acesso em:</p><p>31 jan. 2023.</p><p>MARMOR, Andrei. Deep conventions. Philosophy and Phenomenological Research, v. 74, n. 3, p.</p><p>586-610, 2007.</p><p>McCORMICK, Thomas R. Principles of bioethics. Disponível em: https://depts.washington.edu/</p><p>bhdept/ethics-medicine/bioethics-topics/articles/principles-bioethics. Acesso em: 31 jan. 2023.</p><p>MENDES, Laura Schertel; MATTIUZZO, Marcela. Discriminação algorítmica: conceito,</p><p>fundamento legal e tipologia. Direito Público, v. 16, n. 90, dez. 2019.</p><p>MEU LUGAR. Quinto Andar é destaque na Forbes como uma das 10 empresas mais inovadoras do</p><p>Brasil. 21 nov. 2019. Disponível em: https://meulugar.quintoandar.com.br/numeros-do-</p><p>quintoandar-10-empresas-mais-inovadoras-segundo-a-forbes. Acesso em: 31 jan. 2023.</p><p>MONTE, Fernando Barrientos del. Direitos digitais devem ser concebidos a partir dos princípios</p><p>da liberdade. Folha de S.Paulo, 4 mar. 2021. Disponível em: https://www1.folha.uol.com.br/</p><p>colunas/latinoamerica21/2021/03/direitos-digitais-devem-ser-concebidos-a-partir-dos-principios-</p><p>da-liberdade.shtml. Acesso em: 31 jan. 2023.</p><p>MORRIS, Jason. Blawx: rules as code demonstration. Portal Computational Law – MIT, 14 ago.</p><p>2020. Disponível em: https://law.mit.edu/pub/blawxrulesascodedemonstration/release/1. Acesso</p><p>em: 31 jan. 2023.</p><p>NEVES, Lucas; MARTÍ, Silas. Artistas criticam prisão da pichadora da Bienal. Folha de S.Paulo,</p><p>13 dez. 2008. Disponível em: https://www1.folha.uol.com.br/ilustrada/2008/12/478818-artistas-</p><p>criticam-prisao-da-pichadora-da-bienal.shtml. Acesso em: 31 jan. 2023.</p><p>NEW ZEALAND GOVERNMENT. Digital.govt.nz. Better Rules for Government Discovery</p><p>Report – versão de 8 fev. 2022. Portal Digital.govt.nz, 2018. Disponível em:</p><p>https://www.digital.govt.nz/dmsdocument/95-better-rules-for-government-discovery-report/html.</p><p>Acesso em: 31 jan. 2023.</p><p>O DILEMA DAS REDES. Direção: Jeff Orlowski. Netflix. 2020. 1h34min. Disponível em:</p><p>https://www.netflix.com/br/title/81254224. Acesso em: 31 jan. 2023.</p><p>https://www.marshall.edu/ori/nuremberg-code-directives-for-human-experimentation</p><p>https://depts.washington.edu/bhdept/ethics-medicine/bioethics-topics/articles/principles-bioethics</p><p>https://depts.washington.edu/bhdept/ethics-medicine/bioethics-topics/articles/principles-bioethics</p><p>https://meulugar.quintoandar.com.br/numeros-do-quintoandar-10-empresas-mais-inovadoras-segundo-a-forbes</p><p>https://meulugar.quintoandar.com.br/numeros-do-quintoandar-10-empresas-mais-inovadoras-segundo-a-forbes</p><p>https://www1.folha.uol.com.br/colunas/latinoamerica21/2021/03/direitos-digitais-devem-ser-concebidos-a-partir-dos-principios-da-liberdade.shtml</p><p>https://www1.folha.uol.com.br/colunas/latinoamerica21/2021/03/direitos-digitais-devem-ser-concebidos-a-partir-dos-principios-da-liberdade.shtml</p><p>https://www1.folha.uol.com.br/colunas/latinoamerica21/2021/03/direitos-digitais-devem-ser-concebidos-a-partir-dos-principios-da-liberdade.shtml</p><p>https://law.mit.edu/pub/blawxrulesascodedemonstration/release/1</p><p>https://www1.folha.uol.com.br/ilustrada/2008/12/478818-artistas-criticam-prisao-da-pichadora-da-bienal.shtml</p><p>https://www1.folha.uol.com.br/ilustrada/2008/12/478818-artistas-criticam-prisao-da-pichadora-da-bienal.shtml</p><p>https://www.digital.govt.nz/dmsdocument/95-better-rules-for-government-discovery-report/html</p><p>https://www.netflix.com/br/title/81254224</p><p>45</p><p>O’NEIL, Cathy. Algoritmos de destruição em massa: como o big data aumenta a desigualdade e</p><p>ameaça a democracia. Tradução: Rafael Abraham. Santo André, SP: Rua do Sabão, 2020.</p><p>PAGLIARI, Claudia. Digital health and primary care: Past, pandemic and prospects. Journal of</p><p>Global Health, 11, 2021. Disponível em: https://jogh.org/digital-health-and-primary-care-past-</p><p>pandemic-and-prospects. Acesso em: 31 jan. 2023.</p><p>PELLEGRINO, Edmund D. The origins and evolution of bioethics: some personal reflections.</p><p>Kennedy Institute of Ethics Journal, v. 9, n. 1, 1999.</p><p>PERELMAN, Chaïm. Tratado da argumentação: nova retórica. Tradução: Maria Ermantina de</p><p>Almeida Prado Galvão. 2. ed. São Paulo: Martins Fontes, 2005.</p><p>PEW RESEARCH CENTER. Young women experience particularly severe forms of online harassment.</p><p>21 out. 2014. Disponível em: https://www.pewresearch.org/internet/2014/10/22/online-</p><p>harassment/pi_2014-10-22__online-harassment-02. Acesso em: 31 jan. 2023.</p><p>PINTO, Álvaro Vieira. O conceito de tecnologia. Rio de Janeiro: Contraponto, 2015. v. 1.</p><p>QUINTO ANDAR. Avaliação de crédito e análise de documentação. Portal Quinto Andar,</p><p>[2020?]. Disponível em: https://help.quintoandar.com.br/hc/pt-br/sections/360003551492-</p><p>Avalia%C3%A7%C3%A3o-de-Cr%C3%A9dito-e-An%C3%A1lise-de-Documenta%C3%A7%</p><p>C3%A3o. Acesso em: 31 jan. 2023.</p><p>RAWLS, John. O liberalismo político. Tradução: Dinah de Abreu Azevedo. 2. ed. 2. reimp. São</p><p>Paulo: Ática, 2000.</p><p>RAZ, Joseph. The authority of law: essays on law and morality. New York: Oxford University Press,</p><p>1979, p. 3-27.</p><p>RAZ, Joseph. Razão prática e normas. Tradução: José Garcez Ghirardi. Rio de Janeiro: Elsevier, 2010.</p><p>RAZ, Joseph. The law's own virtue. Columbia public law research paper nº 14-609, Oxford legal</p><p>studies research paper nº 10/2019, King's College London Law School. Research paper nº 2019-</p><p>17, 2018. Disponível em: https://ssrn.com/abstract=3262030. Acesso em: 31 jan. 2023.</p><p>https://jogh.org/digital-health-and-primary-care-past-pandemic-and-prospects/</p><p>https://jogh.org/digital-health-and-primary-care-past-pandemic-and-prospects/</p><p>https://www.pewresearch.org/internet/2014/10/22/online-harassment/pi_2014-10-22__online-harassment-02</p><p>https://www.pewresearch.org/internet/2014/10/22/online-harassment/pi_2014-10-22__online-harassment-02</p><p>https://help.quintoandar.com.br/hc/pt-br/sections/360003551492-Avalia%C3%A7%C3%A3o-de-Cr%C3%A9dito-e-An%C3%A1lise-de-Documenta%C3%A7%C3%A3o</p><p>https://help.quintoandar.com.br/hc/pt-br/sections/360003551492-Avalia%C3%A7%C3%A3o-de-Cr%C3%A9dito-e-An%C3%A1lise-de-Documenta%C3%A7%C3%A3o</p><p>https://help.quintoandar.com.br/hc/pt-br/sections/360003551492-Avalia%C3%A7%C3%A3o-de-Cr%C3%A9dito-e-An%C3%A1lise-de-Documenta%C3%A7%C3%A3o</p><p>https://ssrn.com/abstract=3262030</p><p>46</p><p>RIBEIRO, Caio Gentil. O direito como parte da moralidade e o fim da teoria do direito. Revista de</p><p>Informação Legislativa, Brasília, v. 57, n. 228, p. 59-76, out./dez. 2020. Disponível em:</p><p>https://www12.senado.leg.br/ril/edicoes/57/228/ril_v57_n228_p59.pdf. Acesso em: 31 jan. 2023.</p><p>RUCHERT, Cassius. Mecânica da fratura e fadiga dos materiais. São Carlos, SP: USP, 2014.</p><p>Disponível em: https://edisciplinas.usp.br/pluginfile.php/241323/mod_resource/content/2/</p><p>AULA%20DE%20FADIGA%20E%20FRATURA2.pdf. Acesso em 31 jan. 2023.</p><p>SANTANA, Pablo. Facebook sofre boicote publicitário de empresas contra discurso de ódio na</p><p>rede social. InfoMoney, 22 jun. 2020. Disponível em: https://www.infomoney.com.br/negocios/</p><p>facebook-sofre-boicote-publicitario-de-empresas-contra-discurso-de-odio-na-rede-social. Acesso</p><p>em: 31 jan. 2023.</p><p>SCHAPIRO, Scott J. The bad man and the internal point of view. In: BURTON, Steven J. The</p><p>path of the law and its influence:</p><p>the legacy of Oliver Wendell Holmes Jr. New York, N.Y.:</p><p>Cambridge University, 2000, p. 197-210.</p><p>SCHERER, Matthew U. Regulating artificial intelligence systems: risks, challenges, competencies,</p><p>and strategies. SSRN, 30 maio 2015. Disponível em: https://papers.ssrn.com/sol3/papers.</p><p>cfm?abstract_id=2609777. Acesso em: 31 jan. 2023.</p><p>SETHURAMAN, N. The origin and development of bioethics: a historical perspective. ICMR</p><p>National Workshop on “New Trends on Bioethics in Biology”. Department of Botany, Periyar Arts</p><p>College, Cuddalore: Cuddalore, 6-7 fev. 2015. Disponível em: https://www.researchgate.net/</p><p>publication/358234512_THE_ORIGIN_AND_DEVELOPMENT_OF_BIOETHICS_A_HIS</p><p>TORICAL_PERSPECTIVE. Acesso em: 31 jan. 2023.</p><p>SGARBI, Adrian. Introdução à teoria do direito. São Paulo: Marcial Pons, 2013.</p><p>SILVA, Virgílio Afonso da. O proporcional e o razoável. Revista dos Tribunais, 798, 2002, p. 25.</p><p>Disponível em: https://constituicao.direito.usp.br/wp-content/uploads/2002-RT798-Proporciona</p><p>lidade.pdf. Acesso em: 31 jan. 2023.</p><p>SOSSIN, Lorne. The politics of soft law: how judicial decisions influence bureaucratic discretion</p><p>in Canada. In: HERTOGH, Marc; HALLIDAY, Simon. Judicial review and bureaucratic impact:</p><p>international and interdisciplinary perspectives. [S.l.: s.n.], 2004.</p><p>https://www12.senado.leg.br/ril/edicoes/57/228/ril_v57_n228_p59.pdf</p><p>https://edisciplinas.usp.br/pluginfile.php/241323/mod_resource/content/2/AULA%20DE%20FADIGA%20E%20FRATURA2.pdf</p><p>https://edisciplinas.usp.br/pluginfile.php/241323/mod_resource/content/2/AULA%20DE%20FADIGA%20E%20FRATURA2.pdf</p><p>https://www.infomoney.com.br/negocios/facebook-sofre-boicote-publicitario-de-empresas-contra-discurso-de-odio-na-rede-social</p><p>https://www.infomoney.com.br/negocios/facebook-sofre-boicote-publicitario-de-empresas-contra-discurso-de-odio-na-rede-social</p><p>https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2609777</p><p>https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2609777</p><p>https://www.researchgate.net/publication/358234512_THE_ORIGIN_AND_DEVELOPMENT_OF_BIOETHICS_A_HISTORICAL_PERSPECTIVE</p><p>https://www.researchgate.net/publication/358234512_THE_ORIGIN_AND_DEVELOPMENT_OF_BIOETHICS_A_HISTORICAL_PERSPECTIVE</p><p>https://www.researchgate.net/publication/358234512_THE_ORIGIN_AND_DEVELOPMENT_OF_BIOETHICS_A_HISTORICAL_PERSPECTIVE</p><p>https://constituicao.direito.usp.br/wp-content/uploads/2002-RT798-Proporcionalidade.pdf</p><p>https://constituicao.direito.usp.br/wp-content/uploads/2002-RT798-Proporcionalidade.pdf</p><p>47</p><p>SOUZA, Thatiane de. Após invasão em 2008, pichadores são convidados a voltar à Bienal. Guiame,</p><p>31 maio 2014. Disponível em: https://guiame.com.br/noticias/sociedade-brasil/apos-invasao-em-</p><p>2008-pichadores-sao-convidados-a-voltar-a-bienal.html. Acesso em: 31 jan. 2023.</p><p>SPLASH. Jéssica, Nissim Ourfali e mais: o trauma de virar meme na adolescência. Splash UOL, 2</p><p>set. 2021. Disponível em: https://www.uol.com.br/splash/noticias/2021/09/02/origem-</p><p>memes.htm. Acesso em: 31 jan. 2023.</p><p>SUPREMO TRIBUNAL FEDERAL (STF). STF conclui que direito ao esquecimento é incompatível</p><p>com a Constituição Federal. 11 fev. 2021. Disponível em: https://portal.stf.jus.br/noticias/</p><p>verNoticiaDetalhe.asp?idConteudo=460414&ori=1. Acesso em: 31 jan. 2023.</p><p>SUSI, Mart. The internet balancing formula. European Law Journal, 25, 2019. Disponível em:</p><p>https://onlinelibrary.wiley.com/doi/abs/10.1111/eulj.12308. Acesso em: 31 jan. 2023.</p><p>SUZOR, Nicolas et al. Human rights by design: the responsibilities of social media platforms to</p><p>address gender-based violence online. Policy and Internet, v. 11, n. 1, p. 84-103, 2019. Disponível</p><p>em: https://eprints.qut.edu.au/121223/2/Human%20Rights%20Responsibilities%20of%20Plat</p><p>forms%20for%20Addressing%20Gender-based%20Violence%20Online%20-%20final%20pre-</p><p>peer%20review.pdf. Acesso em: 31 jan. 2023.</p><p>TMZ. Four Minneapolis cops fired over George Floyd's death. s.d. Disponível em:</p><p>https://www.tmz.com/watch/052620-tmz-live-george-floyd-0-0jr210me. Acesso em: 31 jan. 2023.</p><p>TOURÉ-TILLERY, M.; FISHBACH, A. Three sources of motivation. Consum Psychol Rev., 1, p.</p><p>123-134, 2018. Disponível em: https://doi.org/10.1002/arcp.1007. Acesso em: 31 jan. 2023.</p><p>TRUBEK, David M. Max Weber sobre direito e ascensão do capitalismo (1972). Revista Direito</p><p>GV, v. 3, n. 1, p. 151-185, 2007.</p><p>UNITED NATIONS. What is hate speech? s.d. Disponível em: https://www.un.org/en/hate-</p><p>speech/understanding-hate-speech/what-is-hate-speech. Acesso em: 31 jan. 2022.</p><p>VELASQUEZ, Manuel et al. What is ethics? [versão revisada em 2010]. Markkula Center for</p><p>Applied Ethics at Santa Clara University. jan. 2010. Disponível em: https://www.scu.edu/ethics/</p><p>ethics-resources/ethical-decision-making/what-is-ethics/. Acesso em: 31 jan. 2023.</p><p>https://guiame.com.br/noticias/sociedade-brasil/apos-invasao-em-2008-pichadores-sao-convidados-a-voltar-a-bienal.html</p><p>https://guiame.com.br/noticias/sociedade-brasil/apos-invasao-em-2008-pichadores-sao-convidados-a-voltar-a-bienal.html</p><p>https://www.uol.com.br/splash/noticias/2021/09/02/origem-memes.htm</p><p>https://www.uol.com.br/splash/noticias/2021/09/02/origem-memes.htm</p><p>https://portal.stf.jus.br/noticias/verNoticiaDetalhe.asp?idConteudo=460414&ori=1</p><p>https://portal.stf.jus.br/noticias/verNoticiaDetalhe.asp?idConteudo=460414&ori=1</p><p>https://onlinelibrary.wiley.com/doi/abs/10.1111/eulj.12308</p><p>https://eprints.qut.edu.au/121223/2/Human%20Rights%20Responsibilities%20of%20Platforms%20for%20Addressing%20Gender-based%20Violence%20Online%20-%20final%20pre-peer%20review.pdf</p><p>https://eprints.qut.edu.au/121223/2/Human%20Rights%20Responsibilities%20of%20Platforms%20for%20Addressing%20Gender-based%20Violence%20Online%20-%20final%20pre-peer%20review.pdf</p><p>https://eprints.qut.edu.au/121223/2/Human%20Rights%20Responsibilities%20of%20Platforms%20for%20Addressing%20Gender-based%20Violence%20Online%20-%20final%20pre-peer%20review.pdf</p><p>https://www.tmz.com/watch/052620-tmz-live-george-floyd-0-0jr210me</p><p>https://doi.org/10.1002/arcp.1007</p><p>https://www.un.org/en/hate-speech/understanding-hate-speech/what-is-hate-speech</p><p>https://www.un.org/en/hate-speech/understanding-hate-speech/what-is-hate-speech</p><p>https://www.scu.edu/ethics/ethics-resources/ethical-decision-making/what-is-ethics/</p><p>https://www.scu.edu/ethics/ethics-resources/ethical-decision-making/what-is-ethics/</p><p>48</p><p>VIEIRA, Oscar Vilhena. A desigualdade e a subversão do Estado de direito. Sur. Revista</p><p>Internacional de Direitos Humanos, v. 4, n. 6, p. 28-51, 2007. Disponível em: https://doi.org/</p><p>10.1590/S1806-64452007000100003. Acesso em: 31 jan. 2023.</p><p>VOSOUGHI, Soroush; ROY, Deb; ARAL, Sinan. The spread of true and false news online.</p><p>Science, v. 359, n. 6380, p. 1146-1151, 2018. Disponível em: https://www.science.org/doi/</p><p>10.1126/science.aap9559. Acesso em: 31 jan. 2023.</p><p>WEBER, Max. A ética protestante e o “espírito” do capitalismo. São Paulo: Cia. da Letras, 2004.</p><p>WINCH, Peter. Social science. The British Journal of Sociology, v. 7, n. 1, mar. 1956.</p><p>WORTHAM, Rob. Altai: a new assessment tool from the high-level expert group on artificial</p><p>intelligence (HLEG). 2021. Disponível em: https://robwortham.com/trustworthy-ai-a-new-</p><p>assessment-tool-from-altai/#:~:text=The%20Assessment%20List%20for%20Trustworthy%20</p><p>Artificial%20Intelligence%20%28ALTAI%29,Commission%20to%20support%20the%20Euro</p><p>pean%20Strategy%20on%20A. Acesso em: 31 jan. 2023.</p><p>ZANETTI, Laysa. Prêmio de Rodrigo BBB 22, 99 confirma corrida que acabou em acidente. Splash</p><p>UOL, 1 abr. 2022. Disponível em: https://www.uol.com.br/splash/noticias/2022/04/01/rodrigo-</p><p>mussi-99-confirma-corrida-que-provocou-acidente-com-ex-bbb.htm. Acesso em: 31 jan. 2023.</p><p>ZUBOFF, Shoshana. The age of surveillance capitalism: the fight for a human future at the new</p><p>frontier of power. New York: Public Affairs, 2019.</p><p>ZUBOFF, Shoshana. A era do capitalismo de vigilância: a luta por um futuro humano na nova</p><p>fronteira do poder. Rio de Janeiro: Intrínseca, 2020.</p><p>https://doi.org/10.1590/S1806-64452007000100003</p><p>https://doi.org/10.1590/S1806-64452007000100003</p><p>https://www.science.org/doi/10.1126/science.aap9559</p><p>https://www.science.org/doi/10.1126/science.aap9559</p><p>https://robwortham.com/trustworthy-ai-a-new-assessment-tool-from-altai/#:%7E:text=The%20Assessment%20List%20for%20Trustworthy%20Artificial%20Intelligence%20%28ALTAI%29,Commission%20to%20support%20the%20European%20Strategy%20on%20A</p><p>https://robwortham.com/trustworthy-ai-a-new-assessment-tool-from-altai/#:%7E:text=The%20Assessment%20List%20for%20Trustworthy%20Artificial%20Intelligence%20%28ALTAI%29,Commission%20to%20support%20the%20European%20Strategy%20on%20A</p><p>https://robwortham.com/trustworthy-ai-a-new-assessment-tool-from-altai/#:%7E:text=The%20Assessment%20List%20for%20Trustworthy%20Artificial%20Intelligence%20%28ALTAI%29,Commission%20to%20support%20the%20European%20Strategy%20on%20A</p><p>https://robwortham.com/trustworthy-ai-a-new-assessment-tool-from-altai/#:%7E:text=The%20Assessment%20List%20for%20Trustworthy%20Artificial%20Intelligence%20%28ALTAI%29,Commission%20to%20support%20the%20European%20Strategy%20on%20A</p><p>https://www.uol.com.br/splash/noticias/2022/04/01/rodrigo-mussi-99-confirma-corrida-que-provocou-acidente-com-ex-bbb.htm</p><p>https://www.uol.com.br/splash/noticias/2022/04/01/rodrigo-mussi-99-confirma-corrida-que-provocou-acidente-com-ex-bbb.htm</p><p>49</p><p>PROFESSORES-AUTORES</p><p>GUILHERME FORMA KLAFKE</p><p>FORMAÇÃO ACADÊMICA</p><p> Doutor e mestre em Direito Constitucional pela Universidade</p><p>de São Paulo.</p><p>EXPERIÊNCIAS PROFISSIONAIS</p><p> Gestor de projetos e líder de projeto no Centro de Ensino e</p><p>Pesquisa em Inovação (CEPI) da Escola de Direito de São</p><p>Paulo da Fundação Getulio Vargas (FGV Direito SP).</p><p> Professor do programa de pós-graduação lato sensu da FGV Direito SP (FGV Law).</p><p> Foi professor convidado da disciplina eletiva “Para além da LGPD: uso de dados para o</p><p>Direito”, na graduação da FGV Direito SP.</p><p> Pesquisador na área de Direito e Tecnologia, ministrando aulas sobre contratos eletrônicos</p><p>(e-Contracts), criptoativos e blockchain e inteligência artificial aplicada a serviços jurídicos.</p><p>50</p><p>MARINA FEFERBAUM</p><p>FORMAÇÃO ACADÊMICA</p><p> Doutora, mestre e graduada pela Pontifícia Universidade</p><p>Católica de São Paulo (PUC-SP).</p><p>EXPERIÊNCIAS PROFISSIONAIS</p><p> É learner designer (Kaospilot)</p><p> É coordenadora do CEPI FGV Direito SP e da área de</p><p>Metodologia de Ensino da FGV Direito SP.</p><p> É docente dos programas de graduação e mestrado profissional da FGV Direito SP.</p><p> Ministra cursos de formação docente por todo o Brasil. As suas linhas de pesquisa abrangem</p><p>direito e tecnologia, inovação e profissões jurídicas, governança algorítmica e proteção de</p><p>dados pessoais, inteligência artificial, ensino jurídico, ensino híbrido, metodologias ativas</p><p>de ensino e human rights by design.</p><p>PUBLICAÇÕES</p><p> Publicou e organizou diversas obras sobre ensino jurídico, métodos ativos de ensino e</p><p>inteligência artificial no Direito: On Legal IA – Um rápido tratado sobre inteligência</p><p>artificial no direito; Transformações no ensino jurídico; Transformações nas organizações e</p><p>na prática jurídica, Metodologias ativas em Direito, Ensino Jurídico e Inovação – dicas</p><p>práticas e experiências imersivas, Direitos Humanos e vida cotidiana, Direitos</p><p>fundamentais, Ensino do Direito em Debate, Ensino do Direito para um mundo em</p><p>transformação, Proteção internacional dos Direitos Humanos: análise do sistema africano.</p><p> Publicou e organizou a obra sobre metodologia de pesquisa jurídica: Metodologia da pesquisa</p><p>em Direito – técnicas e abordagens para elaboração de monografias, dissertações e teses.</p><p>https://www.instagram.com/fgv.educacaoexecutiva/</p><p>https://www.linkedin.com/school/fgv-educacaoexecutiva/</p><p>SUMÁRIO</p><p>INTRODUÇÃO à ÉTICA E À INOVAÇÃO RESPONSÁVEL COM DADOS</p><p>Lógica de risco e relação com a ética: riscos jurídicos, técnicos e sociais</p><p>Mapa normativo da governança digital</p><p>Princípios éticos para a IA</p><p>Beneficência</p><p>Não maleficência</p><p>Autonomia</p><p>Justiça</p><p>Explicabilidade</p><p>Elaboração de matriz de risco</p><p>Requisito #1: ação e supervisão humanas</p><p>Requisito #2: solidez técnica e segurança</p><p>Requisito #3: privacidade e governação dos dados</p><p>Requisito #4: transparência</p><p>Requisito #5: diversidade, não discriminação e equidade</p><p>Requisito #6: bem-estar societal e ambiental</p><p>Requisito #7: responsabilização</p><p>Estrutura e instrumentos de governança digital</p><p>Noções gerais de governança</p><p>Aspectos específicos da governança digital</p><p>Ética na governança digital</p><p>REFERÊNCIAS BIBLIOGRÁFICAS</p><p>PROFESSORES-AUTORES</p><p>GUILHERME FORMA KLAFKE</p><p>FORMAÇÃO ACADÊMICA</p><p>EXPERIÊNCIAS PROFISSIONAIS</p><p>MARINA FEFERBAUM</p><p>FORMAÇÃO ACADÊMICA</p><p>EXPERIÊNCIAS PROFISSIONAIS</p><p>PUBLICAÇÕES</p><p>chegam a cada dia, exigindo atualizações constantes;</p><p>ineficiente, pois consequências negativas podem surgir de causas ainda desconhecidas ou pouco</p><p>conhecidas, falhando em cumprir com o seu propósito regulador. Por fim, uma regulação do tipo</p><p>seria mais um obstáculo à inovação do que um dispositivo de segurança social.</p><p>De todo modo, ainda que uma catástrofe jamais ocorra, o debate converge para a necessidade</p><p>de alguma forma de controle jurídico do desenvolvimento da IA, eis que essa representa um risco</p><p>público e, como tal, requer mecanismos jurídicos para reduzi-lo.</p><p>Scherer (2015) sustenta que, em nível nacional (americano), seria possível mitigar os</p><p>riscos da IA sem grandes inovações jurídicas por meio de legislação apropriada – que são menos</p><p>frequentes em sistemas de direito comum (common law) como o americano –, agências</p><p>administrativas e aplicação da responsabilidade civil, funcionando as duas primeiras como um</p><p>subsistema de controle da IA – algo comparável ao que já acontece em diversas áreas, como</p><p>seguros de saúde (no Brasil, controlados pela Agência Nacional de Saúde Suplementar – ANS),</p><p>telecomunicação (controlado pela Agência Nacional de Telecomunicações – Anatel) e,</p><p>particularmente, ao caso da Food and Drug Administration (FDA) nos EUA, que tem poderes</p><p>para banir produtos perigosos – e o terceiro para reparação de danos.</p><p>1 Vide https://www.ncsl.org/research/transportation/autonomous-vehicles-legislative-database.aspx.</p><p>2 Vide https://www.droneregulations.info/index.html.</p><p>https://www.ncsl.org/research/transportation/autonomous-vehicles-legislative-database.aspx</p><p>https://www.droneregulations.info/index.html</p><p>7</p><p>Pela sistemática atual, desses três, apenas a responsabilidade civil se encontra</p><p>generalizadamente presente, já que se trata de instituto jurídico tradicional. Para casos específicos,</p><p>há alguma regulação destinada a discipliná-las, como o já mencionado caso da direção autônoma.</p><p>Por fim, as aplicações de IA que envolvem dados pessoais (quiçá a maior parte delas) demandam</p><p>cuidados com a privacidade dos titulares, exigindo algum tipo de prestação de contas (leia-se</p><p>transparência, responsabilidade e compliance).</p><p>A manipulação de dados pessoais, que se enquadra como espécie de tratamento de dados,</p><p>submete-se aos diplomas de proteção de dados pessoais, como a LGPD do Brasil e o RGPD da</p><p>União Europeia, que podem impor uma série de obrigações de conformidade jurídica para,</p><p>inclusive, autorizar a realização dos tratamentos.</p><p>A relevância do exemplo das leis de proteção de dados, que vai além da sua aplicabilidade</p><p>direta aos tratamentos de dados pessoais – quaisquer que sejam eles, como o simples</p><p>armazenamento –, é o seu paradigma da sua sistemática protetiva, que não se baseia em qualificar</p><p>a licitude de tratamentos específicos (como se faz no direito penal, por exemplo), mas, sim, em</p><p>avaliar o risco desses tratamentos. De fato, tanto a LGPD quanto o RGPD se baseiam na lógica do</p><p>risco (pela qual se avalia a licitude do tratamento) e pelo respectivo controle pela administração</p><p>pública, estabelecendo uma autoridade para fiscalizar o cumprimento das suas disposições, tal qual</p><p>na concepção de Scherer para regulação da IA.</p><p>No caso da LGPD, agentes que tratam dados têm a obrigação de avaliar o risco dos seus</p><p>tratamentos à privacidade de titulares dos dados tratados e elaborar um relatório de impacto</p><p>indicando os pontos mais problemáticos do processo, bem como indicar os encaminhamentos para</p><p>solucioná-los. Nesse sentido, a lei admite algo que poderia ser definido como uma espécie</p><p>desconformidade normativa justificada, como um tratamento inadequado que se autoriza pelas</p><p>medidas corretivas prometidas, aferindo-se cada tratamento quanto ao risco avaliado e os esforços</p><p>para a sua mitigação.</p><p>Particularmente em relação à pesquisa científica, a LGPD é mais branda quanto ao</p><p>tratamento de dados pessoais, dispensando a necessidade de consentimento (art. 7º, IV), inclusive</p><p>para dados sensíveis (art. 11, II, b), e a obrigatoriedade de eliminação após o término do tratamento</p><p>(art. 16, II), determinando “sempre que possível” a anonimização. Mas isso não afasta a necessidade</p><p>de uma avaliação ética, eis que, por se tratar de dados pessoais e, por conseguinte, de pesquisa com</p><p>seres humanos, deve-se assegurar que o trabalho atenda alguma diretriz ética, seja por meio de órgão</p><p>de ética, seja por autoavaliação expressamente justificada no trabalho, inclusive em caso de dados</p><p>brutos anonimizados, já que a questão ética não se limita à privacidade.</p><p>8</p><p>Ainda sobre a pesquisa científica com dados, é particularmente difícil traçar os limites éticos</p><p>a partir da mesma perspectiva de aplicações tecnológicas de natureza diversa, tal qual já estabelecido</p><p>na questão da proteção de dados pessoais. Como parte indispensável da reprodução da ciência, eis</p><p>que voltada à produção de conhecimento, os limites éticos da pesquisa científica requerem um</p><p>debate por parte da comunidade científica em diálogo com especialistas da área, das pessoas</p><p>interessadas e da sociedade como um todo, nos moldes da lógica do risco, mas considerada pela</p><p>ótica da ciência. Os princípios e as grandes questões são os mesmos, mas o sopesamento da relação</p><p>risco/desenvolvimento não.</p><p>Tanto no caso da pesquisa científica quanto nos demais, o estado das exigências éticas deve</p><p>evoluir para um controle mais intenso em breve, tal qual se observa na União Europeia e nas suas</p><p>iniciativas para a IA, como a Altai, que será tratada em detalhe em outra parte deste curso. Ainda</p><p>que pareça distante, os movimentos na União Europeia já afetam os trabalhos fora dela.</p><p>No contexto de uma sociedade digital, em que a dimensão digital é transfronteiriça,</p><p>alcançando todos os espaços físicos ao mesmo tempo, a incidência da regulação externa depende</p><p>menos da localização física de agentes de tratamento de dados e mais das circunstâncias do</p><p>tratamento em si. Um trabalho distribuído pelo mundo originado na União Europeia exige</p><p>adequação ao RGPD por todos os envolvidos no seu fluxo de trabalho, não se limitando às</p><p>exigências específicas deste, estendendo-se à conformidade de agentes de tratamento em si.</p><p>Em outras palavras, para participar de um trabalho transfronteiriços, a organização deve cumprir</p><p>as exigências normativas, inclusive as relativas à governança, como a presença de um encarregado de</p><p>dados. Logo, não cumprir essas exigências implica em excluir ex ante um agente da cadeia de trabalho.</p><p>Isso pode estender-se além da proteção de dados: ainda que uma avaliação ética não seja obrigatória, o</p><p>parceiro europeu pode exigi-la em defesa de valores estratégicos à sua imagem ou, simplesmente, como</p><p>parte do seu modelo de governança, já preparado para enfrentar exigências futuras.</p><p>Se a legislação externa pode exigir de atores situados fora do seu domínio territorial e se já</p><p>existem iniciativas externas relevantes para um desenvolvimento ético da IA – antevendo-se um</p><p>maior controle jurídico sobre o tema –, então há um bom argumento para, desde já,</p><p>adotar/desenvolver um sistema de governança digital, inclusive para pesquisa científica, com o</p><p>objetivo de se preparar para uma prestação de contas à sociedade.</p><p>Para muitas organizações, uma governança digital voltada à proteção de dados pessoais já é</p><p>obrigatória no Brasil por força da LGPD, que já cuida da manipulação de dados pessoais. Isso, antes</p><p>de tudo, é uma questão de conformidade jurídica, que é um dos aspectos da governança, conforme</p><p>veremos no mapa normativo, discutido mais adiante. Um modelo de governança digital amplo, isto</p><p>é, além da proteção de dados pessoais, envolve principalmente um escopo ético. É nesse sentido</p><p>que as organizações devem antecipar-se, já que não há, ainda, uma obrigatoriedade.</p><p>9</p><p>Por outro lado, como a IA representa um risco público real, já concretizado em um número</p><p>de casos bem documentados e conhecidos, além de muitos outros que não vieram à luz do dia; a</p><p>sua mitigação demanda mecanismos</p><p>de controle por parte da organização, não obstante a ausência</p><p>de obrigatoriedade específica nesse sentido. Casos de discriminação algorítmica, de ocorrência</p><p>razoavelmente frequente, são exemplos dos desafios do futuro da IA que requerem atenção imediata.</p><p>A sua ocorrência em prejuízo do titular, como negativa de concessão de crédito, de contratação de</p><p>seguros, entre outros, implica danos materiais e morais bastante concretos que, além de passíveis de</p><p>responsabilização civil, já se submetem ao princípio da transparência da LGPD (art. 6º, VI), com</p><p>direito ao esclarecimento (art. 42, § 2º, I). Quando se avalia o risco ético de um sistema de IA ao</p><p>longo do seu ciclo, os danos decorrentes de resultados antiéticos se tornam menos frequentes,</p><p>tornando a sua operação mais segura.</p><p>Vale ressaltar que tudo isso vale para dados pessoais e não pessoais, tornando a avaliação ética</p><p>mais ampla que a relativa a privacidade. A preocupação que envolve a IA é o seu uso como um</p><p>todo, como a condução autônoma de veículos, terrestres ou não, que podem causar falhas fatais.</p><p>Mapa normativo da governança digital</p><p>Concebido por Floridi (2018), o mapa normativo da governança digital relaciona as três</p><p>fontes de normas que compõem a estrutura normativa de uma organização: as normas éticas, as</p><p>normas jurídicas e as normas de governança.</p><p>Cada fonte possui uma abrangência específica, podendo haver sobreposição parcial conforme</p><p>o diagrama abaixo.</p><p>Figura 1 – Mapa normativo da governança digital</p><p>Fonte: elaboração própria, reproduzindo Floridi (2018)</p><p>Certamente, não há que se falar em sobreposição perfeita das abrangências. Nem todas as</p><p>questões de governança digital dizem respeito à ética digital ou à regulação digital. Por exemplo, a</p><p>governança de TI, particularmente quanto à gestão dos ativos digitais, compreende escolhas</p><p>informadas pela técnica, custo, parcerias comerciais, etc. A opção por um fornecedor de banco de</p><p>dados em vez de outro não resulta em ilícito jurídico ou em atitude antiética.</p><p>ética digital</p><p>governança digital</p><p>regulação digital</p><p>10</p><p>Da mesma maneira, nem todas as questões de regulação digital dizem respeito à governança</p><p>ou a ética. A estruturação da autoridade nacional, por exemplo, decorre de escolhas políticas</p><p>realizadas pelos legisladores. A opção por uma composição multisetorial com 11 membros com</p><p>mandato de dois anos ou uma com 13 membros, sendo quatro da sociedade civil, quatro da</p><p>academia, quatro do setor público e um presidente não afeta os modelos de governança adotados</p><p>pelas organizações nem envolve discussão ética.</p><p>Por fim, nem todas as questões de ética digital dizem respeito à regulação ou a ética. A atuação</p><p>de ONGs de direitos humanos na promoção de temas digitais, por exemplo, é parte da estratégia de</p><p>afirmação dos valores éticos por elas defendido. Uma campanha de conscientização sobre os perigos</p><p>da internet, por exemplo, nem decorre de obrigação jurídica, nem diz respeito a opções de governança.</p><p>Nas zonas de intersecção, deve-se considerar a supraordenação da ética sobre as demais e a</p><p>regulação sobre a governança. Desse modo, a interseção da ética com a regulação ou com a</p><p>governança conforma as respectivas zonas, para que as suas normas não conflitem com os preceitos</p><p>éticos; e a intersecção da regulação com a governança conforma as normas dessa última para que</p><p>não conflitem com as disposições legais.</p><p>Isso não precisa necessariamente ocorrer na norma abstrata, já que há casos em que o conflito</p><p>e a conformidade só surgem em situações específicas ou concretas. Nesses casos, a interpretação das</p><p>normas de regulação e governança devem buscar conformação com a ética – cuja aplicação se</p><p>denomina ética conformativa ou ética incidental, do inglês soft ethics –, devendo a segunda buscar</p><p>conformidade também com a primeira.</p><p>Como a regulação não se submete juridicamente à ética, senão quando esta se encontra</p><p>positivada no ordenamento, pode acontecer de haver conflito normativo abstrato não sanável por</p><p>interpretação, isto é, com divergência normativa em nível semântico, em que a norma ética</p><p>“manda” fazer uma coisa, e a norma jurídica, outra. Quando isso acontece, é necessário alterar o</p><p>ordenamento jurídico por meio do processo legislativo para sanar o conflito, a exemplo do que</p><p>aconteceu na África do Sul, onde a ética – nesse caso denominada ética corretiva ou ética rígida, do</p><p>inglês hard ethics – desmontou o Apartheid (FLORIDI, 2018).</p><p>Ordenamentos jurídicos onde a regulação digital conflita com a ética em nível abstrato não</p><p>sanável por interpretação, exigindo a aplicação de ética corretiva, falham em fornecer um ambiente</p><p>normativo para uma governança digital ética plena. Consequentemente, pode-se perder repertório</p><p>normativo para mitigar o risco público de sistemas de IA, o que cria condições favoráveis à sua</p><p>ocorrência. Apenas em contextos em que a ética conformativa é possível – isto é, onde não haja</p><p>necessidade de uma ética corretiva – é que ela “pode ajudar companhias, governos e organizações a</p><p>se beneficiar, moralmente falando, das oportunidades das inovações digitais” (FLORIDI, 2018)3.</p><p>3 Tradução livre de “to help companies, governments and other organisations to take more and better advantage, morally</p><p>speaking, of the opportunities offered by digital innovation”.</p><p>11</p><p>Quer dizer, a ética só contribui para o desenvolvimento de sistemas de IA socialmente seguras</p><p>quando ela serve para ir além de uma legislação já eticamente adequada, lembrando que o papel da</p><p>ética, nesse caso, é fornecer um paradigma para alcançar onde a legislação não alcança (FLORIDI,</p><p>2018, p. 2).</p><p>Figura 2 – Mapa normativo da governança digital com detalhe para a avaliação moral</p><p>Fonte: elaboração própria, a partir de Floridi (2018)</p><p>A função conformativa da ética, por óbvio, só ocorre onde há sobreposição com a regulação</p><p>e com a governança. Por exemplo, a exigência geral de consentimento livre, informado e inequívoco</p><p>(LGPD, art. 5º, XII) para o tratamento de dados busca dar efetividade ética à vontade do titular,</p><p>visando garantir que o seu consentimento não seja obtido de maneira dissimulada, harmonizando</p><p>a norma jurídica com a ética. Ou ainda, uma política de diversidade para a contratação de projetistas</p><p>de sistemas de IA, por sua vez não obrigatória pela legislação, demonstra preocupação ética tanto</p><p>quanto à composição do quadro de colaboradores quanto com o desenho do sistema em si,</p><p>harmonizando governança e ética.</p><p>Figura 3 – Mapa normativo da governança digital com detalhe para a compliance</p><p>Fonte: elaboração própria, a partir de Floridi (2018)</p><p>ética digital</p><p>governança digital</p><p>regulação digital</p><p>a ética digital conforme a</p><p>governança e a regulação digitais</p><p>por meio da avaliação moral</p><p>ética digital</p><p>governança digital</p><p>regulação digital</p><p>a regulação digital conforme</p><p>a governança digital por</p><p>meio da compliance</p><p>12</p><p>Quando a sobreposição ocorre entre a regulação e a governança, entra-se no campo</p><p>específico da conformidade jurídica, popularmente denominada pelo termo correspondente em</p><p>inglês compliance. Como a conformidade jurídica é obrigatória, dispondo de todo arsenal de</p><p>mecanismos de exigência fornecidas pelo ordenamento jurídico, um conflito normativo com a</p><p>governança acabaria, eventualmente, atos ilícitos por parte da organização, combatíveis por ações</p><p>judiciais, multas administrativas, etc. Apenas onde haja intersecção entre ética, regulação e</p><p>governança se deve reafirmar uma interpretação ética da regulação e da governança com o fim de</p><p>alcançar uma ética conformativa.</p><p>Princípios éticos para a IA</p><p>A ética, enquanto paradigma normativo para o desenvolvimento de sistemas de IA benéficos</p><p>à sociedade, visa, em última análise, completar o conteúdo do direito, tanto quanto ao sentido das</p><p>suas normas,4 quanto à sua ausência, estabelecendo normas ad hoc. Ao mesmo tempo, e em razão</p><p>disso, inexiste um sistema normativo ético definido, o qual precisa ser deduzido para cada</p><p>caso. A</p><p>ética, portanto, consiste em um sistema de valores a serem observados e protegidos, inexistindo</p><p>normas dispositivas, isto é, regras que estabeleçam consequências quando do seu descumprimento.</p><p>Isso, por uma perspectiva da teoria jurídica, equivale dizer que as normas éticas possuem natureza</p><p>principiológica, o que, por sua vez, confere um alcance normativo aprioristicamente ilimitado, eis</p><p>que toda norma – dispositiva ou principiológica – que reafirme tais valores se reputam válidas.</p><p>Outra característica da ética é a sua incompletude. O seu sistema de valores é exemplificativo,</p><p>inexistindo uma relação definitiva. O que há em comum nos seus valores/princípio é uma</p><p>concepção vaga daquilo que seria a retidão ética, que adquire concretude semântica a partir da</p><p>experiência humana, particularmente das consequências negativas observadas em casos concretos,</p><p>assim consideradas pelo desconforto, descontentamento ou sofrimento experimentado por</p><p>indivíduos ou grupos em posição relativa de vulnerabilidade, isto é, de hipossuficiência quanto à</p><p>causa da consequência negativa.</p><p>A utilidade da ética para a avaliação de riscos decorre justamente da sua natureza</p><p>principiológica e do seu caráter exemplificativo. Sem regras definidas, e sem princípios definitivos,</p><p>a ética se torna suficientemente flexível para a avaliação de casos variados, inclusive os inovadores.</p><p>4 A norma jurídica somente é alcançada por meio da interpretação dos dispositivos normativos, cujo sentido é completado</p><p>de diversas maneiras, a começar pelas normas constitucionais, que não admitem contrariedade. Se a norma abstratamente</p><p>considerada não carrega conteúdo ético, como no caso de licitude de tratamento de dados fundamentada no</p><p>consentimento dos seus titulares, a situação concreta, para fins de avaliação ética, requer completar o seu sentido por</p><p>meio dos princípios éticos. No exemplo, um tratamento que consista em treinamento de um modelo com viés negativo</p><p>quanto à etnia pela simples ausência de dados que a comtemple, como o reconhecimento facial realizado por modelo não</p><p>treinado para reconhecer tons de pele escura, então, a despeito da licitude do tratamento de treinamento, a aplicação</p><p>resultante não atende a uma avaliação ética.</p><p>13</p><p>Há, no entanto, limitações. Em primeiro lugar, não se pode ignorar a possibilidade de conflito</p><p>entre princípios no caso concreto. Ainda que os valores protegidos pela ética não se contradigam</p><p>abstratamente um ao outro, é inevitável o surgimento de casos concretos que envolvam</p><p>contradições. Em segundo, a avaliação ética é incompleta, não esgotando o risco. O fato de admitir</p><p>a “dedução” de novos princípios para o caso, em razão do seu caráter exemplificativo, não significa</p><p>que isso ocorrerá na prática.</p><p>Nesse sentido, a ética funciona mais como ponto de partida do que de chegada. Além disso,</p><p>como o seu objetivo é conduzir o desenvolvimento da IA com segurança, e não evitar por completo</p><p>o risco público de aplicações específicas, então é possível estabelecer um sistema de valores de</p><p>referência, aprimorando-o constantemente por meio de revisões. Dessa maneira, é possível corrigir</p><p>o curso do desenvolvimento, para que esse atue em prol da sociedade, não contra ela.</p><p>O uso aplicado da ética nesse sentido não é nenhuma novidade, havendo sólidas referências</p><p>para a sua adoção no campo da IA. Além de bastante desenvolvido, o uso da ética na saúde enfrenta</p><p>questões similares, abrangendo a prática da medicina, tratamento de saúde e experimentação com</p><p>seres humanos, saúde pública, entre outros, colocando o indivíduo, grupos étnicos, sociais e</p><p>nacionais e a sociedade como um todo no centro de suas preocupações.</p><p>Trata-se da bioética, em que o risco envolve nada menos que a integridade do indivíduo.</p><p>Historicamente, há precedentes de princípios bioéticos desde Hipócrates, no século IV a.C.,</p><p>tornando-se um campo de estudo apenas na década de 1960 (SETHURAMAN, 2015), sendo</p><p>finalmente batizada em 1972 (PELLEGRINO, 1999, p. 73-88) e sistematizada em 1979</p><p>(McCORMICK, s.d.) com a publicação da obra Principles of biomedical ethics, por Beauchamp e</p><p>Childress, que fixou os seus quatro princípios fundamentais: autonomia, beneficência, não</p><p>maleficência e justiça (McCORMICK, s.d.). Na atualidade, a sua observância é obrigatória na</p><p>prática clínica e na pesquisa com seres humanos.</p><p>A sua emancipação como disciplina autônoma, portanto, como relevância para a saúde,</p><p>decorreu da necessidade de humanização do trato com seres humanos, que atingiu o seu limite de</p><p>objetificação no nazismo, que reduziu a população dos campos de concentração e extermínio a</p><p>cobaias de laboratório de pesquisas médicas. O julgamento das experimentações realizadas nos</p><p>campos levou à elaboração do Código de Nuremberg (MARSHALL, s.d.), com 10 princípios éticos</p><p>sobre experimentação humana, a começar pela ideia de um consentimento inequívoco.</p><p>1. O consentimento voluntário do ser humano é absolutamente essencial.</p><p>Isso significa que as pessoas que serão submetidas ao experimento devem</p><p>ser legalmente capazes de dar consentimento; essas pessoas devem exercer</p><p>o livre direito de escolha sem qualquer intervenção de elementos de força,</p><p>fraude, mentira, coação, astúcia ou outra forma de restrição posterior;</p><p>devem Ter conhecimento suficiente do assunto em estudo para tomar uma</p><p>decisão. Esse último aspecto exige que sejam explicados às pessoas a</p><p>14</p><p>natureza, a duração e o propósito do experimento; os métodos segundo os</p><p>quais será conduzido; as inconveniências e os riscos esperados; os efeitos</p><p>sobre a saúde ou sobre a pessoa do participante que eventualmente possam</p><p>ocorrer devido à participação no experimento. O dever e a</p><p>responsabilidade de garantir a qualidade do consentimento repousam</p><p>sobre o pesquisador que inicia ou dirige um experimento ou se</p><p>compromete nele. São deveres e responsabilidades pessoais que não podem</p><p>ser delegados a outrem impunemente.5</p><p>Os 10 princípios do Código de Nuremberg foi base para a adoção em 1964 da Declaração</p><p>de Helsinque, já sete vezes revisada (1975, 1983, 1989, 1996, 2000, 2008 e 2013), para orientar a</p><p>prática e pesquisa médicas. Ela</p><p>enfatiza o respeito pela autonomia individual do participante, o</p><p>consentimento informado, [...] coloca o bem-estar do participante bem à</p><p>frente das necessidades da ciência ou da sociedade, [...] recomenda</p><p>avaliação de risco e benefícios, com ênfase na beneficência, competência e</p><p>rigor científicos (SETHURAMAN, 2015).6</p><p>Do texto de 1964 à revisão de 2013, a declaração passou de nove artigos subdivididos em</p><p>duas partes para 37 artigos subdivididos em 12 partes: preâmbulo com dois artigos; princípios</p><p>gerais, com 13 artigos; riscos, ônus e benefícios, com três artigos; grupos e indivíduos vulneráveis,</p><p>com dois artigos; requisitos científicos e protocolos de pesquisa, com dois artigos; comitês éticos de</p><p>pesquisa, com um artigo; privacidade e confidencialidade, com um artigo; consentimento</p><p>informado, com oito artigos; uso de placebo, com um artigo; provisões pós-experimentação, com</p><p>um artigo; registro, publicação e divulgação de resultados de pesquisa, com dois artigos; e</p><p>intervenção não comprovada na prática clínica, com um artigo (WMA, 2013).</p><p>No caso da IA, um número de diretrizes éticas se propõe a enfrentar a questão, porém sem</p><p>qualquer tipo de coordenação. Em geral, são iniciativas autônomas, sem um diálogo formado para a</p><p>consecução de uma convergência em torno de um paradigma comum, o que – conforme</p><p>5 Tradução em português do Código de Nuremberg de 1947. Disponível em:</p><p>http://www.fiocruz.br/biosseguranca/Bis/manuais/qualidade/Nurembg.pdf. A tradução dividiu o primeiro princípio do</p><p>código em três, que foram reagrupados no excerto para reproduzir a versão original.</p><p>6 Tradução livre de “Meanwhile, the World Medical Association’s Declaration of Helsinki further developed the 10 principles</p><p>expounded in the Nuremberg Code in order to more directly address the needs of research. 18 First adopted</p><p>in 1964, it</p><p>has undergone six revisions in 1975, 1983, 1989, 1996, 2000, and 2008. It stresses respect for the individual, autonomy of</p><p>the participant, and informed consent, although it allows for consent by proxy in some circumstances. The welfare of the</p><p>participant is placed firmly ahead of the needs of science or society. Further, it recommends assessment of risks and</p><p>benefits, with an emphasis on beneficence, competence and scientific rigor”.</p><p>http://www.fiocruz.br/biosseguranca/Bis/manuais/qualidade/Nurembg.pdf</p><p>15</p><p>diagnosticado por Floridi e Cows (2019) – tanto gera confusão quanto cria a possibilidade de escolha</p><p>oportunística de proposta, na qual o criador da IA pode escolher a que melhor lhe convém. Ao mesmo</p><p>tempo, nota-se bastante sobreposição entre essas diferentes propostas, suficiente para sistematizar uma</p><p>base ética comum, tal qual os princípios de Beauchamp e Childress, só que voltado à IA.</p><p>Com o objetivo de oferecer essa base comum, Floridi e Cows (2019) sistematizaram aquilo</p><p>que denominaram de Estrutura Unificada de Cinco Princípios para IA, partindo dos quatro</p><p>princípios da bioética – autonomia, beneficência, não maleficência e justiça – aos quais se</p><p>acrescentou o princípio da explicabilidade. A sistematização utilizou como fonte seis iniciativas de</p><p>diretrizes éticas para IA7 selecionadas segundo três critérios básicos:</p><p>são recentes, publicadas nos últimos três anos [contados do trabalho dos</p><p>autores]; são diretamente relevantes à IA e seu impacto na sociedade como</p><p>um todo (consequentemente excluindo documentos de domínios,</p><p>indústria ou setor particulares); possuem grande reputação, publicadas por</p><p>organizações fidedignas, com interesses abrangentes e com escopo mínimo</p><p>nacional (FLORIDI; COWLS, 2019).8</p><p>Beneficência</p><p>Na bioética, o princípio da beneficência se aplica ao paciente, isto é, para o seu benefício,</p><p>reputando-se “um dever autoevidente e amplamente aceito como um objetivo inerente à medicina”</p><p>(McCORMICK, s.d.).</p><p>Conforme argumenta McCormick (s.d.), “uma pessoa em sofrimento (o paciente) pode se</p><p>submeter àquele que a sociedade licenciou como competente para oferecer tratamento de saúde,</p><p>confiante de que o principal objetivo do profissional é ajuda-lo”. Nesse sentido, uma prática ética</p><p>compreende a garantia de que aquilo que se oferece retorna positivamente à pessoa destinatária,</p><p>permitindo-lhe confiar no que lhe é oferecido, não obstante a sua hipossuficiência na situação.</p><p>7 1. Asilomar AI Principles; 2. Montreal Declaration for Responsible AI; 3. “Os princípios gerais elencados na segunda versão</p><p>de Ethically Aligned Design: a vision for prioritizing human well-being with authonomous and intelligent systems”; 4. “Os</p><p>princípios éticos apresentados em “Statement on artificial intelligence, robotics and ‘authonomous’ systems”; 5 Os “cinco</p><p>princípios globais para um código de IA” apresentados no relatório “IA in the UK: ready, willing and able?”; 6 Tenets of the</p><p>Partnership on AI.</p><p>8 Tradução livre de “they are recent, published within the last three years; directly relevant to AI and its impact on society</p><p>as a whole (thus excluding documents specific to a particular domain, industry, or sector); and highly reputable, published</p><p>by authoritative, multistakeholder organizations with at least national”.</p><p>16</p><p>Quando pacientes se encontram sem capacidade de manifestar o seu consentimento, o</p><p>princípio da beneficência se sobrepõe à autonomia, presumindo, conforme a gravidade, “que uma</p><p>pessoa sensata desejaria ser tratada intensamente”, devendo o profissional se apressar para “realizar</p><p>intervenção beneficente para estancar o sangramento, reparar a fratura ou suturar o ferido”</p><p>(McCORMICK, s.d.).9</p><p>No escopo da IA, o princípio vai além da “dignidade humana” e o “bem comum”, para</p><p>também abranger “o bem-estar de todos os seres sencientes” (FLORIDI; COWLS, 2019)10 e</p><p>“assegurar os prerrequisitos da vida no planeta”, o “bem comum”, a “sustentabilidade”, enfim, para</p><p>promover “o bem-estar do povo e do planeta” (FLORIDI; COWLS, 2019).</p><p>Não maleficência</p><p>Conforme observam Floridi e Cowls (2019), “Apesar de que ‘faça apenas o bem’</p><p>(beneficência) e ‘não faça o mal’ (não maleficência) pareçam logicamente equivalentes, eles não são</p><p>e representam princípios distintos”.</p><p>Na bioética, o princípio da não maleficência visa assegurar que profissionais não ajam de</p><p>maneira intencional para causar algum mal a pacientes – como um sofrimento ou uma lesão –,</p><p>considerando-se o mal menor quando a não intervenção possa resultar em prejuízo maior, por</p><p>exemplo, para justificar um tratamento ou exame dolorido, destinados a evitar uma evolução</p><p>negativa do seu estado de saúde (McCORMICK, s.d.).</p><p>Em situações limítrofes, a aplicação desse princípio demanda interpretação da situação</p><p>concreta, por exemplo, para afastar intervenção médica “como no caso de paciente terminal de</p><p>doloroso carcinoma, que dispensa ressuscitação no evento de uma parada cardiorrespiratória, o uso</p><p>de tecnologia de suporte vital, como respirador e diálise” (McCORMICK, s.d.)11, ante o</p><p>entendimento que a morte pode ser o mal menor perante uma sobrevida debilitada.</p><p>No caso da IA, o princípio tem uma dimensão maior. Como ele não se limita ao indivíduo,</p><p>mas à humanidade, à vida e ao planeta como um todo, a não maleficência vai além dos danos</p><p>individuais a privacidade, compreendendo também os seus perigos, ainda que das melhores</p><p>intenções, além de condenar o mal uso da tecnologia (FLORIDI; COWLS, 2019).</p><p>9 Tradução livre de “When the patient is incapacitated by the grave nature of accident or illness, we presume that the</p><p>reasonable person would want to be treated aggressively, and we rush to provide beneficent intervention by stemming the</p><p>bleeding, mending the broken or suturing the wounded”.</p><p>10 Tradução livre de “the development of AI should ultimately promote the well-being of all sentient creatures”. Montreal</p><p>Declaration for a Responsible Development of Artificial Intelligence (2017, November, 3). Announced at the conclusion of</p><p>the Forum on the Socially Responsible Development of AI. Disponível em: https://www.montrealdeclaration-</p><p>responsibleai.com/the-declaration.</p><p>11 Tradução livre de “However, in other cases, such as the case of a patient dying of painful intestinal carcinoma, the patient</p><p>might choose to forego CPR in the event of a cardiac or respiratory arrest, or the patient might choose to forego life-</p><p>sustaining technology such as dialysis or a respirator”.</p><p>https://www.montrealdeclaration-responsibleai.com/the-declaration</p><p>https://www.montrealdeclaration-responsibleai.com/the-declaration</p><p>17</p><p>Autonomia</p><p>Tanto em intervenções médicas quanto em sistemas de IA, há um componente decisório: a</p><p>decisão do diagnóstico, de realizar a intervenção, da melhor técnica/tratamento, da classificação do</p><p>dado, etc. O princípio da autonomia visa garantir que o afetado/interessado participe do processo</p><p>decisório, de maneira informada, livre e consciente, podendo exercê-la com toda a plenitude, sem</p><p>coação, manipulação ou qualquer forma de desvirtuar a sua autonomia.</p><p>Por exemplo, Testemunhas de Jeová acreditam que é errado aceitar</p><p>transfusões de sangue. Portanto, em situação de vida em risco onde a</p><p>transfusão é necessária para salvar a vida do paciente, este deve ser</p><p>informado. As consequências de recusar a transfusão de sangue devem ser</p><p>esclarecidas ao paciente em risco de óbito por perda de sangue</p><p>(McCORMICK, s.d.).</p><p>O exemplo da Testemunha de Jeová é polêmico, envolvendo discussão sobre a sua prevalência</p><p>sobre os princípios da beneficência e não maleficência. Como a questão não é apenas médica,</p><p>devendo-se considerar eventual dano ao sistema de crença do paciente, a autonomia deve prevalecer,</p><p>ressalvados alguns casos específicos, como quando envolvendo menores crentes em atendimento de</p><p>urgência (McCORMICK, s.d.).</p><p>No caso da IA, o princípio visa preservar a autônima humana como um todo, promovendo a</p><p>autonomia humana pela</p><p>restrição da autonomia da máquina, que deve ser reversível para a retomada</p><p>de controle. Por outro lado, o ser humano também tem o poder de decidir deixar a máquina tomar</p><p>decisões, pois, do contrário, não haveria possibilidade ética de se utilizar sistemas de IA.</p><p>O que se pretende assegurar com o princípio da autonomia é o controle humano sobre a</p><p>tecnologia, de modo a sempre possibilitar a sua recuperação.</p><p>Isso introduz a noção de que podemos chamar ‘meta-autonomia’, ou a</p><p>‘autonomia de delegar’: humanos devem reter o poder de decidir que</p><p>decisões tomar, exercendo a liberdade de escolha onde necessário e ceder nos</p><p>casos em que uma razão fundamentada, tal qual a eficiência, possa sopesar a</p><p>perde de controle. Toda delegação deve permanecer anulável a princípio,</p><p>por exemplo, decidir decidir novamente (McCORMICK, s.d.).12</p><p>12 Tradução livre de “This introduces a notion we might call ‘metaautonomy,’ or a ‘decide-to-delegate’ model: humans should</p><p>retain the power to decide which decisions to take: exercising the freedom to choose where necessary, and ceding it in</p><p>cases where overriding reasons, such as efficacy, may outweigh the loss of control over decision-making. Any delegation</p><p>should also remain overridable in principle (i.e., deciding to decide again)”.</p><p>18</p><p>Justiça</p><p>O princípio da justiça é, em grande parte, um princípio de equidade/justeza e solidariedade,</p><p>voltado ao impacto causado à sociedade.</p><p>Na medicina, o princípio se volta à saúde pública, envolvendo discussões sobre justiça</p><p>distributiva, eis que os recursos são sempre escassos.</p><p>De fato, nossa sociedade usa uma variedade de fatores como critério para</p><p>justiça distributiva, incluindo o seguinte: 1. Para cada pessoa, uma parte</p><p>igual; 2. para cada pessoa, de acordo com a necessidade; 3. Para cada</p><p>pessoa, de acordo com o esforço; 4. Para cada pessoa, de acordo com a</p><p>contribuição; 5. Para cada pessoa, de acordo com o mérito; 6. Para cada</p><p>pessoa, de acordo com a livre troca de mercado (McCORMICK, s.d.).13</p><p>No âmbito da IA, o princípio é análogo, mas não pelos mesmos critérios. No caso, não é possível</p><p>argumentar em termos de escassez, senão de distribuição de benefícios em casos determinados, o que</p><p>nem sempre ocorre. No reconhecimento de rostos humanos em imagens, por exemplo, não há tal</p><p>escassez, eis que não há o que distribuir. As seis iniciativas consideradas na Estrutura Universal vagam</p><p>em vários aspectos do que seria tal justiça, sem um sentindo realmente convergente.</p><p>As diferentes maneiras com que a justiça é caracterizada sugerem uma</p><p>ampla falta de esclarecimento sobre AI como um repositório de “atos de</p><p>inteligência” feito por seres humanos. Em termos simples, seriamos nós</p><p>(humanos) o paciente, recebedor do “tratamento” da IA, o médico</p><p>prescrevendo-o? Ou ambos? Essa questão só pode ser resolvida pela</p><p>introdução de um quinto princípio que emerge da nossa análise</p><p>(FLORIDI; COWLS, 2019).14</p><p>13 Tradução livre de “In fact, our society uses a variety of factors as criteria for distributive justice, including the following: 1. To</p><p>each person an equal share; 2. To each person according to need; 3. To each person according to effort; 4. To each person</p><p>according to contribution; 5. To each person according to merit; 6. To each person according to free-market exchanges”.</p><p>14 Tradução livre de “The diverse ways in which justice is characterised hints at a broader lack of clarity over AI as a human-</p><p>made reservoir of ‘smart agency.’ Put simply, are we (humans) the patient, receiving the ‘treatment’ of AI, the doctor</p><p>prescribing it? Or both? This question can only be resolved with the introduction of a fifth principle which emerges from</p><p>our analysis”.</p><p>19</p><p>Explicabilidade</p><p>O princípio da explicabilidade decorre da hipossuficiência das pessoas perante a IA,</p><p>separando de maneira brusca dois grupos: o dos criadores/desenvolvedores dos sistemas (os</p><p>doutores) e dos demais (os pacientes). De certa maneira, essa hipossuficiência também se observa</p><p>na área médica, onde doutores e pacientes estão assimetricamente posicionados quanto ao</p><p>conhecimento. A situação, no entanto, é diversa. A assimetria entre profissionais da medicina e</p><p>pacientes não é a mesma daquela entre criadores e destinatários da IA.</p><p>Na medicina, a aplicação da ciência é feita diretamente pelo médico ou pela médica com</p><p>base em dados sob controle do paciente, por exemplo, exames, que lhe permanece acessível. Isso</p><p>significa que o seu caso pode ser reavaliado por outro profissional, permitindo uma revisão</p><p>bastante simples das decisões.</p><p>Na IA, a ciência por trás se dilui em uma grande cadeia, de quem desenvolve o algoritmo de</p><p>aprendizado de máquina até quem administra o sistema que o mantém no ar, envolvendo diferentes</p><p>conhecimentos, a começar pela estatística imbuída no primeiro algoritmo.</p><p>O treinamento em si costuma ser uma caixa-preta sob pelo menos dois aspectos. O primeiro</p><p>diz respeito ao dataset utilizado, que costuma ser mantido sob sigilo do desenvolvedor, assim como</p><p>a escolha de algoritmos e parâmetros de configuração. Sob domínio exclusivo do criador, o dataset</p><p>sigiloso impede qualquer análise externa com o fim de explicar o comportamento da máquina. O</p><p>segundo aspecto diz respeito à aprendizagem de máquina em si, que pode tornar-se uma caixa-preta</p><p>sem chave alguma: em um cenário com bilhões de dados de origem, para um sem-número de contas</p><p>e iterações de aprendizagem, muitas vezes com vários níveis de aprendizagem profunda, entender a</p><p>causalidade do modelo resultante pode ser um desafio intransponível. Consequentemente o</p><p>funcionamento da aplicação se torna transcendente para o seu destinatário.</p><p>A adição do princípio da “explicabilidade”, incorporando tanto o sentido</p><p>epistemológico de “inteligibilidade” (como resposta a questão “como isso</p><p>funciona”) e o sentido ético de “responsabilidade” (como resposta a “quem</p><p>é responsável pela forma que funciona?”), é a peça faltante indispensável</p><p>do quebra-cabeça da ética em IA. Ele complementa os outros quatro</p><p>princípios: para uma IA benéfica e não maléfica, devemos ser capazes de</p><p>compreender o bem ou mal que ela [a IA] esteja fazendo à sociedade e de</p><p>que maneira; para a IA promover a autonomia humana e não restringi-la,</p><p>nossa “decisão sobre quem decide” deve ser informada pelo conhecimento</p><p>de como a IA pode agir em substituição a nós; e para uma IA ser justa,</p><p>devemos saber quem responsabilizar no evento de um resultado sério e</p><p>20</p><p>negativo, o qual, por sua vez, requereria adequada compreensão do porquê</p><p>esse resultado emergiu (FLORIDI; COWLS, 2019).15</p><p>Elaboração de matriz de risco</p><p>A avaliação de risco das aplicações de aprendizado de máquinas se baseia em um conjunto de</p><p>quesitos formulados em prol do ser humano e da sociedade, cujas respostas operam como</p><p>argumentos de um procedimento de quantificação ou qualificação do risco em uma escala de</p><p>gravidade ou de confiabilidade. Tais paradigmas são as chamadas de matrizes de risco. Entre as</p><p>matrizes de risco existentes, destacamos a Altai para autoavaliação, criada pelo Grupo de Peritos de</p><p>Alto Nível sobre a Inteligência Artificial, formado de 52 especialistas selecionados pela Comissão</p><p>Europeia com o fim de criar a Estratégia da União Europeia para a Inteligência Artificial “com uma</p><p>visão de uma IA ética, segura e de ponta”.</p><p>Conforme a sua descrição, “a Lista de Avaliação para uma Inteligência Artificial Confiável</p><p>(Altai) é uma ferramenta prática para auxiliar negócios e organizações a autoavaliar a confiabilidade</p><p>de seus sistemas de inteligência artificial em desenvolvimento” (COMISSÃO EUROPEIA, 2019)16.</p><p>A lista se baseia nas “Orientações Éticas para uma IA de Confiança” (elaboradas pelo próprio</p><p>Grupo17), as quais estabelecem (em caráter exemplificativo)18 os seguintes requisitos:</p><p>1) “Ação e supervisão humanas – incluindo os direitos fundamentais, a ação</p><p>humana e a supervisão humana;</p><p>2) Solidez técnica e segurança – incluindo a resiliência perante</p><p>ataques e a</p><p>segurança, os planos de recurso e a segurança geral, a exatidão, a</p><p>fiabilidade e a reprodutibilidade;</p><p>15 Tradução livre de “The addition of the principle of ‘explicability,’ incorporating both the epistemological sense of</p><p>‘intelligibility’ (as an answer to the question ‘how does it work?’) and in the ethical sense of ‘accountability’ (as an answer to</p><p>the question ‘who is responsible for the way it works?’), is the crucial missing piece of the AI ethics jigsaw. It complements</p><p>the other four principles: for AI to be beneficent and non-maleficent, we must be able to understand the good or harm it is</p><p>actually doing to society, and in which ways; for AI to promote and not constrain human autonomy, our ‘decision about</p><p>who should decide’ must be informed by knowledge of how AI would act instead of us; and for AI to be just, we must know</p><p>whom to hold accountable in the event of a serious, negative outcome, which would require in turn adequate</p><p>understanding of why this outcome arose”.</p><p>16 Tradução livre de “The Assessment List for Trustworthy Artificial Intelligence (Altai), is a practical tool that helps business</p><p>and organisations to self-assess the trustworthiness of their AI systems under development”.</p><p>17 Disponível em file:///C:/Users/ferna/AppData/Local/Temp/MicrosoftEdgeDownloads/11783e10-218a-4e28-90e5-</p><p>5d017d039b1f/ethics_guidelines_for_trustworthy_ai-pt_88008646-E664-D76A-BD4DC4524E29CCD2_60435%20(1).pdf</p><p>18 A Altai afirma que os requisitos são exemplos, o que deve ser interpretado como requisitos mínimos dentro da</p><p>pertinência de cada um deles.</p><p>21</p><p>3) Privacidade e governação dos dados – incluindo o respeito da privacidade,</p><p>a qualidade e a integridade dos dados e o acesso aos dados;</p><p>4) Transparência – incluindo a rastreabilidade, a explicabilidade e a</p><p>comunicação;</p><p>5) Diversidade, não discriminação e equidade – incluindo a prevenção de</p><p>enviesamentos injustos, a acessibilidade e a conceção universal e a</p><p>participação das partes interessadas;</p><p>6) Bem-estar societal e ambiental – incluindo a sustentabilidade e o respeito</p><p>do ambiente, o impacto social, a sociedade e a democracia;</p><p>7) Responsabilização – incluindo a auditabilidade, a minimização e a</p><p>comunicação dos impactos negativos, as soluções de compromisso e as</p><p>vias de recurso” (GPAN-IN, 2018, p. 17-18).</p><p>Figura 4 – Gráfico radar de avaliação da Altai</p><p>Fonte: tradução livre de Wortham (2021)</p><p>22</p><p>A Altai avalia cada requisito separadamente, conforme ilustrado no gráfico de radar acima. A</p><p>área do polígono resultante pode ser interpretada como a confiabilidade geral do sistema avaliado,</p><p>sendo cada um dos vértices, a confiabilidade mensurada de cada um dos requisitos.</p><p>A avaliação propriamente dita não se resume à produção desse gráfico, que não é senão um</p><p>sumário ilustrativo de todo o trabalho realizado. Cada requisito se subdivide em dois ou mais</p><p>tópicos, cada qual com uma lista de quesitos/perguntas e subquesitos para orientar os trabalhos,</p><p>que requerem uma equipe multidisciplinar. A título de exemplo, a LISTA aponta as seguintes</p><p>especialidades para auxiliar na avaliação:</p><p> Designers e desenvolvedores de AI do sistema avaliado;</p><p> Cientistas de dados;</p><p> Gerente de aquisições;</p><p> Operadores e usuários dos sistemas de IA;</p><p> Gerentes jurídico e de conformidade (compliance);</p><p> Administradores (COMISSÃO EUROPEIA, 2019, p. 4).</p><p>Além disso, a Altai é uma segunda etapa de avaliação. A primeira etapa, que precede a Altai,</p><p>consiste na avaliação de impacto de direitos fundamentais – Fundamental Rights Impact Assessment</p><p>(Fria) –, orientada de maneira ampla pelos direitos fundamentais/humanos, e de maneira</p><p>exemplificativa pelas normas de direitos fundamentais/humanos, como as constantes da Carta da</p><p>EU, da Convenção Europeia de Direitos Humanos e dos seus protocolos e da Carta Social</p><p>Europeia, além das especificidades do RGPD, que estabelece o significado concreto do direito</p><p>fundamental à privacidade de dados digitais. Por exemplo:</p><p>1. O sistema de IA potencialmente discriminar negativamente pessoas com base</p><p>em quaisquer dos seguintes motivos (não exaustivos): sexo, raça, cor, origem</p><p>étnica ou social, características genéticas, linguagem, religião ou crença, opinião</p><p>política ou de qualquer ordem, associação a minoria nacional, propriedade,</p><p>nascimento, deficiência, idade ou orientação sexual? Foram implantados</p><p>processos para testar e monitorar potencial discriminação negativa (viés) durante</p><p>as fases de desenvolvimento, implantação e uso do sistema de IA? Foram</p><p>implantados processos para abordar e corrigir potencial discriminação negativa</p><p>(viés) no sistema de IA?</p><p>2. O sistema de IA respeita os direitos da criança, por exemplo, em relação à</p><p>proteção da criança e levando em conta o melhor interesse da criança? [...]</p><p>3. O sistema de IA protege o dado pessoal relacionados aos titulares nos termos</p><p>do RGPD? [...]</p><p>4. O sistema de IA respeita a liberdade de expressão e de informação e/ou a</p><p>liberdade de reunião e de associação? (COMISSÃO EUROPEIA, 2019, p. 5-6).</p><p>23</p><p>Como a avaliação da proteção de dados também segue a lógica do risco, sendo, inclusive,</p><p>juridicamente obrigatória, é natural que a avaliação de risco da IA dependa de uma avaliação prévia</p><p>nesse sentido, com destaque para o RGPD, a exemplo do item 3, supra. A sistemática se estende,</p><p>ainda, para os direitos fundamentais/humanos como um todo, o que, embora lógico em uma</p><p>reflexão a posteriori, vai além de uma simples afirmação do respeito a essa categoria de direitos.</p><p>Se a Altai representa um detalhamento das orientações éticas, e se a ética, entre outras coisas,</p><p>afirma o respeito aos direitos humanos, então a Altai já seria por si só suficiente para avaliar riscos</p><p>às suas normas. Contudo, nem a Altai nem as orientações éticas têm a pretensão de criar um roteiro</p><p>capaz de esgotar uma avaliação de risco público de determinado sistema, afirmando o caráter</p><p>exemplificativo das suas disposições de maneira expressa e frequente.19</p><p>Ao estabelecer a Fria como etapa precedente, a Altai indica a necessidade de uma avaliação</p><p>além das questões por ela formuladas, devendo-se, por exemplo, analisar o impacto da tecnologia</p><p>em grupos vulneráveis, como minorias étnicas e sociais e grupos de gênero, crianças e adolescentes,</p><p>etc. Quando pertinente à aplicação em desenvolvimento, especialistas no assunto, como acadêmicos</p><p>ou organizações de defesas sobre temáticas afins devem ser considerados, inclusive, como</p><p>consultores da avaliação, tanto para a Fria, quanto para a Altai, já que a avaliação diz respeito a</p><p>todos os stakeholders, expressamente contemplados no requisito #5.</p><p>Como exemplo, o que a Fria acrescentaria além do requisito #5 em um caso de minorias seria</p><p>uma avaliação do impacto da tecnologia em si sobre os grupos, como a existência de alguma</p><p>dificuldade de acesso à rede para acessar a ferramenta em razão de uma maior exclusão digital, por</p><p>sua vez não contemplada pela subdivisão de acessibilidade do requisito #5, que é mais direcionada</p><p>ao desenho e uso da interface da aplicação. Fosse o caso de uma tecnologia utilizada em políticas</p><p>públicas diretamente pelo cidadão, uma dificuldade dessa natureza poderia aumentar a exclusão de</p><p>certos grupos vulneráveis, amplificando diferenças já existentes. Daí eventual necessidade de um</p><p>diálogo consultivo com especialistas nessas temáticas.</p><p>Realizada a Fria, a Altai segue, então, como um guia exemplificativo – mínimo e necessário,</p><p>reitera-se – dos seus requisitos. Esse guia, reitera-se, é exemplificativo tanto quanto ao seu rol,</p><p>quanto aos respectivos quesitos, ou seja, estendendo tanto os tópicos em análise quanto as</p><p>respectivas questões.</p><p>Requisito #1: ação e supervisão humanas</p><p>Subdivide-se em (i) ação e autonomia humanas; (ii) supervisão humana. Parte do princípio</p><p>de que sistemas de IA são auxiliares ao ser humano, preservando a sua capacidade de agir, de tomar</p><p>decisão e de participar da processo, trabalho, rotina, etc.,</p><p>em que a IA se insere, não devendo a</p><p>aplicação de IA impedir ou limitar o ser humano na sua capacidade de agir e de influir no processo.</p><p>19 Sobre as Orientações Éticas, cf. GPAN-IN (2018, p. 17). Sobre a Altai, cf. Comissão Europeia (2019, p. 5).</p><p>24</p><p>Exemplo de quesitos e subquesito de (i) ação e autonomia humana: “Poderia o sistema de IA</p><p>gerar confusão para alguns ou todos os usuários finais ou sujeitos sobre se estão interagindo com</p><p>um humano ou um sistema de IA? Os usuários finais são informados que estão interagindo com</p><p>um sistema de IA?” (COMISSÃO EUROPEIA, 2019, p. 7).20</p><p>Exemplo de quesitos de (ii) supervisão humana:</p><p>Há um “botão de parada” ou um procedimento para abortar de maneira</p><p>segura a operação quando necessário? Tomou-se qualquer medida de</p><p>supervisão e controle para refletir o auto aprendizado ou a natureza</p><p>autônoma do sistema de IA? (COMISSÃO EUROPEIA, 2019, p. 7).21</p><p>Requisito #2: solidez técnica e segurança</p><p>Subdivide-se em (i) resiliência a ataque e segurança; (ii) segurança geral; (iii) acurácia; (iv)</p><p>confiabilidade, plano de contingência e reprodutibilidade. Parte do princípio de que a aplicação de</p><p>IA precisa de garantias de funcionamento consistente, inclusive em caso de mudanças de cenário</p><p>operacional, preventivamente desenvolvidos para superar riscos.</p><p>Exemplo de quesito de (i) resiliência a ataque e segurança:</p><p>Pode o sistema de IA ter efeitos adversos, críticos ou danosos (por exemplo a</p><p>humanos ou à segurança social) em caso de riscos ou ameaças, tais como falhas</p><p>de projeto ou técnicas, defeitos, interrupção, ataques, usos indevido,</p><p>inapropriado ou mal-intencionado? (COMISSÃO EUROPEIA, 2019, p. 9).22</p><p>20 Tradução livre de “Could the AI system generate confusion for some or all end-users or subjects on</p><p>whether they are interacting with a human or AI system? Are end-users or subjects informed that they are interacting with</p><p>an AI system?”.</p><p>21 Tradução livre de “Did you ensure a ‘stop button’ or procedure to safely abort an operation when</p><p>needed? Did you take any specific oversight and control measures to reflect the self-learning or autonomous nature of the</p><p>AI system?”.</p><p>22 Tradução livre de “Could the AI system have adversarial, critical or damaging effects (e.g. to human or societal safety) in</p><p>case of risks or threats such as design or technical faults, defects, outages, attacks, misuse, inappropriate or malicious use?”.</p><p>25</p><p>Exemplo de quesito e subquesito de (ii) segurança geral:</p><p>Foram avaliadas dependências de decisões críticas do sistemas de IA de seu</p><p>comportamento estável e confiável? Foram alinhados os requisitos de</p><p>confiabilidade/testagem aos níveis apropriados de estabilidade e</p><p>confiabilidade? (COMISSÃO EUROPEIA, 2019, p. 10).23</p><p>Exemplo de quesito de (iii) acurácia: “Considerou-se se a operação do sistema de IA pode</p><p>invalidar os dados ou as inferências a partir das quais ele foi treinado e como isso pode produzir</p><p>efeitos adversos?” (COMISSÃO EUROPEIA, 2019, p. 10).24</p><p>Exemplo de quesito de (iv) confiabilidade, plano de contingência e reprodutibilidade: “Foi</p><p>implantado um procedimento específico para lidar com casos em que o sistema de IA produz</p><p>resultados com baixa pontuação de confiança?” (COMISSÃO EUROPEIA, 2019, p. 11).25</p><p>Requisito #3: privacidade e governação dos dados</p><p>Subdivide-se em (i) privacidade; (ii) governança de dados. Avalia especificamente questões</p><p>relacionadas à proteção de dados pessoais, conforme a sistemática do RGDP, inclusive em relação</p><p>às exigências de governança de dados, como presença de um encarregado de dados na estrutura</p><p>organizacional – mais conhecido pelo termo em inglês Data Protection Officer (DPO) –, utilização</p><p>de criptografia, etc.</p><p>Exemplo de quesito de (i) privacidade: “Considerou-se o impacto do sistema de IA nos</p><p>direitos à privacidade, às integridades física, mental e/ou moral e à proteção de dados?”</p><p>(COMISSÃO EUROPEIA, 2019, p. 12).26</p><p>23 Tradução livre de “Did you assess the dependency of a critical AI system’s decisions on its stable and reliable behaviour?</p><p>Did you align the reliability/testing requirements to the appropriate levels of stability and reliability?”.</p><p>24 Tradução livre de “Did you consider whether the AI system's operation can invalidate the data or assumptions it was</p><p>trained on, and how this might lead to adversarial effects?”.</p><p>25 Tradução livre de “Did you put in place a proper procedure for handling the cases where the AI system yields results with</p><p>a low confidence score?”.</p><p>26 Tradução livre de “Did you consider the impact of the AI system on the right to privacy, the right to physical, mental and/or</p><p>moral integrity and the right to data protection?”.</p><p>26</p><p>Exemplo de quesito de (ii) governança de dados:</p><p>Foram implantadas quaisquer das seguintes medidas algumas das quais</p><p>obrigatórias pelo Regulamento Geral de Proteção de Dados (RGPD) ou um</p><p>similar não europeu? Relatório de Impacto à Proteção de Dados (RIPD);</p><p>nomeação de um encarregado de dados (DPO) e sua inclusão em estágios</p><p>iniciais do desenvolvimento, de aquisição ou de uso do sistema de AI;</p><p>mecanismos de supervisão para tratamento de dados (incluindo a limitação</p><p>de acesso à pessoal qualificado, mecanismos de log de acesso e modificação);</p><p>medidas de consecução de privacy by design e privacy by defautl (e.g.,</p><p>criptografia, pseudoanonimização, agregação, anonimização); minimização</p><p>de dados, em particular dados (incluindo categorias especiais de dados). Foi</p><p>implementado o direito de remoção de consentimento, o direito à negação</p><p>e o direito ao esquecimento no desenvolvimento do sistema de IA? Foram</p><p>consideradas as implicações à privacidade e à proteção de dados dos dados</p><p>coletados, produzidos ou tratados no curso do ciclo de vida do sistema de</p><p>AI? (COMISSÃO EUROPEIA, 2019, p. 12-13)27</p><p>Requisito #4: transparência</p><p>Subdivide-se em: (i) rastreabilidade; (ii) explicabilidade; (iii) comunicabilidade. Estabelece a</p><p>necessidade de se evitar a formação de “caixas-pretas” da tecnologia em todas as suas etapas, por</p><p>exemplo, desenvolvimento, treinamento, testes, uso. Visa, em última análise, responder a qualquer</p><p>questionamento sobre o seu funcionamento, inclusive para os titulares e demais interessados.</p><p>Exemplo de subquesito de (i) rastreabilidade: “Foram criadas medidas para continuamente avaliar</p><p>a qualidade dos dados de entrada no sistema de IA?” (COMISSÃO EUROPEIA, 2019, p. 14).28</p><p>Exemplo de quesito de (ii) explicabilidade: “Foram as decisões do sistema de AI explicadas</p><p>aos usuários?” (COMISSÃO EUROPEIA, 2019, p. 15).29</p><p>27 Tradução livre de “Did you put in place any of the following measures some of which are mandatory under the General</p><p>Data Protection Regulation (GDPR), or a non-European equivalent? Data Protection Impact Assessment (DPIA); Designate a</p><p>Data Protection Officer (DPO) and include them at an early state in the development, procurement or use phase of the AI</p><p>system; Oversight mechanisms for data processing (including limiting access to qualified personnel, mechanisms for</p><p>logging data access and making modifications); Measures to achieve privacy-by-design and default (e.g. encryption,</p><p>pseudonymisation, aggregation, anonymisation); Data minimisation, in particular personal data (including special</p><p>categories of data); Did you implement the right to withdraw consent, the right to object and the right to be forgotten into</p><p>the development of the AI system? Did you consider the privacy and data protection implications of data collected,</p><p>generated or processed over the course of the AI system's life cycle?”.</p><p>28 Tradução livre de “Did you put in place measures to continuously assess the quality of the input data to the AI system?”.</p><p>29 Tradução livre de “Did you explain the decision(s) of the AI system to the users?”.</p><p>27</p><p>Exemplo de quesito de (iii) comunicabilidade: “Em casos de sistemas de IA interativos (e.g.,</p><p>chatbots, robô-lawyers), os usuários foram comunicados que eles</p><p>estão interagindo com um sistema</p><p>de IA ao invés de um humano?” (COMISSÃO EUROPEIA, 2019, p. 15).30</p><p>Requisito #5: diversidade, não discriminação e equidade</p><p>Subdivide-se em (i) evitabilidade de viés injusto; (ii) acessibilidade e design universal; (iii)</p><p>participação de pessoas interessadas (stakeholders). Considera a realidade da diversidade e da</p><p>pluralidade de indivíduos e grupos, tanto em relação aos dados de treinamento, que carregam vieses,</p><p>quanto ao universo de usuários, que possuem habilidades e condições diferentes.</p><p>Exemplo de quesito e subquesitos de (i) evitabilidade de viés injusto:</p><p>Foi considerada a diversidade e representatividade de usuários finais e/ou</p><p>de indivíduos nos dados? Houve teste para grupos-alvo específicos ou para</p><p>casos de uso problemático? Houve pesquisa e uso de ferramentas técnicas</p><p>publicamente disponíveis, reputadas o estado da arte, para melhorar sua</p><p>compreensão sobre os dados, o modelo e o desempenho? Houve avaliação</p><p>e implantação de processos de teste e monitoramento para vieses potenciais</p><p>em todo o ciclo de vida do sistema de IA (e.g. vieses em razão de possíveis</p><p>limitações decorrentes da composição dos datasets utilizados (falta de</p><p>diversidade, não representatividade)? Onde relevante, houve consideração</p><p>de diversidade e representatividade de usuários finais e/ou de indivíduos</p><p>nos dados? (COMISSÃO EUROPEIA, 2019, p. 16).31</p><p>30 Tradução livre de “In cases of interactive AI systems (e.g., chatbots, robo-lawyers), do you communicate to users that they</p><p>are interacting with an AI system instead of a human?”.</p><p>31 Tradução livre de “Did you consider diversity and representativeness of end-users and/or subjects in the data? Did you</p><p>test for specific target groups or problematic use cases? Did you research and use publicly available technical tools, that</p><p>are state-of-the-art, to improve your understanding of the data, model and performance? Did you assess and put in place</p><p>processes to test and monitor for potential biases during the entire lifecycle of the AI system (e.g. biases due to possible</p><p>limitations stemming from the composition of the used data sets (lack of diversity, non-representativeness)? Where</p><p>relevant, did you consider diversity and representativeness of end-users and or subjects in the data?”.</p><p>28</p><p>Exemplo de quesito e subquesitos de (ii) acessibilidade e design universal:</p><p>Houve avaliação de a interface do usuário ser utilizável por aqueles com</p><p>necessidades especiais ou deficiência ou aqueles com risco de exclusão? Foi</p><p>assegurado que informação sobre o sistema de AI e de sua interface de</p><p>usuário é acessível e utilizável também por usuários de tecnologias de</p><p>acessibilidade (como os assistentes de leitura de tela)? Houve envolvimento</p><p>ou consulta aos usuários finais ou indivíduos que necessitam tecnologia de</p><p>acessibilidade durante as fases de planejamento e desenvolvimento do</p><p>sistema de AI? (COMISSÃO EUROPEIA, 2019, p. 17).32</p><p>Quesito de (iii) participação dos interessados: “Foi considerado um mecanismo para incluir</p><p>a participação de maior gama possível de interessados [stakeholders] no design e desenvolvimento do</p><p>sistema de AI?” (COMISSÃO EUROPEIA, 2019, p. 18).33</p><p>Requisito #6: bem-estar societal e ambiental</p><p>Subdivide-se em (i) bem-estar ambiental; (ii) impacto no trabalho e nas habilidades; (iii)</p><p>impacto na sociedade em geral ou na democracia. Considera que a IA deva ser ambiental e</p><p>socialmente sustentável, evitando a degradação dos meios ambientes: natural, artificial, educacional,</p><p>trabalhista, etc. e da sociedade como um todo, principalmente da desigualdade e da democracia.</p><p>Exemplo de quesito e subquesito de (i) bem-estar ambiental:</p><p>Onde possível, foram estabelecidos mecanismos para avaliação do impacto</p><p>do desenvolvimento, implantação e/ou uso do sistema de IA (por exemplo,</p><p>a quantidade de energia utilizada e de emissões de carbono)? Houve</p><p>definição de medidas de redução do impacto ambiental do sistema de IA</p><p>ao longo do seu ciclo de vida? (COMISSÃO EUROPEIA, 2019, p. 19).34</p><p>32 Tradução livre de “Did you assess whether the AI system's user interface is usable by those with special needs or</p><p>disabilities or those at risk of exclusion? Did you ensure that information about, and the AI system's user interface of, the</p><p>AI system is accessible and usable also to users of assistive technologies (such as screen readers)? Did you involve or consult</p><p>with end-users or subjects in need for assistive technology during the planning and development phase of the AI system?”.</p><p>33 Tradução livre de “Did you consider a mechanism to include the participation of the widest range of possible stakeholders</p><p>in the AI system’s design and development?”.</p><p>34 Tradução livre de “Where possible, did you establish mechanisms to evaluate the environmental impact of the AI system’s</p><p>development, deployment and/or use (for example, the amount of energy used and carbon emissions)? Did you define</p><p>measures to reduce the environmental impact of the AI system throughout its lifecycle?”.</p><p>29</p><p>Exemplo de quesito e subquesito de (ii) impacto no trabalho e nas habilidades: “Poderia o</p><p>sistema de IA criar riscos de desqualificar a mão de obra? Foram tomadas medidas de compensação</p><p>ao risco de desqualificação?” (COMISSÃO EUROPEIA, 2019, p. 20).35</p><p>Quesito e subquesitos de (iii) impacto na sociedade em geral ou na democracia:</p><p>Pode o sistema de IA ter um impacto negativo na sociedade como um todo</p><p>ou na democracia? Foi avaliado o impacto social do uso do sistema de IA</p><p>além do usuário (final) e indivíduo, tal como afetar potencial e</p><p>indiretamente os interessados [stakeholders] ou a sociedade como um todo?</p><p>(COMISSÃO EUROPEIA, 2019, p. 20)36</p><p>Requisito #7: responsabilização</p><p>Subdivide-se em (i) auditabilidade; (ii) gestão de risco. Considera a necessidade de atribuição</p><p>de responsabilidade – jurídica – em todas as etapas do ciclo de vida do sistema, permitindo a sua</p><p>avaliação por terceiros.</p><p>Exemplo de quesito de (i) auditabilidade: “Foi assegurado que terceiros possam auditar o</p><p>sistema de AI?” (COMISSÃO EUROPEIA, 2019, p. 21).37</p><p>Exemplo de quesito de (ii) gestão de risco: “Foi considerado o estabelecimento de um órgão</p><p>de revisão ética ou de mecanismo similar para discutir a responsabilidade geral e práticas éticas,</p><p>incluindo áreas potencialmente incertas?” (COMISSÃO EUROPEIA, 2019, p. 22).38</p><p>35 Tradução livre de “Could the AI system create the risk of de-skilling of the workforce? Did you take measures to counteract</p><p>de-skilling risks?”.</p><p>36 Tradução livre de “Could the AI system have a negative impact on society at large or democracy? Did you assess the</p><p>societal impact of the AI system’s use beyond the (end-)user and subject, such as potentially indirectly affected stakeholders</p><p>or society at large? Did you take action to minimize potential societal harm of the AI system? Did you take measures that</p><p>ensure that the AI system does not negatively impact democracy?”.</p><p>37 Tradução livre de “Did you ensure that the AI system can be audited by independent third parties?”.</p><p>38 Tradução livre de “Did you consider establishing an AI ethics review board or a similar mechanism to discuss the overall</p><p>accountability and ethics practices, including potential unclear grey areas?”.</p><p>30</p><p>Estrutura e instrumentos de governança digital</p><p>Noções gerais de governança</p><p>Seja para lidar com as questões digitais, seja para as demais questões, um modelo de</p><p>governança é a forma mais estruturada possível de uma organização, mas o que é governança e por</p><p>que ela é importante em uma organização?</p><p>Não há uma definição única governança, sendo a sua origem a característica mais objetiva</p><p>para entendê-la. Para organizações da atualidade, no entanto, essa origem é pouco esclarecedora.</p><p>Nesse sentido, ao invés de uma definição não exaustiva e potencialmente confusa, optamos por uma</p><p>analogia pertinente: governança como uma ordem jurídica da organização (FEFERBAUM, 2018).</p><p>Nesse sentido,</p>