Discriminação Codificada: O impacto do racismo algorítmico na sociedade
Ana Carolina Paes de Mello
1. Reprodução de desigualdades sociais nos sistemas algorítmicos
O anúncio, em meados de 2024, da inauguração de uma central de monitoramento de 13 mil câmeras dotadas de capacidade para reconhecimento facial através de Inteligência Artificial (IA) em um projeto intitulado “Smart Sampa”1 reacendeu debates do risco de perfilamento racial2 e de racismo algorítmico perpetuados por meio de novas tecnologias. O debate, ainda que não recente, é um exemplo importante de como algoritmos podem perpetuar e ampliar estruturas históricas de exclusão e marginalização no Brasil.
Porém, para que se possa avançar esta discussão, é preciso primeiramente estabelecer alguns conceitos a respeito da Inteligência Artificial e aprendizado de máquina. Neste entendimento, o termo “inteligência” seria a eficiência com a qual novas habilidades são adquiridas em tarefas para as quais não houve preparo anterior. Daí se depreende o termo “machine learning” ou aprendizado de máquina. Enquanto a Inteligência Artificial trata de problemas, resolução, raciocínio e aprendizagem em geral, machine learning trata especificamente de aprender com exemplos, com definições, de ser instruída e de comportamento (Kersting, 2018).
Por fim, um elemento essencial para que se possa conectar todos estes conceitos é a definição do que são algoritmos. Para Gonçalves (2024, p. 8):
A agência algorítmica é o modo particular como a ação e significação surgem em sistemas de computação digital. Em um computador digital, os fluxos elétricos e eletromagnéticos e os padrões eletrônicos que servem de substrato para a informação digital são sempre controlados por funcionamentos algorítmicos. Os algoritmos são os mediadores da informação digital e sua ação, a mediação algorítmica, determina tudo o que ocorre em um sistema de computação digital, entre a informação de entrada (advinda de sensores e outros aparatos conectados a computadores) e a informação de saída (de uma tela ou outros atuadores igualmente a eles conectados);
O algoritmo, portanto, como em uma receita de bolo, vai definir o que o computador fará para que haja o aprendizado de máquina e para que se chegue no objetivo almejado ali. Contudo, tal aprendizado, diferentemente do que se faça parecer, com ou sem intenção, não é neutro, e uma série de estudos que serão mencionados neste artigo mostram que a discriminação algorítmica está longe de ser uma exceção.
Algoritmos de aprendizado de máquina analisam dados para identificar padrões e tomar decisões. Algoritmos também são capazes de perpetuar o racismo, particularmente em ambientes digitais, levando a novas formas de marginalização (O’Neil, 2020). Tarcísio Silva, em entrevista de 2023 ao Centro de Estudos Estratégicos Fiocruz3 usa o termo “racismo algorítmico” como forma de caracterizar tecnologias digitais que reproduzem as estruturas sociais em vigor, aprofundando discriminações, como a representação negativa em ferramentas de inteligência artificial generativa de imagens discriminatórias, a seletividade penal com predição penal negativa a pessoas negras, além de tantas outras interferências que a tecnologia impõe hoje em amplas esferas da vida, de maneira inescrutável, uma vez que estes sistemas são opacos quanto ao seu processo decisório e seu mecanismo decisório, de modo que tais procedimentos não são facilmente rastreáveis.
Nas palavras de Silva:
Mas o racismo algorítmico não é só a questão dos softwares em si, abarca também tecnologias digitais emergentes, que mesmo com tantos problemas são lançadas de forma cada vez mais acelerada. Isto acontece porque as pessoas vulnerabilizadas por tais sistemas são minorias políticas e econômicas que têm seus direitos colocados em último lugar nas prioridades do setor privado e governamental.
A discriminação algorítmica representa desafios significativos para o acesso aos direitos básicos, pois pode perpetuar e exacerbar as desigualdades existentes. O uso de inteligência artificial e sistemas automatizados de tomada de decisão, que têm sido uma prática massiva na busca de empregos, na análise de crédito e de concessão de benefícios, entre outros usos, pode levar a resultados tendenciosos, afetando direitos fundamentais como privacidade, dignidade e igualdade de tratamento. Esses sistemas geralmente dependem de dados que podem refletir preconceitos sociais, levando a práticas discriminatórias que afetam grupos vulneráveis de forma desproporcional não só no acesso a direitos básicos, mas também na inclusão social. Os casos que serão apresentados a seguir são exemplos de como isto se dá na prática.
2. O papel do racismo estrutural na aplicação de algoritmos
Fanon (2008) enfatiza que a identidade racial é construída por meio de percepções e interações sociais. Ele afirma que os indivíduos colonizados geralmente se veem através das lentes do opressor, levando a um senso fraturado de identidade. Em sua análise psicanalítica sobre a questão racial, Fanon evidencia como os negros foram forçados a se posicionar dentro de sistemas de referência intencionalmente impostos para suprimir seus costumes e representações. Para o autor, há uma paradoxal relação entre visibilidade e invisibilidade do corpo negro, que, embora constantemente observado e julgado, é ao mesmo tempo invisibilizado como um sujeito humano pleno, sendo reduzido a uma condição de "não-ser". Este conceito também pode ser observado na relação entre a questão racial na tecnologia.
Silva, na obra “Racismo algorítmico: inteligência artificial e discriminação nas redes digitais” (2022, p. 14) chama de dupla opacidade a convergência entre a negação do racismo e a negação da política na tecnologia, adicionando ser esta a soma de “tradições de ocultação e exploração tanto nas relações raciais quanto nas relações ideológicas que definem o que é tecnologia e o que é inovação desejável”.
Há uma quantidade significativa de estudos dedicados a analisar como preconceitos sistêmicos são incorporados em tecnologias de inteligência artificial. Ainda que haja diferenças significativas entre a realidade norte-americana e a realidade brasileira, o enfrentamento das prejudicialidades da escravidão, do colonialismo e consequente racismo que emerge a subalternidade, apropriação e exclusões na sociedade contemporânea são pontos em comum a serem considerados e por isso são listados neste artigo estudos norte-americanos que ilustram esta estrutura racialmente hierarquizada (Lima, 2022).
Podemos citar como exemplo deste resultado enviesado o conteúdo do relatório de jornalismo investigativo da ProPublica de 2016 (Angwin; Larson, 2016), um dos principais documentos até hoje na área, que mostrava que, para o sistema COMPAS (sigla em inglês para Correctional Offender Management Profiling for Alternative Sanctions), avaliador de risco de reincidência de egressos do sistema penal, réus negros tinham muito mais chances de ter um julgamento indevido do que réus brancos.
Este viés, identificado no relatório da ProPublica, traz como exemplos o caso de Brisha B., negra, 18 anos e Vernon P., branco, 41 anos. Quando ambos foram presos, no Condado de Broward, na Florida, o COMPAS definiu uma pontuação prevendo a probabilidade de cada um cometer um crime futuro. Borden, negra, foi classificada como de alto risco. Prater, branco, foi classificado como de baixo risco.
Dois anos depois, o que aconteceu foi que Borden não reincidiu. Prater, por sua vez, atualmente cumpre pena de oito anos por, posteriormente, invadir um depósito e roubar milhares de dólares em eletrônicos.
A questão principal a respeito dos algoritmos que embasam os resultados destes relatórios é que eles são considerados segredos de negócio, portanto, não sujeitos ao alcance e avaliação de terceiros, mesmo os afetados por seus relatórios. Ou, como destacou O’Neil (2020, p.8), como justificar avaliar pessoas por uma medida a qual você não pode explicar por conta de segredos de negócio ou não sabe explicar devido à sua opacidade?
Das muitas categorias possíveis de discriminação algorítmica, o reconhecimento facial é dos mais danosos, com diversos estudos demonstrando como as ferramentas não são capazes, ou são falhas de maneira desproporcional, em identificar rostos negros.
O relatório "Predictive Inequity in Object Detection", do Instituto de Tecnologia da Geórgia, analisou sistemas de detecção de objetos com capacidade preditiva, revelando que pessoas com pele escura têm maior probabilidade de serem atropeladas por veículos autônomos do que pessoas brancas devido à falha em detectar corpos negros (WILSON; HOFFMAN; MORGENSTERN, 2019, p.9).
Igualmente, o estudo de Buolamwini e Gebru (2018), em pesquisa através do MIT Media Lab, mediu a precisão de 3 algoritmos comerciais de classificação de gênero calibrados por gênero e tipo de pele. No estudo, descobriu-se que todas as ferramentas performaram melhor com indivíduos de pele mais clara e com homens de modo geral. Os classificadores tiveram pior desempenho para mulheres de pele mais escura.
A pesquisa teve origem em um trabalho anterior quando, depois de experimentar diferentes programas populares de reconhecimento facial, Buolamwini (2016) percebeu que enquanto seus amigos brancos poderiam ser classificados com alta precisão, o rosto de pele mais escura de Buolamwini não era reconhecido pelo modelo. Ela observou o mesmo para muitos de seus amigos negros, e em um estudo de acompanhamento, encontrou exatidão de reconhecimento facial significativamente menor para minorias.
Essa pesquisa se tornou uma parte importante do documentário “Coded Bias”4, que trata de imprecisões de IA em tecnologia de reconhecimento facial e software de avaliação automatizada, concentrando-se em suas implementações e os efeitos sociais da falta de regulamentação destas ferramentas.
Exemplos não faltam também do uso e consequências do reconhecimento facial em território brasileiro. O Instituto Igarapé, em estudo de 2019, levantou quais cidades haviam implementado o uso de reconhecimento facial com sua aplicação nos setores de educação, transporte, controle de fronteiras e segurança pública. Até 2019, foram ao menos 47 casos de implementação de reconhecimento facial em 15 estados.
Fig. 2. Cidades Brasileiras com Reconhecimento Facial – Instituto Igarapé
A campanha Tire Meu Rosto da Sua Mira5, que busca engajar a sociedade civil na luta pelo banimento completo do reconhecimento facial no âmbito da segurança pública brasileira, destaca que essa tecnologia é racista, pois apresenta uma taxa de erro significativamente maior na identificação de pessoas negras, especialmente mulheres negras, corroborando os resultados dos demais estudos apresentados. Como exemplo, a Rede de Observatórios da Segurança6 acompanhou os casos de prisões e abordagens realizadas com o uso de reconhecimento facial desde sua implementação em março de 2019 e constatou em novembro do mesmo ano que, nos casos com informações disponíveis, 90,5% das pessoas detidas após serem identificadas pelas câmeras eram negras.
A pesquisadora Brenda Cunha, em entrevista a Walber Pinto (2022), 7 ressalta ainda que “falhas no contexto da segurança pública tenderiam a agravar ainda mais o histórico de violência policial existente no país, que tem como alvo principal a juventude negra e periférica”.
A aplicação de algoritmos em sistemas automatizados demonstra, conforme estes exemplos, reforçar desigualdades quando baseada em estatísticas excludentes e enviesadas. No Brasil, como conclui Lima (2022), o uso do reconhecimento facial na segurança pública tem resultado em discriminação racial, especialmente contra a população negra, evidenciando que essa tecnologia, apesar de promovida como eficaz, reproduz e amplifica práticas de vigilância racializada.
Silva (2022), em seu artigo “Necropolítica Algorítmica”, ressalta ainda sobre erros graves nos sistemas de reconhecimento facial:
Um policial que confia mais no sistema algorítmico do que nos próprios olhos face a face com um suspeito que tenha sido vítima de falso positivo do reconhecimento facial representa uma das materializações mais loquazes da interface entre racismo e tecnochauvinismo8. A diluição de responsabilidade que se verifica na atribuição à tecnologia de agência sobre decisões relacionadas a abordagem, identificação, tipificação ou condenação, por meio de dispositivos como reconhecimento facial, policiamento preditivo e escores de risco, é um dos maiores perigos do racismo algorítmico.
Já nas plataformas de busca e mídias sociais, o fenômeno se manifesta por meio de impactos como representações prejudiciais, apagamento cultural, disseminação de desinformação, perpetuação de conteúdos violentos, fornecimento de serviços de qualidade inferior e opções discriminatórias na segmentação publicitária (Silva, 2022).
Trindade9 (2018) apresenta em pesquisa que “81% das vítimas de racismo no Facebook no Brasil são mulheres negras de classe média, com ensino superior; 76,2% dos agressores não tinham nenhum relacionamento prévio com a vítima; 66% dos agressores são homens jovens; e frequentemente as articulações para xingamentos racistas são reações a eventos positivos expostos nas mídias sociais por mulheres negras”. São mencionados exemplos como os ataques à apresentação da atriz Taís Araújo no TEDx ou da promoção da jornalista Maria Júlia Coutinho10 a um importante posto no telejornalismo brasileiro.
Ainda há um aspecto muito importante, que diz respeito ao acesso à saúde e cuidados médicos, baseados em vieses algorítmicos. Paulino (2023), em estudo sobre vieses raciais no tratamento de melanomas, ressalta como a maior dificuldade em detecção de câncer de pele em pessoas negras faz com que haja maior mortalidade nesta parcela da população do que com a detecção precoce em pessoas brancas. E como a baixa amostragem em bancos de dados faz igualmente com que seja difícil que modelos de IA treinados na detecção precoce deste tipo de câncer sejam eficientes, uma vez que, segundo Paulino (2023) algoritmos não aprendem a classificar apenas a lesão, mas o contexto em que ela está inserida, ou seja, a pele do paciente, o resultado pode apresentar falsos positivos em até 70% dos casos. Birhane (2020) também exemplifica que protocolos que são eficientes em populações brancas de países desenvolvidos frequentemente não são eficientes em populações negras e países em desenvolvimento ou países africanos, devido ao contexto daquela população, que não é levada em consideração no protocolo.
Nos exemplos acima é possível constatar, como na obra de Neusa Santos Souza (2021), "Tornar-se Negro", que independentemente da classe social, a cor é um marco discriminatório e no contexto atual, isso pode ser aplicado à compreensão de como a discriminação algorítmica afeta negros em diferentes níveis sociais, mostrando que o racismo não é apenas uma questão de classe, mas uma estrutura que permeia todas as esferas da sociedade. Como também apregoa Souza (2021, p.46), “branco e negro representavam apenas os extremos de uma linha ininterrupta onde, às diferentes nuances de cor, se adscreviam significados diversos, segundo o critério de que quanto maior a brancura, maiores as possibilidades de êxito e aceitação”.
Independentemente dos avanços tecnológicos, esta máxima, conforme exemplificado acima, segue verdadeira.
4. A invisibilidade dos impactos: quem lucra e quem sofre com a discriminação codificada?
As transformações sociais impulsionadas pelas tecnologias, embora apresentem aspectos positivos, devem ser analisadas à luz da realidade social e de seus impactos na desigualdade. Isso requer uma perspectiva histórica que considere a manipulação de dados e informações como reflexo da perpetuação do racismo estrutural. Ao reconhecer o racismo algorítmico como um fenômeno inerente às ferramentas e redes digitais, torna-se fundamental enfrentar a disseminação da ideologia de neutralidade das redes e da tecnologia de maneira geral, promovendo uma abordagem crítica e inclusiva.
Segundo um estudo da Anistia Internacional de 2023 intitulado “Digitally Divided – Technology, Inequality and Human Rights”11, houve um aumento sem precedentes na desigualdade global e na disparidade extrema de riqueza nas últimas décadas, com os mais pobres do mundo detendo 2% da riqueza mundial e os mais ricos do mundo, proporcionalmente em número extremamente inferior, possuindo 76%. E tal desigualdade é frequentemente exacerbada por sistemas de poder aparentemente “neutros”.
Atualmente, o conceito de “colonialismo digital”, amplamente discutido por acadêmicos, continua a evidenciar os desequilíbrios de poder como um fator determinante da desigualdade global. Um seleto grupo de empresas de tecnologia e seus investidores, majoritariamente concentrados no Norte Global, controla, implementa e obtém lucros a partir de sistemas tecnológicos pouco transparentes. Essas tecnologias exercem um impacto significativo na vida cotidiana de bilhões de pessoas, afetando de maneira desproporcional os grupos marginalizados (Eevangelista, 2023).
Adicionalmente, como preconiza Evangelista (2023), tais relações são impactadas por assimetrias entre Norte e Sul global, onde o Brasil se inclui, bem como no contexto de dominação e privilégio de grupos melhor posicionados sobre outros, marginalizados.
O artigo "Beyond Instrumentarianism: Automated Facial Recognition Systems in Brazil and Digital Colonialism's Violence" (Peron; Evangelista, 2024) apresenta várias conclusões críticas sobre as implicações dos sistemas de Reconhecimento Facial Automatizado (AFR) no Brasil, particularmente no contexto do capitalismo de vigilância e legados coloniais.
O artigo reforça o argumento que o uso de AFR em escolas brasileiras e segurança pública destaca como essas tecnologias, embora comercializadas como ferramentas para eficiência e segurança, frequentemente exacerbam desigualdades sociais e preconceitos raciais existentes, afetando desproporcionalmente grupos marginalizados, servindo como um estudo de caso de como o poder instrumentário coexiste e reforça objetivos sociais disciplinares.
Essa interação é particularmente evidente no Sul Global, onde novas tecnologias frequentemente se cruzam com práticas de longa data de controle social e discriminação.
5. A ética da responsabilidade coletiva na era da inteligência artificial
Como já mencionado anteriormente, há uma falsa lógica de que a Inteligência Artificial tenha sua própria bússola ética. Porém, como podemos ver através dos muitos exemplos citados, a IA em si toma decisões baseadas em algoritmos que, por sua vez, são baseados em treinamento de máquina (machine learning) feito em um estágio anterior e geralmente modulado por seres humanos.
Por outro lado, Benjamin (2019), defende que é mais importante olhar para os resultados do que a tecnologia gera, do que realmente para a intenção na sua criação, pois mesmo que uma tecnologia não seja racista de maneira intencional, é necessário endereçar este resultado para solucionar o problema.
Por isso, é importante também debater sobre o papel da sociedade, do Estado e das empresas em mitigar os danos causados por vieses algorítmicos. Embora a tecnologia esteja rapidamente evoluindo e se tornando cada vez mais sofisticada, como sugere De Cremer e Kasparov (2022), existe a necessidade de treinar simultaneamente os humanos de uma maneira ainda melhor na formação de sua bússola ética e consciência.
Em anos recentes, há uma profusão de guias e políticas públicas para ajudar a estabelecer parâmetros éticos para a Inteligência Artificial. Cite-se entre os exemplos as diretrizes da União Europeia de 202012 e o recém-lançado Plano Brasileiro de Inteligência Artificial (PBIA) de 202413, cujo mote é “IA para o bem de todos”. No entanto, mesmo as diretrizes mais acessíveis seguem sem ter conseguido resolver completamente esta questão.
Por isso, De Cremer (2020)14 afirma que é necessário pensar em um trabalho multidisciplinar entre a ciência da computação e as ciências sociais. Em suas palavras:
Justiça é uma construção social que os humanos usam para coordenar suas interações e contribuições subsequentes para o bem coletivo, e é subjetiva. Um tomador de decisões de IA deve ser avaliado sobre o quão bem ele ajuda as pessoas a se conectarem e cooperarem; as pessoas considerarão não apenas seus aspectos técnicos, mas também as forças sociais que operam ao seu redor. Uma abordagem interdisciplinar permite identificar soluções que geralmente não são discutidas no contexto da IA como um tomador de decisões justo. (p. 3)
Como exemplo de iniciativa, a Campanha da Coalizão Direitos na Rede “Regulação iA: o que tenho a ver com isso?”15 de dezembro de 2022 buscou através da literatura de cordel, fomentar uma grande discussão que inclua diferentes perspectivas, setores e pessoas que podem ser atingidas por uma implementação desregulada de modelos de inteligência artificial.
Trazendo um exemplo contundente de uma questão bastante atual e nacional, a Coalizão Direitos na Rede, em publicação de 2022, ressaltou que, na comissão composta por 18 juristas para debater o Projeto de Lei 2338/2023 que visa regulamentar a inteligência artificial no Brasil, não houve inclusão de um único afrodescendente brasileiro, mesmo sendo esta a maior parcela da população.
A análise de Fanon (2008) sobre a representação do corpo negro é referencial para entender como as estruturas de poder perpetuam a opressão racial e como é necessário desafiar essas estruturas para alcançar uma verdadeira igualdade.
Diante desses desafios, a regulação da inteligência artificial deve ir além de diretrizes abstratas e se tornar um compromisso concreto de governos, empresas e sociedade civil na construção de um futuro mais equitativo. Isso exige não apenas avanços tecnológicos, mas também mudanças estruturais que garantam transparência, participação democrática e responsabilidade social no uso da IA.
A era da inteligência artificial não pode ser marcada pela reprodução de desigualdades históricas, ou ainda pior, sua expansão, mas sim por uma inovação guiada por valores éticos e pela busca por justiça social. O futuro da IA, portanto, não depende apenas dos algoritmos, mas das escolhas que fazemos hoje como sociedade.
6. Considerações Finais
O desenvolvimento da inteligência artificial e o impacto de vieses algorítmicos representam um tema significante na sociedade atual, abrangendo esferas políticas, econômicas e sociais. A disseminação acelerada de tecnologias baseadas em inteligência artificial tem transformado diversos setores da sociedade, desde a economia e a administração pública até aspectos fundamentais da vida cotidiana dos cidadãos, podendo causar danos irreversíveis às populações historicamente mais vulneráveis.
Estudar o impacto dos vieses algorítmicos na sociedade sob a perspectiva racial é essencial para compreender como tecnologias emergentes podem perpetuar ou agravar desigualdades históricas. O Brasil, marcado por profundas disparidades raciais, enfrenta o risco de que sistemas de inteligência artificial reforcem estigmas e discriminações ao reproduzirem padrões enviesados de dados.
Como bem conceitua Birhane (2020), é importante ressaltar que estas constatações não devem resultar em uma total rejeição da IA de modo geral, mas sim a rejeição de um modelo de negócio desenvolvido por grandes monopólios tecnológicos que impõem valores e interesses prejudiciais, ao mesmo tempo que desconsideram abordagens igualitárias que não sejam benéficas a este modelo.
Mesmo quando atos racistas são perpetrados de maneira não intencional por uma máquina, os resultados têm consequências graves no “mundo real”.
As consequências do racismo algorítmico incluem a intensificação das desigualdades raciais, a perpetuação da invisibilidade e a limitação do acesso a oportunidades para minorias raciais. Para combater esses efeitos, é crucial promover a educação antirracista, garantir a diversidade nos dados utilizados para treinar algoritmos e implementar políticas que visem a transparência e a responsabilidade nas tecnologias.
A análise crítica desses impactos permite não apenas auxiliar o processo de mitigar danos, mas também promover uma Inteligência Artificial mais inclusiva, orientada por princípios éticos que valorizem a equidade e os direitos humanos. Assim, é possível inferir que vieses algorítmicos se conectam a padrões históricos de opressão. Por isso, compreender o passado é crucial para enfrentar os desafios atuais da tecnologia e da sociedade.
Referências:
ANGWIN, J., LARSON, J., et al. Machine Bias, ProPublica, 23 de maio de 2016. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing Acesso em 21 jan. 2025.
ANISTIA INTERNACIONAL. Surveillance Giants: How the Business Model of Google and Facebook Threatens Human Rights. 2023.
BENJAMIN, Ruha. Race after technology: abolitionist tools for the New Jim Code. Medford, MA: Polity, 2019
BIRHANE, Abeba. Algorithmic Colonization of Africa, 2020. SCRIPTed: A Journal of Law, Technology, & Society. Disponível em: https://script-ed.org/?p=3888. Acesso em 05 de fevereiro de 2025.
BROUSSARD, Meredith. More than a Glitch: Confronting Race, Gender, and Ability Bias in Tech. The MIT Press, 2023.
BUOLAMWINI, Joy; GEBRU, T. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification. Proceedings of Machine Learning Research 81:1–15, 2018 Conference on Fairness, Accountability, and Transparency.
BUOLAMWINI, Joy. How I'm Fighting Bias in Algorithms. TED (8m44s), 2016. Disponível em: https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms/up-next. Acesso em 21 jan. 2025.
COALIZÃO DIREITOS NA REDE. Inteligência Artificial: o que eu tenho a ver com isso?. São Paulo, 1 dez. 2022. Disponível em: https://direitosnarede.org.br/campanha/inteligencia-artificial-o-que-eu-tenho-a-ver-com-isso/. Acesso em: 05 de fevereiro de 2025.
COALIZÃO DIREITOS NA REDE. Regulação de Inteligência Artificial: um tema transversal que exige debate multissetorial e interdisciplinar, 2022. Disponível em https://direitosnarede.org.br/carta-aberta-regulacao-ia/. Acesso em 05 de fevereiro de 2025.
CODED BIAS. Direção de Shalini Kantayya. Estados Unidos: 2020. Netflix (85 min).
DE CREMER, D., KASPAROV, G. The ethical AI—paradox: why better technology needs more and not less human responsibility. AI Ethics 2, 1–4 (2022).
DE CREMER, D. What does building a fair AI really entail?. Harvard Business Review, 2020.
EVANGELISTA, Rafael. Por uma etnografia do poder na inteligência artificial, no capitalismo de vigilância e no colonialismo digital. Aurora. Revista de Arte, Mídia e Política, v. 16, n. 47, p. 112-133, 2023.
FANON, Frantz. Pele negra, máscaras brancas. 1 ed. Salvador: UFBA, 2008.
GONÇALVES, Rafael. Mediação algorítmica e aprendizado de máquina: uma caracterização baseada em patentes da Google sobre técnicas de modulação de atividade. Dissertação de Mestrado em Sociologia - Instituto de Filosofia e Ciências Humanas (IFCH), Unicamp. Campinas, p. 213, 2024.
HOSCH, William L. Machine learning. Encyclopedia Britannica, 2 Jun. 2020, Disponível em: https://www.britannica.com/technology/machine-learning. Acesso em 22 janeiro 2025.
INSTITUTO IGARAPÉ. Reconhecimento facial no Brasil, 2019. Disponível em: https://igarape.org.br/infografico-reconhecimento-facial-no-brasil/. Acesso em:05 de fevereiro de 2025.
KERSTING, Kristian. Machine Learning and Artificial Intelligence: Two Fellow Travelers on the Quest for Intelligent Behavior in Machines. Front. Big Data. 2018. Disponível em: https://www.frontiersin.org/articles/10.3389/fdata.2018.00006/full Acesso em 22 janeiro 2025.
LIMA, Bruna Dias Fernandes. Racismo algorítmico: o enviesamento tecnológico e o impacto aos direitos fundamentais no Brasil. 2022. Disponível em: https://ri.ufs.br/handle/riufs/15173. Acesso em: 05 de fevereiro de 2025.
O’NEIL, Cathy. Algoritmos de destruição em massa. Santo André: Editora Rua do Sabão, 2020.
ORGANIZAÇÃO DAS NAÇÕES UNIDAS (2020), Prevenindo e combatendo o perfilamento racial de pessoas afrodescendentes: Boas práticas e desafios. Departamento de Comunicações Globais e Escritório do Alto Comissariado para Direitos Humanos. Disponível em <https://acnudh.org/load/2020/12/1821669-S-DPI-RacialProfiling_PT.pdf>, consultado em 10 fev. 2025.
PAULINO, José Alberto Souza. Viés Racial em Modelos de Inteligência Artificial para Classificação de Melanomas. In: WORKSHOP SOBRE AS IMPLICAÇÕES DA COMPUTAÇÃO NA SOCIEDADE (WICS), 4., 2023, João Pessoa/PB. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2023. p. 107-114.
PERON, Alcides Eduardo Dos Reis; EVANGELISTA, Rafael. Beyond Instrumentarianism: Automated Facial Recognition Systems in Brazil and Digital Colonialism’s Violence. Science, Technology and Society, v. 29, n. 4, p. 535-554, 2024.
PINTO, Walber. Reconhecimento facial aprofunda racismo estrutural, dizem pesquisadoras. Central Única dos Trabalhadores, São Paulo, 13 dez. 2022. Disponível em: https://www.cut.org.br/noticias/reconhecimento-facial-aprofunda-racismo-estrutural-dizem-pesquisadoras-2595. Acesso em: 15 nov. 2024.
SILVA, Tarcízio. Racismo algorítmico: inteligência artificial e discriminação nas redes digitais. Edições Sesc SP, 2022.
SILVA, Tarcísio. 4. Necropolítica algorítmica. Racismo Algorítmico: inteligência artificial e discriminação nas redes digitais. 2022 Aug 6; Available from: https://racismo-algoritmico.pubpub.org/pub/necropolitica-algoritmica Acesso em: 28 de fevereiro de 2025.
SILVA, Tarcizio. O racismo algorítmico é uma espécie de atualização do racismo estrutural. 2023. Disponível em: https://cee.fiocruz.br/?q=Tarcizio-Silva-O-racismo-algoritmico-e-uma-especie-de-atualizacao-do-racismo-estrutural. Acesso em: 15 de novembro de 2024.
SOUZA, Neusa Santos. Tornar-se negro ou As vicissitudes da identidade do negro brasileiro em ascensão social. 2021. Rio de Janeiro: Zahar. 171p.
TRINDADE, Luiz Valério De Paula. It is not that funny: Critical analysis of racial ideologies embedded in racialized humour discourses on social media in Brazil. Diss. University of Southampton, 2018.
WILSON, B.; HOFFMAN, J.; MORGENSTERN, J. Predictive inequity in object detection. arXiv, 2019. Disponível em: https://arxiv.org/abs/1902.11097 Acesso em: 06 de fevereiro de 2025.
WEF – World Economic Forum, 2018. How to Prevent Discriminatory Outcomes in Machine Learning. Whitepaper disponível em https://www.weforum.org/whitepapers/how-toprevent-discriminatory-outcomes-in-machine-learning Acesso em: 06 de fevereiro de 2025.
Data de Recebimento: 31/07/2023
Data de Aprovação: 25/08/2023
1 https://www.metropoles.com/sao-paulo/nunes-central-13-mil-cameras-ia#google_vignette
2 Um estudo feito pelo Comitê sobre a Eliminação da Discriminação Racial da ONU apontou, em visita ao Brasil, que há uma cultura de perfilamento e discriminação racial em todos os níveis do sistema de justiça (ONU, 2020, p. 3). Perfilamento, dentro deste contexto, conforme definição da ONU (Recomendação Geral n. 36 do Comitê para Eliminação da Discriminação Racial), seria “a prática da polícia e de outros agentes da justiça confiarem, em qualquer grau, em dados relacionados a raça, cor, descendência, nacionalidade ou etnicidade como base para submeter pessoas a procedimentos de investigação ou para determinar o envolvimento de um indivíduo em um crime”. https://acnudh.org/wp-content/uploads/2020/12/CERD_C_GC_36_PORT_REV.pdf
3 https://cee.fiocruz.br/?q=Tarcizio-Silva-O-racismo-algoritmico-e-uma-especie-de-atualizacao-do-racismo-estrutural
4 https://www.netflix.com/br/title/81328723
5 https://tiremeurostodasuamira.org.br/
6 https://www.intercept.com.br/2019/11/21/presos-monitoramento-facial-brasil-negros/
7 https://www.cut.org.br/noticias/reconhecimento-facial-aprofunda-racismo-estrutural-dizem-pesquisadoras-2595
8 O tecnochauvinismo seria uma crença de que as soluções tecnológicas são sempre superiores aos métodos sociais ou outros que levam à mudança, incluindo a crença de que computadores seriam mais neutros ou sem vieses, conforme definição de Meredith Broussard (2023) em seu livro “More Than a Glitch – Confronting Race, Gender and Ability Bias in Tech”.
10 https://g1.globo.com/sp/sao-paulo/noticia/2020/03/09/tj-de-sp-condena-dois-homens-por-racismo-e-injuria-racial-contra-a-jornalista-maju-coutinho.ghtml
11 https://www.amnesty.org/en/wp-content/uploads/2024/03/POL4071082023ENGLISH.pdf
12 https://www.weforum.org/whitepapers/how-toprevent-discriminatory-outcomes-in-machine-learning
13 https://www.gov.br/lncc/pt-br/assuntos/noticias/ultimas-noticias-1/plano-brasileiro-de-inteligencia-artificial-pbia-2024-2028
14 https://hbr.org/2020/09/what-does-building-a-fair-ai-really-entail
15 Campanha Regulação de IA: o que tenho a ver com isso? https://direitosnarede.org.br/campanha/inteligencia-artificial-o-que-eu-tenho-a-ver-com-isso/
ARTES
