Policial espanhola atende mulher no programa VioGén, que calcula o risco de ocorrências de violência de gênero – Foto: reprodução
O uso da inteligência artificial continua avançando nas mais diversas atividades, trazendo sensíveis ganhos de produtividade em automação de tarefas e no apoio à tomada de decisões. Ainda assim, ela está longe de ser perfeita, mas muitos usuários parecem não se preocupar com isso, pois seus eventuais erros causam prejuízos mínimos. Em algumas funções, entretanto, essas falhas podem levar a enormes transtornos, até mesmo à morte de alguém.
Duas perguntas surgem imediatamente disso: como evitar que uma tragédia dessas aconteça, e quem responderá por isso nesse caso.
A inteligência artificial é fabulosa para encontrar padrões, que permitem que ela tome suas decisões. Esses padrões dependem, entretanto, da qualidade dos dados usados para seu treinamento. Se os dados forem limitados ou cheios de viés, isso comprometerá seriamente a eficiência da plataforma.
Esse é um dos motivos por que a tomada de decisões críticas, por mais que seja auxiliada pela inteligência artificial, deve continuar em mãos humanas, pelo menos no estágio atual da tecnologia.
Algumas pessoas argumentam que isso contrariaria o próprio propósito de se usar a IA. Mas ignorar essa responsabilidade é como entregar uma decisão de vida ou morte para um estagiário eficiente. Talvez algum dia ele tenha estofo para algo tão sério e possa responder por isso, mas, por enquanto, não está preparado para tal.
Nada disso é especulação: já está acontecendo!
Veja esse artigo em vídeo:
Por exemplo, a polícia espanhola usa um sistema chamado VioGén para determinar estatisticamente riscos de ocorrência de violência de gênero. Em 2022, Lobna Hemid foi morta em casa pelo seu marido, depois de dar queixa na delegacia por ter sido insultada e surrada por ele com um pedaço de madeira, diante dos quatro filhos de 6 a 12 anos. Toda a vizinhança tinha ouvido seus gritos.
Não havia sido a primeira vez que o marido, Bouthaer el Banaisati, a havia espancado nos dez anos de casamento. Ainda assim, o VioGén calculou que ela corria pouco risco. O policial aceitou a decisão da máquina e a mandou para casa. Sete semanas depois, Bouthaer a esfaqueou várias vezes no peito e depois se suicidou.
Segundo o Ministério do Interior da Espanha, há 92 mil casos ativos de violência contra mulher no país. O VioGén calculou que 83% dessas vítimas tinham risco baixo ou insignificante de serem atacadas novamente pelo agressor. E o caso de Lobna não é único: desde 2007, 247 mulheres foram mortas depois de serem analisadas pelo sistema, 55 delas com riscos classificados como insignificantes ou baixos.
Os policiais têm autonomia de ignorar a sugestão da plataforma, devido a indícios que observem. Mas em 95% dos casos, eles apenas aceitam a sugestão.
A máquina não pode ser responsabilizada pelo erro de julgamento, por mais que esteja diretamente ligada a essas mortes. Mas então quem reponde por isso? Os policiais que acreditaram no VioGén? O fabricante da plataforma?
No momento, ninguém! As autoridades argumentam que, apesar de imperfeito, o VioGén efetivamente diminuiu a violência contra mulheres. Mas isso não importa para Lobna, que engrossou as estatísticas de agressões fatais contra mulheres e de erros policiais grosseiros causados por decisões auxiliadas por uma máquina.
No Brasil
Oficialmente, não há casos assim no Brasil, mas diferentes sistemas de IA já causam severos erros policiais e jurídicos no país.
Assim como acontece em outras nações, muitas pessoas já foram presas por aqui por erros em sistemas de reconhecimento facial por câmeras públicas ou de policiais. A maioria das vítimas são pessoas negras e mulheres, pois as bases de dados usadas para seu treinamento têm muito mais fotos de homens brancos.
Isso reforça ainda mais a já conhecida e aviltante discriminação policial contra negros. E por mais que essas vítimas acabem sendo soltas quando o erro é descoberto, passar alguns dias “gratuitamente” na cadeia é inadmissível!
E nem estou falando nos casos em que a polícia já chega atirando no “suspeito”.
Em outro caso, há o sistema de vigilância pública da prefeitura de São Paulo, o Smart Sampa, que usa IA para evitar crimes. Sua proposta original, que previa “rastrear uma pessoa suspeita, monitorando todos os seus movimentos e atividades, por características como cor, face, roupas, forma do corpo, aspectos físicos etc.”, teve que ser alterada, pois monitorar alguém pela cor é ilegal. Mas a redação era emblemática!
A Justiça também tenta encontrar caminhos seguros para um uso produtivo da IA. Mas casos de erros graves dificultam essa aprovação.
Por exemplo, o Conselho Nacional de Justiça (CNJ) investiga o caso do juiz Jefferson Ferreira Rodrigues, que negou indenização a uma servidora pública, quando era titular da 2ª Vara Cível e Criminal de Montes Claros (MG). Sua sentença incluía jurisprudências inexistentes criadas pelo ChatGPT. Ele admitiu o erro, mas o classificou como um “mero equívoco” devido à “sobrecarga de trabalho que recai sobre os ombros dos juízes”. Ele ainda atribuiu o erro a um “assessor de confiança”.
Esses são apenas exemplos de por que não se pode confiar cegamente nas decisões de plataformas de inteligência artificial. É muito diferente de dizer que elas não devem ser usadas, pois devem: podem trazer grandes benefícios aos nosso cotidiano!
A decisão sempre deve ser de humanos, que são responsáveis por qualquer falha da plataforma, especialmente em casos críticos. E mesmo que um sistema evite 100 mortes, não é aceitável que 10 inocentes sejam condenados ou mortos por erros da plataforma. Se houver um único erro assim, ela não é boa o suficiente para uso!
Por fim, é preciso criar legislações que também responsabilizem os fabricantes por essas falhas. Caso contrário, seu marketing continuará “batendo o bumbo” quando algo dá muito certo, e “tirando o corpo fora” se algo der errado, jogando a culpa aos seres humanos. A inteligência artificial deve trabalhar para nós, e não o contrário!
