As preocupações com a inteligência artificial giram frequentemente em torno de questões como a desinformação ou a possibilidade de a tecnologia escapar ao controlo humano. No entanto, sem dúvida a preocupação mais real hoje é a forma como os governos estão a aproveitar a IA e a sua compreensão institucional (ou falta dela) das suas deficiências. O governo do Reino Unido, por exemplo, parece ter adoptado a tecnologia a um ritmo que pode ser considerado precipitado e potencialmente inseguro.
De acordo com o Guardian, várias agências governamentais britânicas começaram a utilizar a inteligência artificial para impactar significativamente a vida quotidiana das pessoas comuns. A tecnologia desempenha agora um papel numa variedade de procedimentos, desde prisões e licenças de casamento até pagamentos de assistência social.
Mesmo antes de a inteligência artificial se tornar uma tendência amplamente discutida, o uso de sistemas de reconhecimento facial pela polícia já era controverso. Os críticos há muito alertam sobre suas possíveis imprecisões, especialmente ao analisar indivíduos de pele mais escura. Esta imprecisão levou até mesmo a detenções injustas no passado. Apesar de estar ciente destas deficiências, a Polícia Metropolitana de Londres continua a utilizar o reconhecimento facial e a fazer modificações que podem prejudicar a tecnologia.
O Laboratório Nacional de Física do Reino Unido disse que o sistema geralmente mantém baixas taxas de erro nas configurações padrão. No entanto, se a Polícia Metropolitana reduzisse a sua sensibilidade para identificar suspeitos mais rapidamente, isso levaria a mais alarmes falsos. Como resultado, o sistema torna-se menos preciso para os negros, sendo cinco vezes menos preciso do que para os brancos.
Além disso, as ferramentas baseadas em IA utilizadas pelos governos para aprovar benefícios e licenças de casamento mostraram uma tendência para discriminar requerentes de determinados países. Um deputado destacou os muitos casos nos últimos anos em que os benefícios foram inexplicavelmente suspensos, deixando indivíduos à beira do despejo e da pobreza extrema. A questão subjacente suspeita é o sistema do Departamento de Trabalho e Pensões (DWP) para detectar fraudes em benefícios, que se baseia em parte na inteligência artificial.
Mesmo sem provas substanciais de fraude, a ferramenta sinalizou desproporcionalmente os cidadãos búlgaros. O DWP insiste que o sistema não leva em conta a nacionalidade. No entanto, admitem não compreender totalmente o funcionamento interno da IA, compreendendo que os sistemas têm uma capacidade limitada de controlar preconceitos e preocupando-se com a possibilidade de maus intervenientes manipularem o sistema.
Da mesma forma, o Ministério do Interior enfrenta o desafio de uma ferramenta baseada em IA concebida para identificar casamentos falsos. Embora o sistema tenha simplificado o processo de aprovação da licença de casamento, uma análise interna encontrou um grande número de falsos positivos, especialmente para requerentes da Grécia, Albânia, Bulgária e Roménia.
Pode haver outros descuidos na implantação da IA pelo governo, mas é difícil identificá-los sem dados transparentes dos departamentos relevantes.
Os mal-entendidos sobre as limitações da inteligência artificial causaram graves incidentes em outras agências governamentais e legais. No início deste ano, um advogado dos EUA tentou usar o ChatGPT para citar casos apresentados em tribunais federais, apenas para descobrir que todos eles haviam sido fabricados pelo chatbot. Estes casos demonstram cada vez mais que os riscos reais da IA podem resultar mais da utilização indevida pelos seres humanos do que da própria tecnologia.