Um estudo do Laboratório Lincoln do MIT mostra que, embora as especificações formais sejam matematicamente precisas, nem sempre são interpretáveis pelos humanos. Os participantes tiveram dificuldade em validar o comportamento da IA utilizando estas especificações, sugerindo uma discrepância entre as afirmações teóricas e a compreensão prática. As conclusões destacam a necessidade de avaliações mais realistas da explicabilidade da IA.
Alguns pesquisadores acreditam que as normas formais são uma forma de os sistemas autônomos se “explicarem” aos humanos. Mas um novo estudo descobriu que não entendemos.
À medida que os sistemas autónomos e a inteligência artificial se tornam mais comuns na vida quotidiana, estão a surgir novos métodos para ajudar os humanos a verificar se estes sistemas estão a comportar-se conforme esperado. Uma abordagem é chamada de “especificação formal”, que utiliza fórmulas matemáticas que podem ser traduzidas em expressões de linguagem natural. Alguns pesquisadores afirmam que esta abordagem pode ser usada para iluminar as decisões que a IA tomará de uma forma interpretável por humanos.
Pesquisadores do Laboratório Lincoln do MIT queriam testar essa afirmação de explicabilidade. Suas descobertas mostraram exatamente o oposto: as especificações formais pareciam impossíveis de serem interpretadas pelos humanos. No estudo da equipe, os participantes foram convidados a examinar se os planos de um agente de IA teriam sucesso em um jogo virtual. Quando os participantes viram uma descrição formal do plano, menos da metade das vezes eles estavam corretos.
“Este resultado é uma má notícia para os pesquisadores que afirmam que os métodos formais podem fornecer interpretabilidade aos sistemas”. Hosea Siu, pesquisador do grupo de tecnologia de inteligência artificial do laboratório, disse: “Isso pode ser verdade em algum sentido limitado e abstrato, mas não para algo próximo da verificação real do sistema”. O artigo do grupo foi aceito pela Conferência Internacional sobre Robôs e Sistemas Inteligentes de 2023, realizada no início deste mês.
A importância da explicabilidade
A explicabilidade é importante porque permite que os humanos confiem nas máquinas quando elas são usadas no mundo real. Se um robô ou IA puder explicar seu comportamento, os humanos poderão decidir se ele precisa ser ajustado ou se é confiável para tomar decisões justas. Um sistema explicável também permite que usuários técnicos – e não apenas desenvolvedores – entendam e confiem em suas capacidades. No entanto, a explicabilidade tem sido um problema difícil nos campos da inteligência artificial e da autonomia. O processo de aprendizado de máquina ocorre em uma “caixa preta”, de modo que os desenvolvedores de modelos muitas vezes não conseguem explicar por que ou como o sistema toma uma determinada decisão.
"Quando os pesquisadores dizem que 'nosso sistema de aprendizado de máquina é preciso', perguntamos 'quão preciso' e 'quais dados foram usados', e se essa informação não for fornecida, rejeitamos a afirmação. Quando os pesquisadores dizem que 'nosso sistema de aprendizado de máquina é interpretável', não estamos fazendo isso e precisamos começar a submeter essas afirmações a um maior escrutínio", disse Siu.
Desafios dos padrões de tradução
Em experimentos, os pesquisadores procuraram determinar se as especificações formais poderiam tornar o comportamento de um sistema mais explicável. Seu foco está na capacidade das pessoas usarem essas especificações para verificar o sistema, ou seja, entender se o sistema sempre atende aos objetivos do usuário.
A utilização de especificações formais para este fim é essencialmente um subproduto do seu propósito original. As especificações formais fazem parte de um conjunto mais amplo de métodos formais que utilizam expressões lógicas como estrutura matemática para descrever o comportamento de um modelo. Como os modelos são baseados em fluxos lógicos, os engenheiros podem usar "verificadores de modelos" para provar matematicamente fatos sobre o sistema, inclusive quando é provável que o sistema realize uma tarefa e quando é improvável que realize uma tarefa. Agora, os pesquisadores estão tentando usar a mesma estrutura como ferramenta de tradução em humanos.
“Os pesquisadores confundem o fato de que as especificações formais têm uma semântica precisa que os humanos podem interpretar. Isso não é a mesma coisa”, disse Siu. "Percebemos que quase não havia verificação de que as pessoas realmente entendiam o resultado."
No experimento da equipe, os participantes foram convidados a verificar um conjunto bastante simples de comportamentos com um robô jogando um jogo de captura da bandeira, respondendo essencialmente "Se o robô seguir exatamente essas regras, ele sempre vence?"
Os participantes incluíram especialistas em métodos formais e não especialistas. Eles obtiveram a especificação formal de três maneiras – fórmulas lógicas “originais”, traduções para fórmulas mais próximas da linguagem natural e formatos de árvore de decisão. No campo da inteligência artificial, as árvores de decisão são frequentemente consideradas como uma forma compreensível para o homem de demonstrar a tomada de decisões por uma inteligência artificial ou robô.
O resultado é que, em geral, o desempenho da validação é bastante fraco, com precisão em torno de 45%, independentemente da representação.
Excesso de confiança e mal-entendido
Pessoas com treinamento disciplinar formal anterior tiveram desempenho apenas ligeiramente melhor do que os novatos. No entanto, os especialistas estão mais confiantes nas suas respostas, estejam elas corretas ou não. Em geral, as pessoas tendem a confiar demais na exatidão das especificações apresentadas a elas, o que significa que ignoram o conjunto de regras que permite que o jogo falhe. Os pesquisadores dizem que esse viés de confirmação é especialmente importante para a verificação do sistema porque as pessoas são mais propensas a ignorar os modos de falha.
“Não achamos que este resultado signifique que devamos abandonar o uso de especificações formais para explicar o comportamento do sistema às pessoas. Mas achamos que é necessário fazer mais trabalho no design de como essas especificações são apresentadas às pessoas e nos fluxos de trabalho pelos quais as pessoas as utilizam”, acrescentou Siu.
Ao pensar por que os resultados experimentais foram tão ruins, Siu percebeu que mesmo as pessoas que usavam os métodos formais não eram treinadas para verificar as especificações exigidas pelo experimento. Além disso, é difícil pensar em todas as possíveis consequências de um conjunto de regras. Mesmo assim, o conjunto de regras mostrado aos participantes era curto, não mais do que um parágrafo de texto, “muito mais curto do que as regras que você encontraria em qualquer sistema real”, disse Siu.
A equipe não pretende vincular suas descobertas diretamente ao desempenho humano em validações de robôs no mundo real. Em vez disso, o seu objectivo é usar estes resultados como ponto de partida para considerar o que a comunidade lógica formal pode estar a perder ao fazer afirmações sobre a interpretabilidade, e como tais afirmações podem manifestar-se no mundo real.
Impacto Futuro e Pesquisa
A pesquisa faz parte de um projeto maior no qual Siu e seus colegas estão trabalhando para melhorar o relacionamento entre robôs e operadores humanos, especialmente operadores militares. O processo de programação do robô muitas vezes exclui operadores. Com objetivos semelhantes de melhorar a explicabilidade e a confiança, o projeto tenta fazer com que os operadores ensinem tarefas diretamente aos robôs, de maneira semelhante à forma como os humanos são treinados. Este processo pode aumentar a confiança do operador no robô e melhorar a adaptabilidade do robô.
Em última análise, esperam que os resultados deste estudo e a sua investigação em curso conduzam a melhores aplicações da autonomia à medida que esta se torna cada vez mais incorporada nas vidas humanas e na tomada de decisões.
“Nossas descobertas demonstram a necessidade de avaliação humana de certos sistemas e conceitos antes de fazer muitas afirmações sobre autonomia e utilidade da IA para os humanos”, acrescentou Siu.