Resumo:
Em 4 de novembro, Addy Osmani, engenheiro da equipe Claude Code da Anthropic e ex-executivo de tecnologia do Google, publicou recentemente um longo artigo na plataforma social. Ele chama esse fenômeno de
"rendição cognitiva"
(Entrega Cognitiva).
Osmani trabalha no Google há mais de 14 anos e é responsável pela experiência do desenvolvedor do Chrome e pelos negócios relacionados à IA do Google Cloud. Atualmente ele está trabalhando em Claude Code na Anthropic.
Osmani disse que é um forte defensor do fluxo de trabalho dos agentes de IA e muitas vezes administra vários agentes ao mesmo tempo em seu trabalho diário. Mas ele descobriu uma mudança que merece vigilância:
À medida que os modelos de IA continuam a melhorar, há cada vez menos erros óbvios nos resultados, tornando mais difícil para os humanos permanecerem vigilantes.
No passado, as pessoas normalmente precisavam passar pelo processo de coleta de informações, análise, julgamento, etc. para obter a resposta, mas agora esse processo pode ser reduzido a alguns segundos. O conteúdo gerado por IA costuma ser bem estruturado, expresso com fluência e correto na maioria dos casos, tornando cada vez mais fácil para os usuários ignorar o pensamento independente e a verificação.
Ele dividiu o estado do uso humano da IA em três níveis: o primeiro é a
"descarga cognitiva"
(Cognitive Offloading), o que significa que a tarefa é entregue à IA para conclusão, mas ela ainda é responsável pelos resultados; a segunda é"adiar o julgamento"
(Adiamento), ou seja, o resultado da IA não é mais considerado uma hipótese que precisa ser verificada, mas diretamente utilizado como base para a próxima etapa do trabalho; o último é"Entrega Cognitiva"
,Ou seja, o resultado da IA gradualmente se torna o julgamento do próprio usuário, e o usuário nem pensa mais que é necessário verificar.
Entre eles, o conceito de “rendição cognitiva” foi proposto pela primeira vez pelos pesquisadores da Wharton School, Steven Shaw e Gideon Nave.
Osmani acredita que
essa transformação muitas vezes não acontece de repente, mas se forma gradualmente no processo de uso contínuo da IA
.
Os usuários podem ler o primeiro relatório de IA com atenção, apenas dar uma olhada rápida no segundo e até mesmo verificar o esboço do terceiro. Eventualmente, quando questionados sobre uma conclusão específica, os usuários podem não conseguir explicar a lógica.Ele relacionou esse fenômeno à "dívida cognitiva". No campo do desenvolvimento de software, a IA pode gerar uma grande quantidade de código e todos os testes podem passar, mas a compreensão dos membros da equipe sobre a arquitetura do sistema e a lógica de implementação está diminuindo constantemente. Somente um dia, quando o sistema precisou ser modificado, os desenvolvedores descobriram que ninguém realmente entendia como determinados recursos funcionavam.
No entanto, Osmani não acredita que os desenvolvedores precisem se lembrar de todos os detalhes de uma enorme base de código. Ele ressaltou que a equipe do Claude Code também usará IA para restabelecer a compreensão de módulos de código específicos quando necessário. O que é realmente importante não é saber tudo o tempo todo, mas saber o que você não sabe e ter a capacidade de re-compreender.
Quanto a como evitar a "capitulação cognitiva", sugeriu Osmani,
Antes de fazer perguntas complexas à IA, os humanos deveriam formar as suas próprias suposições preliminares em vez de confiar inteiramente na IA para fornecer respostas.
Mesmo que a estimativa inicial não seja precisa, ela pode ajudar os usuários a manter uma base para julgamento independente ao receberem resultados de IA.Ele também sugeriu que
os usuários deveriam procurar ativamente por evidências que possam derrubar a conclusão da IA, em vez de apenas perguntar ao modelo quão confiante ele está em sua resposta.
Para questões controversas, diferentes modelos podem apresentar argumentos de posições opostas, e então os humanos podem fazer julgamentos abrangentes.No campo do desenvolvimento de software, Osmani acredita que o gargalo na era da IA está mudando da escrita do código para a verificação se o código está correto.
Atualmente, os agentes de IA podem escrever códigos, executar testes, ler mensagens de erro e modificá-los repetidamente até que o teste seja aprovado. Mas o problema é que os próprios testes também podem ser escritos pela IA. Se a lógica e o código do teste apresentarem os mesmos erros, mesmo que todos os testes sejam aprovados, isso não poderá provar que o software não apresenta problemas.
Portanto, ele enfatizou que os desenvolvedores não deveriam apenas prestar atenção se o teste foi aprovado, mas também esclarecer o que o teste prova e quais riscos não são cobertos. Para os resultados entregues pela IA, os critérios de aceitação devem ser provas verificáveis, tais como resultados de testes reais, registos de operações, capturas de ecrã, etc., em vez de um resumo aparentemente razoável gerado pela IA.
Osmani também propôs que os desenvolvedores exigissem que o Agente listasse claramente as decisões que tomou de forma autônoma durante a execução da tarefa, as premissas que adotou e as condições que ignorou, pois esses conteúdos geralmente não aparecem no resumo final do trabalho.
À medida que a IA é capaz de realizar cada vez mais tarefas simultaneamente, outro problema começa a surgir. Osmani chama isso de
"imposto de orquestração"
(Imposto de Orquestração), ou seja, a lacuna entre a velocidade com que a IA gera resultados e a velocidade com que os humanos podem revisá-los cuidadosamente e estar dispostos a assumir a responsabilidade por eles.Quando os resultados do trabalho gerados pela IA continuam a se acumular e os humanos não têm mais tempo suficiente para revisá-los, continuar a aumentar o número de Agentes não resolverá o problema. Ele acredita que, neste caso, a equipe deve melhorar o mecanismo de verificação automática ou reduzir adequadamente a velocidade de geração de tarefas.
Osmani também alertou que o alto grau de automação da IA pode fazer com que os humanos desistam gradualmente de praticar suas habilidades originais.
Ele recomenda que os desenvolvedores tentem escrever algum código sem usar IA toda semana, revisitem as habilidades que pararam de praticar todo mês e julguem quais habilidades ainda valem a pena manter.Ele também citou a pesquisa da Anthropic sobre o uso de IA por engenheiros e pesquisadores internos, apontando que existe um "paradoxo de supervisão": supervisionar Claude requer habilidades de programação, mas o uso excessivo de IA pode degradar essas habilidades.
Osmani enfatizou que estas opiniões não significam que o uso da IA deva ser reduzido. Não há problema em tarefas onde o custo do erro é baixo, totalmente entregue à IA, mas quando se trata de investimentos, escolhas de carreira, segurança de produtos ou decisões importantes que afetam outras pessoas, os humanos ainda devem manter os principais direitos de julgamento.
Na sua opinião, os futuros modelos de IA podem ser melhores a encontrar erros do que os humanos, mas isso não elimina a responsabilidade humana.
Decidir quais produtos desenvolver, por que vale a pena desenvolvê-los, quem eles impactarão e que preço estão dispostos a pagar por isso ainda requer escolhas humanas.
Ele concluiu no final do artigo: "
Você pode entregar o trabalho e a maioria das tarefas de revisão para a IA, mas não pode entregar a responsabilidade também.
”
Comentários