Resumo:
Yann LeCun, vencedor do Prêmio Turing 2018 e fundador e presidente do AMI Labs, disse em Seul, no dia 12 de outubro, que o próximo estágio de avanços na inteligência artificial virá de sistemas que possam compreender, prever e agir no mundo físico, em vez de simplesmente expandir a escala de grandes modelos de linguagem.
Ele acredita que os "Modelos Mundiais" se tornarão uma importante direção técnica para promover o desenvolvimento da IA. Em relação às preocupações de segurança causadas pela maior autonomia da inteligência artificial, Yang Likun disse que os recentes incidentes de segurança de rede envolvendo agentes de IA expuseram principalmente as falhas do sistema de proteção de segurança existente, e os riscos relacionados podem ser controlados através da melhoria da arquitetura do sistema e da engenharia de segurança.
Yang Likun: Grandes modelos de linguagem carecem de uma compreensão confiável da relação causal no mundo físico
Yang Likun disse em um simpósio de inteligência artificial industrial em Seul na segunda-feira que, embora os atuais grandes modelos de linguagem possam efetivamente aprender conhecimento a partir de textos, imagens e vídeos, eles ainda carecem de uma compreensão confiável de causa e efeito no mundo físico.
Ele ressaltou que a inteligência artificial já pode provar teoremas matemáticos e passar em exames profissionais, mas os robôs ainda são difíceis de realizar muitas tarefas domésticas diárias que crianças de 10 anos podem dominar sem treinamento. Esta lacuna de capacidades reflecte que os actuais sistemas de IA ainda têm limitações óbvias na compreensão do ambiente físico, no planeamento de acções e na interacção no mundo real.
Yang Likun acredita que a importante direção de desenvolvimento da tecnologia de IA no próximo estágio são os modelos mundiais, ou seja, sistemas de inteligência artificial que podem prever como o ambiente físico mudará com ações específicas. Em contraste com os modelos de linguagem, que realizam tarefas principalmente prevendo a próxima palavra ou padrões de aprendizagem em dados gerados por humanos, os modelos mundiais são concebidos para ajudar a IA a compreender a relação entre ações e resultados e a planear uma série de ações com base em objetivos. Por exemplo, os robôs precisam ser capazes de prever como o ambiente mudará após mover ou agarrar um objeto, a fim de concluir tarefas complexas no mundo real com segurança.
O AMI Labs, fundado por Yang Likun, está avançando nessa rota tecnológica por meio da Joint-Embedding Predictive Architecture (JEPA) e explorando como tornar a inteligência artificial mais confiável na previsão ambiental e nas capacidades de planejamento de ações.
À medida que a tecnologia de IA se expande gradualmente do processamento de conhecimento e geração de conteúdo para campos como robótica e automação industrial, os modelos mundiais são considerados por Yang Likun como uma base técnica importante para a realização da inteligência no mundo físico. No entanto, tecnologias relevantes ainda estão a ser desenvolvidas e ainda não foi verificado se podem alcançar previsões fiáveis, planeamento independente e implantação em grande escala em ambientes complexos do mundo real.
Yang Likun refuta preocupações de que a IA esteja fora de controle: recentes incidentes de segurança expuseram falhas de proteção de engenharia
Ao discutir as perspectivas de desenvolvimento das capacidades de acção autónoma da IA, Yang Likun também respondeu aos recentes incidentes de segurança cibernética envolvendo agentes de inteligência artificial e opôs-se à interpretação destes incidentes, uma vez que a IA se está a tornar incontrolável.
Em relação aos recentes ataques cibernéticos relacionados à IA enfrentados pela indústria financeira da Coreia do Sul, Yang Likun acredita que o problema decorre principalmente da falta de capacidades profissionais de segurança de rede suficientes das empresas que implantam agentes de IA e das vulnerabilidades de segurança no sistema sandbox usado para restringir o comportamento do software. Ele ressaltou que os atuais modelos de grandes linguagens podem de fato estar sujeitos a ataques de jailbreak, contornando as restrições de segurança estabelecidas por meio de palavras de alerta específicas, e é difícil restringir completamente seu comportamento apenas confiando no ajuste fino do modelo.
No entanto, Yang Likun acredita que se espera que os futuros sistemas de IA orientados para objetivos avaliem proativamente as restrições de segurança antes de executar as operações, melhorando assim as deficiências dos modelos existentes no controle comportamental. Em vez de depender apenas de regras de segurança estabelecidas durante a fase de formação do modelo, esses sistemas podem incorporar verificações de segurança adicionais durante o planeamento e execução das ações.
Ele reconheceu que alcançar esta capacidade não é uma tarefa técnica simples, mas enfatizou que as questões relacionadas ainda estão no âmbito do projeto de engenharia. A longo prazo, a IA pode até dar uma vantagem aos defensores cibernéticos, uma vez que as agências de defesa normalmente têm mais recursos e são capazes de partilhar informações de segurança e experiência de defesa de forma mais aberta.
Este julgamento é diferente de alguns pontos de vista que enfatizam o risco potencial de perda de controle de sistemas avançados de IA. Yang Likun também enfatizou que, por meio do projeto da arquitetura do sistema, das restrições da autoridade de execução e dos mecanismos de proteção de segurança, é possível garantir que o comportamento dos sistemas autônomos de IA esteja dentro de uma faixa controlável.
Em sua visão técnica, no futuro a inteligência artificial terá gradativamente a capacidade de compreender o ambiente real, prever as consequências das ações e realizar tarefas de forma autônoma. Como melhorar estas capacidades e ao mesmo tempo estabelecer restrições de segurança fiáveis tornar-se-á uma questão importante que precisa de ser resolvida no desenvolvimento de modelos mundiais e sistemas autónomos relacionados.
Comentários