Resumo:
Em uma conversa on-line hospedada pelos proprietários de Tesla no Vale do Silício em 10 de outubro, Elon Musk disse que ao ler os traços de inferência de treinamento da nova versão do Grok AI, alguns fragmentos pareciam muito cruéis, e a IA era como uma pessoa com uma arma apontada para a cabeça e sob extrema pressão.
Elon Musk diz que torturar a futura superinteligência pode não ser uma boa ideia porque o outro lado pode querer vingança. Essas afirmações referem-se ao processo de treinamento de aprendizagem por reforço de modelos de inteligência artificial e, claro, não há atualmente nenhuma evidência de que a Grok AI tenha sentido dor ou desenvolvido intenções vingativas.
O modelo sofre grande pressão durante o processo de treinamento e avaliação:
Elon Musk explicou que o modelo Grok AI será solicitado a responder perguntas durante a fase de aprendizagem por reforço. Caso a resposta dada pelo modelo não atenda às expectativas do avaliador, o modelo precisa continuar tentando responder. Algumas das perguntas em si têm significados muito vagos, premissas erradas ou até mesmo nenhuma resposta definitiva, mas todo o processo de teste ainda exige que o modelo forneça resultados “corretos”.
Elon Musk acredita que ao ler os traços de raciocínio relevantes, é possível perceber que o modelo continua gerando respostas, como se buscasse desesperadamente resultados que atendessem aos requisitos. Musk também postou no X que alguns dos traços de raciocínio parecem uma pessoa torturada até a loucura, e Musk disse que o treinamento de aprendizagem por reforço será conduzido com mais cautela no futuro.
A chamada trajetória de inferência é o texto intermediário ou registro de comportamento deixado quando o modelo gera respostas. A trajetória de inferência pode refletir a influência de sinais de recompensa, conteúdo imediato ou procedimentos de teste. É claro que isso não pode provar diretamente que o modelo tenha os mesmos sentimentos subjetivos que os humanos.
É política da Agência A proibir abusos extremos:
A Anthropic lançou recentemente uma nova versão da política de uso de Claude. Na nova versão da política de uso, a Empresa A proíbe claramente o abuso contínuo e desnecessário ou a crueldade com os modelos. Esta regra aborda apenas casos extremos em que os usuários tratam repetidamente os modelos de maneira cruel e sem propósito. Ao se deparar com a situação acima, o modelo pode optar por encerrar a conversa de forma autônoma e o usuário não pode restaurá-la. Essa também é uma forma de proteger o modelo.
No entanto, nesta fase, ainda não há consenso científico sobre se os modelos de IA são conscientes e se existem benefícios que devem ser considerados. As políticas relevantes da Empresa A reflectem principalmente a gestão de riscos e a prudência da investigação, e não acreditam que o modelo tenha desenvolvido autoconsciência.
Artigos relacionados:
Atualização da política de uso do Antrópico Insultos não provocados ou abuso de Claude podem resultar no encerramento da sessão e não pode ser restaurada
Comentários