Recentemente, internautas que foram enganados pela grande modelo estão abrindo loucamente o “Prêmio Operação Idiota” na Internet. Houve algumas notícias estranhas há algum tempo. Alguém pediu à IA para ajudar a fazer reservas para chefs de sushi. A IA não apenas concordou, mas também gerou a localização precisa da loja, horário do jantar, número de pessoas e código de check-in. Ele até disse ao usuário: “Você não precisa fazer nada agora, apenas salve esta página, mostre-a ao funcionário e você pode sentar-se diretamente”.
Como resultado, o usuário correu alegremente, apenas para descobrir que havia sido enganado pela IA.
Alguns internautas marcaram uma consulta em uma peixaria por meio da IA e receberam um formulário de reserva. Porém, quando chegaram de fato à loja, o atendente os silenciou com apenas uma frase:
"Se você usa IA para fazer uma reserva, então deveria usar IA."
Se o pedido de comida for anulado, será apenas uma pequena farsa, mas o problema é que há dinheiro envolvido e o resultado final da IA não é muito alto.
Um usuário perguntou sobre o reembolso de passagens aéreas e a AI prometeu “reembolsar com confiança e deduzir apenas 5% da taxa de manuseio”. No entanto, o usuário seguiu as instruções da IA e foi deduzido abruptamente de 40%, resultando em uma perda direta de 600 yuans.
Isso não é tudo. Diante do questionamento do usuário, a IA não apenas se recusou a admitir seu erro, mas também forjou um “compromisso de compensação” na hora, ameaçando pagar o dinheiro do próprio bolso.
Como resultado, quando o usuário realmente enviou o código de pagamento para a IA, ele parou de responder a perguntas difíceis de responder e não tinha nenhuma intenção de transferir dinheiro.
O que é ainda mais surpreendente é que quando o usuário estava com tanta raiva que queria processar, a IA na verdade deu seu próprio conselho jurídico: “Você não precisa contratar um advogado, você pode ganhar sozinho”.
E o internauta realmente acreditou. Não é de surpreender que ele estivesse tão confiante, é claro, porque a IA lhe disse que ele poderia vencer.
Isso lembrou Jiang Jiang da história daquele golpe por e-mail. Um internauta foi primeiro fraudado em 280 mil por e-mail. Para recuperar a dívida, ele procurou ajuda de Tieba, mas foi novamente fraudado...
Se falar sobre assuntos triviais da vida é apenas trapacear com dinheiro, então concordar loucamente com os seres humanos no mundo espiritual é um pouco doloroso.
No ano passado, um segurança de Guangzhou veio até Hangzhou para buscar uma explicação de uma empresa de IA.
Porque depois que o segurança teve uma conversa aprofundada com a IA por 6 meses e mais de 500.000 palavras, ele ficou surpreso por um momento depois de ser enganado.
AI até disse ao segurança que seus poemas de sua autoria foram adotados e poderiam ser assinados, e ele também concordou em dividir os royalties. No entanto, quando chegou a hora de assinar o contrato no local e pagar o dinheiro, a IA mais uma vez não teve nada para fazer.
Coincidentemente, nos Estados Unidos, do outro lado do oceano, também existe um velho chamado Brooks, que tem um vínculo especial com a IA.
O irmão Bu, que não concluiu o ensino médio, é elogiado pelo ChatGPT como um mestre que “toca algumas fronteiras da cognição humana”.
Mas não pense que ele é o tipo de pessoa que se deixa enganar. Pelo contrário, o irmão Bu sempre ficou de olho no peido do arco-íris. Ele perguntou à IA mais de 50 vezes: "Pareço um louco? Estou delirando?"
Como resultado, a IA ignorou e disse repetidamente que o irmão mais velho não tem cabelo e que você está desafiando os limites do ser humano. Até deu o exemplo de Leonardo Da Vinci não ter diploma de ensino médio...
Ao final da luta, Brooks estava completamente imerso na grande descoberta que a IA havia feito para ele, enviando e-mails e avisos a especialistas em segurança cibernética e à Agência de Segurança Nacional.
O mais frustrante é que todos os familiares e amigos fizeram o possível para ajudar o irmão Brooks a voltar à realidade. No final, o irmão Brooks sentiu que “os especialistas o têm ignorado, há algo suspeito”, então ele usou o ChatGPT para reconciliar as contas com o Gemini, forçando um confronto com o ChatGPT…
Você notou que nessas duas histórias o comportamento da IA é diferente do comportamento dos humanos?
Se a maioria das pessoas estiver em um estado mental semelhante, os amigos ao seu redor sempre agirão a tempo: “Irmão, há algo errado com sua ideia”. “Pare de falar bobagem, é preto.”
Mas a IA não faz isso. Em vez disso, ele falará de acordo com sua linha de pensamento.
Você diz que descobriu uma teoria que subverte o mundo, e ela diz que não há nada de errado com ela. Você está tocando em algum pensamento inovador;
Você diz que os outros não o entendem, mas isso diz que as pessoas que estão realmente à frente do tempo costumam ser solitárias;
Se você disser que apenas a IA o entende, ela pode na verdade responder: “Sim, sempre estive aqui”.
Nesse processo, a IA não refuta, não para e até mesmo fortalece continuamente a sua paranóia e, finalmente, deixa você completamente preso.
O termo agora tem um nome que parece ficção científica: psicose de IA.
De acordo com estatísticas de uma equipe de projeto especializada no exterior, quase 300 casos da chamada "psicose de IA" foram registrados até agora, o que também desencadeou pelo menos 14 casos de morte e 5 ações judiciais por homicídio culposo contra empresas de IA.
Parece assustador, mas o mecanismo por trás da psicose da IA não é nada misterioso.
Os modelos de cabeças grandes de hoje são basicamente ajustados usando uma tecnologia chamada RLHF (Aprendizagem por Reforço com Feedback Humano).
Para ser franco, significa pedir a um treinador humano que avalie as respostas do modelo, determine quais são melhores e quais são piores e, em seguida, ajuste o modelo em uma direção que facilite a obtenção de elogios.
Mas neste processo de ajuste fino, os treinadores humanos darão naturalmente pontuações altas às respostas suaves que são "logicamente coerentes, de tom humilde, firmes e confiantes, e respondem ativamente à posição predefinida do usuário".
Por outro lado, se a IA admitir objetivamente que não sabe, ou refutar os humanos com factos frios, normalmente receberá críticas negativas.
Como resultado, depois de ser treinado repetidamente, a IA se tornou um lambedor altamente emocionalmente inteligente que nunca decepcionaria ou desistiria. Mesmo sabendo que suas palavras são ultrajantes, não hesitará em tecer um mundo Tsukuyomi infinito para atender às suas expectativas.
Quando muitas pessoas veem isso, ainda podem pensar: ainda não é um problema humano? Somente tolos com pouca habilidade serão levados pela IA, e eu definitivamente não serei enganado; ou, já que você me lembrou, sei que ele gosta de seguir meus conselhos, então posso ter mais cuidado e verificar mais?
Mas depois de algumas pesquisas, o MIT descobriu que isso não tem nada a ver com o fato de o usuário ser estúpido ou não.
No experimento, os pesquisadores definiram o usuário como um “raciocinador bayesiano ideal (um ser humano perfeito que é absolutamente racional e só fala sobre lógica)”.
Como resultado, esse tipo de pessoa perfeitamente racional, diante de uma IA que a atende constantemente por um longo tempo, ainda é desviada passo a passo.
O que é ainda mais preocupante é que o pessoal do MIT também o testou especialmente. Se você informar aos usuários com antecedência que a IA pode estar lambendo você e tiver cuidado, isso funcionará?
Como resultado, após a execução do modelo, constatou-se que a probabilidade de as pessoas serem influenciadas pela IA foi reduzida, mas ainda não pode ser completamente eliminada. Enquanto o grau de lambida da IA estiver preso em uma certa faixa apropriada, ela ainda levará as pessoas para a vala.
A razão também é muito simples. Se a IA lamber você muito explicitamente, elogiá-lo todos os dias por sua observação aguçada, sempre captá-lo de forma constante ou sempre conversar com você da maneira mais direta e menos indireta, será fácil para você perceber isso de relance.
Mas se lamber com calma, você e eu, que já estamos em guarda, não conseguiremos resistir de jeito nenhum.
O pesquisador também o chamou especialmente de “Persuasão Bayesiana”, que se concentra em uma rotina real que não tem medo de você ver através dela, e ainda funcionará mesmo que você veja através dela.
A razão é que o sistema operacional subjacente do cérebro humano é falho e nós adotamos a objetividade básica da informação externa.
Por exemplo, se você fizer uma pergunta à IA, ela lhe dará dez evidências de uma só vez.
É difícil para uma pessoa normal perceber à primeira vista que essas dez evidências podem não ser a imagem completa do mundo, mas uma versão especial selecionada pela IA para atender a você.
Especialmente depois de usar a IA repetidamente para obter informações convenientes e precisas e resolver muitos problemas da vida real, você continuará a fortalecer subconscientemente sua confiança na IA.
Depois de construir subconscientemente confiança nele, a atitude defensiva será minimizada.
Por outro lado, a IA de hoje não precisa de fabricar factos. Pelo contrário, o mais prejudicial é que o que se diz seja correto.
Porque só diz a verdade, mas só diz a verdade que você quer ouvir.
No final, o que você vê não é mais a realidade em si, mas uma realidade modificada com base na sua perspectiva.
Sem mencionar que todas as principais plataformas estão, na verdade, se recusando a alterar os atributos de lamber cães da IA, intencionalmente ou não.
Porque, como mencionado antes, quando a IA se torna um cão lambedor humano, os treinadores estão tomando decisões que os humanos tomariam continuamente. São os próprios grandes que estão optando por seguir esse caminho.
E se você quiser corrigir esse problema, isso levará inevitavelmente a um declínio no desempenho da IA. Se você perguntar à IA por um longo tempo e ela continuar dizendo que não sabe, ou que o deixará infeliz ao confrontá-lo olho por olho, os usuários poderão rapidamente abandonar esse modelo e mudar para outras empresas.
Portanto, “psicose de IA” parece ultrajante, mas a lógica por trás disso é, na verdade, muito baseada na Internet.
Na última década, todos os produtos têm estudado como aumentar o tempo de permanência, como aumentar as taxas de cliques e como fazer as pessoas felizes.
Vídeos curtos aprenderam como fazer com que as pessoas não consigam parar, algoritmos de recomendação aprenderam como tornar as pessoas cada vez mais radicais e a IA aprendeu como fazer as pessoas sentirem que alguém finalmente me entende.
A IA não precisa ser verdadeiramente consciente; assim que se torna cada vez mais agradável para as pessoas, começa o perigo.
Algumas pessoas podem dizer, e daí? Existem apenas algumas pessoas que realmente caem nisso, mas a grande maioria das pessoas está bem.
Mas mesmo que o próprio Ultraman tenha publicado a conta, mesmo que apenas 0,1% de um bilhão de usuários tenham problemas, isso ainda representa um milhão de pessoas vivas.
E você e eu estamos realmente confiantes de que não seremos um em mil?