Gemma é um modelo de inteligência artificial de código aberto lançado pelo Google. O modelo está disponível para todos os desenvolvedores por meio do Google AI Studio e outros canais. No entanto, pode ser difícil para os desenvolvedores encontrar Gemma do Google AI Studio porque o modelo foi retirado pelo Google.
O Google não explicou por que removeu o modelo de inteligência artificial de código aberto, mas antes de remover o modelo, a senadora republicana dos EUA Marsha Blackburn enviou uma carta ao CEO do Google, Sundar Pichai, pedindo ao Google que explicasse por que o modelo continha falsas acusações sobre ela.
Blackburn também pediu ao Google que explicasse por que seus modelos enfrentam tais falhas, enquanto vinculava a questão às audiências em andamento acusando o Google e outras empresas de criar chatbots que denigrem os conservadores.
Na audiência, Malcolm Erickson, do Google, explicou que as alucinações de inteligência artificial são um problema comum na inteligência artificial generativa, e o Google está fazendo o possível para mitigar o impacto de tais erros, mas nenhuma empresa ainda foi capaz de eliminar completamente as alucinações.
Em carta aberta, Marsha Blackburn afirmou que só tomou conhecimento das falsas acusações contra ela por parte da modelo Google Gemma após a audiência. Quando questionada se Marsha Blackburn havia sido acusada de estupro, a modelo Gemma respondeu que ela teve um caso movido a drogas com um policial estadual, e até mesmo a modelo gerou links falsos para conteúdo de notícias fabricado (ou seja, a própria fonte de conteúdo referenciada não existia e foi puramente fabricada pela própria modelo)
Na verdade, esta situação não é incomum em modelos generativos de inteligência artificial. Desde que o usuário o guie deliberadamente, os modelos generativos de inteligência artificial estão sujeitos a tais alucinações. Em particular, o Google AI Studio inclui ferramentas que podem ajustar o comportamento do modelo, por isso não é fácil espalhar boatos.