Num processo federal contra a OpenAI nos Estados Unidos, Elon Musk admitiu no seu depoimento que a empresa de inteligência artificial xAI que fundou tinha utilizado o modelo da OpenAI para treinar o seu chatbot Grok através da chamada tecnologia de “destilação”, colocando mais uma vez esta prática tácita na indústria no centro das atenções.

Recentemente, a OpenAI e a Anthropic têm criticado terceiros por treinarem o comportamento de novos modelos por meio de questionamentos intensivos de chatbots e APIs acessíveis ao público, um processo conhecido na indústria como “destilação”. Nos últimos meses, o foco da opinião pública centrou-se em algumas empresas chinesas. Eles foram acusados ​​de criar modelos de ponderação de código aberto por meio de destilação. As capacidades desses modelos são próximas às dos produtos americanos de ponta, mas podem ser fornecidos ao mundo exterior a um custo menor. No entanto, dentro do círculo tecnológico, muitos profissionais há muito acreditam que os laboratórios de ponta nos Estados Unidos também utilizarão métodos semelhantes para evitar ficar para trás na competição.

Esta especulação foi agora confirmada em pelo menos um caso. Questionado durante o depoimento de quinta-feira no tribunal federal da Califórnia se a xAI usou tecnologia de destilação para treinar Grok com base em modelos OpenAI, Musk disse que era uma “prática comum entre as empresas de IA”. Quando a outra parte perguntou se isto poderia ser entendido como “sim”, a sua resposta foi “parcialmente sim”.

Musk está atualmente processando a OpenAI, bem como o CEO da empresa, Sam Altman, e o cofundador Greg Brockman, alegando que eles violaram a missão sem fins lucrativos original da OpenAI ao convertê-la de uma estrutura sem fins lucrativos para uma estrutura com fins lucrativos. O julgamento começa esta semana, com o depoimento de Musk se tornando um dos dramas centrais.

A admissão de Musk é significativa porque a tecnologia de destilação é vista como uma ameaça às principais vantagens das grandes empresas de IA: estas empresas investem enormes somas de dinheiro na construção de infra-estruturas informáticas numa tentativa de se manterem à frente através de barreiras de escala, enquanto a destilação pode permitir que outros programadores de software treinem modelos que “não estão muito longe” em termos de capacidades a um custo muito inferior ao custo original. Neste contexto, não falta ironia na indústria - para obter dados de formação suficientes, os próprios Frontier Labs testaram repetidamente os limites dos direitos de autor e foram até acusados ​​de "ultrapassar os limites", mas agora têm de resistir a que outros utilizem interfaces de conformidade para "aprender" os seus modelos.

A julgar pela linha do tempo, a xAI foi fundada em 2023, vários anos depois da OpenAI, por isso não é surpreendente que tenha tentado “aprender” com o líder da indústria da época. Não está claro se a destilação constitui uma clara violação da lei. Restrições mais realistas podem advir dos termos de serviço definidos por cada empresa para a utilização dos produtos - a destilação é muitas vezes considerada uma violação destes termos e não afecta necessariamente a própria lei estatutária.

Diante de preocupações sobre o “plágio” de modelos da China, OpenAI, Anthropic e Google lançaram uma ação conjunta por meio do “Frontier Model Forum” para tentar compartilhar inteligência e responder conjuntamente às tentativas de destilação. Segundo relatos, estas destilações de grandes modelos baseiam-se frequentemente em questionamentos sistemáticos e automatizados em grande escala para inferir os “padrões comportamentais internos” do modelo. Para conter tal comportamento, o Frontier Labs está tentando identificar e bloquear lotes suspeitos e solicitações anormais para evitar que o modelo seja “drenado de sua essência”. Até o momento desta publicação, a OpenAI não havia respondido a um pedido de comentário sobre o testemunho de Musk.

Mais tarde no julgamento, Musk foi questionado sobre uma declaração de alto nível que fez no verão passado: que a xAI em breve ultrapassaria todas as empresas, exceto o Google, em termos de capacidades. Ele conduziu uma classificação subjetiva dos principais fornecedores de IA do mundo no tribunal, dizendo que a Anthropic atualmente ocupa o primeiro lugar, seguida pela OpenAI e pelo Google, enquanto os modelos de código aberto da China estão em segundo lugar. Em comparação, ele descreveu a xAI como uma empresa muito menor, atualmente com apenas algumas centenas de funcionários.