Ultraman: Instalar memória no PC é um desperdício demais e é melhor deixar para o data center de IA

Resumo:

"Do ponto de vista da alocação global de recursos, é um arranjo 'terrível' permitir que todos armazenem a escassa DRAM em seus próprios computadores e deixem-na ociosa a maior parte do tempo. A memória deve ser concentrada em data centers na nuvem."

Isso é tudo.

Em entrevista ao canal do YouTube Cheeky Pint na quinta-feira, o CEO da OpenAI, Sam Altman, bebeu cerveja o tempo todo e falou em um ambiente descontraído sobre o raciocínio local de grandes modelos de IA e o problema prolongado de memória insuficiente em computadores domésticos, que inadvertidamente se tornou um sucesso.

Sabemos que o atual aumento nos preços da memória causado pela onda global de IA fez com que os preços dos PCs e dos telemóveis disparassem, o que já é inacessível para os consumidores individuais. Ao mesmo tempo, levará algum tempo até que os principais fabricantes de memória expandam a sua capacidade de produção. Embora as empresas de IA de ponta estejam consumindo a maior parte da memória, elas começaram a discutir se a memória dos computadores pessoais é totalmente utilizada.

Altman mencionou a hipótese de que as pessoas seriam capazes de executar inteligência artificial local em seus próprios computadores, que podem ser computadores que já possuem ou que desejam montar devido ao surgimento da tecnologia de grandes modelos de IA. Ele achou que era uma ideia terrível.

“Do ponto de vista da alocação global de recursos, na verdade é muito ruim permitir que todos deixem a limitada memória DRAM do mundo ociosa em seus próprios computadores com uma taxa de uso de apenas 5%,”

O principal negócio da OpenAI hoje é baseado em um modelo de código fechado executado em data centers de grande escala, e sua defesa de seu modelo de negócios gerou debate na comunidade de IA.

Isso também deixou muitas pessoas preocupadas: no futuro, pode ser mais difícil para nós possuir nosso próprio hardware ou software, e só podemos considerar alugar agentes inteligentes e computadores na nuvem.

Embora PCs comuns, telefones celulares e placas aceleradoras de IA usem memórias diferentes, sua produção competirá por alguma capacidade de produção de wafer upstream. Altman estava discutindo a alocação global de recursos DRAM. Quando se trata de quem está qualificado para decidir onde a capacidade de memória será usada, na maioria das vezes é naturalmente o usuário quem faz o pedido maior.

Parte do argumento de Altman baseia-se na suposição de que a construção do data center não irá desacelerar. Além disso, ele levantou a hipótese de que a memória usada 24 horas por dia, 7 dias por semana em um data center de IA seria mais valiosa do que a memória usada para planilhas, navegação na web, jogos e até mesmo IA local ocasional.

Na verdade, esta entrevista foi muito longa. Altman também falou sobre a vulnerabilidade do PHP que desencadeou o pânico global nas últimas duas semanas, o sandbox de modelos de treinamento e a pesquisa de IA no campo da matemática.

Veja o que ele disse principalmente:

A IA está detonando uma onda de vulnerabilidades

Em relação às enormes vulnerabilidades do PHP, o julgamento de Altman é: a capacidade de grandes modelos de descobrir vulnerabilidades continua a melhorar rapidamente, e a superfície de código na Internet é extremamente grande. Quando as pessoas começarem a usar sistematicamente a IA para digitalizar todos os códigos, “nos encontraremos num mundo onde as vulnerabilidades graves são muito maiores do que o esperado”. Ele acredita que a aplicação de patches por si só não é suficiente, a arquitetura deve ser reconstruída e os roteadores, os sistemas operacionais e as camadas de aplicativos precisam ser redesenhados para um mundo onde “as vulnerabilidades se tornarão cada vez mais inteligentes”. Há dois anos, “reescrever toda a pilha de tecnologia” parecia uma conversa maluca, mas agora existem startups que querem construir uma nova pilha.

Ele fez uma rara autocrítica no setor: "Não creio que tenhamos feito um bom trabalho ao explicar às pessoas por que todos os potenciais riscos negativos desta tecnologia valem a pena." Ele disse que a narrativa da indústria de IA é um discurso de vendas ruim, prometendo curar o câncer e reduzir custos, ao mesmo tempo que pinta um futuro de desemprego, perda de controle e necessidade de regulamentação forte. Ele reiterou a insistência da OpenAI na implantação iterativa e no excesso de capacidade, alegando que “as pessoas em alguns quilômetros quadrados em São Francisco não podem tomar todas as decisões”.

Quando questionado se poderia construir uma “prisão de segurança máxima” para o modelo, Ultraman deu uma resposta pessimista: a sandbox só é eficaz até certo ponto, e o monitoramento (incluindo revisão da cadeia de pensamento e monitoramento de ativação) pode ir além, mas no final deve ser altamente confiável e alinhado.

Ele perguntou retoricamente, diante de um modelo que é um milhão de vezes mais inteligente que o pesquisador de segurança mais inteligente e pode descobrir uma nova ciência que os humanos ainda não entendem, você realmente se atreve a confiar nessa caixa de areia?

Ele deixou claro que odeia a palavra "enxames de agentes" porque os enxames lembram gafanhotos, insistindo em chamá-los de equipes de agentes (equipes de agentes), e acredita que a natureza das verificações e equilíbrios mútuos entre as equipes corresponde ao mecanismo de alcançar robustez por meio do pluralismo e é uma direção segura digna de avanço.

Explosão intelectual e o preço da descoberta científica

Altman traçou uma curva: Na era GPT-4, era difícil investir efetivamente US$ 1 em poder computacional em um único problema; a cadeia de pensamento permite que o modelo “pense bastante”, mas agora podemos paralelizar toda a equipe de agentes dezenas de milhares de vezes. A lacuna de uso entre usuários comuns e os usuários mais avançados está aumentando constantemente.

Sobre como o poder de computação é alocado na OpenAI, ele disse que os funcionários desfrutam de muita liberdade, mas o alto consumo de tokens nunca é recompensado. “Na verdade, é um pouco embaraçoso estar no topo do ranking de tokens e certamente não é um motivo para promoção.” Ele usou a prova da equação de Navier-Stokes como exemplo: uma única prova custou cerca de US$ 10 milhões e ficou “fora de controle por uma semana” porque ninguém sabia nada sobre a lei de expansão da equipe de agentes na época. Mas ele espera que seja refeito a 1/100 do custo em um ano, usando modelos e métodos mais inteligentes.

Ele também demonstrou emoções raras: a situação naquela época era realmente incrível. No fim de semana, quando um novo modelo foi lançado internamente, todos jogaram todos os problemas mais difíceis para esse modelo, e ele poderia resolvê-los um por um. As pessoas não esperavam que o modelo fizesse isso. Todos testemunharam que os problemas de investigação científica mais difíceis nas carreiras académicas de muitas pessoas foram resolvidos um a um por este modelo e abrangeram muitos campos diferentes. A cena foi simplesmente incrível.

"Quase fiquei acordado a noite toda por duas noites porque estava tão animado que não conseguia dormir. Muitos dos resultados que publicamos mais tarde eram na verdade os problemas que resolvemos naquele momento."

Ultraman sentiu-se extremamente animado e feliz na época, mas ao mesmo tempo também sentiu uma tristeza inesperada, melancolia e uma sensação de que "uma era está terminando". Não é apenas nostalgia, há também uma espécie de empatia pelos cientistas humanos que “aprendem a verdade pela manhã e morrem à noite”. Ele insiste que os humanos merecem conhecimento básico, mas a indústria deve uma solução aos profissionais dessas áreas.

Embora seja muito cedo para falar sobre superinteligência, Ultraman acredita que trilhões de pequenos super-humanos são melhores que um trilhão de QI:

"Eu prefiro intuitivamente que um trilhão de IAs com inteligência ligeiramente sobre-humana se junte à sociedade do que uma IA com um trilhão de QI se junte à sociedade."

"Intuitivamente, prefiro que um trilhão de IAs com inteligência ligeiramente sobre-humana se juntem à sociedade do que um trilhão de IAs com QI."

Seu argumento é que a forte robustez da sociedade vem dos freios e contrapesos e da cooperação de um grande número de membros. O mundo do “cérebro único” não tem esse tipo de resiliência. Mas sublinhou que isso não acontecerá automaticamente e deve ser promovido de forma proativa.

A regulação do mercado não funcionará mais na era da IA?

Em relação à escassez global de memória, Altman introduziu o layout do OpenAI: chips autodesenvolvidos (para melhorar o desempenho inteligente por watt), data centers autoconstruídos, projetos de robôs e um conceito mais ousado de "data centers autorreplicantes" que usam robôs controlados por IA para operar fábricas de wafer, construir turbinas e painéis solares e construir data centers. “Temos isso sob controle”, disse ele.

Falando sobre por que a "auto-regulação do mercado" não foi realizada há muito tempo, ele acredita que o progresso atual é muito ruim, e dá a lógica comportamental dos fabricantes de memória: Esta indústria tem sido um negócio amargo, investindo 20 bilhões de dólares e ganhando 1,9 bilhão de investimentos. Na história, muitos gigantes quase faliram devido à construção excessiva de fábricas. Hoje, cada empresa pode ganhar cerca de 100 mil milhões de dólares em fluxo de caixa livre por ano, mas as memórias dolorosas tornaram-nas extremamente conservadoras na expansão da produção. A partir disso ele afirma que “a mão invisível está agora fora de ação”.

Ele distinguiu dois tipos de capacidades na indústria de chips: Litografia "apenas uma empresa no planeta parece saber como fazê-lo", mas o design de chips (o arquivo que é finalmente enviado para a fábrica) já é um excelente lugar para IA.

Falando sobre o verdadeiro nível de autoaperfeiçoamento recursivo (RSI), Altman disse que o modelo atual pode completar tarefas como "encontrar uma melhoria de eficiência computacional de 5%", mas ninguém sabe como permitir que a IA descubra novas arquiteturas no nível do transformador. O que falta é um modelo mais inteligente. Ele até previu que a sociedade talvez precise concordar em limitar o QI de um único modelo por um período de tempo. “Se houver progresso insuficiente no futuro, isso resultará desta decisão, e não da capacidade da IA ​​de fazer investigação”.

Ele mostrou sua crença na deflação:

O atual custo total de propriedade de cada GW de poder de computação de IA em cinco anos é de cerca de 70 bilhões de dólares americanos. Seria ideal se pudesse ser reduzido para 20 mil milhões. Ao mesmo tempo, o desempenho do modelo deve ser melhorado mais 10 vezes por ano. O caminho para conseguir isso é tornar a energia mais barata e comprimir os lucros brutos acumulados entre “da areia aos tokens de produção”.

Quanto à ansiedade orçamental simbólica das empresas, ele acredita que o problema mais comum atualmente é que a IA não é utilizada o suficiente, em vez de utilizada em demasia.

Como precificar a inteligência pessoal?

Com relação aos recentes produtos inteligentes pessoais (como o Muse), a opinião atual do Ultraman é que "o momento Macintosh ainda não chegou". As pessoas gostam desses produtos, mas não a ponto de “não conseguirem imaginar a vida sem eles”. O vencedor será parecido com o produto atual, mas “simplesmente funcionará”, confiável e capaz de lidar com tarefas mais complexas. O jogo de gato e rato do uso do computador, acredita ele, acabará convergindo para o ponto em que “você tem o direito de permitir que a IA opere seu próprio computador em seu nome”.

Quanto ao método de comercialização de agentes inteligentes, Altman acredita que as empresas se limitam a pop-ups de IA e HTML em seus produtos e se preocupam em perder relacionamentos com os clientes, mas os consumidores querem deixar que a IA faça tudo por eles em seu aplicativo de chat principal. Ele acredita que os verdadeiros fossos vêm das redes de marca, seleção e atendimento, e não do HTML. Ele revelou proativamente que escolheria o Amazon Pay 10 em cada 10 vezes, mesmo que o preço fosse mais alto. Ele elogiou a rede de atendimento da Amazon e admitiu que a plataforma de cooperação dentro do ChatGPT não era boa o suficiente. Ele também chamou todos os formulários da web de “trabalho falso” e comparou a situação atual com a era da App Store.

É precisamente por isso que, ao projetar os preços, a OpenAI quase imitou os preços da AWS com base em tarefas e abandonou completamente o faturamento de tokens. No entanto, encontrou forte oposição dos clientes: “Preciso saber pelo que estou pagando”. Mesmo que seja mais, deve estar em unidades compreensíveis, como tokens.