Resumo:
Em um bairro tranquilo de Bellevue, Washington, o porão da moderna casa de Gary Fleck é decorado como um espaço de lazer masculino totalmente funcional: um sofá confortável é colocado entre o monitor de tela grande e o projetor digital, e há também uma máquina de spinning e remo. Mas o verdadeiro destaque desta sala é um host feito sob medida que parece um modelo gigante montado, com sete placas gráficas Nvidia de alto desempenho penduradas no rack.
Entusiastas da tecnologia montam um host de IA de alto desempenho em casa, e o que se segue é um problema espinhoso de dissipação de calor
Flake trabalhou anteriormente na Microsoft e também é fundador de diversas empresas iniciantes. Ele construiu a máquina para treinar modelos personalizados de IA com base em terabytes de dados de eletroencefalograma, que registram sinais elétricos no cérebro, como parte de uma startup que ele não mantém mais.
Para treinar o modelo de IA, ele poderia ter alugado poder de computação GPU de nível industrial no data center de um provedor de serviços em nuvem. Mas ele disse que é muito mais econômico instalá-lo você mesmo com componentes com desconto. O custo total de todo o equipamento é inferior a US$ 6.000, o que é muito menos do que pagar uma taxa mensal para Amazon Cloud ou Microsoft Cloud.
Mesmo se você incluir o custo de modificações elétricas e um novo sistema HVAC (um total de US$ 1-20.000) para dissipar o calor no porão e compensar o enorme calor gerado pelo host de IA, ainda é econômico instalá-lo você mesmo. “Quero o poder da computação em minhas próprias mãos”, disse Flake, que planeja reutilizar a máquina nos próximos meses para iniciar novos projetos. "Não quero alugar o poder computacional de outras pessoas."
Executar cargas de trabalho de IA localmente em sótãos, porões e escritórios domésticos tornou-se um fenômeno inesperado nesta onda de loucura pela IA. As principais empresas de IA treinam e executam grandes modelos em grandes data centers remotos repletos de dezenas de milhares de GPUs para atender à demanda por enorme poder de computação.
Equipamentos de GPU na casa de Gary Fleck
Ao mesmo tempo, há uma
onda de IA local
está surgindo. Um grande número de pequenos desenvolvedores e entusiastas de hardware optam por executar IA em seus dispositivos domésticos devido ao custo, à privacidade e à facilidade de uso. Alguns desenvolvedores que acreditam no conceito de liberdade acreditam que a IA local pode evitar futuras restrições governamentais e cortar sua permissão para usar a tecnologia de IA. Plataformas de agentes locais como o OpenClaw podem chamar diretamente aplicativos nativos e arquivos locais para concluir tarefas complexas, o que também contribuiu para essa tendência.Às vezes, os dispositivos domésticos de IA são simplesmente recursos domésticos interessantes. No mês passado, o CEO do Shopify, Toby Lütke, se tornou viral nas plataformas sociais depois de exibir três conjuntos de gabinetes de servidores verticais em sua casa. Os armários foram envoltos com faixas de luz LED rosa. O equipamento inclui um host Dell equipado com placa gráfica de última geração da Nvidia, que o fabricante chama de “supercomputador desktop definitivo”. Luedtke também resolveu habilmente o problema da dissipação de calor do equipamento.
A ascensão dos consoles domésticos de IA é um benefício inesperado para os fabricantes de hardware. O Mac mini e o Mac Studio são muito populares entre os desenvolvedores de smartphones e as vendas estão aumentando; Dell também disse que o mercado para entusiastas domésticos de IA está experimentando um crescimento explosivo.
Mark Hammons, engenheiro sênior da Dell, disse: "Esta é a tendência dos tempos. Após o advento do OpenClaw este ano, a demanda por hardware relacionado disparou."
Colocar hosts de alto desempenho em casa não é novidade, e comunidades de entusiastas do "homelab" já floresceram em plataformas como Discord e Reddit. No início do século 21, os audiófilos construíam servidores em casa, montavam discos rígidos enormes e armazenavam músicas e vídeos MP3 baixados. Mais tarde, o boom da mineração de criptomoedas impulsionou a demanda por GPUs de alto desempenho para uso doméstico.
Hitten Shah era um jogador de criptomoedas naquela época. Em 2020, ele instalou oito GPUs no rack do servidor de sua casa para minerar Ethereum. Hoje, Shah, CEO da startup de software Crazy Egg, voltou-se para o desenvolvimento de IA e expandiu enormemente o armamento de poder computacional em sua casa em Redwood Shores, Califórnia, para um total de 18 dispositivos, incluindo 14 Mac minis e Mac Studio.
Shah disse que o poder da computação local lhe permite controlar o desempenho do software de otimização de sites que desenvolveu. É normal que grandes modelos de nuvem sofram tempos de inatividade e atrasos frequentes. "Sempre que um modelo grande é atualizado na nuvem, o sistema ficará instável por vários dias e falhas ocorrerão com frequência."
Mas o preço é que o conforto de vida é bastante reduzido. Todo o equipamento de computação é colocado em seu escritório doméstico, e o calor dissipado pelas máquinas muitas vezes faz com que a temperatura interna suba para 85 graus Fahrenheit (cerca de 29,4 graus Celsius). Muitas vezes ele só consegue ficar no quarto de bermuda. “Eu deveria instalar um ar condicionado”, disse Shah.
Muitos entusiastas locais de IA se tornaram celebridades da Internet no setor. Um YouTuber baseado em Austin que solicitou anonimato e atende apenas pelo nome de canal Digital Spaceport. Ele construiu o que chama de “data center doméstico” em sua garagem. O hardware inclui cinco placas gráficas AMD, além de um grande número de dispositivos de rede e armazenamento. Atualmente, ele está executando o grande modelo doméstico de código aberto Tongyi Qianwen Qwen-3.8-27B nesta máquina para editar e analisar seus próprios vídeos do YouTube.
Outro consultor de tecnologia polonês e YouTuber, também anônimo, usa o ID do canal 0xSero. À medida que comprava mais e mais hardware, ele teve que mover o host de IA pela casa. Quatro placas gráficas NVIDIA 6000 foram originalmente colocadas em seu escritório doméstico, mas faziam muito barulho, geravam calor extremamente alto e secavam o ar da sala. Ele acreditava que essa era a causa de sua doença no ano passado. Então todo o conjunto foi transferido para o sótão.
0xSero foi o primeiro a usar modelos de IA em nuvem. A virada ocorreu no final de 2024: o preço da ferramenta de programação de IA Cursor aumentou. "Naquele momento decidi desenvolver IA local."
Ele insiste num ponto de vista: a propriedade e o controle dos sistemas de IA devem estar nas mãos dos usuários. No futuro, poderá haver controlo governamental e restrições aos direitos de acesso à IA. “Eu realmente amo IA e quero continuar a ter o direito de usá-la.”
Comentários