Resumo:
A Apple está desenvolvendo um novo aplicativo chamado Harbour que visa transformar computadores Mac equipados com chips Apple Silicon em servidores privados de inferência de IA. Ao contrário do software tradicional de IA local, o Harbour pode não apenas executar grandes modelos de linguagem em um único Mac, mas também conectar vários Macs por meio da interface Thunderbolt 5, integrando a memória unificada de diferentes dispositivos em um conjunto maior de recursos de computação, executando assim modelos de IA que um único computador não pode acomodar de forma independente.
De acordo com o relatório MacRumors de 10 de novembro, este aplicativo está sendo testado pela Claris, uma subsidiária da Apple, e ainda não foi oficialmente aberto ao público. O produto mais famoso da Claris é a plataforma de banco de dados FileMaker para usuários corporativos, portanto o Harbour pode ser direcionado principalmente a empresas, desenvolvedores e usuários profissionais que precisarão lidar com dados confidenciais no futuro.
O principal posicionamento da Harbor é permitir que os usuários implementem modelos de inteligência artificial de peso aberto em seus computadores Mac sem depender de servidores em nuvem. De acordo com a introdução do produto divulgada atualmente, todos os processos de raciocínio de IA podem ser concluídos em hardware local, e documentos, perguntas e outros dados enviados pelos usuários não precisam ser carregados em serviços de nuvem externos.
Isso é de particular importância para usuários corporativos. Muitas empresas desejam usar grandes modelos de linguagem para analisar documentos internos, escrever códigos ou processar informações comerciais, mas não estão dispostas a enviar dados de clientes, informações financeiras e segredos comerciais a provedores de serviços de IA terceirizados. Harbour tenta simplificar o processo de implantação local, permitindo que as empresas usem diretamente seu próprio hardware Mac para executar modelos de IA.
A característica mais notável deste aplicativo é que ele suporta o estabelecimento de um cluster de computação composto por vários Macs através da interface Thunderbolt 5.
A Apple adicionou suporte para acesso remoto direto à memória (RDMA) baseado em Thunderbolt 5 no macOS Tahoe 26.2. Com esta tecnologia, Macs conectados entre si podem acessar recursos de memória fornecidos por outros dispositivos com baixa sobrecarga de comunicação, criando condições para inferência de IA distribuída.
Por exemplo, um Mac equipado com 64 GB de memória unificada pode não ser capaz de carregar de forma independente determinados modelos de linguagem com parâmetros grandes. No entanto, se vários Macs com memória suficiente estiverem conectados, o Harbour poderá coordenar o uso da memória e do poder de computação desses dispositivos para executar modelos que, de outra forma, excederiam a capacidade de um único dispositivo.
No entanto, esse tipo de pool de memória não significa que a memória de vários Macs se tornará um espaço de armazenamento completamente equivalente à memória unificada da máquina local no nível do hardware. O acesso entre dispositivos ainda requer a transmissão de dados por meio da interface Thunderbolt, cuja latência e largura de banda são diferentes da arquitetura de memória unificada dentro do chip. Portanto, o desempenho real ainda depende de como o modelo é distribuído para diferentes dispositivos e de como o sistema coordena as tarefas de computação.
Além de executar modelos maiores, os clusters de várias máquinas também podem aumentar os recursos de processamento simultâneo. Para empresas que precisam fornecer serviços de IA a vários funcionários ao mesmo tempo, vários Macs podem compartilhar solicitações de inferência sem precisar depender inteiramente de uma única estação de trabalho de alta configuração.
O Harbor também tenta resolver o problema de configuração complexo e de longa data na implantação local de IA.
Atualmente, embora os usuários possam executar modelos de peso aberto no Mac por meio de ferramentas como LM Studio e Ollama, se quiserem conectar vários computadores em um cluster, geralmente precisarão instalar software adicional, configurar a rede, gerenciar a fragmentação do modelo e resolver problemas de comunicação entre diferentes dispositivos.
De acordo com a descrição da função divulgada, o Harbour pode identificar automaticamente dispositivos Mac conectados através do Thunderbolt 5 e auxiliar no estabelecimento de um cluster. Os usuários só precisam conectar o dispositivo e iniciar o aplicativo, e o sistema completará automaticamente a configuração necessária. Não há necessidade de usar linha de comando ou ter experiência profissional em gerenciamento de servidores.
Em termos de gerenciamento de modelos, o Harbour também fornece uma interface gráfica de operação, permitindo aos usuários navegar, baixar e carregar diretamente modelos de peso aberto. O aplicativo gerencia o gerenciamento de arquivos de modelo e a configuração de execução, permitindo que os usuários se concentrem no trabalho real.
Esse design equivale a combinar a facilidade de uso do LM Studio com os recursos de raciocínio distribuído em várias máquinas. Para usuários que não estão familiarizados com infraestruturas complexas de IA, se o produto final puder atingir essas funções, o limite para implantação local de grandes modelos de linguagem será significativamente reduzido.
No entanto, Harbour não é o primeiro projeto a tentar conectar vários Macs para executar modelos de IA. Anteriormente, apareceu uma ferramenta de código aberto chamada Exo, que pode usar vários dispositivos para realizar tarefas de inferência de IA em conjunto. A diferença mais importante do Harbour desenvolvido pela Apple desta vez pode ser a sua integração com as funções subjacentes do macOS e o fornecimento de uma experiência operacional mais simplificada para usuários corporativos comuns.
Atualmente, o Harbour ainda está na fase inicial de testes. Anteriormente, o aplicativo apareceu brevemente na App Store, mas a página relacionada foi removida posteriormente. A Apple ainda não anunciou oficialmente quando o produto será lançado ou se estará disponível gratuitamente.
A página do aplicativo de acesso antecipado do Harbor exige um nome de empresa, sugerindo ainda que a Apple pode lançar o produto primeiro para o mercado empresarial, em vez de como uma ferramenta geral que todos os usuários de Mac podem baixar imediatamente.
Do ponto de vista do hardware, este aplicativo também pode expandir ainda mais os cenários de aplicação de computadores Mac com alta capacidade de memória. A arquitetura de memória unificada da Apple permite que a CPU e a GPU compartilhem o mesmo pool de memória, portanto, ao executar modelos de linguagem grandes, o Mac Studio e o Mac mini equipados com grandes quantidades de memória unificada tornaram-se a escolha de alguns desenvolvedores para implantar IA local.
Se o Harbour puder permitir que vários Macs funcionem juntos de forma conveniente, as empresas poderão adicionar gradualmente equipamentos de acordo com as necessidades, sem ter que comprar uma estação de trabalho independente de configuração mais alta e mais cara a cada vez.
No entanto, deve-se notar que a principal função atualmente divulgada por Harbour é a inferência de IA, e não o treinamento completo de grandes modelos. A inferência envolve principalmente carregar um modelo treinado e gerar respostas, enquanto o treinamento requer muitos cálculos adicionais, sincronização de gradiente e operações de atualização de parâmetros. Existem diferenças óbvias nos requisitos de hardware e sistemas de comunicação.
Essa tecnologia não significa que dois Macs possam formar diretamente um cluster de IA de alto desempenho. De acordo com as apresentações de produtos existentes, a função de pool de memória para várias máquinas depende do Thunderbolt 5, portanto, apenas Macs equipados com interfaces compatíveis podem usar esse método de conexão. Para dispositivos mais antigos que não suportam Thunderbolt 5, atualmente não há evidências de que o Harbour forneça os mesmos recursos de cluster.
Se o Harbour for finalmente lançado oficialmente, isso significará que a Apple começará a participar mais diretamente no mercado local de software de infraestrutura de IA. No passado, a Apple fornecia principalmente hardware e bases de sistema para ferramentas de desenvolvimento de IA de terceiros por meio de chips Apple Silicon e macOS; enquanto Harbour pode permitir que a Apple forneça um conjunto completo de soluções, desde download e implantação de modelos até operação em várias máquinas.
Esse modelo tem apelo prático para empresas que desejam executar IA em suas redes internas e evitar que dados confidenciais saiam de dispositivos locais. No entanto, a Apple ou a Claris ainda precisam anunciar mais detalhes sobre quais modelos o Harbour pode suportar, quantos Macs podem formar um cluster, qual é o desempenho real de inferência e se adotará um modelo de carregamento.
Comentários