Hoje, Moore Threads anunciou oficialmente que,A cerimônia de inauguração da primeira plataforma de treinamento de modelos de 1.000 kamma e 100 bilhões de produção nacional da Moore Thread, o KUAE Intelligent Computing Center da Moore Thread, foi realizada com sucesso.Este movimento também significa queO primeiro cluster de computação em grande escala do país baseado em GPUs completas produzidas internamente foi lançado oficialmente.
O CEO da Moore Thread, Zhang Jianzhong, disse que a Moore Thread construiu uma linha de produtos de computação inteligente, de chips a placas gráficas e clusters. Contando com as múltiplas vantagens computacionais das GPUs completas, ele pode atender às crescentes necessidades de treinamento e inferência de grandes modelos.
Segundo relatos, a solução do centro de computação inteligente Moore Thread KUAE é baseada em uma GPU completa.Seu objetivo é resolver os problemas de gerenciamento de construção e operação do poder de computação GPU em grande escala de uma forma integrada.
Esta solução pode ser usada imediatamente, reduzindo significativamente o custo de tempo de construção de poder de computação tradicional, desenvolvimento de aplicativos e construção de plataforma de operação e manutenção, e alcançando rápido lançamento no mercado para operações comerciais.
Atualmente, Moore Thread oferece suporte ao treinamento e ajuste fino de vários grandes modelos convencionais, incluindo LLaMA, GLM, Aquila, Baichuan, GPT, Bloom, Yuyan, etc.
Com base no cluster quilocal KUAE do fio Moore,Para treinamento de modelos grandes com parâmetros de 70B a 130B, a taxa de aceleração linear pode chegar a 91%.A taxa de utilização do poder de computação permanece basicamente inalterada.
Tomando como exemplo a quantidade de 200 bilhões de dados de treinamento,O parâmetro Aquila2 de 70 bilhões do Zhiyuan Research Institute pode concluir o treinamento em 33 dias; um modelo com 130 bilhões de parâmetros pode completar o treinamento em 56 dias.