Os grandes modelos de IA de código aberto das séries DeepSeekV3 e R1 demonstraram excelente desempenho na compreensão multilíngue e em tarefas de raciocínio complexas. Eles não apenas promovem a popularização e o desenvolvimento da tecnologia de IA, mas também fazem grandes contribuições para a comunidade de código aberto. Atualmente, vários gigantes da tecnologia começaram a apoiar e implantar o DeepSeek, e o hardware doméstico também está acelerando o suporte.
Como uma empresa nacional de inovação em GPU com todos os recursos, a Moore Thread implementou rapidamente a implantação eficiente de serviços de inferência de modelo de destilação DeepSeek, permitindo que mais desenvolvedores inovassem em aplicativos de IA baseados na GPU com todos os recursos da Moore Thread.
Endereço de experiência com um clique:
https://playground.mthreads.com
também,Os usuários também podem realizar a implantação de inferência do modelo de destilação DeepSeek-R1 baseado nas placas gráficas Moore thread MTTS80 e MTTS4000.
Na verdade, já em 28 de janeiro, já havia um proprietário do site B UP concluindo manualmente a prática no Moore Thread MTTS80:
https://www.bilibili.com/video/BV18YfQYEEs2
Através do modelo de destilação fornecido pela DeepSeek, as capacidades dos modelos de grande escala podem ser migradas para versões menores e mais eficientes para obter inferência de alto desempenho em GPUs domésticas.
Moore Thread é baseado em uma GPU completa e autodesenvolvida e implementa rapidamente a implantação de serviços de inferência para o modelo de destilação DeepSeek por meio de soluções de código aberto e de mecanismo duplo autodesenvolvidas.
Adaptação da estrutura de código aberto:
Com base na estrutura de código aberto Ollama, Moore Thread concluiu a implantação do modelo de destilação DeepSeek-R1-Distill-Qwen-7B e demonstrou excelente desempenho em uma variedade de tarefas chinesas, verificando a versatilidade e compatibilidade CUDA da GPU completa desenvolvida por Moore Thread.
Aceleração do motor autodesenvolvida:
Por meio do mecanismo de inferência de alto desempenho desenvolvido de forma independente pela Moore Threads, combinado com a tecnologia de otimização colaborativa de software e hardware e aceleração personalizada do operador e gerenciamento de memória, a eficiência computacional e a utilização de recursos do modelo são significativamente melhoradas.
Este mecanismo não apenas suporta a operação eficiente do modelo de destilação DeepSeek, mas também fornece suporte técnico para a implantação de modelos de maior escala no futuro.
afinal,Moore Thread está prestes a abrir seu cluster de computação inteligente de GPU KUAE autoprojetado, que oferece suporte total à implantação distribuída de modelos DeepSeekV3, R1 e modelos de destilação de nova geração.
O cluster Kua'e integra tecnologia de raciocínio avançada e estrutura de computação distribuída para garantir a operação eficiente e estável de modelos de grande escala e ajudar os desenvolvedores a implementar rapidamente a implementação de negócios.