Em 15 de novembro, o CMO da Sinovation Ventures postou no WeChat Moments em resposta ao incidente de “plágio de LLaMA” do modelo Yi. Ela disse que a Zero One Wish divulgou instruções para treinar o modelo Yi-34B em resposta às opiniões públicas sobre a arquitetura do modelo.O CMO da Sinovation Ventures emitiu um comunicado dizendo que acompanhar a evolução da indústria e gradualmente tornar-se uma infraestrutura universal e ecologicamente abrangente tornou-se uma “maquete e imitadora”? (Assim como os desenvolvedores de aplicativos móveis se beneficiam da arquitetura comum do iOS e do Android). Lingyiwanwu continuará a aprender humildemente com a comunidade e a progredir.
De acordo com a descrição, Zero Yiwu treinou os modelos Yi-34B e Yi-6B do zero, reimplementou o código de treinamento de acordo com a estrutura de treinamento real e usou um pipeline de dados autoconstruído para construir um conjunto de dados de treinamento de alta qualidade (da seleção de dados original de 3PB a dados de alta qualidade de 3Ttoken).
Durante o processo inicial de código aberto do Zero One Thousand Things, descobrimos que o uso da arquitetura LLaMA, que é comumente usada na comunidade de código aberto, seria mais amigável para os desenvolvedores. Em relação à negligência no uso de alguns dos códigos de raciocínio do LLaMA após o experimento e renomeação, o ponto de partida original foi testar completamente o modelo, e não ocultar deliberadamente a fonte.Lingyiwuwu forneceu uma explicação para isso e expressou seu sincero pedido de desculpas., estamos reenviando modelos e códigos para várias plataformas de código aberto e complementando cópias do protocolo LLaMA, e prometemos concluir as atualizações de versão de cada comunidade de código aberto o mais rápido possível.
Artigos relacionados: