Em 16 de dezembro, a equipe Tongyi Wanxiang do Alibaba lançou uma nova geração de modelos da série Wanxiang 2.6. Esta versão é definida como o primeiro modelo de geração de vídeo na China que suporta funções de role-playing. Ele também integra sincronização de áudio e vídeo, geração multi-shot e recursos de driver de som.
É relatado que o Wanxiang 2.6 pode aprender as informações de tempo, características do assunto e elementos acústicos do vídeo de entrada por meio de modelagem conjunta multimodal no nível técnico, com o objetivo de alcançar a consistência geral do vídeo gerado em termos de imagem e som. Sua função de controle de storyboard pode transformar materiais originais em parágrafos narrativos profissionais, incluindo alternância de múltiplas tomadas com base na compreensão semântica.
Esta atualização se concentra em melhorar a qualidade da imagem, os efeitos sonoros e os recursos de acompanhamento de comandos, e suporta no máximo 15 segundos de geração de vídeo por vez. A nova função de role-playing permite aos usuários enviar vídeos pessoais e combiná-los com palavras de alerta. O modelo pode completar automaticamente o design do storyboard, interpretação de papéis e dublagem para gerar um curta-metragem com toque cinematográfico. Esta capacidade está orientada principalmente para cenários profissionais, como design publicitário e produção de peças curtas.
Atualmente, a família Wanxiang Model possui mais de dez tipos de recursos de criação visual, como fotos de Vincent, edição de imagens e vídeos de Vincent. A partir de agora, os usuários podem experimentar o Wanxiang 2.6 por meio do site oficial, e os usuários corporativos também podem chamar a API do modelo por meio da plataforma Alibaba Cloud Bailian.
