A Microsoft pode ter feito parceria com a OpenAI e seu modelo de linguagem de grande escala GPT para ajudar a criar serviços generativos de IA como o Copilot (anteriormente a ferramenta de bate-papo do Bing). No entanto, a empresa também está desenvolvendo seu próprio modelo de linguagem. Esta semana, a Microsoft Research anunciou o lançamento do Orca2, a segunda versão de sua linguagem Orca.
A Microsoft disse em uma postagem no blog que o Orca2 foi projetado para LM de pequena escala, mas ainda pode ser usado para responder a questões complexas como LLM. O Orca2 vem em dois tamanhos (7 bilhões e 13 bilhões de parâmetros) e é construído em parte usando o Llama2LLM, que a Microsoft ajudou a Meta a lançar no início deste ano. A empresa aperfeiçoou o modelo baseado no Llama2 “com base em dados sintéticos personalizados e de alta qualidade”.
A Microsoft diz que isso torna o modelo Orca2 comparável a outros modelos de linguagem “5 a 10 vezes maiores” na resolução de problemas:
Orca2 é treinado usando um conjunto de dados sintéticos estendido e altamente personalizado. A geração desses dados de treinamento ensina ao Orca2 várias técnicas de raciocínio, como processamento passo a passo, recall e geração, geração de inferência de recall, geração de extração e resposta direta, e também o ensina a escolher diferentes estratégias de solução para diferentes tarefas.
O modelo Orca2 conduziu uma série de testes de benchmark com grandes modelos de linguagem, como Llama2 e WizardLM. O conteúdo do teste inclui "compreensão da linguagem, raciocínio de bom senso, raciocínio em várias etapas, resolução de problemas matemáticos, compreensão de leitura", etc.
O blog oficial da Microsoft afirma: Nossos resultados preliminares de testes mostram que o desempenho do Orca2 excede significativamente o de modelos de tamanho semelhante. Também alcançou níveis de desempenho semelhantes ou melhores que os de modelos pelo menos 10 vezes maiores, demonstrando o potencial de equipar modelos menores com melhores capacidades de inferência.
Embora a Microsoft reconheça que o Orca2 tem limitações, os testes até agora mostram “o potencial para avanços futuros”. A Microsoft lançará o Orca2 como um projeto de código aberto para que outros possam desenvolvê-lo.