Em agosto de 2023, a Meta Company lançou CodeLlama, um modelo de linguagem em grande escala especialmente projetado para tarefas de programação, baseado no modelo Llama2 anterior. Hoje, a empresa lançou uma “versão nova e mais poderosa” – CodeLlama70B.
CodeLlama70B foi treinado em 500 bilhões de bytes de código e dados relacionados. Ele pode processar e gerar sequências de código mais longas graças a uma janela de contexto de 100.000 frases.
Segundo Meta, CodeLlama70B usa uma tecnologia chamada autoatenção para entender a estrutura do código. Ele pode implementar algoritmos, classificação, pesquisa e outras funções baseadas em prompts de texto ou fragmentos e é adequado para várias linguagens, como Python, C++, Javascript e Java.
Esta ferramenta alimentada por IA inclui variantes ajustadas para tarefas específicas. Uma dessas variantes é o CodeLlama-70B-Instruct, que é treinado para entender instruções em linguagem natural. Há também uma versão focada em Python chamada CodeLlama-70B-Python. De acordo com Meta, por meio de treinamento adicional em 100 bilhões de tokens de código Python, ele gera código Python com “fluência e precisão incomparáveis”.
“Escrever e editar código tornou-se um dos usos mais importantes dos modelos de inteligência artificial hoje”, escreveu o CEO da Meta, Mark Zuckerberg, em um post no Facebook. “Acontece que a capacidade de codificação também é muito importante para os modelos de IA processarem informações em outros campos de forma mais rigorosa e lógica.”
CodeLlama70B está disponível para download gratuito sob a mesma licença aberta dos modelos CodeLlama anteriores:
https://ai.meta.com/resources/models-and-libraries/llama-downloads/
Meta afirma que esta licença permite que usuários acadêmicos e comerciais modifiquem o modelo.
O GitHub, de propriedade da Microsoft, lançou o CopilotChat em julho de 2023. Os desenvolvedores podem fazer perguntas ao Copilot sobre seu código, obter explicações sobre partes específicas do código e até mesmo fazer com que o Copilot corrija erros no código. Recentemente, o Google também lançou o DuetAI e o GeminiPro, ferramentas de preenchimento e geração de código alimentadas por inteligência artificial.