O rápido desenvolvimento da tecnologia de IA tornou muitos usuários inseparáveis ​​da IA ​​em seu trabalho diário. No entanto, a maior parte da IA ​​atual é baseada na nuvem, o que significa que os dados enviados pelos usuários apresentam riscos potenciais de vazamento. Neste momento, a Fundação Mouzhi, que se preocupa com a privacidade, deu um passo à frente. A Fundação Mouzhi anunciou o lançamento de um novo projeto de código aberto chamado Llamafile. O objetivo deste projeto de código aberto é ajudar as pessoas a executar grandes modelos de linguagem em seu próprio hardware. Não requer GPU, CPU ou NPU dedicado (mas pode funcionar melhor com uma GPU).

O Llamafile funciona comprimindo toda a complexidade de um chatbot de inteligência artificial em um único arquivo, que pode rodar em Windows, Mac, Linux, OpenBSD, FreeBSD, NetBSD, e quase não requer instalação ou configuração, ou seja, pode ser usado imediatamente.

Este tipo de LLM é totalmente executado localmente e não requer capacidade de computação em nuvem fornecida por empresas comerciais terceirizadas. Os dados também são salvos localmente e não sairão do dispositivo do usuário. Se o usuário desejar, ele poderá copiar o modelo do robô após conversas diárias para outras máquinas para uso continuado, sem reotimizar as palavras de prompt.

Atualmente, a Fundação Mozhi não é a única empresa que deseja construir IA local. A variante Gemini AiCore recentemente fornecida pelo Google ao Pixel 8 Pro é na verdade uma IA local que usa o poder de computação do dispositivo local para realizar determinadas operações. No entanto, atualmente há relativamente pouca informação pública sobre o AiCore.

A Fundação Mozhi acredita que o código aberto é uma das soluções mais poderosas para resolver vários problemas de privacidade. Pode resolver os problemas de privacidade, acesso e controle através de código aberto, ou seja, quem pode ouvir nossas conversas? Como serão tratados os nossos dados? Quem decide se a IA responde ou não a determinadas perguntas.

Quanto ao projeto Llamafile, a Fundação Mozhi notou alguns projetos promissores. O primeiro é o projeto Llama.cpp. Este projeto de código aberto permite que dispositivos comuns de consumo executem LLM e a velocidade não é muito lenta. O segundo é o projeto Cosmopolitan, que pode compilar programas de uma só vez para rodar em vários sistemas operacionais e hardware.

É claro que este projeto não será concluído tão rapidamente. A Mozilla Foundation espera que desenvolvedores ou usuários interessados ​​no LLM possam participar: https://github.com/Mozilla-Ocho/llamafile