Resumo:
Recentemente, o desenvolvedor Cactus Compute lançou um modelo leve de IA chamado Needle 2.
O modelo tem apenas 14 MB e é profundamente otimizado para o ambiente do processador do Raspberry Pi 5. Ele pode converter instruções de linguagem natural em chamadas de função predefinidas em tempo real, sem a necessidade de uma placa de expansão de aceleração de IA.
De acordo com o blog oficial do Raspberry Pi, o Needle 2 não é um robô de bate-papo tradicional de uso geral, mas um modelo dedicado focado na execução de comandos no dispositivo. Quando o usuário digita para acender a luz LED, o sistema leva apenas 78 milissegundos para concluir todo o processo, desde o reconhecimento até a execução, obtendo uma resposta quase instantânea.
Em termos de desempenho e uso de recursos, o Needle 2 também demonstra extrema eficiência. Na medição real do Raspberry Pi 5 (versão de memória de 8 GB), a memória ocupada por este modelo durante a execução é de apenas cerca de 28 MB. Mesmo que o programa de demonstração completo do Python seja executado, o consumo total de memória é de apenas 46,4 MB.
Esse design leve permite que o modelo seja completamente separado da API da nuvem e do ambiente de rede, além de obter controle inteligente puramente local na borda.
Em termos de recursos de hardware e chamadas de interface, o Needle 2 está profundamente ligado ao hardware subjacente por meio do sistema de anotação Python. Os desenvolvedores só precisam adicionar tags específicas ao código de função existente, e o modelo pode capturar automaticamente o nome da função, a descrição e os tipos de parâmetro e construir uma especificação de chamada.
Por exemplo, o tempo de resposta de uma instrução para consultar a temperatura do processador é de 149 milissegundos e o sistema retornará com precisão o valor Celsius. Todo o processo é totalmente concluído no processador local.
No entanto, deve-se notar que o modelo é muito restrito no julgamento lógico. Para perguntas irrelevantes que não podem corresponder à função predefinida (como "Onde fica a capital da França?"), o Needle 2 retornará um valor nulo em 92 milissegundos, em vez de responder à força.
Atualmente, os pesos do modelo do Needle 2 foram lançados na plataforma Hugging Face, e o código relevante também é de código aberto no GitHub seguindo o protocolo Apache 2.0.
Comentários