O mecanismo neural do chip M4 da Apple estava originalmente aberto apenas à inferência de IA, mas alguns desenvolvedores contornaram as restrições de software estabelecidas pela Apple por meio de engenharia reversa e liberaram seus recursos ocultos de processamento de IA. Essa inovação não depende de CoreML, Metal ou GPU, mas usa uma MIL (Model Intermediate Language) personalizada desenvolvida do zero para se comunicar com o chip.
Pessoal relevante divulgou o código no GitHub e compartilhou os resultados da demonstração na plataforma X, dizendo que sua abordagem era realizar retropropagação completa e treinamento do Transformer diretamente no ANE do M4. Para evitar interrupções após o travamento do processo de treinamento, o mecanismo exec() também é utilizado no plano para “reiniciar” o processo para continuar o treinamento quando necessário.
O relatório afirmou ainda que este processo não grava na memória flash NAND, mas retém os dados e o status na RAM, aumentando significativamente a velocidade. Depois de contornar as limitações de software, o M4 pode atingir aproximadamente 15,8 TFLOPS de desempenho de processamento de IA no iPad ou Mac, o que é suficiente para o treinamento do modelo sem depender de computadores autônomos caros ou GPUs NVIDIA de última geração.
Este resultado foi alcançado no M4, então pessoas de fora começaram a especular que o M5 pode liberar um potencial mais forte, mas ainda não está confirmado se o mesmo método será aplicável à nova geração de Apple Silicon.
saber mais:
https://github.com/maderix/ANE