Em comparação, o desempenho INT8 do chip Jetson Orin Nano da Nvidia chega a 67 teraflops, o dobro do desempenho do INT4, mas consome uma faixa de potência de 7 a 25 watts.
Projetado para dispositivos de ponta nos mercados de consumo, empresarial e automotivo, o Hailo-10H combina “alta eficiência, alta relação custo-benefício e um ecossistema de software robusto” e é alimentado por sua “pilha de software madura e amplamente adotada”, usada por mais de 10.000 usuários por mês, de acordo com a startup.
As empresas que adotam o Hailo-10H incluem a Hewlett-Packard, que usa o chip como base para a placa HP AI Accelerator M.2, que se integra "perfeitamente" aos serviços de vendas ponto a ponto da HP, bem como às estações de trabalho e PCs empresariais HP.
A startup afirma que o Hailo-10H permite que casos de uso avançados, como interação humano-computador em linguagem natural, percepção visual e inteligência artificial multimodal, operem perfeitamente dentro das restrições de energia e custo típicas de ambientes de ponta. "
A startup disse que em benchmarks de desempenho conduzidos pela Hailo, o chip alcançou “latência do primeiro token de menos de 1 segundo e mais de 10 tokens por segundo em uma variedade de modelos de linguagem linguística e visual de 2 bilhões de parâmetros”.elemento de palavra".
Hailo é uma das várias startups de chips de IA que desafiam a NVIDIA, e seus parceiros vão desde OEMs como HP, Dell e Advantech até distribuidores como J-Squared Technologies e Kaga Fei America.