Resumo:
De acordo com a Bloomberg, Harvey é uma startup americana de tecnologia jurídica avaliada em US$ 15,6 bilhões. O núcleo de seu negócio é treinar modelos de IA como OpenAI GPT-4 para concluir o trabalho profissional de advogados. No entanto, o recente aumento dos custos da IA está a levar a empresa a reconsiderar a sua dependência destes gigantes da IA.

Harvey usa Kimi K3 para construir seu próprio modelo
De acordo com uma pessoa familiarizada com o assunto, depois de atualizar seu agente de IA em março, o uso do cliente da Harvey aumentou, mas sua margem de lucro bruto caiu drasticamente, de cerca de 50% no início do ano para -50% em junho.
Hoje, a startup junta-se a um número crescente de empresas de software que adotam modelos abertos, incluindo alternativas cada vez mais capazes da China. Esses modelos costumam ser mais baratos do que a tecnologia proprietária de desenvolvedores de IA dos EUA e permitem que empresas como a Harvey criem modelos personalizados usando seus próprios dados.
Instituições de investimento como a Sequoia Capital e a General Catalyst estão apoiando esta tendência. Isto não só poupa um dos maiores custos para as empresas, como também lhes dá mais controlo sobre a sua própria tecnologia, em vez de a terceirizar para a OpenAI e a Anthropic.
A mudança pode prejudicar a receita do gigante da IA, já que tanto a OpenAI quanto a Anthropic se preparam para IPOs altamente antecipados. Ao mesmo tempo, à medida que o debate em torno da necessidade de abrandar o desenvolvimento de IA de ponta continua a aquecer, para algumas startups, a adoção de modelos de peso aberto é também uma forma de se preparar para um dia chuvoso, caso o desenvolvimento dos modelos de IA mais avançados possa ser abrandado ou restringido no futuro.
Modelo aberto
A Harvey lançou seu próprio modelo em agosto, equipado com o Kimi K3, de propriedade da China Dark Side of the Moon. O Kimi K3 tem desempenho próximo aos modelos mais avançados da Anthropic, mas custa significativamente menos. O lançamento do modelo, juntamente com outros ajustes que Harvey fez na forma como usa IA, transformou a margem de lucro bruto da empresa novamente em território positivo, disseram pessoas familiarizadas com o assunto. Harvey se recusou a comentar os números financeiros específicos deste artigo.
Da mesma forma, a startup de tecnologia de saúde Abridge anunciou recentemente que está treinando um modelo básico personalizado para cenários clínicos baseado no modelo aberto da NVIDIA. A Decagon, uma startup de atendimento ao cliente de IA, disse que 80% de suas consultas são atualmente tratadas por meio de seu próprio modelo. No espaço fintech, startups como Ramp e Rogo estão explorando o treinamento de seus próprios modelos pela primeira vez. Entre as empresas de programação, a Cursor, que agora faz parte da SpaceX, e a Cognition, avaliada em 48 mil milhões de dólares, foram as primeiras empresas de aplicações de IA a lançar modelos personalizados.
O co-CEO da Ramp, Karim Atiyeh, disse que antes era muito caro para a Ramp construir um modelo autoconstruído, mas depois de arrecadar US$ 750 milhões em junho, a empresa está considerando fazê-lo porque o sistema de peso aberto fez um grande progresso. “Era absolutamente sem sentido fazer isto há um ano e está começando a fazer muito mais sentido agora.”
Atiye disse que, à medida que o custo do poder computacional aumenta, "é completamente irresponsável não considerar esse assunto e otimizá-lo". Sua empresa está atualmente negociando para trazer mais capital.
No entanto, nem todos os investidores concordam com esta tendência. Matt Kraning, sócio da Menlo Ventures, investidora da Anthropic, acredita que nem toda empresa é adequada para desenvolver modelos customizados porque exige talento especializado e tem custos iniciais mais elevados. Para algumas empresas, isso nada mais é do que uma jogada de marketing, disse ele.
"Você tem seu próprio modelo? Esta pergunta em si é a pergunta errada. Na maioria dos casos, isso geralmente é apenas uma pretensão." Kranin disse.
Comentários