Em 9 de março, a OpenAI anunciou que iria adquirir a plataforma de segurança de inteligência artificial Promptfoo e planeja integrar totalmente a tecnologia da empresa na plataforma de agente de nível empresarial da OpenAI, OpenAI Frontier, após a conclusão da transação. O Promptfoo é voltado principalmente para usuários corporativos e ajuda a identificar e corrigir diversas vulnerabilidades de segurança durante o estágio de desenvolvimento de sistemas de IA. Suas ferramentas foram adotadas por mais de um quarto das empresas da Fortune 500 e apoiam a avaliação e os testes da equipe vermelha de grandes aplicativos de modelos de linguagem por meio de CLI e bibliotecas de código aberto.
A OpenAI disse que, à medida que as empresas realmente implantam “colegas de trabalho de IA” nos processos de negócios, a avaliação, a segurança e a conformidade tornam-se requisitos básicos. As empresas não só precisam de uma abordagem sistemática para testar o comportamento dos agentes e identificar riscos antes de entrarem online, mas também precisam de manter registos claros durante a operação e manutenção a longo prazo para satisfazer as necessidades de supervisão, governação e responsabilização. Embora a OpenAI planeje continuar o projeto de código aberto Promptfoo, ela integrará profundamente seus recursos ao Frontier para fornecer aos usuários corporativos soluções integradas mais completas.
A equipe Promptfoo, liderada pelos cofundadores Ian Webster e Michael D’Angelo, construiu um conjunto maduro e poderoso de ferramentas para avaliação e simulação de ataques (red-teaming) para ajudar as empresas a identificar riscos potenciais ao aplicar grandes modelos em escala. OpenAI afirmou que Promptfoo tem profundo acúmulo de engenharia em avaliação, segurança e testes de sistemas de IA de nível empresarial. Seu trabalho ajuda as empresas a implantar aplicações de IA mais seguras e confiáveis. A incorporação desses recursos diretamente no Frontier melhorará significativamente o nível geral de segurança da plataforma.
De acordo com informações divulgadas pela OpenAI, as empresas que construírem agentes na plataforma Frontier no futuro serão aprimoradas em diversas capacidades essenciais. Primeiro, os testes de segurança e proteção serão incorporados como recursos nativos da plataforma: os testes automatizados de segurança e os recursos de ataque da equipe vermelha ajudarão as empresas a identificar e mitigar riscos como injeção imediata, jailbreak, vazamento de dados, uso indevido de ferramentas e comportamento do agente fora da política. Em segundo lugar, as capacidades de segurança e avaliação serão mais estreitamente integradas no fluxo de trabalho de desenvolvimento, permitindo que as equipas identifiquem, solucionem problemas e reparem os riscos dos agentes numa fase mais precoce, tornando a segurança um dos aspectos centrais do desenvolvimento e operação de sistemas de IA a nível empresarial. Terceiro, a plataforma fortalecerá as capacidades de supervisão e responsabilização, integrando ferramentas de relatórios e rastreabilidade para ajudar as organizações a registar processos de testes, monitorizar perfis de risco ao longo do tempo e cumprir requisitos cada vez mais rigorosos de governação, risco e conformidade.
Ian Webster, cofundador e CEO da Promptfoo, disse que a intenção original da Promptfoo era fornecer aos desenvolvedores uma solução prática e viável para garantir a segurança dos sistemas de IA. À medida que os agentes de IA se tornam cada vez mais estreitamente ligados a dados reais e sistemas-chave, a dificuldade e a importância da sua proteção de segurança e verificação sistemática aumentam rapidamente. Ele disse que ingressar na OpenAI permitirá que a Promptfoo acelere o investimento nessa direção e traga recursos mais fortes de segurança, confiabilidade e governança para equipes que estão construindo sistemas de IA do mundo real.
A OpenAI disse que está entusiasmada em se juntar à equipe Promptfoo e continuará a construir ferramentas relevantes para ajudar as empresas a implantar aplicativos de IA e sistemas de agentes com segurança e confiabilidade. A conclusão da aquisição permanece sujeita ao cumprimento das condições habituais de fechamento.