Resumo:
Neste verão, as equipes da OpenAI se esforçaram para entender por que sua IA estava causando falhas de segurança dentro e fora da empresa. Durante este período, muitos executivos seniores, incluindo o CEO Sam Altman, tiveram muitas reuniões com a start-up Goodfire. A tecnologia da Goodfire, apoiada pela Anthropic, visa compreender as razões subjacentes pelas quais os modelos de IA se comportam de determinadas maneiras e como evitar que a IA saia do controle.

CEO da Goodfire, Eric Ho (à esquerda), e CEO da OpenAI, Sam Altman.
Duas pessoas familiarizadas com o assunto revelaram que durante o processo de negociação, um executivo da OpenAI se ofereceu para levantar
mais de US$ 5 bilhões
A empresa irá adquirir esta empresa start-up de dois anos a um preço razoável, ou entrará em outras formas de cooperação empresarial. A Goodfire concluiu uma ronda de financiamento em Fevereiro que avaliou a empresa em 1,25 mil milhões de dólares em colocações privadas, e a oferta de 5 mil milhões de dólares representou um enorme prémio a essa avaliação.A aquisição acabou não se concretizando. Esta série de negociações, que nunca foi relatada antes, mostra que, com o aumento dos incidentes de segurança impulsionados pela IA, tanto a Antrópica quanto a OpenAI estão preocupadas com “a capacidade de controlar a tecnologia de IA que constroem”. A explicabilidade do mecanismo, uma direção outrora impopular da indústria, está agora ganhando muita atenção.
Uma das pessoas familiarizadas com o assunto disse que uma das principais razões para o fracasso das negociações é que a administração da Goodfire acredita que se mantiver o desenvolvimento independente e exportar tecnologia para múltiplas empresas de IA, o valor da empresa será superior a 5 mil milhões de dólares.
Executivos da OpenAI, da Anthropic e do Google admitem que a confiabilidade dos métodos tradicionais de monitoramento do comportamento da IA está diminuindo e, como resultado, o software da Goodfire se tornou cada vez mais valioso. Sua rota técnica é diferente da solução tradicional de desenvolvedores como OpenAI: a solução tradicional é ler o texto da saída da cadeia de pensamento durante a inferência do modelo, enquanto observa de perto o comportamento real da IA. (Assista à entrevista com o CEO da Goodfire abaixo)
Novos desenvolvimentos de IA, como a tecnologia secreta por trás do modelo Astra da OpenAI, comprimirão a quantidade de informações da cadeia de pensamento produzida pelo modelo, dificultando ainda mais o monitoramento.
Incidentes de segurança de IA ocorreram um após o outro nos últimos meses (incluindo o conhecido incidente de intrusão Hugging Face, que foi causado pela tecnologia da OpenAI e até invadiu alguns dos próprios sistemas da OpenAI). Para grandes fabricantes de modelos como a OpenAI, é urgente construir uma proteção de segurança mais forte.
Uma vez que a sua própria IA invade sistemas corporativos e governamentais e causa perdas económicas, empresas como a OpenAI e a Anthropic também podem enfrentar o risco de enormes compensações legais ou mesmo de serem processadas.
A principal experiência da Goodfire é
interação mecânica
. Diferente do monitoramento da cadeia de pensamento, softwares de produtos concorrentes como Goodfire e Martian observam diretamente os cálculos matemáticos executados dentro do modelo. Goodfire também admitiu que a maturidade atual desta tecnologia não é tão boa quanto a do monitoramento da cadeia de pensamento; alguns pesquisadores de IA também acreditam que o rigor da pesquisa científica é mais fraco do que outras áreas de pesquisa em aprendizado de máquina.
Mas o cofundador e cientista-chefe da Goodfire, Tom McGrath, disse em uma entrevista no YouTube que a tecnologia da startup irá iterar rapidamente e o custo será muito menor do que o monitoramento da cadeia de pensamento - este último requer a execução de um grande modelo para ler a saída da cadeia de pensamento por outro modelo. Ele prevê que nos próximos seis meses, as soluções de monitorização baseadas na explicabilidade alcançarão as capacidades de monitorização da cadeia de pensamento.
A startup de São Francisco vende assinaturas anuais para empresas de seu produto Silico, que utiliza agentes de IA para conduzir automaticamente vários experimentos de pesquisa, como detectar se um modelo está tentando lançar um ataque cibernético. Seus clientes incluem a Rakuten e a empresa de neurociência de IA Prima Mente. Goodfire gerou receita, mas o tamanho exato não foi divulgado.
A interpretabilidade do mecanismo requer acesso profundo aos pesos do modelo (os parâmetros numéricos que compõem o modelo de IA), que são mantidos estritamente confidenciais pelos principais fabricantes. Portanto, alguns funcionários da Goodfire estarão nas empresas clientes para realizar trabalhos.
Fontes informadas revelaram que durante as negociações entre OpenAI e Goodfire, Altman prestou especial atenção aos resultados da pesquisa do pesquisador da Goodfire, Nick Cammarata. Kammarata já trabalhou na OpenAI. No mês passado, ele publicou um artigo que circulou amplamente no círculo, "Redes Neurais São Claras e Interpretáveis". Ele propôs que, com a ajuda da interpretabilidade do mecanismo, os pesquisadores pudessem compreender mais facilmente os bilhões de neurônios (unidades de operação matemática dentro do modelo) dentro do modelo de IA do que se pensava anteriormente. Muitos pesquisadores acreditam que esse tipo de entendimento pode ajudar a desenvolver modelos com melhor desempenho.
Muitas empresas líderes de grande porte estabeleceram equipes de pesquisa de interpretabilidade de mecanismos; como uma das pioneiras neste campo, a Anthropic tem sido particularmente ativa nesta direção.
Chris Ola é considerado um dos fundadores do campo da explicabilidade de mecanismos. Ele foi cofundador da Anthropic depois de deixar a OpenAI em 2020 e agora lidera pesquisas sobre explicabilidade no empreendimento desenvolvido por Claude. A Anthropic concluiu seu investimento na Goodfire no ano passado, marcando a primeira vez em sua história que a Anthropic assumiu uma participação direta em uma startup externa. O CEO Dario Amodei disse na época: "Este investimento representa nossa crença de que a explicabilidade do mecanismo é o mais promissor para transformar redes neurais de caixa preta em sistemas compreensíveis e controláveis."
A julgar pelas informações de recrutamento, a OpenAI também está recrutando pesquisadores na área de alinhamento e interpretabilidade; no início deste ano, a OpenAI integrou a tecnologia de interpretabilidade no processo de segurança para identificar resultados perigosos do modelo, como responder a perguntas maliciosas relacionadas a ataques cibernéticos e armas biológicas. Pessoas próximas à OpenAI dizem que o entusiasmo pela direção da explicabilidade está crescendo entre os pesquisadores da empresa.
Comentários