Quem redigiu o prospecto da Antrópico? Ferramenta de detecção de IA fornece resultados inesperados

Resumo:

De acordo com o Business Insider, a empresa de inteligência artificial Anthropic enviou uma

335 páginas

Os resultados da detecção do Pangram mostram que 92% deste documento de aproximadamente 259.000 palavras foi determinado como tendo sido escrito por humanos, e algumas frases e parágrafos foram marcados com “alta” confiança por conterem vestígios de uso de IA.

No entanto, este resultado é apenas o julgamento da ferramenta de detecção e não pode provar qual conteúdo foi escrito por humanos ou IA, nem pode confirmar se a Anthropic usou seu próprio assistente de IA, Claude.

Os repórteres do Business Insider inicialmente tentaram inspecionar o documento inteiro sozinhos, mas encontraram dificuldades devido ao tamanho do arquivo. Posteriormente, o cofundador e CEO da Pangram, Max Spero, ajudou a concluir a detecção de texto completo.

Spero disse que sua interpretação desse resultado é que o documento pode ter sido ligeiramente editado ou usado IA no nível da frase, mas não parece haver uma grande parte do conteúdo que foi totalmente gerada pela IA.

As frases marcadas por Pangram como possíveis usos da IA ​​incluem uma descrição do desenvolvimento da indústria, no sentido de que a IA está se desenvolvendo em um ritmo extremamente rápido, e os intervalos entre as iterações do modelo de nova versão são frequentemente medidos em meses, em vez de anos.

O Business Insider também apontou que as ferramentas de detecção de escrita de IA não são 100% precisas. A maneira como as pessoas usam a IA para editar, revisar ou revisar o texto pode afetar os resultados da detecção.

Anteriormente, um repórter do Business Insider inseriu suas postagens no LinkedIn e publicou artigos no Pangram. A ferramenta marcou uma das frases como escrita por IA. Depois de revisar o processo de redação, ela descobriu que escreveu esta frase originalmente e mais tarde aceitou as sugestões de reescrita do ChatGPT.

A Anthropic não respondeu ao pedido do Business Insider para comentar os resultados do teste. A mídia afirmou que o sistema de marca d'água de IA da própria Anthropic ainda não foi aberto aos usuários comuns e, portanto, não foi usado para esta detecção.

A redatora do Business Insider, Katie Notopoulos, acredita que esse resultado levanta uma questão interessante. Como uma empresa de IA, por que a Anthropic não usa mais produtos próprios para redigir prospectos? Mas ela também destacou que o prospecto precisa ser revisado pela Comissão de Valores Mobiliários dos EUA, e cada frase do documento pode receber atenção, e é razoável que humanos participem na sua redação.