No dia 13 de setembro, a Wharton School da Universidade da Pensilvânia, uma das maiores escolas de negócios do mundo, anunciou um estudo em seu site oficial. ChatGPT (GPT-4) superou alunos de elite de MBA em testes de ideias criativas. O teste pediu aos alunos do ChatGPT e do MBA que projetassem 200 ideias de produtos para o mercado universitário que seriam vendidos por US$ 50 ou menos. O critério para medir a criatividade é ver qual criatividade consegue vender mais produtos.
ChatGPT gerou automaticamente 200 ideias de produtos em 15 minutos; Alunos de MBA só tiveram 5 ideias em 15 minutos. Os resultados mostram que a taxa média de compra dos produtos ChatGPT é de 46,8%, enquanto a taxa de compra dos alunos é de apenas 40,4%, ficando atrás do robô de IA.
Christian Terwiesc, professor da Wharton e copresidente do Innovation Research Management Institute, Sempre pensei que a criatividade é uma das áreas em que o ser humano é melhor, mas os resultados dos testes são surpreendentes. É óbvio que todos deveriam tentar gerar melhores ideias criativas através do ChatGPT.
Principais descobertas
A IA generativa, como o ChatGPT, pode ajudar os humanos a superar gargalos criativos e absorver diversas inspirações para alcançar um pensamento criativo amplo.
Comparado ao trabalho manual, o ChatGPT pode fornecer uma execução de trabalho mais barata e eficiente.
Neste teste, a qualidade e a eficiência do ChatGPT na geração de ideias criativas ficaram amplamente à frente daqueles alunos de MBA altamente inteligentes e bem treinados. Por outras palavras, a IA generativa não só pode ser aplicada a negócios de “aprendizagem mecânica”, mas também pode ser usada para trabalho criativo.
Você pode experimentar IA generativa, como ChatGPT, e aplicá-la como assistente criativo em vários cenários de negócios para melhorar o trabalho e a eficiência criativa.
Uma breve introdução à pesquisa de testes
A Wharton School tem mais de 20 anos de experiência no ensino de cursos de design e inovação de produtos e já realizou mais de 10 desafios semelhantes de criatividade de produtos. Este teste consiste em 200 questões selecionadas da turma de 2021.
Essas questões incluem título e texto descritivo, e a criação geral é voltada ao mercado estudantil universitário, abrangendo diversos itens de uso diário, como sapatos, cadernos, canetas, roupas, etc., com preço de varejo de US$ 50 ou menos (o limite de preço é definido para aumentar a complexidade das questões da prova).
Um testador inseriu 200 perguntas de teste no ChatGPT e 200 ideias criativas foram geradas em 15 minutos (100 geradas naturalmente, 100 com prompts de exemplo)). Um estudante de MBA teve apenas 5 ideias em 15 minutos, e a eficiência de execução de uma equipe pode ser ainda pior. Porque haverá divergências de opinião, podendo haver cenas de discussões acaloradas que consumirão mais tempo.
Embora a eficiência criativa do ChatGPT seja muito alta, ela também pode estar misturada com muitas ideias ruins. Portanto, o valor económico é a melhor escolha para medir a criatividade.
Os pesquisadores encontraram alguns alunos para formar uma equipe de avaliação e realizaram uma avaliação abrangente de 400 ideias criativas geradas por alunos do ChatGPT e do MBA.Em média, cada respondente avaliou 40 ideias, e cada ideia foi avaliada em média 20 vezes., para refletir sua disposição de comprar o produto.
Resultados do teste
Os avaliadores foram solicitados a expressar intenções de compra usando uma resposta padrão de “cinco caixas”: Definitivamente não comprarei, Provavelmente não comprarei, Talvez compre ou não, Provavelmente comprarei, Com certeza vou comprar.
As cinco respostas foram ponderadas em 0, 0,25, 0,50, 0,75 e 1,00 para desenvolver uma medida de probabilidade de compra. Este método de ponderação foi proposto pelos professores Jameson e Bass em 1989 e é um sistema de avaliação maduro.
Os resultados do teste mostram queUsando a intenção de compra como métrica, a qualidade média das ideias geradas pelo ChatGPT é superior à qualidade média das ideias geradas por humanos.. A probabilidade média de compra para ideias geradas por humanos é de 40,4%, a probabilidade média de compra para ChatGPT original é de 46,8% e a probabilidade média de compra para ChatGPT com prompts de exemplo é de 49,3%.
também,ChatGPT gerou a ideia criativa com melhor classificação na amostra de teste, com uma probabilidade de compra 11% maior do que a melhor ideia humana.
No geral, de 400 ideias geradas por ChatGPT e humanos. Das 40 principais ideias (top 10%), 35 (87,5%) foram geradas pelo ChatGPT.Ou seja, em competições individuais, a maioria dos vencedores vem do ChatGPT.
Sobre a Escola Wharton
A Wharton School foi fundada em 1881 e é afiliada à Universidade da Pensilvânia. É uma das maiores e mais antigas escolas de negócios do mundo e uma das escolas de negócios mais influentes dos Estados Unidos.
A Wharton School é conhecida por sua excelência em educação e pesquisa em áreas como finanças, economia, gestão industrial, inovação e estratégia empresarial global. Os ex-alunos da Wharton School estão espalhados por todas as esferas da vida em todo o mundo, incluindo vários ganhadores do Prêmio Nobel, líderes empresariais de sucesso, etc.