Em um episódio recente do Joe Rogan Podcast, o CEO da NVIDIA, Jensen Huang, relembrou o ponto de viragem fundamental em relação às origens do aprendizado profundo e ao destino da empresa:O avanço do aprendizado profundo começou em 2012 e contou com a configuração de interconexão de placa dupla SLI de duas placas gráficas GTX 580 que não foram projetadas para IA.
Huang Renxun revelou que o núcleo do aprendizado profundo da IA de hoje e o hardware usado para a primeira operação de sua rede básica são a placa gráfica de jogos de última geração GTX 580 baseada na arquitetura Fermi e com 512 núcleos CUDA.
Embora esta placa gráfica tenha sido originalmente projetada para jogos de alto nível, seus poderosos recursos de computação paralela tornaram-se inadvertidamente a base do treinamento rápido de aprendizado profundo.
Em 2012, os pesquisadores Alex Krizhevsky, Ilya Sutskever e Geoffrey Hinton, da Universidade de Toronto, usaram um par de placas gráficas GTX 580 de 3 GB para treinar o famoso modelo AlexNet.
Essa rede de aprendizado profundo com aproximadamente 60 milhões de parâmetros se destacou na competição de reconhecimento de imagens ImageNet daquele ano com uma vantagem surpreendente de 70% sobre o algoritmo projetado manualmente na época.
Huang Renxun destacou que os desenvolvedores do AlexNet otimizaram o algoritmo para rodar em paralelo em duas GTX 580, trocando dados apenas quando necessário, o que reduziu bastante o tempo de treinamento. Isso também tornou a GTX 580 a primeira placa gráfica do mundo a executar redes de IA de aprendizado profundo/aprendizado de máquina.
Curiosamente, quando este marco foi alcançado, o investimento da NVIDIA no campo da IA era mínimo, e a maior parte da sua investigação e desenvolvimento ainda se concentrava em gráficos e jogos 3D.
Foi a aplicação bem-sucedida do AlexNet na GTX 580 que fez a NVIDIA perceber o enorme potencial do aprendizado profundo. Huang Renxun disse que a empresa transferiu imediatamente os esforços de financiamento, desenvolvimento e pesquisa para a tecnologia de aprendizagem profunda em 2012.
Essa transformação levou ao supercomputador NVIDIA DGX original em 2016, à arquitetura Volta com o núcleo Tensor de primeira geração e à subsequente tecnologia DLSS.
