Os problemas do rei da GPU. Como principal beneficiário da lógica “nuggets buy shovel”, o desempenho recorde da NVIDIA tornou-se o pilar de confiança que apoia o mercado de IA generativa. No entanto, escondido atrás do excelente desempenho, a questão mais crítica é que devido à capacidade de produção limitada, a Nvidia não consegue atender à demanda do mercado por GPUs. Em agosto, a mídia informou que os pedidos do H100 estavam na fila até o primeiro trimestre ou mesmo o segundo trimestre do próximo ano.
De acordo com especulações da GPUUtils, estimativas conservadoras sugerem que o total de pedidos potenciais de GPUs NVIDIA pode exceder US$ 20 bilhões, e a lacuna de fornecimento do carro-chefe GPUH100 chega a 430.000 unidades.
O CEO da NVIDIA, Jensen Huang, também disse sem rodeios:
“Nossas remessas atuais estão longe de atender à demanda”.
A dificuldade de Lao Huang reside nas duas principais tecnologias que estão presas no pescoço da Nvidia – embalagem CoWoS e memória HBM.
SK Hynix e TSMC são os jogadores por trás do pescoço da Nvidia
O H100, lançado em setembro do ano passado, é a GPU mais avançada da matriz de produtos da Nvidia.
Comparado com o antecessor A100, seu preço aumentou cerca de 1,5-2 vezes, mas seu desempenho deu um salto qualitativo: a velocidade de inferência aumentou 3,5 vezes e a velocidade de treinamento aumentou 2,3 vezes; se a computação em cluster de servidores for usada, a velocidade de treinamento pode ser aumentada em até 9 vezes. No treinamento LLM, pode reduzir a carga de trabalho original de uma semana para 20 horas.
Um NVIDIA H100 é composto principalmente de três partes: há três pilhas HBM em ambos os lados da matriz H100 central, e a camada mais externa é a estrutura de embalagem 2.5DCoWoS da TSMC.
Entre os três componentes, o fornecimento do chip lógico principal é o mais simples. É produzido principalmente na fábrica nº 18 de Tainan da TSMC e usa o nó de processo 4N (na verdade, 5 nm +). Devido à fraqueza dos mercados de chips de data center para PC, smartphones e não relacionados à IA a jusante de 5nm+, a taxa de utilização da capacidade de 5nm+ da TSMC é atualmente inferior a 70%. Portanto, não há problema com o fornecimento de chips lógicos.
A principal lacuna de fornecimento da Nvidia vem dos seis HBM (memória de alta largura de banda, memória de alta largura de banda) em ambos os lados do chip lógico e do pacote CoWoS (Chiponwafer on Substrate, chip, wafer, pacote de substrato) que conecta o chip lógico e o HBM.
HBM é um chip de memória DRAM baseado na tecnologia de empilhamento 3D. O princípio técnico é empilhar verticalmente vários chips DDR e conectá-los entre si por meio da tecnologia de vias de silício (TSV) e micro-colisões (μBmps), rompendo assim as limitações de desempenho existentes, aumentando significativamente a capacidade de armazenamento e realizando uma matriz de combinação DDR com maior largura de banda, maior largura de bits, menor consumo de energia e tamanho menor.
Os chips de memória são essenciais para o desempenho da GPU, especialmente GPUs de alto desempenho usadas para treinamento de IA. Cargas de trabalho de inferência e treinamento são tarefas que exigem muita memória. À medida que o número de parâmetros nos modelos de IA aumenta exponencialmente, os pesos por si só elevam os tamanhos dos modelos para terabytes. Portanto, a capacidade de armazenar e recuperar dados de treinamento e inferência da memória determina o limite superior do desempenho da GPU. Quanto mais modelos e aplicações de IA de grande porte existirem, melhor será para os fabricantes de HBM.
Olhando para o mercado global da HBM, os dois gigantes coreanos de armazenamento SK Hynix e Samsung detêm um monopólio absoluto, com a sua quota de mercado combinada em torno de 90%.
O HBM3 possui processos complexos, custos elevados e capacidade de produção limitada. Em 2022, o HBM3 representará apenas cerca de 8% da participação de mercado em todo o mercado HBM. Como a única empresa no mundo capaz de produzir HBM3 em massa, a SK Hynix bloqueou firmemente o pescoço da Nvidia H100; enquanto a geração anterior A100/A800 e o MI200 da AMD usam a tecnologia HBM2E de geração anterior.
No entanto, a indústria de chips de memória está atualmente em processo de atualização do HBM2E para o HBM3. De acordo com dados da Trendforce, espera-se que a participação de mercado do HBM3 exceda 60% até 2024. Fabricantes de chips de memória como Samsung e Micron estão planejando ativamente sua implantação e de olho na participação de mercado da SK Hynix.
O empacotamento avançado é uma tecnologia que complementa a memória HBM - para usar a pilha HBM, o empacotamento avançado deve ser usado para conectar a memória e a GPU.
A embalagem avançada TSMC CoWoS usada no H100 é uma tecnologia de embalagem 2,5D.
A solução principal de embalagem 2D é um método de integração no qual todos os chips e componentes passivos são instalados horizontalmente na superfície do substrato, semelhante a um quebra-cabeça planar.
A embalagem avançada 2,5D pode ser comparada a blocos de construção dispostos horizontalmente. A pilha HBM de chips DDR multicamadas deve contar com embalagens avançadas para ser realizada.
A solução de empacotamento avançado CoWoS da TSMC é uma combinação de CoW e OS: primeiro, o chip é conectado ao wafer de silício por meio do processo de empacotamento ChiponWafer (CoW) e, em seguida, o chip CoW é conectado ao substrato (onSubstrate) para integração no CoWoS.
A tecnologia CoWoS melhorou muito a densidade de interconexão e a largura de banda de transmissão de dados, ao mesmo tempo que reduziu o tamanho do pacote, mas o processo também é muito complexo, por isso é usado principalmente no mercado de alta tecnologia.
De acordo com relatos da mídia, a atual capacidade mensal de produção de embalagens CoWoS da TSMC é de 8.000 peças, que deverá aumentar para 11.000 peças até o final deste ano. Prevê-se atingir uma capacidade de produção mensal de cerca de 14.500 a 16.600 peças até ao final de 2024. Ou seja, será necessário quase um ano e meio para duplicar a produção.
A Lei de Moore atinge seu pico, embalagens avançadas se tornarão populares
Soluções como a HBM, nas quais vários chips são empilhados e depois unidos por meio de embalagens avançadas, tornaram-se a principal ideia de design para chips de última geração no mercado atual.
A razão por trás disso é simples: os processos avançados agora foram iterados para 7nm, 5nm e 3nm, os nós de tecnologia estão ficando cada vez menores, a tecnologia de produção e os processos de fabricação estão se tornando cada vez mais complexos e o investimento de capital em equipamentos de fabricação de circuitos integrados está cada vez maior.
Tomemos como exemplo processos de 5 nm e menores. Nesta fase, devido às limitações de comprimento de onda, a precisão das máquinas de litografia comuns não consegue mais atender aos requisitos do processo, e as empresas devem recorrer a caras máquinas de litografia EUV, cada uma das quais custa até 1,4 bilhão de yuans.
Juntamente com equipamentos como gravação e deposição de filmes finos, os gastos com equipamentos para o processo de 5 nm podem chegar a US$ 3,1 bilhões, o que é mais que o dobro do de 14 nm e cerca de quatro vezes o de 28 nm.
Para serem econômicos, os fabricantes de chips só podem encontrar outra maneira de melhorar a densidade e o desempenho do transistor por meio da pura melhoria do processo até o design do chip em nível de sistema.
Por outro lado, a quantidade de computação de dados global explodiu nos últimos 10 anos, ultrapassando o total dos últimos 40 anos. Com a crescente demanda por eletrônicos de consumo e chips automotivos, mesmo que o processo de fabricação de chips atinja o limite físico teórico da Lei de Moore (1nm), ainda não será capaz de atender às necessidades de futuras aplicações industriais.
As embalagens avançadas, porque podem simultaneamente melhorar o desempenho do produto e reduzir custos, tornaram-se uma solução para a era pós-Moore.
A enorme procura gerada pela IA generativa já está a acelerar a iteração das embalagens tradicionais para as embalagens avançadas.
Morgan Stanley destacou que a onda de IA está promovendo a aplicação em larga escala de tecnologias avançadas de embalagens 2,5D e 3D. Até 2030, as embalagens avançadas representarão mais de 60% de todo o mercado de embalagens.
De acordo com estimativas da FutureMarketInsights, o mercado de embalagens avançadas, atualmente de aproximadamente US$ 31 bilhões, continuará a se expandir a um CAGR de 7,2% nos próximos dez anos.
Os analistas do Morgan Stanley também apontaram que, como o crescimento dos chips de IA excede as expectativas, espera-se que as embalagens avançadas 3D/2,5D cresçam a um ritmo extremamente rápido. O CAGR de 2021 a 2028 atingirá cerca de 22%.
Os dois líderes em memória HBM e embalagens avançadas, SK Hynix e TSMC, já provaram a doçura.
Os dados da TrendForce mostram que, embora as remessas do mercado de chips de memória e os preços médios unitários de vendas tenham diminuído sob a influência da recessão no mercado de eletrônicos de consumo, os produtos da HBM contrariaram a tendência e estão crescendo, com os preços subindo continuamente.
Alguns meios de comunicação relataram que os pedidos de HBM de dois grandes fabricantes de armazenamento, Samsung e SK Hynix, aumentaram rapidamente desde o início de 2023. O preço do HBM3, fornecido exclusivamente pela SK hynix, quintuplicou. Por ser um produto de alta margem e preço unitário muito superior a outras especificações de chips de memória, o lucro do HBM3 é assustador. A TrendForce prevê que, impulsionada pela onda de IA, a receita geral da HBM atingirá US$ 8,9 bilhões em 2024, um aumento anual de 127%.
Ao mesmo tempo, com as grandes vendas de NVIDIA H100 e AMDMI300, os pacotes avançados da TSMC também estão em falta.
Analistas do Morgan Stanley disseram:
Com base em nossas verificações da cadeia de fornecimento de fundição, um único wafer CoWoS-S (e processos associados) é vendido por US$ 6.000 a US$ 12.000, dependendo do tamanho do cliente/projeto e da complexidade do projeto. De acordo com informações divulgadas pela TSMC em sua reunião de relatório financeiro do segundo trimestre, espera-se que 6-7% da receita total em 2023 venha de embalagens e testes avançados.
Estimamos que o CoWoS possa contribuir com aproximadamente US$ 1 bilhão em receitas para a TSMC este ano. À medida que a TSMC continua a aumentar a sua capacidade de produção de CoWoS (a capacidade duplicará em 2024, de acordo com os dados fornecidos na teleconferência de resultados do segundo trimestre da TSMC) e a forte procura atual por chips de IA, este número deverá crescer ainda mais. Portanto, esperamos que o CAGR da receita CoWoS da TSMC atinja 40% de 2023 a 2027.
acesso:
Shopping Jingdong