Nvidia H20是英伟达针对中国市场推出的一款人工智能芯片,主要用于AI大模型训练和推理。以下是其相关介绍:
-
核心技术:
- 采用英伟达Hopper架构:Hopper采用先进的台积电4N工艺制造,拥有超过800亿个晶体管,采用五项突破性创新技术,在生成式AI训练和推理方面相比上一代有较快的速度提升。
- 拥有CoWoS先进封装技术:CoWoS是一种2.5维的整合生产技术,先将芯片通过Chip on Wafer的封装制程连接至硅晶圆,再把CoW芯片与基板连接,整合成CoWoS。
-
产品规格:
- 显存容量:增大至96GB HBM3。
- 显存带宽:GPU显存带宽4.0TB/s。
- 算力:FP8算力为296TFLOPs,FP16算力为148TFLOPS,TF32算力为74TFLOPS,FP32算力为44TFLOPS,FP64算力为1TFLOPS。
- 其他:支持NVLink 900GB/s高速互联功能,采用SXM板卡形态,兼容英伟达8路HGX服务器规格,支持最多7个多实例GPU,每个芯片60MB L2缓存。
-
应用领域:适用于垂类模型训练、推理,在图像识别、语音识别、行为识别等AI推理任务,以及远程图形设计、云游戏等高强度图形处理业务中也能发挥作用。它支持PCIe 5.0技术和NVLink 8.0技术,有利于多GPU互联和扩展性能,可用于组建大规模集群,适用于超大规模LLM推理。
美国于2023年10月17日更新芯片出口新规,限制AI计算芯片出口,英伟达为应对该限售令,推出了包括Nvidia H20在内的三款针对中国市场的AI芯片。不过,有消息称,当美国在2024年10月份对美国半导体出口管制进行年度审查时,“很有可能”禁止英伟达的H20芯片向中国销售。