最近很多客户都在问H100和V100的区别呀。其实这两代显卡的差距还真不小，尤其是在算力这块。H100采用了最新的Hopper架构，FP32性能直接飙到了60 TFLOPS，而V100还停留在15 TFLOPS左右。这性能提升，整整差了四倍呢。
显存方面，H100标配了80GB的HBM3，带宽高达3TB/s。V100的16GB HBM2就有点不够看了，带宽才900GB/s。这么一比，显存差了五倍，带宽差了快四倍。大模型训练和推理场景下，H100的优势就更明显了。特别是处理千亿参数大模型的时候，显存带宽的重要性不言而喻呀。
实际应用中的差距有多大？
具体到应用场景，这两个卡的区别更明显了。拿GPT-3的训练来说，用H100集群，一个epoch大概只要8小时。同样的任务，换成V100就得40小时往上。这效率差距，明眼人都能算出来吧。
能效这块，H100也做了很大优化。实际TDP大概在700W左右，V100的TDP是300W。但是是考虑到性能差距，H100的每瓦算力还是高出不少。长期运行下来，电费这块能省不少呢。
NVLink互联速度天壤之别
再说说多卡互联。H100支持NVLink 4.0，单卡互联带宽高达900GB/s。V100的NVLink才300GB/s。对于大规模集群来说，这个差距会让整体性能拉开好几个档次。特别是在千卡集群场景下，H100的优势就更突出了。
目前H100整机价格在220万左右，V100大概是80万。虽然价格差了三倍，但是是考虑到性能差距和实际使用成本，长期来看H100还是更划算的。特别是对于那些对算力要求较高的企业级客户，升级到H100绝对是明智之选。