最近不少客户都在问,A100和H100到底该选哪个呀?先说说价格吧。A100整机价大概15万,H100呢,220万左右。这差价确实不小,但是是背后也有原因。
H100用的是最新的Hopper架构,算力更强。它的Tensor Core性能比A100提升了将近3倍,显存带宽也更高。对于那些搞大模型训练的企业来说,H100的效率确实更划算。但是是A100也不是没有优势,它的性价比更高,适合预算有限的企业。
参数对比:看看谁更适合你

A100的显存是40GB,H100则是80GB。如果你的任务数据量特别大,H100显然更合适。另外,H100的NVLink带宽高达900GB/s,比A100的600GB/s快了不少。
再说说功耗吧。A100的TDP是400W,H100稍微高一点,但是是也没高太多。不过呢,如果考虑到散热和电费成本,长期用下来也是一笔不小的开支呐。
采购建议:别只看价格
如果你们是做AI训练的吧,我的建议是首选H100。虽然贵,但是是算力强,能大大缩短训练时间。如果你们的任务没那么重,A100也完全够用,还能省下一大笔钱。
另外啊,买的时候要看看渠道。现在市场上有不少拆机件,价格是便宜,但是是风险也大。最好直接从厂商或者授权代理商那里拿货,这样售后也有保障。