说到A100，大家都知道它是英伟达的旗舰级显卡吧。其实呀，很多人在选购时最关心的不是它的核心频率或者CUDA核心数，反而是显存。为什么呢？因为显存直接决定了你能跑多大的模型。A100配备了40GB的HBM2显存，这可是目前最先进的技术之一。HBM2比传统的GDDR6显存速度快得多，带宽高达1.6TB/s。这样高的带宽在大模型训练时特别有用，可以大大减少数据加载的时间。
显存不够用的时候，你得把数据分批次加载到显存里，这就会增加训练时间。A100的大显存能让你一次性加载更多数据，省去不少麻烦。特别是现在大模型越来越火，像GPT-3这种级别的模型，没有足够显存根本跑不动。所以呀，显存容量和带宽成了很多企业采购时的重要考量。
HBM2与GDDR6的区别
HBM2和GDDR6的最大区别在于架构。HBM2采用了3D堆叠技术，把显存颗粒直接堆叠在GPU核心旁边，通过硅通孔连接，这样信号传输距离短，速度快。GDDR6则依然是平面布局，数据传输需要走更长的路线。不过GDDR6也有优势，比如成本低，适合消费级显卡。
HBM2的带宽是GDDR6的好几倍，但是是成本也高得多。所以，只有像A100这样的专业级显卡才会用HBM2。如果你需要跑大模型，HBM2的显存绝对是首选。
大模型训练对显存的需求
现在的大模型动辄几百亿参数，训练时需要加载的数据量非常大。A100的40GB显存在这种情况下就显得特别重要。虽然4090也有24GB显存，但是是在大模型训练时还是不够用。A100的大显存能让你跑更大的模型，减少分批次训练的次数，效率自然就提高了。
另外，A100还支持显存虚拟化技术，可以把多个显卡的显存合并使用。这样一来，显存容量就不再是瓶颈了。不过显存虚拟化对系统配置要求比较高，需要专门的硬件和软件支持。
采购A100时要注意啥？
如果是企业采购，建议直接找英伟达官方或者授权代理商。现在市场上有很多拆机件，虽然便宜，但是是没有官方质保，用起来风险比较大。A100的价格在15万左右，对于企业级用户来说，这个价格还是比较合理的。
还要注意显存容量是否符合需求。如果你是跑小模型，40GB显存可能用不完，可以考虑A800，价格差不多，显存少一些。但是是如果要跑大模型，A100的40GB显存绝对是刚需。