暂时放下算法和模型的话题，我们今天来聊聊 GPU（图形处理器）。上周末我有机会测试了多款 GPU，包括业界顶尖的英伟达 H100、RTX 5090、RTX 4090 等型号。这篇文章将重点总结它们在 AI 任务中的性能表现 —— 无论是大语言模型（LLM）推理还是微调，看看相比
CPU 能带来多少速度提升。
如果你刚接触 GPU（图形处理器）领域，下面简要对比了它们与 CPU（中央处理器）的差异：
H100是专为AI和数据中心设计的性能怪兽（performance monster），堪称超级计算机的大脑。这类设备通常由企业级用户持有。
RTX 4090 是目前顶级的
游戏和创作显卡（GPU）。它代表了消费级显卡（consumer grade GPU）的最先进水平（SOTA）。
RTX 5090 预计将比 RTX 4090 更快更炫酷，采用全新的 Blackwell（布莱克威尔）架构。
T4是谷歌Colab提供的免费GPU，性能不如前面提到的那些型号。
在理想情况下，每块 GPU（图形处理器）相比 CPU（中央处理器）的预期性能提升
H100： 约100倍性能提升
5090（预期值）：⚡ 约50倍
4090显卡： 性能提升约40倍
T4： 约10倍提升
CPU： 基准性能
那么，让我们开始吧。
但这是真的吗？让我们来验证一下！！
为了比较性能提升效果，我选择了两个测试任务：
为什么？因为有些大语言模型（LLM）更适合推理（inference），而另一些则更适合微调（fine-tuning）。因此，我选择了两种不同的任务来测试这些GPU与CPU的性能表现。
任务1：使用大语言模型（LLM）进行文本摘要在这个任务中，我使用了谷歌的T5大语言模型（Large Language Model，约7亿参数）来总结100篇随机文章。重点不在于评估输出质量，而是测试不同硬件完成总结所需的时间。除了使用的硬件（CPU或GPU）外，其他所有配置都保持一致。
使用的代码如下所示。
以下是针对5种硬件资源进行的实验结果：CPU（Tesla T4）、RTX 1590、RTX 4090和Nvidia H100。
任务2：微调DistillBERT我接手的第二个任务是用约7500条记录对DistillBert（蒸馏版BERT）进行微调(fine-tune)。与之前的实验类似，除了使用的硬件不同外，其他条件都保持一致。由于CPU训练速度极慢，我们只进行了1个训练周期(epoch)，并通过估算得到5个周期所需的训练时间。而其他4种GPU设备都完整训练了5个周期。
使用的代码
以下是实验得出的结果。关于CPU部分，请注意数据是基于单个训练周期（epoch）的时间估算得出的，因为完整运行耗时过长。
关键洞见通过上述实验，我总结出了一些关键发现，这些将
帮助你更清晰地理解 CPU 和 GPU 的区别，以及如何选择适合自己的 GPU：
1. CPU（中央处理器）处理大语言模型(LLM)任务时慢得令人痛苦说实话，用 CPU 做推理（inference）或微调（fine-tuning）就像骑自行车参加直线加速赛 —— 根本不可能赢。
关键点：即使是像T4这样的老款GPU，性能也远超CPU。如果你在2025年还在用CPU跑大语言模型(LLM)任务，要么你特别有耐心...要么就是被困在Kaggle内核里了。
2. T4是"基准GPU"——依然值得考虑特斯拉 T4（因 Google Colab 而闻名）的表现毫无意外，但依然稳居前列。它的测试结果为：
用例：适合入门级GPU训练/推理（training/inferencing），是学习和轻量级工作负载的理想选择。但别指望它能创造奇迹。
3. RTX 4090 是性价比的最佳选择这张卡片在微调（fine-tuning）方面表现尤为出色：
微调性能相比 CPU 提升高达 200 倍！如果你认真对待大语言模型（LLM），RTX 4090 就是"性价比之王"。
这个转折令人意外。RTX 5090（原文：5090）明明比4090更新，理论上应该碾压后者——但事实却相反：
为什么？
关键点：不要以为花钱升级显卡就能自动获得性能提升。一定要针对你的具体工作负载进行基准测试。
5. 英伟达H100：企业级性能猛兽，但尚未完全释放潜力啊，没错，这就是AI界的雷神之锤——H100。这家伙简直是预训练（pre-training）的怪兽。但在实际测试中：
那么，为什么性能表现不尽如人意呢？
关键点在于：你需要合适的模型（model）和数据处理流程（pipeline）才能充分发挥H100的全部性能。否则就像在停车场里开F1赛车——空有强大引擎却无处施展。
6. 微调(Fine-Tuning)带来的性能提升远超推理(Inference)千万别错过这个黄金法则：
为什么？微调（Fine-tuning）对 GPU 要求极高：反向传播（backward passes）、优化器步骤（optimizer steps）、内存缓存（memory caching）——它会榨干你能调用的每一颗 CUDA 核心。相比之下，推理（Inference）的计算负担要轻得多。
7. 硬件 ≠ 软件就绪这正是贯穿始终的主题
"大多数情况下，硬件已经
更新换代，但软件却停滞不前。"
这说到点子上了。你可以花1万美元买一块GPU，但如果你的Transformer库（transformer library）或CUDA驱动没有针对它优化，性能就会受限。对于5090这样的新显卡或H100这种企业级怪兽卡来说，这种情况尤其明显。
一些建议通过这次实验，我学到了很多东西，特别是人工智能（AI）的硬件方面：
总结如果你正在严肃地使用大语言模型（LLM），硬件选择比以往任何时候都更重要。CPU（中央处理器）根本不是为这类任务设计的——用它们就像拿着小刀参加激光战。即便是入门级的T4显卡也能轻松碾压CPU。而RTX 4090则达到了完美的平衡点：性能强劲、技术成熟，并且有完善的库支持。新款RTX 5090在纸面上看起来很棒，但软件生态尚未做好准备。至于H100？毫无疑问是个性能怪兽，但除非你在运行GPT级别的大模型并拥有优化流水线，否则就像用超级计算机来做加减法。
