NVIDIA 的 A10 和 A100 GPU 有助于支持各种模型推理工作负载，从大型语言模型 (LLM)和音频转录到图像生成。A10 是一种经济实惠的选择，能够处理许多现代模型，而 A100 则擅长高效处理大型模型。
在为您的模型推理需求选择 A10 还是 A100 时，请考虑延迟、吞吐量、模型大小和预算等因素。此外，您可以利用多个 GPU 来优化性能和成本。例如，超过单个 A100 容量的大型模型可以通过在一个实例中组合多个 A100 来运行。相反，将大型模型推理任务分布在多个 A10 上可以节省成本。
本指南将帮助您在为模型推理工作负载选择 GPU 时平衡推理时间和成本。
Ampere GPU 概述
A10 和 A100 中的“A”表示这些 GPU 是基于 NVIDIA 的 Ampere 微架构构建的。Ampere 微架构以物理学家 André-Marie Ampère 的名字命名，是 NVIDIA Turing 微架构的后继者。它于 2020 年发布，为RTX 3000系列消费级 GPU 提供动力，其中 GeForce RTX 3090 Ti 是旗舰型号。
Ampere 的影响力显著延伸到数据中心，其中有六种 GPU 基于此架构：NVIDIA A2、 A10、 A16、 A30、 A40和 A100 （有 40 和 80 GiB 版本）。
A10 和 A100 是用于模型推理任务的最常用型号。A10G 是 A10 的 AWS 专用变体，也非常常用，并且可以在大多数模型推理用途中与标准 A10 互换。本文将标准 A10 与 80 GB 的 A100 进行了比较。
比较 A10 和 A100 GPU：ML 推理的规格和性能
A10 和 A100 GPU 具有广泛的规格，但一些关键点突出了它们在机器学习 (ML) 推理任务中的性能差异。
1、主要规格
FP16 Tensor Core 性能对于 ML 推理至关重要。A100 拥有 312 teraFLOPS，是 A10 的 125 teraFLOPS 的两倍多。A100 还提供三倍以上的 VRAM，这对于处理大型模型至关重要。
2、核心数量和核心类型
|规格| NVIDIA A10 | NVIDIA A100 | | --- | --- | --- | | CUDA 核心 | 9,216 | 6,912 | | Tensor 核心 | 288 | 432 | | 光线追踪核心 | 72 | 0 |
A100 的卓越性能源于其更高的 Tensor Core 数量，这对于 ML 推理至关重要。尽管 A10 拥有更多 CUDA 核心，但 Tensor Core 对此应用更为关键。A100 的第三代 Tensor Core 增强了矩阵乘法，这是 ML 推理中一项计算密集型任务。
A10 中的光线追踪核心通常不用于 ML 推理，而是面向渲染任务。A100 针对 ML 推理和高性能计算 (HPC) 任务进行了优化，因此没有光线追踪核心。
3、VRAM 和内存类型
VRAM 是 GPU 上用于存储计算数据的内存，通常可能是模型调用的瓶颈。A10 具有 24GiB 的 DDR6 VRAM，而 A100 则有 40GiB 和 80GiB 版本，采用更快的 HBM2 内存架构。HBM2 的生产成本更高，仅用于 A100 等旗舰 GPU。
4、性能比较
虽然规格信息量很大，但实际基准测试提供了实用见解。例如，Llama 2 和Stable Diffusion模型与 GPU 配合使用，以评估其在实际用例中的表现。
Llama 2 推理
Llama 2 是 Meta 开源的大型语言模型，有三种大小：70 亿、130 亿和 700 亿个参数。更大的模型能产生更好的结果，但需要更多的 VRAM。
A100 允许您运行更大的模型，对于超过其 80 GiB 容量的模型，可以在单个实例中使用多个 GPU。
Stable Diffusion推断
Stable Diffusion 可以在 A10 和 A100 上运行，因为 A10 的 24 GiB VRAM 就足够了。但是，A100 的推理速度大约快两倍。
50步的推理时间：
A10：1.77秒
A100：0.89秒
5、成本考虑
虽然 A100 性能出色，但价格也高得多。较小的模型可以在 A100 上运行，以获得更快的结果和更快的推理时间，但成本会迅速增加。对于注重吞吐量的任务，使用多个 A10 进行水平扩展更具成本效益。
计算模型吞吐量
要使用Stable Diffusion实现每分钟 1,000 张图像的吞吐量：
除非单个图像生成时间至关重要，否则使用 A10 进行水平扩展更具成本效益。
使用多个 A10 与使用一个 A100
A10 GPU 可以通过提供更重要的实例来支持更大的机器学习模型，从而实现垂直扩展。例如，如果您想运行像 Llama-2-chat 13B 这样的模型，该模型超出了单个 A10 的能力，您可以考虑在单个实例中使用多个 A10，而不是选择更昂贵的 A100 驱动的实例。两个 A10 GPU 合计提供 48 GB 的 VRAM，可运行 130 亿参数模型。
但需要注意的是，虽然在一个实例中使用多台 A10 可以处理更大的模型，但这并不能提高推理速度。这种替代方案可让您根据特定需求和财务限制在成本和速度之间取得平衡。
选择正确的 GPU
A100 是要求严格的 ML 推理任务的强大选择，但 A10（尤其是在多 GPU 配置中）可为许多工作负载提供经济高效的解决方案。最终选择取决于您的特定需求和预算。
随着对 GPU 资源的需求不断激增，尤其是对于人工智能和机器学习应用的需求，确保这些资源的安全性和易于访问变得至关重要。
捷智算平台的去中心化架构旨在使全球尚未开发的 GPU 资源的访问变得民主化，并高度强调安全性和用户便利性。让我们来揭秘捷智算平台如何保护您的 GPU 资源和数据，并确保去中心化计算的未来既高效又安全。
