在模型训练、测试和部署的过程中，为了确保新改进能够切实地解决相应问题，且不会引发任何新问题， NADP 需要执行 10 万项推理任务，包括数据挖掘、仿真和回归测试。经过众多方案的对比和筛选，蔚来选用了 NVIDIA Triton 推理服务器作为核心组件，构建了 NADP 的高性能推理服务。
NVIDIA Triton 推理服务器是 NVIDIA AI 平台的一部分，它是一款开源推理服务软件，可助力标准化模型的部署和执行，并在生产环境中提供快速且可扩展的 AI。
Triton 推理服务器可助力团队在任意基于 GPU 或 CPU 的基础设施上部署、运行和扩展任意框架中经过训练的 AI 模型，进而精简 AI 推理。同时，AI 研究人员和数据科学家可在不影响生产部署的情况下，针对其项目自由选择合适的框架。它还帮助开发者跨云、本地、边缘和嵌入式设备提供高性能推理。
正如白宇利在分享中提到：“我们基于 NVIDIA Triton 推理服务器构建了高性能推理服务。此服务非常适用于 NADP，并可轻松集成模型仓库、工作流、Jupyter、Prometheus 和许多其他组件，从而简化 AI 推理。Triton 让编排和扩展变得更轻松，还能将推理速度提高至 6 倍，并可节省 24% 的资源。”
