返回
Featured image of post Ttrion命名之谜

Ttrion命名之谜

我之前也看错了,可恶可恶真可恶

OpenAI Triton:算子相关

一个基于Python的编程语言和编译器,由OpenAI开发。 它是一个底层开发工具。它被用来创造构成AI模型的基本“算子”(Operators)它的唯一目的,就是让开发者能够用相对简单的、Pythonic的方式,编写出能在GPU上高效运行的自定义计算单元,即“核函数”(Kernel)。

大语言模型(特别是Transformer架构)的技术演进非常快,新的注意力机制(如FlashAttention、PagedAttention)、激活函数、量化方法层出-不穷。这些新算法往往没有现成的、最优的底层实现。研究员和工程师们因此需要一个快速将这些新算法变成高性能GPU代码的工具,OpenAI Triton完美地满足了这个需求。它让“写算子”这个过去只有少数专家才能做的工作,变得更加普及。

NVIDIA Triton:部署相关

它是一个开源的推理服务软件,由NVIDIA开发和维护。一个功能完备的服务器应用程序,你将训练好的模型(“成品”)部署在它上面,它就能对外提供高效、稳定、可扩展的推理服务(API)。

它是一个生产环境的部署平台。它负责管理模型的生命周期、处理客户端请求、动态批处理(Dynamic Batching)、监控性能等所有和“服务”相关的事情。它本身不创造算子,而是作为一个“容器”,去调用不同后端(Backend)来执行模型。NVIDIA Triton Inference Server与TensorRT有完美的集成。

二者重名原因

https://github.com/triton-lang/triton/issues/156

Licensed under CC BY-NC-SA 4.0
© 2023 - 2025 壹壹贰捌· 0Days
共书写了257k字·共 96篇文章 京ICP备2023035941号-1