
Triton-ng:用 Rust 编写 NVIDIA Triton 推理后端
来源标题:Show HN: Triton-ng – Write Nvidia Triton inference back ends in Rust
Triton-ng 是一个用 Rust 编写 NVIDIA Triton Inference Server 自定义后端的 SDK,后端以共享库形式在 Triton 内运行。项目还提供用于调用运行中 Triton 服务器的异步 gRPC 客户端,目标兼容 Triton 25.09 与后端 API 1.19,API 会在后端启动时检查兼容性,示例对应 0.4.0 版本。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
为 NVIDIA Triton Inference Server 编写自定义后端的 Rust SDK。
后端在 Triton 内部以共享库形式运行。项目还包含一个异步 gRPC 客户端,用于调用正在运行的 Triton 服务器。
面向 Triton 25.09 / backend API 1.19 和 Rust 1.99。API 在后端启动时检查兼容性。以下示例描述 0.4.0 API。发布边界参见 CHANGELOG。
[lib] crate-type = ["cdylib"]
[dependencies] triton-ng = "0.4.0"
实现一个 hook 来调用另一个模型并返回其输出。这个完整的后端也是 examples/minimal-backend,即最小后端示例(单独的分批策略示例将在下面介绍):
use triton_ng::{Context, CustomBackend, DataType, Error, InferenceRequest, Request, Response};
struct MyBackend;
#[triton_ng::backend] impl CustomBackend for MyBackend { async fn model_instance_execute(ctx: Context, requests: Vec<Request>) -> Result<(), Error> { for request in requests { let data = request.get_input("INPUT")?.as_bytes()?; let mut inference = InferenceRequest::new(ctx.server(), "minimal_backend_target", -1)?; inference.add_input_with_data("INPUT0", DataType::Fp32, &[1, 10], data)?; inference.add_requested_output("OUTPUT0")?; let result = match ctx.server().infer_async(inference).await { Ok(result) => result, Err(e) => { request.respond_error_with_code(e.code(), &e.to_string())?; continue; }; let mut response = Response::new(request)?; response .create_output("OUTPUT", DataType::Fp32, &[1, 10])? .write_fp32_vec(&result.output("OUTPUT0")?.as_fp32_vec()?)?; response.send()?; Ok(())
gRPC 客户端
使用 gRPC 客户端从你的应用中调用自定义后端:
use triton_ng_client::{InferInput, InferOptions, TritonClient, TritonClientConfig};
type ClientError = Box<dyn std::error::Error + Send + Sync>;
async fn call_example() -> Result<(), ClientError> { let client = TritonClient::new(TritonClientConfig::new("http://localhost:8001")).await?; let result = client.infer( "minimal_backend", None, [InferInput::fp32("INPUT", vec![1, 10], vec![1.0; 10])], ["OUTPUT"], InferOptions::default(), ).await?; for output in result.outputs { println!("{}: {:?}", output.name, output.data); Ok(())
以下示例是独立的函数或 hook;从 triton_ng 导入它们的 SDK 类型。在一个后端中使用多个示例时,请合并状态字段。make build 会编译检查本 README 及每篇指南中的 Rust 代码片段。
将输入转发给另一个模型而不复制它:
async fn forward_input(ctx: &Context, request: &Request) -> Result<InferenceResult, Error> { let shared = request.get_input("INPUT")?.share()?; let mut call = InferenceRequest::new(ctx.server(), "minimal_backend_target", -1)?; call.add_input_with_buffer("INPUT0", DataType::Fp32, &[1, 10], shared)?; call.add_requested_output("OUTPUT0")?; Ok(ctx.server().infer_async(call).await?)
替换由另一个 helper 准备好的输入,并只请求 embedding:
fn replace_audio(call: &mut InferenceRequest, samples: i64, audio: Vec<u8>) -> Result<(), Error> { call.remove_input("AUDIO")?; call.add_input_with_data("AUDIO", DataType::Fp32, &[1, samples], audio)?; call.remove_all_requested_outputs()?; call.add_requested_output("EMBEDDING")?; Ok(())
请求编辑与缓冲区生命周期。
在 token 可用时立即返回。使用 model_transaction_policy { decoupled: true } 配置模型:
fn send_tokens(request: Request) -> Result<(), Error> { let mut sender = request.into_sender()?; for token in [10, 20, 30] { let mut response = sender.response()?; response.create_output("TOKEN", DataType::Int32, &[1])?.write_i32_vec(&[token])?; response.send()?; sender.finish()?; Ok(())
从另一个后端使用 Server::infer_stream 调用流式模型,或从应用中使用 TritonClient::infer_stream 调用。完整示例参见 streaming and cancellation。
在 Triton 的 Prometheus endpoint 上统计已完成的请求数。在模型初始化时创建一次计数器,并在 execute 中调用 count_request:
fn model_initialize(model: &Model) -> Result<(), Error> { let name = model.name()?; let counter = CounterFamily::new("minimal_requests_total", "Requests handled")? .counter(&[("model", name.as_str())])?; model.set_state(counter)?; Ok(())
fn count_request(ctx: &Context) -> Result<(), Error> { ctx.state::<Counter>()?.increment(1.0)?; Ok(())
请求统计和批次统计是自动的。需要时启用逐响应统计:
fn answer_with_statistics(request: Request) -> Result<(), Error> { let mut response = Response::new(request)?; response.create_output("OUTPUT", DataType::Fp32, &[1, 10])?.write_fp32_vec(&[0.0; 10])?; response.enable_statistics(); response.send()?; Ok(())
指标类型、错误响应与统计。
添加 trace activity,并将 BLS 调用关联到其客户端请求:
async fn traced_call(ctx: &Context, request: &Request) -> Result<InferenceResult, Error> { request.trace()?.report_activity("decode")?; let mut call = InferenceRequest::new(ctx.server(), "minimal_backend_target", -1)?; call.set_parent_trace(request)?; if let Some(id) = request.id()? { call.set_id(&id)?; } call.set_parameter("language", "en")?; call.add_input_with_data("INPUT0", DataType::Fp32, &[1, 10], request.get_input("INPUT")?.as_bytes()?)?; Ok(ctx.server().infer_async(call).await?)
请求 ID、序列标志、优先级、超时与追踪。
为每个输出选择内存,然后取回缓冲区以便复用。此示例接收一个已准备好的请求,用于一个具有三个形状为 [1, 10] 的 FP32 输出的模型:
async fn reuse_outputs( ctx: &Context, mut call: InferenceRequest, device_id: i32, ) -> Result<(RamBuffer, PinnedRamBuffer, GpuBuffer), Error> { call.add_requested_output_into("CPU_OUTPUT", ctx.memory().ram(40)?)?; call.add_requested_output_into("PINNED_OUTPUT", ctx.memory().pinned(40)?)?; call.add_requested_output_into("GPU_OUTPUT", ctx.memory().gpu(device_id, 40)?)?; let mut result = ctx.server().infer_async(call).await?;
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。