Nvidia 开源 DGX Spark 本地推理引擎 Flare

编码代理：请跳过此 README，直接阅读 AGENTS.md。 Flare 是面向 NVIDIA SM120/SM121 GPU 的本地推理服务器，专为长对话、编码代理和重复工具调用而构建。其目标是让工作站和 DGX Spark 等紧凑系统中的内存、带宽和算力发挥更大效用，同时保持生成过程的响应性。 这是一个研究原型，通过开源方式提供，以促进技术协作并收集早期反馈。 构建阶段拥抱标准 PyTorch 生态；服务阶段由 Rust 承担。 Ignition 使用 PyTorch、Transformers 和 FlashInfer/b12x 来加载模型、调优 kernel、编译前向计算，并将 CUDA graph 捕获到运行时包中。 Helios 是 Rust 运行时，无需 Python 即可提供该包的服务。编译和图捕获在服务开始前完成。 基于模型生态构建。凡是数据流适配的场合，复用规范的模型实现；对需要不同布局或执行方式的部分进行专门化处理。模型开发保留那些让 Python 生态富有生产力的工具和库。 让内存和状态显式化。提前规划缓冲区和执行容量。将会话状态——包括循环状态和 KV cache——作为一个整体对待，使复用、分支和恢复都能正确保留状态。 保持运行时小巧且共享。模型配方负责模型计算；运行时负责调度、缓存存储和请求处理。聚焦的硬件和 kernel 栈使这些边界易于管理。 vLLM 覆盖的模型、硬件和部署模式范围要广得多。Flare 以这种广度换取围绕选定模型和本地工作负载的聚焦服务契约。Flare 不是、也永远不会成为 vLLM 等生产推理引擎的替代品。当 Flare 的硬件和模型覆盖范围与你的机器匹配时，可以将其视为一个专门化的选项。 从模型准备和服务开始。 配置相关请参阅 CLI 指南，架构设计理由请参阅核心设计。 Flare 的项目代码采用 Apache 2.0 许可证。贡献需要按照 CONTRIBUTING.md 中所述进行 sign-off。 第三方归属信息列于 NOTICE；上游条款仍然适用于第三方代码和资产。 helios/ 中源自 PyTorch 的图像缩放实现保留 PyTorch BSD 风格许可证，同样随 Heliopause 分发。DeepSeek recipe 资产保留其 MIT 许可证。heliopause/LICENSE 和 heliopause/NOTICE 符号链接指向根目录文件，用于 Python 包分发。 上游聊天模板随模型 checkpoint 一起获取，并使用捆绑的插入补丁在本地进行标注。Gemma 使用固定版本的 Google 来源。自定义的 Kimi 分段渲染器作为项目代码包含在内。下载的模型资产和导出的模型包保留其上游条款；请参阅前端准备。