返回资讯中心
外部精选
软件工程
#开发者实时流

NVIDIA 发布 DeepSeek-V4-Pro-0813 的 NVFP4 量化版模型

来源标题:Nvidia/DeepSeek-V4-Pro-0813-NVFP4

NVIDIA 在模型平台发布了 DeepSeek-V4-Pro-0813-NVFP4,这是 DeepSeek AI 的 DeepSeek-V4-Pro-0813 专家混合语言模型的 NVFP4 量化版本。该模型采用混合注意力架构,支持通过 SGLang 和 vLLM 部署,许可证为 MIT。

Hacker News 最新gmays2026/11/18 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

点赞 21 关注 NVIDIA 75.9k 文本生成 Safetensors 模型优化器 deepseek_v4 nvidia ModelOpt DeepSeekV4 量化 NVFP4 nvfp4 8 位精度 fp8 许可证:mit 模型卡片 文件 文件与版本 xet 社区 复制到存储桶 模型概览 描述: 第三方社区考量 许可证/使用条款: 部署地域: 使用场景: 发布日期: 参考资料 模型架构: 输入: 输出: 软件集成: 模型版本: 训练与评估数据集: 校准数据集: 训练数据集: 评估数据集: 推理: 训练后量化 量化方案 使用方法 使用 SGLang 部署 使用 vLLM 部署 评估 模型局限性: 伦理考量 模型概览 描述: NVIDIA DeepSeek-V4-Pro-0813-NVFP4 模型是 DeepSeek AI 的 DeepSeek-V4-Pro-0813 模型的量化版本,后者是一个自回归混合专家(MoE)语言模型,采用优化的 Transformer 架构,具备混合注意力机制(压缩稀疏注意力与重度压缩注意力)以及流形约束超连接。DeepSeek-V4-Pro-0813 是 DeepSeek-V4-Pro 的官方发布版本,增强了智能体能力,并在同一检查点中包含了 DeepSeek 的 DSpark 推测解码模块。更多信息请参阅 DeepSeek-V4-Pro-0813 模型卡片。NVIDIA DeepSeek-V4-Pro-0813-NVFP4 模型使用 Model Optimizer 进行量化。 该模型可用于商业或非商业用途。 第三方社区考量 该模型并非由 NVIDIA 拥有或开发。该模型是按照第三方针对本应用及使用场景的要求开发和构建的;请参阅非 NVIDIA(DeepSeek-V4-Pro-0813)模型卡片链接。 使用场景: DeepSeek V4 非常适合高级推理、智能体 AI 应用、工具使用场景,以及数学、软件工程和企业 AI 助手等领域的复杂问题求解。 发布日期: Hugging Face 2026 年 8 月 27 日,通过 https://huggingface.co/nvidia/DeepSeek-V4-Pro-0813-NVFP4 发布 参考资料 Nvidia Model Optimizer:https://github.com/NVIDIA/Model-Optimizer 模型架构: 架构类型:Transformers 网络架构:DeepseekV4ForCausalLM — 混合专家(MoE),具备混合注意力(压缩稀疏注意力 + 重度压缩注意力) 模型参数量:总计 1.65T,激活 49B 该模型基于 DeepSeek-V4-Pro-0813 开发 输入: 输入类型:文本 输入格式:字符串 输入参数:一维(1D):序列 与输入相关的其他属性:支持带系统提示、用户消息和助手回复的多轮对话。最大上下文长度为 100 万 token。使用自定义编码流水线(encoding_dsv4),支持推理强度级别(低、高、最高)。 输出: 输出类型:文本 输出格式:字符串 输出参数:一维(1D):序列 与输出相关的其他属性:支持结构化 JSON 输出、函数/工具调用,以及在启用时输出推理内容。 我们的 AI 模型经过设计和/或优化,可在 NVIDIA GPU 加速系统上运行。借助 NVIDIA 的硬件(如 GPU 核心)和软件框架(如 CUDA 库),该模型相比仅使用 CPU 的解决方案可实现更快的训练和推理时间。 软件集成: 支持的运行时引擎: 支持的硬件微架构兼容性: 将基础模型和微调模型集成到 AI 系统中,需要使用特定于用例的数据进行额外测试,以确保安全有效的部署。遵循 V 模型方法,在单元和系统层面进行迭代测试与验证,对于降低风险、满足技术和功能要求,并在部署前确保符合安全与伦理标准至关重要。 模型版本: 该模型为 DeepSeek-V4-Pro-0813 NVFP4,使用 nvidia-modelopt v0.47.0rc1 量化 训练与评估数据集: 校准数据集: 链接:cnn_dailymail、Nemotron-Post-Training-Dataset-v2 数据集收集方法:自动化。 数据集标注方法:自动化。 属性:cnn_dailymail 数据集是一个英语数据集,包含 30 万多篇由 CNN 和 Daily Mail 记者撰写的独特新闻文章。Nemotron-Post-Training-Dataset-v2 是由 NVIDIA 策划的训练后数据集,包含跨多种主题的多轮对话。 训练数据集: 数据模态:未披露 数据集收集方法:未披露 数据集标注方法:未披露 属性:未披露 评估数据集: 数据集:GPQA Diamond、AA-LCR、τ²-Bench Telecom、SciCode、IFBench、Terminal-Bench Hard 数据集收集方法:混合:自动化、人工收集 数据集标注方法:混合:人工标注、自动化 属性:我们在推理、长上下文回忆、智能体工具使用、编码和指令遵循基准上评估了该模型:GPQA Diamond 包含 448 道研究生水平的选择题,由生物学、物理学和化学领域的专家撰写。AA-LCR(Artificial Analysis Long Context Recall)评估模型从长输入上下文中准确检索和回忆信息的能力。τ²-Bench Telecom 评估双控制电信客服场景中的智能体工具使用和政策遵循能力,在该场景中模型与模拟用户和外部工具交互以解决账户问题。SciCode 评估科学编码能力。IFBench 是一个用于评估在多样化和结构化任务约束下的指令遵循能力的基准。Terminal-Bench Hard 评估真实终端环境中的智能体软件工程能力,模型必须规划并执行 shell 命令以端到端完成任务。 推理: 加速引擎:SGLang(本卡片中的基准测试) 测试硬件:NVIDIA Blackwell B200

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →