​90亿参数推理提速6倍：英伟达Nemotron-Nano-9B-V2解锁边缘AI新效能​

一、产品介绍

英伟达基于Nemotron-H混合架构，推出开源小型语言模型Nemotron-Nano-9B-V2，通过融合Transformer与Mamba状态空间模型（SSM） ，显著优化长序列处理效能。相较于传统架构，其计算开销降低60%，吞吐量提升2–3倍，专为单卡NVIDIA A10 GPU（22GiB内存） 设计，支持128K上下文窗口的实时推理。

差异化技术亮点：

• 动态推理开关：通过指令 /think（生成推理轨迹）与 /no_think（直接输出答案）切换响应模式，平衡准确性与延迟需求；

• 思考预算控制：开发者可限定模型内部推理的token数量，适配客服机器人等需实时响应的场景。

二、适用人群

三、核心功能

四、使用技巧

实测案例：某自动驾驶公司部署该模型处理多语种语音指令，在A10 GPU实现每秒处理1800次请求，错误率较前代降低40%。

五、访问地址

• 模型下载：https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2

• 在线试用：https://build.nvidia.com/nvidia/nvidia-nemotron-nano-9b-v2

• 数据集开源：https://huggingface.co/datasets/nvidia/Nemotron-Pre-Training-Dataset-v1 （66万亿token多领域数据）

技术延伸：边缘AI的混合架构趋势

Nemotron-Nano-9B-V2的Mamba+Transformer设计印证了行业共识：单一架构无法兼顾效率与精度。液态神经网络（Liquid AI）与谷歌轻量模型的同期进展表明，状态空间模型正成为边缘设备的新基建。而英伟达开源66万亿token数据集，更推动小模型通过高质量数据逼近大模型能力。

开发者提示：欲进一步压缩模型尺寸，可参考技术报告中的FP8精度预训练方案，在精度损失<0.5%下实现40%内存优化。

以上就是​90亿参数推理提速6倍：英伟达Nemotron-Nano-9B-V2解锁边缘AI新效能​的全部内容了,希望能够帮助到你，找AI资讯记得来极光资源网！