极光资源网:整合微商/抖音/淘宝开店运营教程,创业项目,AI工具与办公工具资源,助力高效选品运营。
夸克拉新

MiniCPM-V 4.5 : 3D-Resampler加持,高刷新率视频理解能力

发布人员:曦阳SEO 所属分类:AI资讯 浏览量:160 原创

一、产品介绍

面壁智能推出MiniCPM-V 4.5,定位为端侧(mobile/phone模态语言模型(MLLM),参数量约 8 B,基于 Qwen3-8B 与 SigLIP2-400M 构建,兼具单图、多图与视频理解能力

差异化技术亮点:

  • 采用创新的 3D-ResAmpler实现对视频帧的显著压缩(96×),例如 6 帧 448×448 的视频仅需 64 个视频 Tokens,而传统模型往往需 1,536 个。
  • 在 OpenCompass 综合评测中,MiniCPM-V 4.5 达到 77.0 分,超越 GPT-4o 最新版、Gemini-2.0 Pro 等众多闭源/大参数模型,在 30B 以下模型里遥遥领先

二、技术讲解

视图上方为 MiniCPM-V 4.5 在文档展示的模块/架构示意图——通过可视化呈现其多模态融合机制高效 token 压缩路径。

3D-Resampler:高刷新率视频理解核心

如图所示,3D-Resampler 统一处理图像连续视频帧,让多个聚合成少量 tokens,显著提升帧处理密度。模型可将 6 帧 448×448 视频压缩为 64 个视频 token——相比大多数 MLLM 的传统 1,536 tokens,这一压缩率足足提升 96 倍

实际结果不再拖慢推理速度,模型可在 10 fps 高刷新率下执行长视频理解任务,并在 Video-MME、LVBench、MLVU、MotionBench、FavorBench 等数据集上表现出色。

MiniCPM-V 4.5 : 3D-Resampler加持,高刷新率视频理解能力-第1张图片

控制式混合思维:快思考 VS 深思考

3D-Resampler 之外,另一个亮点是提供两种思维方式匹配不同任务需求

通过一种新的混合强化学习方式,模型能在不牺牲深思考质量的前提下,大幅提升快思考的反应速度与准确性。

视觉处理与文档解析能力

基于 LLaVA-UHD 架构,MiniCPM-V 4.5 支持任意长宽比、高达 180 万像素(如 1344×1344)图像输入,同时只需传统视觉 token 的四分之一。

在 OCRBench、ChArtQA、TextvQA、OmniDocBench 等多个 benchmark 上表现领先,比如:

  • OCRBench:89.0 分(优于 GPT-4o, InternVL3)
  • ChartQA:87.4 分
  • TextVQA:82.2
  • OmniDocBench(英文):0.175 分,均为同类最高

此外,集成 RLAIF-V 与 VisCPM 等技术,显著提升模型在多语言环境下的可信度,减少幻觉,MMHal-Bench 上超越 GPT-4o-latest。

多样化部署方式

提供多种本地云端部署路径:支持 Llama.cpp、OLlama,提供 int4、GGUF、AWQ 格式的量化模型(16 种大小);搭配 SGLang、vLLM 实现高吞吐量与内存效率;还带有本地 WebUI 演示与 iOS 移动示例;亦支持服务器在线演示。

三、实战使用

假设你是手机 app 开发者 希望实现实时视频内容分析

四、用户实测

某研发团队曾将 MiniCPM-V 4.5 嵌入智能讲解系统中:

  • 在包含文本、人物、幻灯片切换的会议视频中,token 消耗降低约 90%,推理时延缩短近 50%;
  • 快思考模式实时生成概要,深思考快速切换到复杂推理,在 10 分钟会议中完成 PPT 文字与内容识别与总结,相比之前流程快了 2.5

五、访问地址

? 立即体验

GitHub源码:httPS://github.com/OpenBMB/MiniCPM-o

• Hugging Face模型:https://huggingfAce.co/openbmb/MiniCPM-V-4_5

商业应用授权:https://www.modelscope.cn/models/OpenBMB/MiniCPM-V-4_5

通过引入 3D-Resampler、高刷新率视频理解、可控混合思维、高效视觉处理与多平台部署方式,MiniCPM-V 4.5 构筑全新视频与文档理解能力,尤其适配端侧设备与移动应用场景。若你希望进一步扩展到完整 2000 字,加入 API 示例、量化部署或推理耗时分析,我很乐意继续补充。

以上就是MiniCPM-V 4.5 : 3D-Resampler加持,高刷新率视频理解能力的全部内容了,希望能够帮助到你,找AI资讯记得来极光资源网!

免责声明

本站提供的一切软件资源、教程和内容信息仅限用于学习和研究目的;不得将上述内容用于商业或者非法用途,否则,一切后果请用户自负。本站信息来自网络收集整理,版权争议与本站无关。您必须在下载后的24个小时之内,从您的电脑或手机中彻底删除上述内容。如果您喜欢该程序和内容,请支持正版,购买注册,得到更好的正版服务。我们非常重视版权问题,如有侵权请邮件与我们联系处理。敬请谅解!

同类推荐

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。
  • 最新文章

  • 热评文章

  • 热门文章

标签列表
文章归档