
1.3B参数实现2.4倍推理吞吐,端侧AI正在迎来新的里程碑。5月11日,面壁智能联合清华大学、OpenBMB开源社区正式发布并开源新一代端侧多模态大模型MiniCPM-V 4.6,在极小参数量下实现了令人瞩目的性能突破。
MiniCPM-V 4.6的核心亮点在于其极致的效率。仅1.3B参数的模型,推理吞吐量却达到了前代模型的2.4倍。这意味着,在手机等端侧设备上运行多模态AI不再是奢望。模型在OCR、文档理解、视觉问答(含Cot与Thinking)等多模态综合能力上均表现卓越,实现了全维度领跑。
从技术架构来看,MiniCPM-V 4.6在多个维度进行了创新优化。模型采用了高效的多模态融合策略,在保持小参数量的同时,通过精心设计的训练策略和知识蒸馏技术,实现了与更大参数量模型相当甚至更优的表现。这种"以小博大"的技术路线,为端侧AI的普及提供了新的可能。
值得关注的是,MiniCPM-V 4.6已经提供了Testflight测试版本,可以在iOS、Android和HarmonyOS系统的手机端直接使用。这标志着端侧多模态大模型正式从研究论文走进了用户口袋。对于需要在离线环境下处理图像和文字的场景,MiniCPM-V 4.6是一个理想的解决方案。
模型已在GitHub、Hugging Face和ModelScope等平台全面开源,开发者可以根据自己的需求进行部署和定制。面壁智能与清华大学的合作,再次证明了中国团队在端侧AI领域的创新能力。当大模型的参数量越做越大时,MiniCPM-V 4.6用实际表现告诉我们:小而美,同样可以很强大。