智谱发布GLM-5V-Turbo多模态Coding基座模型,为龙虾安上眼睛
创始人
2026-04-02 13:05:32
0

IT之家 4 月 2 日消息,今日,智谱发布面向视觉编程打造的多模态 Coding 基座模型 GLM-5V-Turbo。其具备以下特点:原生多模态 Coding 基座,兼顾视觉与编程能力,并深度适配 ClaudeCode 与龙虾场景。

据介绍,GLM-5V-Turbo 从预训练阶段深度融合视觉与文本能力,让编程不再局限于纯文本输入。模型能看懂设计稿、截图、网页界面,并据此生成完整可运行的代码,真正做到看得懂画面、写得出代码。

IT之家附核心要点如下:

  • 原生多模态 Coding 基座:原生理解图片、视频、设计稿、文档版面等多模态输入,并支持画框、截图、读网页等多模态工具调用,上下文窗口扩展至 200k,将 Agent 的感知-行动链路从纯文本延伸到视觉交互。
  • 兼顾视觉与编程能力:在多模态 Coding、Tool Use、GUI Agent 等核心基准上取得领先表现。通过多任务协同 RL 等技术手段,确保纯文本场景下的编程、推理、工具调用等能力不退化。
  • 深度适配Claude Code与龙虾场景:与 Claude Code、OpenClaw/AutoClaw等 Agent 深度协同,支持“看懂环境 → 规划动作 → 执行任务”的完整闭环,并提供全套官方 Skills,开箱即用。

在多模态 Coding、Agentic 任务以及纯文本 Coding 维度的评测基准上,GLM-5V-Turbo 均以更小尺寸取得了领先表现。

GLM-5V-Turbo 在设计稿还原、视觉代码生成、多模态检索与问答、视觉探查等基准上均取得领先表现;在衡量真实 GUI 环境操控能力的AndroidWorld、WebVoyager 等基准上同样表现突出。在纯文本 Coding 能力方面,GLM-5V-Turbo 在 CC-Bench-V2 的 Backend、Frontend 和 Repo Exploration 三项核心基准测试中均保持稳定表现,表明视觉能力引入后,纯文本编程与推理能力保持了同等水准。

在 AutoClaw 等龙虾 Agent 中接入 GLM-5V-Turbo 后,龙虾具备了真正的视觉能力,能看懂屏幕上的信息。模型在衡量龙虾 Agent 任务执行质量的PinchBench、ClawEval 和 ZClawBench 上取得优异成绩,验证了其在复杂任务执行场景中的综合能力。

典型场景展示:

图像即代码

  • 前端复刻:发送草图、设计稿、参考网站的截图或录屏,模型就能直接理解布局、配色、组件层级与交互逻辑,生成完整可运行的前端工程,准确还原版式、配色、动效等视觉细节。
  • GUI 自主探索复刻:结合 Claude Code 等框架,GLM-5V-Turbo 能凭借自身强大的 GUI Agent 能力自主探索目标网站,浏览页面结构、梳理各页面之间的跳转关系、采集视觉素材与交互细节,最后基于记录的探索结果直接生成代码复现整个站点,实现从“看图复刻”到“GUI 探索复刻”的能力跃升。
  • 交互式编辑:支持按需求增删页面模块、修改文案与样式、调整布局结构,并可补充按钮反馈、弹窗切换、表单联动等交互功能,实现可视化迭代编辑。

为龙虾安上眼睛

龙虾的任务边界被大幅拓宽,例如可以浏览网页和文档,生成图文并茂的报告、PPT,还可以查询并解读 K 线图等复杂图表。

AutoClaw 已上线“股票分析师”Skill,利用 GLM-5V-Turbo 的原生视觉能力,龙虾能直接看懂 K 线走势、估值区间图和券商研报图表,实现四路数据源 60 秒并行采集,输出图文交错的研报。立即在 AutoClaw 中切换至 GLM-5V-Turbo,试试提问“帮我分析今天 XXX 的股价,生成专业分析报告”。

相关内容

赵丁琪:一个右翼加速主义的...
当我们还未从AI技术的突飞猛进中回味过来时,却猛然发现:AI时代并...
2026-05-13 04:33:42
轻松健康AI医疗产品进入规...
本报讯 (记者袁传玺)5月12日,轻松健康集团(2661.HK)围...
2026-05-13 03:40:29
北京出台专项政策!推进人工...
为贯彻国家关于工业互联网的战略部署,深入推进人工智能与工业互联网融...
2026-05-13 03:39:08
世界首次 人工胚胎上太空!
研究无重力是否影响早期胚胎发育 将回答人类能不能在太空生存繁衍 ...
2026-05-13 03:37:26
“人工胚胎”,首次进入太空...
11日,我国天舟十号成功发射。“人工胚胎”太空实验是本次任务重点开...
2026-05-13 02:09:20
科学家预测:“哥斯拉级”厄...
科学家近日发出警告,太平洋上空正在形成一种被称为“哥斯拉”级的罕见...
2026-05-13 02:08:19
重庆启动科研人员顶岗培养计...
5月12日,重庆市科研人员顶岗培养计划2026年度行前启动仪式举行...
2026-05-13 02:07:08
5G物联网卡:开启超低时延...
在万物互联的浪潮中,网络性能成为决定物联网应用广度与深度的核心要素...
2026-05-12 23:13:08
OpenAI前CTO创业的...
今天,大模型圈再次被点燃,这一次的火花来自前OpenAI应用研究负...
2026-05-12 23:10:53

热门资讯

赵丁琪:一个右翼加速主义的幽灵... 当我们还未从AI技术的突飞猛进中回味过来时,却猛然发现:AI时代并没有终结资本主义,却将它推向一个前...
轻松健康AI医疗产品进入规模化... 本报讯 (记者袁传玺)5月12日,轻松健康集团(2661.HK)围绕国际护士节系列活动,携旗下自研循...
北京出台专项政策!推进人工智能... 为贯彻国家关于工业互联网的战略部署,深入推进人工智能与工业互联网融合赋能,抢抓工业智能体技术产业化变...
世界首次 人工胚胎上太空! 研究无重力是否影响早期胚胎发育 将回答人类能不能在太空生存繁衍 5月11日上午,天舟十号货运飞船在...
“人工胚胎”,首次进入太空! 11日,我国天舟十号成功发射。“人工胚胎”太空实验是本次任务重点开展的5项空间生命科学实验之一,这是...
科学家预测:“哥斯拉级”厄尔尼... 科学家近日发出警告,太平洋上空正在形成一种被称为“哥斯拉”级的罕见厄尔尼诺气候模式。有科学家预测,这...
重庆启动科研人员顶岗培养计划 ... 5月12日,重庆市科研人员顶岗培养计划2026年度行前启动仪式举行。今年,重庆将选派212名高精尖青...
5G物联网卡:开启超低时延、高... 在万物互联的浪潮中,网络性能成为决定物联网应用广度与深度的核心要素。5G物联网卡凭借其超低时延、高带...
OpenAI前CTO创业的模型... 今天,大模型圈再次被点燃,这一次的火花来自前OpenAI应用研究负责人翁荔(Lilian Weng)...
原创 仅... 你见过连发芽都要挑“待遇”的树吗?6000万年前,恐龙都没能扛过灭绝的劫难,有一棵树却在中国西南的大...