用大模型写一篇长文、做一轮数据分析、跑一次深度推理,都要消耗不少Token(词元)。与此同时,数据还得全部送上云端,隐私成了悬在头顶的问号。能不能把算力留在自己手边,用AI算力时少花钱、更安全?5月19日,联想在北京首钢园给出了其中一个答案——推出了巴掌大的AI主机,试图让“词元普惠”加速成为现实。
近两年来,在AI算力方面,企业级市场已有成熟方案,但个人消费领域仍是空白。联想当天发布的AI主机P7尺寸小巧,整机仅重300克,其算力最大支持122B(1220亿参数)本地大模型与128K(即12.8万)长上下文处理,在无网环境下,依然能以高达50 Token每秒的高速完成本地自主推理。
定位于“入门款AI主机”的另一款AI主机Mini则更加迷你,尺寸仅100×100×43毫米,如同巴掌大小,却提供了45 TOPS(每秒万亿次运算)算力。“希望以极低的硬件门槛,让本地化隐私计算与智能终端控制成为用户基建标配。”联想相关负责人表示。
AI主机背后是一套面向AI的系统。当日,联想发布面向AI原生设备打造的全栈技术系统禧AI 4.0,核心是实现从“+AI”到“AI+”的转变。所谓“+AI”,是指为设备附加AI功能,以人机交互为主;“AI+”则让AI原生设备具备主动执行能力,实现设备间的协同运作。公司相关负责人表示,天禧AI 4.0通过“端-边-云”协同智能调度,节约每一次Token消耗,让用户用AI时少花钱,甚至不花钱。
无独有偶,近日,国产GPU企业摩尔线程也首次切入家庭场景,推出定位于家庭AI中枢的AICUBE。从云端到掌上,从企业到家庭——个人AI算力与词元生产的普及化,正在加速到来。
来源:北京日报客户端
记者:孙奇茹