WAIC面壁分论坛现场:高通如何面向智能体AI打造全栈技术架构
7月19日,面壁面高通公司全球副总裁、分论中国区研发负责人、坛现通何体IEEE Fellow徐晧博士出席“端侧AI创新和行业发展论坛”,场高并发表《智能体AI时代:计算架构与模型效率的智能造全栈技持续创新》主题演讲。
7月19日,术架2026年世界人工智能大会正在进行中,面壁面高通公司全球副总裁、分论中国区研发负责人、坛现通何体IEEE Fellow徐晧博士出席“端侧AI创新和行业发展论坛”,场高并发表《智能体AI时代:计算架构与模型效率的智能造全栈技持续创新》主题演讲。
徐晧博士指出,术架端侧的面壁面AI应用拥有非常广阔的前景,并系统性阐述了智能体浪潮对终端计算架构带来的分论范式变革。他指出,坛现通何体随着手机使用场景从单轮对话迈向多轮交互、再迈向智能体调度,设备所需的Token处理量正以十倍量级递增——从一万、十万到百万级,因此端云协同处理十分重要。为此,高通针对持续运行始终在线工作负载、持续的传感器数据处理和系统性协同需求,面向智能体AI打造新一代设备架构,并与面壁智能等合作伙伴持续推动在端侧模型领域的合作。

以下是演讲全文;
非常高兴和大家分享高通在端侧AI方面所做的硬件,软件,算法和系统开发以及生态合作。
这支视频带我们简单回顾了我们使用手机这一终端的方式,从最开始简单的交互,到今天支持智能体的手机。同样,能够运行智能体的终端品类多种多样,从最小的智能耳机到千瓦级的数据中心,高通不同的硬件平台可以为这一系列的智能终端提供支持。很早之前,我们就注意到面壁在端侧的布局,我们双方有很多的契合点。
接下来,我们看一下为什么端侧这么重要。这里呈现的是一个简单的统计,可以看到不同终端的市场规模在几十亿量级。大多数人现在都很注重数据中心这类大规模训练,但实际上端侧的AI应用也拥有非常广阔的前景。
可以看到,手机从简单的单轮对话、到多轮对话,再到运用智能体,其所需的token量是以十倍量级往上增加的,从一万、十万到百万级。比如,在手机端使用龙虾或者智能体要用到的token数量非常之大,现阶段是端云结合的解决方案,端侧小模型处理隐私性强需要实时处理的任务,云端处理深度推理和规划。将来越来越多的模型处理会在端侧来减少对数据传输和云端token运算的需求。
刚刚面壁的同事也介绍了,端侧模型在未来一至两年内,可以达到与几十倍算力的云端模型同样的功能,并且这个趋势还在不断发展,越来越多的大模型将迁移到端侧,以小模型的形式出现。随着硬件算力的不断提高,这些模型在端侧也将能够轻松运行。
我们看一下,从端侧硬件设计的角度来看,有哪些最重要的设计难点。
第一,在打造智能体手机时,我们需要出色的任务规划,我们通过全新的CPU来做任务规划和控制。
第二,需要随时随地处理传感器信息。以前的手机只是用户给它指令让它执行任务,它不需要24小时判断你在干什么或者你需要什么。但是智能体手机需要主动帮助你、告诉你需要做什么,需要随时感知你在什么地方,比如它感知你现在在大会现场,它可以帮你自动静音;比如它感知你进入座舱,它会自动调节成你喜欢的温度和座椅位置。这都需要有出色的低功耗传感器处理。传感器中枢会对大量的传感器做有效地处理和融合,来精确地感知环境,给智能体提供决策信息。
第三是NPU,来提供强大的模型运算功能。我们会做一系列的模型适配和优化,有效地利用NPU高效张量计算能力来处理2B到3B量级的模型在手机端侧地运行。
此外,还需要有出色的5G或6G连接。现在大部分智能体的功能是在云端运行的,因为需要大量算力,但随着越来越多的模型在端侧运行,需要端侧、云端和边缘云的协同处理,出色的无线连接功能可以把端侧的算力和云端的算力无缝连接。
接下来让我们看看,高通如何带来最有效的硬件支持。首先是高通传感器中枢,它能够为智能体提供更多数据,24小时在线了解关于你的所有信息,为大语言模型或端侧模型的输入提供情境感知,打造个人知识图谱。另一方面,我们的NPU可为端侧提供强劲算力,例如刚才提到的20 亿、30 亿参数mini CPM大模型,都能在端侧流畅运行。
这是高通最新的旗舰移动平台第五代骁龙8至尊版,今年我们还将推出更强大的移动平台,来支持所有的端侧运算;我们的座舱芯片也具备强大算力,可支持更大规模的模型,在车上稳定运行百亿以上的参数大模型。
从应用以及模型的角度来说,我们已经完成从最初的感知AI,到现在的生成式AI和智能体AI的迭代,下一阶段我们将重点推进物理AI,实现从小模型向多功能大模型的转变。我们在算法方面也做了一系列的模型在端侧的适配,比如模型压缩和量化,长上下文的处理和增强,以及端侧模型的不断学习(on device learning)。
最后是从车到机器人的演进过渡,一方面我们要将二维的规划,升级为对三维真实世界的理解;另一方面是针对更多、更复杂的应用场景进行优化与设计。这是我们从汽车芯片到机器人芯片领域需要开展的一系列开发工作。
高通与面壁在手机和车等方面已经有很多深度合作。我们也非常期待未来联合面壁及在座的各位合作伙伴,共同推进智能手机和多种智能终端在端侧的应用和发展。谢谢大家。
(责任编辑:知识)
-
百度智能云发布百度千帆Token Plan企业版,提供GLM
6月24日消息,百度智能云正式发布企业级AI生产力订阅服务——百度千帆Token Plan企业版,面向企业提供统一采购、统一管理、统一运营的AI资源服务,帮助企业以固定预算、统一管理的方式高效使用AI
...[详细]
-
云南路建集团领导同贵州省六盘水市水城区委副书记、水城经济开发区管委会主任会谈
8月10日,云南路建董事局副主席丁凯同贵州省六盘水市水城区委副书记、水城经济开发区管委会主任袁光举会谈,双方就切实推进合作,助力地方发展深入交流。 丁凯表示,太平洋建设与水城区建立了良好
...[详细]
-
4月8日,国网汉阴县供电公司以一场9小时的高效攻坚战,顺利完成35千伏黄龙变10千伏122铜钱线配网综合检修及转供工作,全力保障辖区迎峰度夏期间的可靠供电。此次检修任务繁重,涵盖金具组装、设备更换、线
...[详细]
-
北京时间10月29日,CBA官网宣布,江苏同曦用外援阿德里安-佩恩替换以赛亚-奥斯汀。此前由于佩恩在训练中受伤,同曦紧急签下奥斯汀,如今佩恩已经康复,同曦决定换回佩恩。以赛亚-奥斯汀身高2米16,曾是
...[详细]
-
发布者:小禹 浏览量:15710发布时间:2018/6/5 14:02:01 有人说,喝不惯!有人说,太魔性了!喝了上瘾,越喝越爱喝!这样的味道,总是带了探知和新奇!天润奶啤
...[详细]
-
郑州商城路要修 11月4日起8条公交线路绕行发布时间:2017-03-31 09:13 来源:豫都网 我来说说 我要投稿[摘要]河南商报讯记者 吴智星)昨日,河南商报记者从郑州市公共交通总公司处获悉,
...[详细]
-
网友调查:您认为本场比赛黄蜂队险胜的关键是?发布时间:2016-03-02 11:29 来源:豫都网 我来说说 我要投稿[摘要]北京时间12月27日,2015-16赛季NBA常规赛继续进行,黄蜂坐镇主
...[详细]
-
曾执导托比·马奎尔主演的《蜘蛛侠》原三部曲的导演山姆·雷米意外表示,如果时机合适,他不排斥重返该系列。近日,在接受美联社Associated Press)关于新片《Send Help》的采访中,记者问
...[详细]
-
导读: 对于保险代理人来说,被咨询的最多的保险之一应该就是重疾险了,因为重疾险提供重疾保障,理赔一大笔钱,不用担心医疗费用问题,那么只买重
...[详细]
-
记者从市财政局了解到,今年以来,泉州共计发放价格补贴财政补助资金6540.05万元,其中,价格临时补贴4135.3万元,节日价格补贴2404.75万元,惠及68.93万人次。为统筹推进疫情防控和经济社
...[详细]

孩子重疾险有必要买吗?给孩子的重疾险有没有必要买
泉州27个乡镇出现暴雨 明天起雨水减少高温重来
高齡與通膨讓未來風險越來越高,想要富足退休可以這樣做|天下雜誌
泉州:89岁阿婆高速上受伤 警方开辟绿色通道救援
婴儿意外险包括,儿童意外险有哪些品种?
