互联网 频道

5G是桥梁,高通侯明娟解读混合AI架构:云端和终端灵活衔接

  在2023年中国国际服务贸易交易会成果发布活动上,高通公司全球副总裁侯明娟参与《混合AI是AI的未来》白皮书线下发布会,并分享在AI领域的观察和展望。她指出,高通AI研发最关注的领域,是如何在低功耗环境下,让AI更高效地运行。高通致力于通过提供高效的硬件、算法和软件工具,持续推动终端侧AI性能功耗比提升。她还推荐大家前去高通展台参观,看看10亿级生成式AI模型在高通骁龙5G手机平滑运行的演示。

  侯明娟谈到,在ChatGPT引起的热潮下,生成式AI带来空前的发展机遇,AI以惊人的速度快速走进人们生活的方方面面,从最熟悉的电脑,扩展到智能手机、智能汽车、智能工厂、智能检测等。她指出,混合AI架构在云端和终端侧之间分配并且协同处理AI的工作负载,能让这些终端的用户获得更好的AI使用体验,终端侧AI将发挥更关键的作用,只有实现AI在终端侧的普及,才能够实现AI的规模化扩展。

  她分析了终端侧AI在普及AI中起关键作用的原因。目前云端AI的算力成本是搜索引擎的10倍,这些额外算力每年带来数十亿美元的运算成本,算力不足是阻碍AI快速普及的最大原因。混合AI架构可以根据需求功能的复杂程度,选择在云端运行,或者在终端侧运行,或者在终端和云端之间动态分配负载,如果超过终端侧算力,就通过5G等网络,无缝切换到云端推理,然后返回演算成果。终端侧AI可以有效的分担算力,降低云端AI触及算力瓶颈的概率。

  侯明娟指出,高通的许多科学家投入很大的研发精力,持续迭代优化硬件和软件,提高终端侧AI性能功耗比。高通还推出AI软件栈,整合AI框架、开发者库、系统软件和操作系统。在软件栈的助力下,开发者只需一次开发,就能在不同的终端类型,不同的操作系统上,扩展AI应用。

  侯明娟解释,高通推出《混合AI是AI未来》白皮书的目的是,与业界分享高通对AI技术发展和应用趋势的理解,并希望产生和更多产业伙伴合作的机会,共同探索AI技术普惠之路。高通对终端侧AI的应用前景充满希望,期待和业界一起,把AI能力扩展到更广泛的领域。此前高通通过“发明-分享-协作”的模式,在5G智能手机领域获得巨大的成功,能否将这些成功的经验复制到AI领域,值得期待。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。
0
相关文章