高通徐晧：5G技术与人工智能的完美结合，为工业环境带来全新智能变革

7月4日，2024世界人工智能大会暨人工智能全球治理高级别会议正式开幕。高通公司中国区研发负责人徐晧出席“AI赋工业，数智启未来”人工智能赋能新型工业化主题论坛并发表主题演讲，探讨AI如何为工业生产注入智能化的基因，实现高质量发展，推动人工智能技术在工业领域应用。

徐晧表示，异构计算、量化压缩等技术手段能帮助云端大模型落地终端，从而赋能广泛的工业应用。5G与AI相结合，将助力打造更加智能的工业环境。以工业场景中的机器人用例为例，现在的机器人主要利用计算机视觉或者深度学习完成理解和功能执行。随着生成式AI突破性的发展，未来机器人能够理解我们提出的要求，加上机器人学科实现的出色定位、导航和机械臂控制，可以打造非常智能的应用。

结合5G与AI，机器人能够实现网络连接，赋能运维和质检等生产环节，打造更加智能和现代化的工业环境。

以下为演讲全文：

大家好。刚才的嘉宾分享了行业应用，我想分享一下更底层的算法设计，以及我们如何从终端侧把AI普及到人们的日常生活中。今天论坛的主题是人工智能赋能新型工业化，因此最后我会分享一些工业应用上的AI用例。

生成式AI的能力在不断增强，主要体现在以下方面：

● 语音UI，我们有更多更智能的语音支持，带来自然直观交互;

● 多模态大模型，除了早期与ChatGPT进行的文字对话，现在我们看到了更多的视频/图像处理，以及图像/文字的共同处理;

● 在视频和3D方面，我们有更多的沉浸式体验;

● 更长的上下文窗口，现在有越来越长的文章甚至于一整本书，都可以用AI处理一次性总结出来;

● 个性化，终端侧的AI应用可以带来更加个性化的内容处理;

● 智能体，人们可以根据自己的喜好来打造个人AI智能体;

● 现在可以看到越来越多由AI增强的高清晰度图像和视频。

此前，我们带来了全球首个运行在Android手机上的Stable Diffusion终端侧演示，最近，我们还实现了全球首个在Android手机上运行的多模态大模型(LMM)演示。比如用户可以给冰箱里的食材拍一张照片，然后问大语言模型“你看到了什么?”，AI可以很快地识别所有物体。

从技术上来说，哪些是我们把大语言模型应用落地到端侧必须实现的核心技术?很多最基本的大语言模型都是10亿甚至30亿以上的参数规模，这种规模的模型想要在手机上应用其实具有一定挑战。所以，我们需要把云端的大模型算法，通过最简单、最有效且最节能地方式部署在手机和其他智能终端上。

正如当年的云计算与在手机和电脑上计算类似，现在的大语言模型能够在云端运行，今后我们希望同样的模型能够在手机、个人电脑、机器人、汽车上运行。通过量化和压缩、推测性解码、知识提炼、高效的图像和视频架构以及异构计算这5个重要的技术手段，能够帮助把云端的大模型，包括Llama、ChatGPT以及国内一系列大模型落地到终端，赋能包括工业应用、手机/平板电脑应用等等。

举几个简单的例子。首先是量化，量化对于能耗、运算和存储都有很大影响，比如把32位浮点变成16位定点，看起来只是减少了两倍，但实际上，存储数据时占用的内存更少、传输数据量也更少、无论是加法还是乘法的运算量也更少，所以仅仅是从32位变成16位，就会带来4倍的能耗减少。从32位到8位，能带来16倍的能耗减少;从32位到4位，能带来64倍的能耗减少。这也是为什么所有的人工智能算法公司都在想办法把浮点变成定点，因为这会让运算的存储和数据的传输更简洁。

对于每一个类似的技术方向，我们都在积极努力尝试。比如，你可以先训练再量化;或者在训练的时候直接考虑量化的影响。

接下来是知识提炼。我们可以将其看成“教师”和“学生”的关系。比如可以将一个大模型想象成一个非常厉害的教授或者院士，但是往往在你的手机上，只需要一个小学生模型就能处理事情。比如我们只问它“冰箱里有多少菜”，小学生就能回答这个问题。如果大多数问题都在这个级别，你的手机只需一个“小学生模型”即可。知识提炼即可以通过对“教师模型”的学习，将其改为一个“小学生模型”，这个模型在手机端很容易运行。

接下来是推测性解码。比如这个大语言模型一次只能解码1个token，如果能用小模型，在同样的时间和算力的情况下，可能可以生成4个token。用一个小模型生成多个不太准确的token，然后把这些token直接送给大模型一次检查并决定接受哪些token，这就比完全由大模型一个一个生成token要高效很多。这个就叫做推测性