掰开安卓手机满屏都是三个字：大模型丨模力时代

　　

  前脚OPPO刚用大模型升级了语音助手，后脚vivo就官宣自研手机AI大模型;

  小米发布会则直接将大模型当场塞进手机系统……其竞争非常激烈程度，不亚于抢芯片首发。

  先是图像生成大模型接二连三地被塞进手机，从十亿参数的Stable Diffusion，在手机上快速生成一只金毛小狗:

  到手机上运行十五亿参数的ControlNet，快速生成一张限定图像结构的AI风景照:

  国内有文心一言、智谱清言APP，国外则有OpenAI的移动版ChatGPT，Llama2手机版也在加急准备中。

  从高通到苹果，最新的芯片厂商发布会，无一不在强调软硬件对机器学习和大模型的支持——

  苹果M3能运行“数十亿参数”机器学习模型，高通的骁龙X Elite和骁龙8Gen3更是已经分别实现将130亿和100亿参数大模型装进电脑和手机。

  并且这不单单是已支持或跑通的数字参数，而是实实在在到了可落地应用的程度。

  从十亿到百亿，更大参数的移动端AI模型暗示了更好的体验，但也代表着一场更艰巨的挑战——

  「模力时代」下，芯片厂商究竟要如何冲破大模型移植智能终端面临的算力、体积和功耗等限制?

  就在最近，OpenAI还因为DevDay后“远超预期”的大模型调用流量，出现了全线产品宕机的史上最大事故。

  相比于云端，移动终端的算力更为受限。想要把大模型装进手机，算力问题自然构成了第一重挑战。

  计算单元之外，有限的内存单元，是大模型进手机面临的第二道难关:大模型推理需要大量计算资源做支撑，与此同时，内存大小决定了数据处理速度的上限以及推理的稳定性。

  另外，在手机上跑大模型，也给电池带来了更大的压力。因此芯片能耗成为一大关键。

  高通最新推出的第三代骁龙8移动平台，就被定位为高通“首个专门为生成式AI打造的移动平台”:

  能够在终端侧运行100亿参数大模型，面向70亿参数大语言模型，每秒能生成20个token。

  较之前代产品，第三代骁龙8最重要的变化，就是驱动终端侧AI推理加速的高通AI引擎。

  高通公布的多个方面数据显示，Hexagon NPU在性能表现上，比前代产品快98%，同时功耗降低了40%。

  具体而言，Hexagon NPU升级了全新的微架构。更快的矢量加速器时钟速度、更强的推理技术和对更多更快的Transformer网络的支持等等，全方面提升了Hexgon NPU对生成式AI的响应能力，使得手机上的大模型“秒答”用户提问成为可能。

  Hexagon NPU之外，第三代骁龙8在Sensing Hub（传感器中枢）上也下了功夫:增加下一代微型NPU，AI性能提高3.5倍，内存增加30%。

  值得关注的是，官方提到，Sensing Hub有助于大模型在手机端的“定制化”。随时保持感知的Sensing Hub与大模型协同合作，可以让用户的位置、活动等个性化数据更好地为生成式AI所用。

  而在内存方面，第三代骁龙8支持LPDDR5X，频率从4.2GHz提高到了4.8GHz，带宽77GB/s，最大容量为24GB。

  更快的数据传输速度，更大的带宽，也就从另一方面代表着第三代骁龙8能够支持更大更复杂的AI模型。

  并且，此番高通在内存和Hexagon NPU矢量单元之间增加了直连通道，进一步提升了AI处理效率。

  恰逢骁龙峰会期间，SK海力士还特别宣布，其产品LPDDR5T已经在高通第三代骁龙8上完成了性能及兼容性验证，速度达到9.6Gbps。由此看来，搭载第三代骁龙8的手机在内存方面还有更多的选择。

  除此之外，在CPU方面，第三代骁龙8采用“1+5+2”架构（1个主核心、5个性能核心和2个能效核心），相较于前代的“1+4+3”，将1个能效核心转换为性能核心。其中超大核频率提升到3.3GHz，性能核心频率提升到最高3.2GHz，能效核心频率提升到2.3GHz。

  值得一提的是，AI引擎之外，第三代骁龙8的ISP、调制解调器等其他模块，也已根植AI基因。

  调制解调器同样有5G AI处理器的加持:通过一系列分析信号完整性和信噪比，AI能够改善无线带宽、延迟等性能指标。

  由此看来，在大模型进手机的过程中，行业领军者的硬件解决之道可以从两方面来总结:

  不过，虽说硬件技术能解决大模型移植到智能终端的关键难点，但要想让它真正落地应用，仍需要迈过另外一重门槛。

  要想解决这两大问题，就不能仅仅从硬件侧入手，而同样要在软件开发上做好准备。

  首先，需要先增强智能终端对不同大模型的适配能力，即使是架构算法存在一定的差异也同样能装进手机。

  即使最新大模型体积超出预期，也要能确保在不影响性能的情况下，将之应用到智能终端。

  从最早在手机上运行10亿参数Stable Diffusion，到快速基于骁龙8Gen3适配百亿参数大模型，背后实际上还离不开一类软件能力——

  像是这篇被NeurIPS2023收录的论文，就针对当前大模型的“基石”Transformer架构进行了量化相关的研究。

  量化是压缩AI模型的一种经典方法，然而此前在压缩Transformer模型的时候，有可能会出现一些问题。

  这篇论文提出了两种方法来对Transformer模型进行量化，在确保压缩效果的同时，逐步提升模型输出性能，确保模型看起来“更小更好”。

  对于大模型而言，从一个硬件设备迁移到另一个硬件设备，并没有想象中那么容易。

  不同的计算平台之间，硬件的配置往往差异很大，电脑上能运行的大模型，放到手机上还真不一定就能立刻运行。

  这是一套容纳了大量AI技术的工具包，全面支持各种主流AI框架、不同操作系统和各类编程语言，能提升各种AI软件在智能终端上的兼容性。

  不仅如此，这套软件栈还包含高通AI Studio，相当于将高通的所有AI工具集成到一起，直接进行可视化开发。

  其中，如AI模型增效工具包、模型分析器和神经网络架构搜索（NAS）等都在里面。

  AI软件只需要在里面从设计、优化、部署到分析“走一趟流程”，就能快速转换成在其他操作系统和平台上也可以运行的软件产品。

  只需要一次开发，甚至是大模型软件的开发，就能让它在多个平台运行，不需要担心适配的问题，像Stable Diffusion就已经部署到其中，其他平台也一样能随取随用了。

  这样一来，不单单是将百亿参数大模型塞进手机，甚至还能将它塞进汽车、XR、PC和物联网。

  总结来看，大模型移植到智能终端所需的技术，不仅是硬实力，软件上也同样需要有所储备。

  所以，对于在大模型时代下蓄势待发的移动端软硬件厂商而言，究竟怎么样才可以抓住这次难得的机遇?

  或者说，各厂商要如何提前准备好，才能确保大模型时代依旧屹立于技术浪潮之巅?

  一方面，对于硬件性能而言，芯片已经从单纯的硬件性能对比、算力较量、功耗计算，逐渐转变成对AI算力的比拼，甚至是对AI软硬件技术能力的全面要求。

  以微软为例，这家科技巨头和云厂商，近期开始注重起AI软硬件结合的技术，如大模型训练等。

  在微软前不久的一篇训练研究中，就系统阐述了大模型在FP8精度下训练的效果，能在同样硬件成本下，训练更大规模的大模型、同时确保训练出来的模型性能。

  以AI算法研究著称的OpenAI，则被曝出有造芯的意向，开始朝硬件方向的技术发力。

  显然，从不同科技巨头最新研究中能看出，在这个技术日新月异的时代，手握一张底牌就能抓住机遇、打出自身价值的概率，正慢慢的变低。

  如果还停留在“硬件公司造好芯、软件公司做好算法”的阶段，势必只会被其他虎视眈眈的厂商超过，在「模力时代」失去已有的竞争力。

  除了硬件性能的提升以外，与时俱进扩展软件技术栈、提升软硬件结合的AI能力，同样不可或缺。

  高通在前阵子推出的白皮书中就提到，将大模型部署到个人智能终端上，不仅要考虑硬件，也同样需要仔细考虑模型个性化、计算量等问题。

  但相比等待大模型厂商去解决这样一些问题，高通选择自身在软件方面做研究，最新成果也同样实时写成论文分享出来。

  只有这样，才能更好地了解算法软件侧对于硬件的需求，从而更好地提升芯片的性能。

  另一方面，对于算力更受限、用户范围更广的终端而言，未来的趋势必然是无缝互联。这就从另一方面代表着，跨平台适用性会成为AI解决方案的关键。

  这种动向，从今年的骁龙峰会上发布的Snapdragon Seamless技术就能窥见一斑。

  像是将平板上的照片，用鼠标就能“一键平移”到PC，在电脑上进行快速处理:

  即使只有一个设备拥有键盘和鼠标，也能对各类设备做无缝控制，甚至让AI软件也无障碍在各个设备之间连接使用。

  对于数据传输延迟不是问题的未来而言，打通多终端协作和互联，势必是智能终端的下一个未来:

  不仅手机和PC等不同的终端设备之间可以共享数据、更可能让同一套设备在不同的操作系统之间完成一系列流畅操作，像是手机和PC的音频在耳机之间无缝切换:

  之前只有在手机上能使用的AI应用，有了这套系统就能扩展到千万台智能终端设备上，包括PC、XR、平板和汽车。

  这样一来，大模型就不再会受限于某一台设备、或是某一个操作系统，而是能快速将已经在一类终端中实现的AI能力快速套用到更多设备中，最终实现“万物皆可大模型”的操作。

  总结来看，在大模型时代下，AI厂商不仅需要具备软硬件结合的能力，更需要提前布局智能终端万物互联的未来，以「连接」技术加速大模型在场景下的落地应用。

  对于其他不同企业而言，依旧要在场景中探索自身的价值，才可能在「模力时代」下找到新的出路。

  11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，稳定性很高，让您的云端之旅更加畅享。快来腾讯云选购吧！

  11月13日晚19:00，vivoX100新品发布会真正开始。根据vivo介绍，蓝心大模型在C-Eval、CMMLU、SuperCLUE三个榜单中都名列前茅，中文能力行业第一。基于蓝心大模型的AI产品，将面向全用户，让每一个人都能享受到科技革命带来的便利和快乐。

  年初ChatGPT爆火的时候，我去上海参加华为春季新品发布会，用一页keynote提到了大模型技术与手机硬件的结合。虽然只有短短的一两分钟，但我专门发了一条朋友圈，看好自然语言交互能力在手机上的应用。这个大模型手机的“aha时刻”，说明移动网络的下一个春天，真的来临了。

  如今大模型进手机是真的火啊。各大手机生产厂商发布会都标配大模型直接真刀真枪来现场演示。随着ColorOS14正式推送，OPPO的几款新机型，如OPPOFindX6Pro、FindX6、FindN2、FindN2Flip、Reno9Pro、一加11，已能直接玩上了。

  Vivo蓝心大模型是vivo自主研发的智能语言理解模型，具有70亿模型参数量，能处理32K上下文长度。那么蓝心大模型有哪些AI能力呢，我们的角度来看下蓝心大模型的功能介绍。这种能力可以在自然语言处理、医疗诊断、金融风控等多个领域进行广泛地应用。

  在2023年的开发者大会上，vivo正式对外发布了自研的AI大模型「蓝心BlueLM」，这是一个高度融合了全平台自研操作系统「蓝河BlueOS」的产品。vivo通过这一举措将新的使用者真实的体验带到每个用户的手中，让用户能便捷地完成各种他们想做的事情。如果您想看到更多AI产品介绍，能关注Aibase产品库了解。

  上海市经信委发布了《上海市推动人工智能大模型创新发展若干措施》，旨在推动大规模预训练模型的创新发展。措施提出了以下主要内容:支持大模型创造新兴事物的能力，包括实施大模型创新扶持计划和建立大模型测试评估中心;提升创新要素供给能级，包括实施大模型智能算力加速计划和构建智能芯片软硬协同生态;同时，推进大模型创新应用，包括实施大模型示范应用推进计划和推进科学智能大模型应用;营造一流创新环境，包括打造企业、人才集聚的大模型创新高地和推进大模型应用生态建设;建立常态化服务机制和加大投入力度。本通知自发布之日起施行。

  360智脑官方宣布，其自主研发的“奇元大模型”已通过备案并成功落地。值得一提的是，今年9月，该模型已获批面向公众开放，使得360成为国内首家两个大模型均通过备案的科技公司。这一些数据充分证明了360智脑大模型在处理复杂问题和多领域应用上的优越性。

  由李开复博士亲自下场创办的零一万物，自3月底官宣成立后，于近日发布并开源了两个版本的中英文大模型Yi-6B和Yi-34B。在线上发布环节，李开复博士重点介绍了Yi系列大模型的三处性能亮点:全球最长200K上下文窗口，免费开源超强AlInfra实测训练，成本下降40%科学训模自研「规模化训练实验平台」Yi-34B目前在各个基准测试中，都获得了很好的表现，据零一万物提供的评测结果看来，Yi-34B和Yi-6B均在MMLU、BBH、C-Eval取得了不错的成绩。零一万物相信AI赋能推动人类社会前行，AI应本着以人为本的精神，为人类创造巨大的价值。

  拼多多成立了一个数十人的大模型团队，该团队将探索大模型在拼多多客服、对话等场景下的应用，并拓展至其旗下跨境电子商务平台TEMU的智能客服、搜索、推荐等业务场景。整个进程仍处于研发阶段。通过大模型的应用，拼多多能够给大家提供智能化的推荐和虚拟客服，提高购物体验和销售转化率，同时还能够直接进行供应链管理、库存预测和销售预测，提高运营效率和管理水平。

  在昨日的电话会议上，快手首席执行官程一笑表示，今年初，快手启动了新的AI战略，并设定了战略目标，希望确保自己在可能到来的新技术突破中保持国内领头羊。快手研发的“快意”130亿和660亿大模型已达到了行业内同等规模的领先水平。这一些产品的推出逐步推动了快手在AI技术领域的领头羊，并为创作者提供了更多元化的内容创作工具。

  Dark Pools是一家领先的人工智能公司，专注于自动化机器学习。我们的智能化解决方案帮助全球各行各业满足行业要求，同时提供高价值的智能化解决方案，增加收入，优化运营，降低风险，个性化客户体验和各种可定制的异常检测。Dark Pools的编排使智能驱动自动化、加速和透明化贯穿数据科学生命周期的每一步。它还通过可扩展的平台，为企业来提供完全灵活的架构，专门设计以满足您的行业业务本体论（IBO），以满足服务用例的复杂性。

  Excalidraw 是一个虚拟的协作白板工具，让您轻松绘制具有手绘感觉的图表。它支持实时协作、导出图形、自定义首选项等功能。Excalidraw 能够很好的满足团队协作、教育演示、头脑风暴等多种场景需求。

  Ferman是一个基于GPT的写作辅助平台,通过语言模型算法,实现智能内容生成。平台提供标题、文案、文章自动编写功能,大幅度的提高写作效率,可大范围的应用于博客、电商等多个领域,助力业务增长。

  FluentPal通过AI老师帮助您学习外语沟通，参与角色扮演情境，并与著名AI角色聊天。产品定位于帮助用户像母语者一样自然地学习外语，提供高智能对话、丰富课程、性能好价格低、初学者友好等特点。价格为终身套餐49美元，支持英语、中文、日语、韩语、西班牙语、法语、德语等多种语言。

  Vellum 是一个开发平台，用于构建 LLM 应用。它提供了快速工程、语义搜索、版本控制、测试和监控等工具，兼容所有主要的 LLM 提供商。Vellum 能够在一定程度上帮助您将 LLM 功能带入生产环境，支持迅速开发和部署 LLM 模型，同时提供质量测试和性能监控等功能。定价和定位请参考官方网站。

  Azure AI是微软为开发者和数据科学家设计的人工智能服务组合,具有负责任的AI原则支持,可帮企业以更少的花费完成更多任务,构建和部署自己的 AI解决方案。基本功能包括视觉、语音、语言和决策 AI 模型,AI超级计算基础架构,熟悉的工具和开源框架支持等。关键优势有针对不一样技能级别的框架和工具、任务关键型 AI 解决方案支持、负责任地应用 AI的工具和指南等。

  Claude是一个由Anthropic公司开发的人工智能聊天助手,能够直接进行问答、文本生成、代码生成等任务。它具有200000个标记的上下文理解能力,大幅度减少了模型杜撰信息的可能性,让输出更加可信可靠。

  Cleanlab Studio 是一个无代码的 AI 数据纠错工具，可自动识别和修复图像、文档标签等多标签数据集中的问题。它可以帮助用户快速发现和纠正标签错误、缺失标签、歧义示例和异常值等，提高多标签数据的质量。用户都能够使用纠正后的数据集进行更可靠的机器学习和分析，或者利用 Cleanlab Studio 的机器学习算法对新数据来进行高准确度的标签预测。

  3D Paintbrus是一种通过文本描述自动为网格上的局部语义区域添加纹理的技术。该方法直接操作于网格上，生成无缝集成到标准图形流水线中的纹理贴图。同时产生指定编辑区域的本地化贴图和与之相适配的纹理贴图。我们利用级联扩散模型的多个阶段来监督局部编辑技术，从而增强纹理区域的细节和分辨率。该技术被称为级联分数蒸馏（CSD），能够同时以级联方式蒸馏多个分辨率的分数，实现对监督的粒度和全局理解的控制。我们展示了3D画笔在局部为不同语义区域内的各种形状添加纹理的有效性。

  Instabooks AI是世界上第一个AI教科书生成器，用户都能够告诉我们想阅读的信息主题，并详细描述，我们将为您生成符合您特定兴趣和需求的个性化教科书，让您进一步探索任何主题。

  Smart Notes是一个AI驱动的第二大脑笔记工具。它能够在一定程度上帮助用户捕捉瞬息即逝的灵感思维,进行笔记整理,以此来实现提升个人生产力的目的。该产品以网站的形式呈现。

  FutureNotes 是一款摘要记录与分享工具。它可以通过 AI 技术将你的想法摘要成文档，并支持与他人分享。无论是思路碰撞、会议记录还是学习总结，FutureNotes 都能帮助你捕捉、概括和分享。价格灵活合理，可免费使用，适用于个人和团队。

  Summarize.One是一款能快速总结语音消息的工具，用户都能够通过将语音消息转发至Summarize.One的WhatsApp聊天中，即可立即获得总结。该产品支持定制化设置，提供免费和付费版本，严格遵守欧洲数据法规，并承诺为受听力损伤影响的用户提供免费服务。

  InstaGraph是将文本或链接快速转换为见解丰富知识图谱的首选应用。想更深入理解复杂主题中实体之间的关系?只需将文本输入InstaGraph,瞬间一张漂亮的知识图谱呈现在您面前。它拥有简单易用、转换速度快捷、可视化直观的优点,能够节省大量查阅资料的时间。

  Postli是一个基于AI驱动的LinkedIn文章和帖子生成工具。它内置1000+模板和20个不同的AI生成器功能,可以一键生成吸引眼球和专业的内容。适合营销人员、影响者和专业人士使用。主要功能包括:一键生成文章,内置1000+文章模板,20个AI驱动生成器,定价合理。可以帮助用户轻松创建高质量的LinkedIn内容,提升个人和品牌影响力。

  SurveyAnalyzer是一款基于人工智能的调查数据分析工具，能够帮助用户快速获得调查结果的洞察，提出问题并综合信息。我们支持Google Forms、Typeform、Qualtrics、Survey Monkey、Zoho Survey、Jotform等多种调查工具。定价灵活，适用于个人用户和企业用户。

  Draw Fast是一个基于人工智能的在线绘图工具。它可以在几秒钟内将用户的涂鸦或手绘草图,转换生成细节丰富、逼真的图像。该产品具有智能识图、风格转换、图像 upsmapling 等功能。使用简单,无需专业绘图技能就可以创作精美图像。适用于创意人员、设计师、插画师等用户群体。

  Magic Dash AI是一款快速洞察助手，用户能够最终靠输入查询语句来获取数据图表展示，支持多种数据库。优势在于快速获取洞察，定价灵活，定位于提升工作效率。

  Noise Eraser是一款能够辨識并去除音频文件中的背景噪音的工具，提升人声的清晰程度。它使用 AI 技术对音频进行处理，能够在一定程度上帮助用户消除风声、雨声、车声等背景噪音，使人声更加突出。Noise Eraser提供了简单易用的操作界面，用户只需上传音频文件，通过一键处理即可得到清晰的人声音频。该工具适用于广告导演、专业音效师、行销人员、业余 YouTuber 等各种使用场景。用户都能够免费试用基础功能，也能够最终靠订阅获取更多专业功能。

  Stryde是一款由AI驱动的超级灵活的健身计划应用！您可以创建自己的训练计划（包括休息时间、超级组等），或者让Stryde AI为您完成。