大模型在端侧迅速落地，面临哪些挑战-德赢Vwin官网网

电子发烧友网报道（文/李弯弯）大模型技术正在快速发展，并在不同领域取得显著进展。如在设计领域，近日消息，腾讯混元大模型文生图已经深度应用在B端和C端，此外，腾讯混元大模型还可以做图生视频、视频生视频等，为设计领域带来了更多可能性。

大模型技术正在向更多行业渗透。例如，在金融、消费、互联网等领域，大模型技术已经开始被应用于数据分析、客户服务、产品推荐等方面。通过利用大模型技术，企业可以更加精准地了解客户需求，提高服务质量和效率。

大模型在设计领域进展迅速

“大模型加速产业进入全新智能时代，正成为推动科技创新、产业升级、生产力跃迁的重要驱动力量。”腾讯设计杰出专家、腾讯混元产品负责人陈妍妍近日谈到。

在她看来，从大模型的能力来看，各行业对大模型有着三大共性需求，包括内容生成与创意设计、信息提炼与专业辅助、任务调度与智能交互及情感陪伴等。她认为，设计行业的应用就是大模型落地的一个代表性的领域。从文生图、文生视频到文生3D，多模态探索是腾讯混元大模型等国产大模型的重要发展方向。

大模型在设计领域的应用进展十分迅速。腾讯的混元大模型在设计领域就展示了其强大的能力。在文生图方面，腾讯的混元大模型尤其注重本土化，能够在很多应用场景中利用中国的历史和文化元素，这在国际市场上具有独特的优势。同时，腾讯的混元大模型已经深度应用于B端和C端，如创意广告、人像风格化等领域。

在文生视频方面，腾讯的混元大模型已经能够实现将视频拉长的功能，从之前的4秒扩展到现在的16秒，这展示了其在视频生成和处理方面的能力。此外，该模型还可以进行图生视频、视频生视频等应用，为设计领域提供了更多的可能性。

虽然文生3D在现阶段的应用还不够广泛，但腾讯已经提前进行了一些研究。这种技术生成的模型具有可编辑性，可以导入到3D编辑工具中进行重新调整，这为未来的3D人物应用提供了基础。

从技术升级与开放方面来看，腾讯的混元大模型不断进行技术升级，目前已扩展至万亿级参数规模。为了推动技术的发展和应用，腾讯计划将文生图能力进行开源，这将有助于降低技术门槛，促进更多的开发者和艺术家利用大模型进行设计创作。

大模型落地端侧成布局重要方向

过去一年多时间，大模型技术快速发展，其在端侧的应用落地也进展迅速。如在智能语音助手方面，大模型可以集成到智能语音助手中，使其能够更好地理解和处理自然语言。这使得用户可以通过语音与设备进行更自然和便捷的交互。智能语音助手已经成为手机、智能家居设备等端侧设备的标配功能，为用户提供了更加智能化的服务体验。

在图像识别与处理当面，端侧设备可以利用大模型进行图像识别和处理。例如，在移动设备上进行实时的人脸识别、物体识别或图像增强等操作。这种技术已经广泛应用于手机相机、安防监控、自动驾驶等领域，为用户提供了更加便捷和高效的图像处理体验。

基于大模型的个性化推荐系统也可以在端侧应用中实现。通过分析用户的兴趣和行为，系统可以为用户推荐符合其喜好的内容、商品或服务。这种技术在电商、社交、新闻等领域得到了广泛应用，提高了用户满意度和转化率。

大模型还可以用于实时语音翻译或文本翻译，使得用户能够在不同语言之间进行无缝交流。这种技术在跨国交流、在线教育、旅游等领域具有广泛应用前景，为用户提供了更加便捷的沟通方式。

在硬件和计算技术方面，为了支持大模型在端侧的应用，出现了许多新的解决方案。例如，使用边缘计算技术将计算任务从中心服务器下沉到设备的边缘，使设备能够更快速地处理数据和计算任务。这有助于减轻端侧设备的计算负担和能源消耗，提高响应速度和用户体验。

此外，还有一些研究工作致力于优化大模型的训练和推理过程。例如，使用增量学习、迁移学习等技术对大模型进行微调，使其更适合特定任务和场景。这些技术能够降低模型的复杂度和参数数量，提高模型的精度和效率，从而更好地适应端侧设备的性能限制。

当然，大模型在端侧的应用也面临一些挑战，如在性能和精度平衡方面，端侧设备通常具有有限的计算资源和存储空间，无法直接运行大模型。因此，需要对大模型进行压缩、剪枝、量化等技术处理，以减小模型的大小和计算复杂度，使其适应端侧设备的性能要求。然而，这些技术处理可能会降低大模型的性能和精度。如何在保持模型精度的同时降低其复杂度和大小，是端侧应用面临的一个重要问题。

还有，端侧设备的电池容量有限，长时间的模型推理会消耗大量的能源，缩短设备的续航时间。如何在保证模型性能的同时降低能源消耗，是另一个需要解决的问题。

另外，与云端模型不同，端侧模型的部署和升级更为复杂。一旦模型出现问题，不像云端那样可以通过简单的部署和代码更新来解决。端侧模型的维护和升级成本相对较高，需要更多的技术支持和人力投入。

写在最后

如何推进大模型落地应用已经成为当下重点关注的话题，如今，无论是终端公司、算法公司，还是芯片公司等都在积极为大模型在终端侧的落地应用而努力。

从上文可以看到，虽然仍然存在一些挑战，不过不难看出，大模型在断侧的应用前景十分广阔，相信随着技术的不断发展和应用场景的不断拓展，大模型将在端侧应用中发挥越来越重要的作用，为人们带来更加智能化、便捷化和个性化的服务。

声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表德赢Vwin官网网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉

算法

算法

+关注

关注
23

文章
4607

浏览量
92826
大模型

大模型

+关注

关注
2

文章
2423

浏览量
2637

广和通开启端侧AI新时代

AI发展正酣，随着终端芯片算力越来越高、端侧模型能力越来越强、实时响应及隐私保护的端侧应用需求增加，端

发表于 12-12 10:35 •160次阅读

讯飞星火端侧模型发布

参数量小、内存占比小的端侧模型，正成为“兵家必争之地”。

发表于 12-04 16:07 •738次阅读

智谱推出四个全新端侧模型携英特尔按下AI普及加速键

随着AI的发展，端侧AI模型越来越受到广大客户及厂商的关注，业界领先的大模型公司智谱于近日推出了四个全新的端

发表于 12-02 17:13 •194次阅读

把握关键节点，美格智能持续推动端侧AI规模化拓展

当前，AI大模型走向端侧已经是大势所趋，端侧AI的发展将推动人工智能成为影响世界的第四次工业革命。与传统的云端大

发表于 11-26 01:00 •130次阅读

把握关键节点，美格智能持续推动端侧AI规模化拓展

将成为和系统同样重要的存在，如果说电路是连接身体的“血管”，那么AI就将成为终端的智慧“大脑”。 ▶加速演进，大模型加速走向端侧从手机移动端开始，

发表于 11-25 16:45 •231次阅读

端侧AI浪潮已来！炬芯科技发布新一代端侧AI音频芯片，能效比和AI算力大幅度提升

端侧AI音频芯片。 2028 年中小型模型端侧AI市场迅速增长，技术上有三大

发表于 11-06 09:11 •2459次阅读

能效比较GPGPU高一个数量级，国产AI芯片让端侧AI大模型高质量落地

的方案越来越多。也就是说，AI大模型不仅完成了从“能用”到“好用”的蜕变，也从高高在上的云端，走到更靠近应用场景的边侧和端侧，这给作为方案核心的推理芯片提出了非常高的要求。

发表于 07-10 16:28 •1889次阅读

云天励飞加速推动大模型行业落地

陈宁博士受邀发表主题演讲，首次展示云天励飞边缘AI的战略全貌。大模型落地的多重挑战边缘AI提供解法今年WAIC上，“大模型+行业”的应用

发表于 07-08 17:16 •607次阅读

基于AX650N/AX630C部署端侧大语言模型Qwen2

本文将分享如何将最新的端侧大语言模型部署到超高性价比SoC上，向业界对端侧大模型部署的开发者提供

发表于 07-06 17:43 •3510次阅读

后摩智能引领AI芯片革命,推出边端大模型AI芯片M30

在人工智能（AI）技术飞速发展的今天，AI大模型的部署需求正迅速从云端向端侧和边缘侧设备迁移。这

发表于 06-28 15:13 •678次阅读

产品应用 | 小盒子跑大模型！英码科技基于算能BM1684X平台实现大模型私有化部署

当前，在人工智能领域，大模型在丰富人工智能应用场景中扮演着重要的角色，经过不断的探索，大模型进入到落地的阶段。而大

发表于 06-14 16:29 •708次阅读

商汤发布业内最快推理速度「日日新 5.0 端侧大模型」

现在，就是AI大模型在端侧应用的春天！

发表于 04-29 10:32 •569次阅读

商汤科技发布日新5.0大模型，对标GPT-4 Turbo，预计2024年落地端侧

据了解，4月23日，商汤科技在上海举行了技术交流日活动，公布了“云、端、边”全栈大模型产品矩阵，并对“日日新SenseNova 5.0”大模型进行了全面升级。

发表于 04-25 09:30 •566次阅读

荣耀引领端侧AI新时代

在今年的MWC盛会上，荣耀宣布与高通、Meta携手，将70亿参数大模型引入端侧，这一创新举措预示着端侧

发表于 03-01 10:28 •629次阅读

AI大模型在端侧加速落地已成必然趋势，芯片厂商提前布局！

普遍认为，2024年AI大模型在商业应用会有极大突破。 “AI大模型在端侧的加速

发表于 12-29 00:47 •2293次阅读