全域 Serverless+AI，华为云加速大模型应用开发

jf_81200783 2023-10-25 453

电子说

1.3w人已加入

描述

日前，华为全联接大会 2023 在上海召开。华为云 CTO 张宇昕在大会上发布了基于 Serverless 技术的大模型应用开发框架，框架以面向 AI 领域全新升级的 FunctionGraph 3.0 为核心，将 BaaS for AI 后端和开放平台快速无缝集成，助力企业轻松商用 AI 应用。

华为云

在“全域 Serverless + AI 加速应用创新”专题演讲上，华为云首席产品官方国伟、华为 2012 实验室中软分布式与并行软件实验室主任谭焜，分享了 Serverless 和 AI 如何结合的前沿理念和实践，深度解析华为云在 Serverless 领域核心产品及基于元戎架构构建的分布式内核能力，为开发者打造 Serverless AI 极优体验，帮助企业加速应用创新；广联达科技股份有限公司首席业务专家/副总裁祁长福分享了在建筑行业，如何基于华为云 Serverless 产品 FunctionGraph 优化 AI 应用开发，提升交付效率。

全域 Serverless 为千行万业深度用云

带来新体验

方国伟介绍，在 AI 时代背景下，软件开发的方式由以代码为中心，走向以模型为中心，如何将 AI 大模型能力充分利用起来，是当下云厂商积极探索的事情。

华为云

华为云首席产品官方国伟

企业研发人员在构建 AIGC 应用时更多关注开发部署门槛能否降低，更快的完成企业需求。运维人员要确保系统能够稳定运行，在业务量高峰时刻做到快速弹性，业务量小时节约成本，企业既能实现业务目标，又能保证系统可靠性高、成本较低。

为了更好的支撑 AIGC 应用，华为云提供了全域 Serverless 能力，推出了 CCE Autopilot、FunctionGraph、CAE 等 Serverless 产品，将一系列的 AI 原生技术构筑成后端服务，形成 BaaS for AI 能力，调用即可得。结合完善的工具链，帮忙企业快速构建应用。

华为云

Serverless 容器 CCE Autopilot、CCI 让用户无需关注底层资源，自动运维，帮助用户降低运维成本。

在 Cloud Bursting 场景，去哪儿网基于 CCI 打造了灵活上云新体验，完成业务 0 改造，实现 4000 实例/30s 的极致弹性。

FunctionGraph 3.0 八大关键能力，

助力 AIGC 应用创新

全新升级的 FunctionGraph 3.0，新增 Serverless 应用中心、独创 Snapshot 冷启动加速、预留实例智能推荐特性，配合异构资源虚拟化技术，实现 AIGC 应用低成本、低延迟，加上端到端的全链路压测和全栈可观测能力，助力 AIGC 应用快速开发，天级上线。

华为云

杭州曼孚科技有限公司是行业领先的 AI 基础架构与数据智能平台服务商，基于 FunctionGraph 构建自动化 AI 训练平台，更细粒度的 GPU 算力供给加上按需全自动资源弹性，实现成本降低 40%。

华为云 Serverless 事件总线服务事件网格 EventGrid 能够支持统一事件中心、事件驱动引擎、开放与集成、降低开发成本四大典型场景，为企业提供中心化的事件集成、治理和驱动能力。

在车联网场景，某 Top 车企使用 EventGrid 构建 Serverless 化的事件驱动架构的同时，实现上下游异步解耦，便于扩展和避免单点故障；作为无码化对接的事件中心，避免云服务间点对点对接，减少 50%开发工作量以及数据高可靠 0 丢失和数据规则调整 0 变更。降低成本。

Serverless 应用托管 CAE 产品升级：支持应用 0 代码修改平迁上云，用户无需修改业务代码；支持 Web/微服务应用 Serverless 化，帮助企业降本增效，提升业务稳定性。

香港新世界旗下广州新合创科技有限公司，使用 CAE 全托管模式提升 50%效率；后续还会根据商场人流峰值设定定时伸缩，节省资源以降低成本。

BaaS for AI：华为云 BaaS 服务 DWS 3.0 提供 Pay By Resource 弹性模式和 Pay By Query 弹性模式，帮助企业实现后端服务 Serverless 化。

“华为云提供全域 Serverless 能力，让开发者 5 倍速开发行业大模型，支撑千行万业的 AI 应用开发。面向 AI 领域全新升级的 FunctionGraph 3.0，真正实现大模型应用即开即关、即时响应，无限扩展。”

Serverless 挺进 AI，

强强联合加速 AI 应用创新

华为云

华为 2012 实验室中软分布式与并行软件实验室主任谭焜

基于自主创新元戎内核构建的 FunctionGraph 3.0 如何保障 AI 应用开发部署低成本和响应低时延，谭焜做了深入的技术分享:

模型开发部署依赖昂贵的异构资源。传统的异构函数，CPU 和 XPU 资源绑定分配，单一推理函数包含 CPU 和 XPU 操作，操作 CPU 时 XPU 空闲，操作 XPU 时 CPU 空闲，资源利用率低。元戎独创的纯 XPU 异构函数，CPU 和 XPU 资源绑定解耦，用户可把不同类型资源的操作写成不同的函数，执行时分解到不同算力处理器上，无闲置资源。

华为云

FunctionGraph 打造 Serverless AI 最佳平台

在大模型推理场景，包括全量推理和增量推理两个阶段。全量推理阶段算力需求远高于增量推理阶段，增量推理阶段，耗时可能远长于全量推理阶段。针对这类场景，元戎可以做到全量推理和增量推理解耦，各自按需弹性扩缩，精确算力供给，真正按使用量计费，降低用户成本。

更快的应用响应速度意味着更好的用户体验。元戎自主创新的 FoldFormer AI 模型可在线持续预测用户业务负载，提前进行实例预热，达到 85%~95%准确率，大大降低了冷启动概率。无法被准确预测的流量，通过一系列优化措施加速冷启动。在用户模型下载阶段，基于内置的内存数据系统和 SSD 构建的分级高速缓存，实现系统内缓存模型文件，大幅缩短下载时间。计算时，模型按 Layer 分批加载，并根据用户 SLA 和模型推理时延历史数据构建最优 pipeline, 降低参数加载和模型推理总时延，冷启动优化到秒级。

谭焜最后总结道：“基于元戎内核，FunctionGraph 3.0 提供异构函数极速冷启动，细粒度异构资源管理和按需弹性扩缩，打造 Serverless AI 极低成本和极致性能；依托华为云丰富的 BaaS 服务和全托管的开发环境，打造 Serverless AI 极优体验。”

AI 赋能建筑行业数字化

广联达科技股份有限公司首席业务专家/副总裁祁长福发表 AI 赋能建筑行业数字化主题演讲。“广联达作为数字建筑平台服务商，立足建筑产业，围绕工程项目的全生命周期，为客户提供数字化解决方案，公司提出“数字建筑”理念，希望通过“数字建筑”系统、全面、深度地助力建筑产业转型升级。”

华为云

广联达科技股份有限公司首席业务专家/副总裁祁长福

祁长福介绍，在技术方面，广联达通过大力研发 BIM 和云计算、大数据、物联网、移动互联网、人工智能等信息技术引领产业转型升级。

在 AI 领域，广联达围绕行业难点，围绕设计、成本、施工等重点领域，打造核心 AI 应用。应用设计采用 Serverless 理念，依托华为云 Serverless 服务构建解决方案，将 AI 模型以镜像方式部署在 FunctionGraph，对外提供通用 API，无需管理运维异构资源（GPU 等），模型实例随业务量全自动扩缩容，无请求时实例缩容到 0，低成本高可用运行。上层应用采用 FaaS+ BaaS 的 Serverless 应用架构，集成模型推理接口，只需专注于业务逻辑代码，可函数级粒度并行开发，快速迭代应用。

华为云 FunctionGraph 技术极大的优化了 AI 应用的开发过程，让 AI 团队可以更关注业务实现，而无需关注底层技术细节。

“广联达以推动建筑行业数字化为己任，着力打造‘数字+连接+算法’的系统性数字化。围绕行业痛点，我们以智能化技术为基础，依托华为云 FunctionGraph Severless 架构，打造建筑从业人员的 CoPilot，帮助行业人员提升作业效率，提高管理水平和决策质量。”

未来，华为云将持续落地全域 Serverless 产品，与华为 2012 实验室深度合作，以 FunctionGraph3.0 为核心，打造 Serverless AI 极低成本和极致性能，充分满足大模型应用的敏捷要求，助力千行万业深度用云。

审核编辑黄宇

打开APP阅读更多精彩内容