[资料]

bottom-up多层规约图融合策略资料介绍

2022-11-9 17:33:20 2038 API接口 gpu

0 1、bottom-up多层规约图融合策略　　大约16年前后，业界对于推理应用的性能诉求还不普遍，对于有性能需求的场景，最常见的做法是利用设备供应商提供的API加速计算图中的部分计算密集型（Compute-bound，以下称CB）算子，如Conv、Dense等。　　这一时期，用户自定义的算子融合多半是相邻访存密集型（Memory-bound，以下称MB）算子的融合；而典型的CB+MB形式的融合（例如Conv+ReLU）则受限于供应商API的支持程度。　　随着AI模型在各领域的发展、成熟和落地，模型推理在具体设备上的性能变得越发重要，17年到18年，业界出现了大量面向DL模型推理的计算框架，算子融合技术在不同框架上呈现出两种典型的发展路线：　　遍历路线：针对特定设备，枚举实现典型的CB+MB形式的融合算子，如Conv+ReLU/Conv+BN+ReLU/Dense+ReLU/Conv+Sum等等，Intel的oneDNN以及国内很多大厂的推理框架走的都是这个路线；　　规则路线：基于规则实现算子融合，以TVM为例，其将所有算子分为Opaque/Injective/Reduction/Complex-out四类，并设定融合规则形如Complex-out+Injective/Injective+Injective/Injective+Reduction等，以此实现所有符合规则的子图融合。原作者：MindSpore bottom-up多层规约【图融合】策略.pdf (929.46 KB, 下载次数: 0 ) 3
举报淘帖0 只看该作者相关推荐 • 【Altium小课专题第071篇】什么是层次式电路设计？它的优点有哪些？ 6873 • 如何使用Xilinx工具进行自下而上的合成？ 1721 • 详解无线传感器网络实时数据融合策略 1221 • 层次式电路设计与平坦式电路设计的区别 4442 • UP9602\|UP9602设计资料\|QC2.0充电方案\|UP9602代理商 2883 • 熊叔带你彻底理解数字版图设计之 –- 关于bottom-up体位…啊不，方法 7633 • IEC61850-9-2通信规约 5303 • 图象融合 6899 • 关于多层板的一些问题请教 3635 • 配电自动化系统数据采集和远动规约的研究 3554