随着ChatGPT的火爆,AIGC(生成式人工智能)这一新兴概念也备受瞩目。AIGC目前已经在很多领域得到了广泛应用,如新闻报道、广告创意、音乐创作等,它可以模仿人类的写作风格,甚至创造出全新的作品。然而AIGC的用途远非如此简单,随着AIGC通过海量数据训练的大规模神经网络模型(大模型)的模型层数、参数的增加,“思维方式”愈来愈趋向于人脑,使其在金融、制造、医疗等各领域的应用越来越广泛。
在训练过程中,大模型需要大量的计算资源来执行复杂的矩阵运算和其他计算任务。为了支持这些计算任务,需要使用高性能的计算设备。同时,还需要有效的算法和架构设计来优化模型的训练速度和效率。为提升整体算力效率和满足差异化需求,大模型一般需要万亿量级参数计算的“智算中心”。现阶段的“智算中心”通常采用云模式,通过共享、共融集结现有算力,万卡平台及配备高效网络交互机制构建大模型训练与推理平台。
可以看出,训练一个大模型代价是巨大的,且大模型落地部署的代价也极大,在工业界实际应用中不得不考虑部署的成本,模型轻量化是必不可少的。轻量化的其中一个方法是模型压缩,通过将通用大模型经过剪枝、量化和蒸馏,将大模型进行压缩得到轻量化模型,使其能够使用算力较小的设备进行训练推理,减轻应用单位的部署成本。
大模型通过不同的方法得到了有效的轻量化,还是无法阻止模型规模的增加,但是同时也刺激着各大芯片厂商在AI芯片上的研发投入,特别是受众面更广、性价比更高的AI系统化模块(SOM),其算力发展更是一年数倍级的提升。系统化模块(SOM)算力的提升,可处理大模型轻量化压缩后的小模型,有助于实现从基础大模型转向行业微调模型(通用2B),进而细化至场景结合模型(专用2B)的转换。而这些小巧的AI系统化模块是对空间、能耗、环境、安全、响应要求苛刻的边缘端设备的首选。在此过程中边缘端设备发挥着重要的作用来推动AI部署,网络边缘端比过去而言会受到更多重视,也将带来更大的市场。
研扬科技致力于为客户提供高质量、高性能的边缘端计算产品,是业界领先的边缘AI解决方案设计制造商。研扬作为英伟达Elite member of the NVIDIA Partner Network(合作伙伴网络精英成员),推出基于NVIDIA Jetson AGX Orin系统化模块(SOM)的两款紧凑型无风扇边缘盒子ARES-240AI和ARES-241AI。ARES-240AI和ARES-241AI将NVIDIA Jetson AGX Orin的超高性能与全新打造的强化耐用机壳相结合,32/64GB版本可选,提供了卓越的275 TOPS 的服务器级算力,在以往需要专业显卡支持才能运行的应用,比如自动汽车驾驶,现在凭借ARES-240AI和ARES-241AI的实时物体侦测、数据加速传输和强大的严苛环境耐受度等特性,可将整个操作移至边缘。这两款边缘盒子是重新定义自主边缘应用进行AI深度学习的理想载体。通过NVIDIA Jetson AGX Orin与其他 NVIDIA Jetson 模组、开发者套件获得同一 NVIDIA Jetson 软件栈的支持,这样您只需一次开发,即可在任意位置进行部署,从而加快产品上市速度。
NVIDIA Jetson AGX Orin
功能特点
01
ARES-240AI和ARES-241AI搭载的NVIDIA Jetson AGX Orin,拥有12核ARM v8.2 64位CPU和64 个 Tensor Core 的 2048 核 NVIDIA Ampere 架构 GPU,最高可达 275 TOPS的算力,提供了比Jetson AGX Xavier 高达8倍的AI性能。ARES-240AI和ARES-241AI还具有64GB内存,在W4A16量化中,可完美支持Llama-70B。借助NVIDIA TAO工具套件,以更小的体积在行人检测、3D姿态估计、DashCamNet、车牌识别等模型架构中提供与英伟达专业显卡T4相似甚至更高的推理性能,这将有助于机器人和智能交通中对实时目标检测与多传感器的结合,同时大大增强定位和目标确认精度。
适用于严苛环境
功能特点
02
ARES-240AI和ARES-241AI坚固耐用,采用强固轻型铝合金材料外壳,传导被动散热,可在温度范围为-20°C ~ 55°C (-4°F ~ 131°F)下稳定工作,具有极端温度环境的耐受性,可以出色应对各类工业环境。此外,小巧的尺寸和轻巧的重量让其操作不受空间限制,非常适用于车载、工业AMR和自主采矿车等应用,其物体检测功能可应用于狭窄的、能见度低的工业环境,并提供智慧物流解决方案。
高度整合智能接口
功能特点
03
为了能完整发挥NVIDIA Jetson AGX Orin的强大计算能力,ARES-240AI和ARES-241AI搭载了许多可应用于垂直市场的功能。两款边缘盒子皆配备了多个USB 3.2接口,以及32/64GB LPDDR5x系统内存、64G eMMC并支持5G、Wi-Fi和NVMe的M.2 Key,确保外接硬件如摄影机和传感器等可进行快速的信息传输,使其成为理想的智慧零售解决方案。
ARES-240AI区别于ARES-241AI的2个GbE LAN,它具有电源与多功能性相结合的4个PoE LAN端口,可将系统部署在距离其电源更远的地方,并可以通过同一根线缆实现互联网连接和系统的远程监控,从而降低了安装的复杂性,非常适合各种工业自动化场景及自动驾驶领域。
接口展示
产品简介
01
功能 & 区别
产品简介
02
-
ARES
+关注
关注
0文章
3浏览量
9712 -
研扬科技
+关注
关注
0文章
22浏览量
7320 -
AIGC
+关注
关注
1文章
361浏览量
1539
发布评论请先 登录
相关推荐
评论