1 9.9万元用上“满血”DeepSeek R1一体机,本地部署成新商机?-德赢Vwin官网 网

9.9万元用上“满血”DeepSeek R1一体机,本地部署成新商机?

人工智能

637人已加入

描述

德赢Vwin官网 综合报道  最近DeepSeek R1的火爆,引起了本地部署的热潮,但大部分个人用户,受到设备的限制,一般只能在个人电脑上部署小尺寸的1.5B或7B等轻量版。要本地部署完整版的R1 671B版本,至少需要500GB内存,以及约800GB(FP8精度)或1.4TB(FP16/BF16精度)显存。
 
对于企业用户而言,本地部署能够有效保护数据安全和隐私,避免将核心数据传输至第三方云端。针对企业需求,近期DeepSeek一体机也开始快速进入市场,帮助企业或个人客户AI应用快速落地。
 
华为在上周推出了昇腾DeepSeek大模型一体机,提供从服务器、推理卡、到加速模组等丰富的DeepSeek一体机产品形态。而2月17日华为DCS AI解决方案针对DeepSeek本地部署又推出了一系列FusionCube A3000训练/推理超融合一体机,深度适配DeepSeek V3/R1,以及蒸馏模型,支持私有化部署。
 
据介绍,FusionCube A3000分为三个版本,一是面向“满血版”DeepSeek R1和V3(671B)的FusionCube A3000 Ultra,支持模型推理,内置2个Atlas800I A2推理服务器,根据官网的操作维护指南,Atlas800I A2是一款4U形态的推理服务器,CPU支持4路鲲鹏920处理器,最多32个DDR4内存插槽,支持最高8个昇腾910 AI加速卡;存储方面使用OceanStor Dorado 5500全闪存存储系统,最大缓存384GB~4TB。
 
二是面向32B、70B蒸馏模型的FusionCube A3000 Pro,使用一个Atlas800I A2推理服务器和OceanStor Dorado 2100全闪存存储系统。
 
三是面向1.5B、7B、14B等蒸馏轻量版模型的FusionCube A3000 Lite,采用1个Atlas800 3000(4个Atlas 300I Duo),没有配备全闪存存储系统,满足一些智能办公、个性推荐等简单应用。
 
澎峰科技近期也推出了业内首款万元级别满血DeepSeek智算一体机Deep Fusion DF100,目前售价仅为9.9万元,性价比极高。
 
Deep Fusion DF100有塔式工作站、服务器两种形式,单机支持DeepSeek-R1/V3 671B满血模型,内置自研PerfXLM高性能推理引擎,采用创新性优化技术,提供无与伦比的推理速度,商业级可靠性和稳定性。同时采用一体化设计,开箱即用,预装PerfXCloud私有化管理平台和DeepSeek R1/V3满血模型,可灵活搭建私有知识库,确保数据隐私安全,轻松搭建私有化智能应用。
 
在硬件方面,Deep Fusion DF100目前采用英特尔CPU+消费级GPU的搭配,提供1700TOPS算力,推理速度为15tokens/s,内置512GB DDR5内存、4TB硬盘。据透露,未来澎峰科技还将会基于国产CPU和国产算力卡构建智算一体机。
 
对于AI大模型来说,尤其是开源大模型,私有化、本地化部署将会是未来的一大应用趋势,但现阶段而言,私有化部署的高成本,令普通消费者望尘莫及。可以看到现阶段的大模型一体机,以及近期跟随热点推出的DeepSeek一体机都主要面向企业用户。
 
当然也有一些PC厂商跟风推出相关的台式机,比如攀升最近推出了一个“DeepSeek AIPC”系列台式机,但实际只是针对AI应用所需的配置提供相关硬件,比如R7-9800X3D + 32GB RAM + 2TB SSD + RTX5080等常规高端PC配置,没有提供像管理平台、推理引擎等软件服务。
 
但随着算力成本的进一步下降,未来或许能够将本地部署私有化大模型的“一体机”实现普及,人人都能拥有一个私人定制化的本地大模型。
 
 
 

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表德赢Vwin官网 网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分