对象存储将是企业海量非结构化数据存储的最佳选择

杉岩老李 2020-07-20 920

今日头条

1151人已加入

描述

海量数据的爆炸式增长，使存储技术近五年的发展速度远超过去n年的发展历程。C端用户一个明显的感觉就是：U盘存储容量从过去物以稀为贵的几十M迅速发展到今天几十G、甚至TB级，家用电脑硬盘容量更是TB级标配。

那么，企业级又迎来了怎样的变化?IDC数据显示，到2020年，企业数据总体将达到44ZB，其中80%的数据将会是非结构化数据(图片、视频、归档以及企业级备份等各种数据)。显然，海量数据的产生正在促使企业级存储从需求到产品形态都发生了改变。

“相对于NAS、SAN这种传统企业级存储解决方案，对象存储确实处于一个蓝海市场，它的竞争不那么激烈，而需求的潜力却非常巨大。”一位企业级存储市场人士表示。存储作为企业数据留存的核心介质，数据的爆发式增长首当其冲会给存储带来巨大的挑战。说到对象存储，对大多数传统企业IT管理者而言依旧是个新名词。

它专为解决非结构化数据而来

众所周知，当前传统企业在存储方面惯常采用三类方式：一是DAS直连存储，类似小柜子一样，通过一根不长的线接到客户端，这类存储容量很有限，使用场景也非常少;二是NAS(网络接入存储)，它是以NFS协议，将存储暴露给客户端挂载使用;三是SAN(存储区域网络)，它暴露的是块存储，将所谓的硬盘暴露给客户端。

“所有传统企业存储都有一个共同的特征——就是只能垂直扩展。比如一个EMC的存储柜容量不够，只能另买一个存储柜，它在管理、成本以及容量和性能方面都存在一定的问题。这里的成本分为三部分，一是采购成本，存储柜很贵;二是人力成本，需要专业的存储工程师管理存储柜;三是管理成本，如果企业又买了一个存储柜，这两个柜子之间是孤立的。对企业而言，数据怎么分布在这两个存储柜，如果这两个柜子容量用满之后，再加一个新柜子怎么办?这都会带来管理上的成本。从性能方面看，首先只能垂直扩展，性能只能局限于这个柜子之上。从NAS文件存储的角度来讲，它的性能问题会体现得更为明显。比如企业现在有海量文件要存储，它的劣势就会表现出来，因为存储的文件越多，NAS文件存储的性能会越差。为了解决这个问题，整个企业级存储市场正在从‘垂直扩展’向‘水平扩展’发展。”

整个企业级存储市场的这种潜在的需求变化自然推动了存储产品出现了新的变化。“业界关于新一代企业级存储出现了很多名词，比如软件定义存储、分布式存储、水平扩展式存储等，它们所表达的意思其实是一样的，就是在相对比较廉价的X86服务器之上通过软件进行管理。”

传统IT架构渐成“过去式” 非结构化数据倒逼存储变革

今天，许多企业已经意识到，结构化数据仅仅是企业所拥有数据的一小部分。与业务信息系统中大量用于交易记录、流程控制和统计分析的结构化数据相比，非结构化数据具有某种特定和持续的价值，这种价值在共享、检索、分析等使用过程中得以产生和放大，并最终对企业业务和战略产生影响。

多年来，杉岩数据通过对金融、教育、医疗、制造等行业的百余家知名客户的IT信息化研究发现，非结构化数据的容量、文件的数量已经大大超越了传统NAS存储的处理能力，企业级存储从需求到产品形态的“自我变革”也变得更加急迫。

同时，IDC数据显示，到2020年，企业数据总体将达到44ZB，其中80%的数据将会是非结构化数据(图片、视频、归档以及企业级备份等数据)，对象存储市场规模将达198亿美元，这也从侧面印证了杉岩对于对象存储未来发展的趋势判断。

在杉岩看来，软件定义存储将给金融、教育、医疗等传统行业的IT架构带来革命性改进，特别是对文件数量过多、非结构化数据归集检索调取效率低、传统架构无法按需弹性配置存储空间等问题将发生彻底改变。在服务深圳某三甲医院的过程中，杉岩发现电子病历、临床影像文件（如CT 、X光、彩超、高精动态影像等）、非核心系统的数据归集、查询和调阅等问题成为传统架构面临的最大挑战。

比如，在进行影像数据调阅时，数据归档离线后，没有任何元数据的管理描述，凭文件系统的目录结构进行数据查找，非常费时费力。当病历文件数量到达百万级近千万以后，存储性能会出现大幅下降；而医院服务器上的数据仍然是孤岛状态，服务器之间的存储资源和数据并没有实现共享。

当然，这些问题不止出现在医疗行业，在教育行业传统存储架构遭遇的问题也十分突出。杉岩在为某高校搭建对象存储架构时发现，大学各职能机构以及二级学院之间信息系统相对割裂，因此在系统安全性和可维护性方面十分困难。

而建筑学院、传媒学院、电影学院、服装学院等专业性学院会产生大量的非结构化数据作业，如CAD制图、影视作品、图片设计、服装样片等等，这些数据对存储空间的扩展性和存储安全性提出了更高的要求，既要能够满足在教学、科研等场景下数据存放的要求，同时还要满足作业提交、班级数据共享、科研数据分析调取等多元化需求。

此外，在银行、证券行业的日常业务中，客户证件、远程开户录像、合同扫描件、客服中心语音、企业相关电子文档资料等是最常见的非结构化数据。这些文件平均大小从KB到MB甚至GB级别不等，近两年文件量呈现高速增长状态。从存储容量上看，这些小文件甚至占据了金融机构数据总容量的80%以上。

根据监管部门要求，银行、证券、保险等金融机构需实施专区“双录”，即对自有理财产品及代销产品的销售过程同步录音录像，“双录”规定的实施会带来海量非结构化数据。以上这些问题都让僵化的传统IT架构有一种深深的无力感。

随着传统IT架构的弊端日渐凸显，以杉岩为代表的一批创新型存储厂商开始重新定义企业级存储的标准。从2014年创立伊始，杉岩便早早瞄准对象存储市场并持续深耕。经过四年的快速发展，杉岩目前在全国范围内拥有近百家合作伙伴，业务范围覆盖政府、金融、运营商、教育、医疗、电力和制造等十余个行业，用户数据量部署总和超过100PB。

其研发的杉岩海量对象存储（SandStone MOS）已成为海量非结构化数据存储的主流解决方案，其在广发证券档案中心、武汉大学智慧校园云存储平台的成功应用得到了行业用户的广泛好评。

对于海量数据的存储问题，杉岩海量对象存储（SandStone MOS）解决方案采用去中心化分布式架构，同时利用软件定义的方式实现了单一名字空间条件下数百PB级规模的容量扩展，业务可以随时随地访问而不受数据存储位置的限制。

在提升海量小文件访问性能方面，SandStone MOS利用哈希计算实现了数亿级文件的高效访问。针对文件检索困难，SandStone MOS支持标签功能，文件存储时会自动设置标签，从而更好地与业务结合，满足高效检索。

比如，在银行业务场景下，当业务人员想要提取相关视频音频文件时，可以根据文件标签进行检索调阅。此外，SandStone MOS在易用性与可维护性方面也超越了同级别产品，其采用“x86通用服务器+存储软件”的分布式解耦架构，将底层存储空间与上层业务逻辑空间进行分离，软硬件的升级不会影响到整个系统的正常运行。

即使系统有再多应用更新，也不会影响存储空间的使用。值得一提的是，SandStone MOS首创的分布式存储数据盘漫游功能，可以帮助企业用户渐进式的进行老旧硬件设备更换，不影响业务的正常运行。

在对象存储领域的专注与持续创新，换来的是行业的高度认可。去年8月，杉岩数据成为首家通过Intel中国云计算创新中心测试并发布报告的软件定义存储厂商。与此同时，杉岩数据作为国家信息化标准委员会云计算标准工作组成员单位及中国开源云联盟理事单位，先后参与了分布式存储国家标准的制定工作及Ceph行业白皮书的编写工作。

如今，对象存储正焕发出更大的生命力，一场存储革命也已开启。以杉岩数据为代表的创新型存储厂商，正通过不断深耕对象存储领域，帮助企业构建更加智慧的IT基础设施，推动传统存储朝着更高效、更集约、更易用的方向全面演进。
fqj

打开APP阅读更多精彩内容