IT大嘴巴 · 2022年06月17日

开源存储虽好,可不要“贪杯”哦

开源圈这几天又热闹起来了。

日前,美国商务部工业和安全局(BIS)正式表示“未经审批禁止向中国分享安全漏洞”。这也意味着即便使用的是开源软件,中国用户也难以实现透明的管理,更可能因为没有第一时间发现安全漏洞而面临业务损失。这一系列动作更让人明白了那句话——代码无国界,但写代码的人有国界。

开源绝非免费的午餐

伴随着Ceph、Swift等软件平台在中国市场大行其道,不少企业利用开源软件免费和开放的特性,通过简单的包装、“换壳”等手段实现了所谓的“自研”,并以商业软件的名义对外出售。因此原本开源软件具备的安全漏洞就变得更难被发现。此外,由于产品同质化严重,成本低廉,市场也容易陷入低水平价格战中。

尤其是在实际业务相关的基础设施平台上,更需要实现架构代码层面的可控。一旦由于系统漏洞或稳定性等问题,造成业务中断或数据丢失,损失将是无法估量的。

开源存储并没有看上去那么“美”

image001.jpg

在国内,好多公司都在使用开源产品作为数据中心基础架构的组成部分,其中存储部分大多使用的是开源Ceph平台。好多人选择Ceph可能都是看中了它统一存储的特性,毕竟只要一种架构就能搞定块、对象、文件等多种协议,同时良好的可扩展能力也可以应对PB级存储的压力。但许多用户在部署后发现,在实际使用中,Ceph的扩容能力会遇到瓶颈,难以面对未来EB级数据存储需求,同时去中心化的应用也牺牲了不少元数据,对于未来的数据管理和智能化应用造成了难题。

首先要面对的就是运维难题。由于采用开源架构,Ceph本⾝就是⼀个⼗分复杂的体系,要做到稳定运维⾮常看重团队的实⼒。因为开源带来的Bug问题逐年递增,如何真正解决实际应用中的Bug问题,对开源存储厂商的技术能力有着不同程度的挑战。厂商研发实力强大,自然对于用户的服务质量就高,厂商研发实力弱一些,带给用户的服务质量就存在“折扣”。

image002.jpg

其次就是扩容成本的问题。许多人可能会说——不对呀,Ceph的扩容能力没问题,某某公司几十上百PB的容量都能轻松应对呢。没错,Ceph的确可以扩容到几十上百PB,但是代价呢?我们知道,Ceph中数据通常是以PG为单位进⾏组织,因此当数据池中加⼊新的存储单元(OSD)时,通过调整OSDMAP会带来数据重平衡。如果涉及到多个OSD的扩容是可能导致可⽤PG中OSD⼩于min_size,从⽽发⽣PG短期不可⽤、IO阻塞的情况。

为了尽量避免这种情况的出现,只能将扩容粒度变⼩,⽐如每次只扩容⼀个OSD或者⼀个机器、⼀个机柜(主要取决于存储隔离策略),但是这样会带来极⼤的运维⼯作量,甚⾄扩容速度可能都赶不上数据增长速度。换句话说,Ceph的扩容并不是某个管理者“拍脑门”就能决定的,也不是随意增加存储设备那么简单。如果用户需要扩容,就一定具备良好的初始规划,且扩容过程复杂,付出的时间、人力成本也会更多。总而言之,如果当初在部署的时候没有一步到位,后续扩容也很让人伤脑筋。

解决了运维难题,好不容易完成了扩容,最后用户面对的却是较低的利用率。伴随着Ceph集群规模的增加,伪随机算法导致了存储资源分布不均衡,磁盘利⽤率⽅差过⼤的问题。虽然从L版本开始中增加了balancer插件,能够在一定程度上实现自动监测并均衡,不用太多人工介入,但此插件只能进行权重的评估,对于数据迁移量并没有过多的优化,即难以实现及时有效的数据均衡。这也变相增加了用户的存储使用成本。

而一旦Ceph集群达到了80%后,经常有磁盘变满,需要管理员介入,调低过高磁盘的reweight。而在这台磁盘使用量没降下来之前,又有更多的磁盘被写满了,管理员就又要介入,调整reweight。如此一来,人工介入就成为了大规模Ceph集群的“标配”,至此就再也没有进入过稳定状态了,管理员还必须时时刻刻盯着集群。此外,Ceph的对象是没有last_access_time元数据的,因此Ceph对象的冷/热之分,需要二次开发,做额外的工作。集群大了之后,如何清理垃圾数据、如何归档冷数据,也带来了不小的挑战。

image003.jpg

犹太人有一句谚语:“免费的才是最贵的”。为什么众多企业会选择开源,恐怕价格因素占了很大的比例,说白了还是为了降低成本。但在伴随着使用的深入管理者们会发现,无论是业务风险还是运维难度,开源带来的麻烦并不少,对应的开支也要不断增加。由此看来,开源并非是“免费的午餐”,企业在使用之前反而更需要小心谨慎。尤其是在金融、通信等关键行业的核心技术,更不应该使用开源设备。

其实就开源安全的问题,早在2021年10月20日,中国人民银行办公厅、中央网信办秘书局、工业和信息化部办公厅、银保监会办公厅、证监会办公厅等五个部门就联合发布了《关于规范金融业开源技术应用与发展的意见》,其中明确指出要“规范开源技术的引入审批、技术评估”等行为,也是官方对开源应用敲响了警钟。正如我们在文章开篇提到的,无论是正在进行的俄乌战争还是美国刚刚出台的出口管制规定,都提醒我们要把握自己的命运,时刻树立“自主”意识,对于开源软件、开源平台都要慎之又慎,更应该在关键领域的核心技术上选择全自研的存储平台,把代码抓在自己手里,才能真正保障信息和数据安全。

推荐阅读
关注数
1932
内容数
249
专注开放计算、大数据应用、人工智能、企业数字化转型、云计算等领域产业观察及产学研合作。
目录
极术微信服务号
关注极术微信号
实时接收点赞提醒和评论通知
安谋科技学堂公众号
关注安谋科技学堂
实时获取安谋科技及 Arm 教学资源
安谋科技招聘公众号
关注安谋科技招聘
实时获取安谋科技中国职位信息