一、集群存储使用与收费情况
为了方便各课题组电镜数据的收集与计算,生物电镜平台集群配备了共计18个节点的华为OS9000分布式存储,每个节点196.46TB,一共3.45PB。存储采用纠删码(EC)技术,可得率约为60%,以实现高效的数据保护与高可靠性。2022年下半年至今,存储的总写入数据量长期超过可写入数据量的90%以上。
随着冷冻电镜配套集群软硬件的更新及校内收费条件的成熟,自2022年9月13日起,在我校大型共享系统中按照以上标准执行集群的存储收费政策。目前在用的CHESS集群管理系统定义的存储费率的计算方法,存储的日费率如下:
存储用量 |
拟定月费率 |
根据拟定月费率折算的日费率 |
CHESS系统设置费率 |
50TB |
0 |
0 |
0 |
50TB-100TB |
100元/月/TB |
3.3元/日/TB |
3.072元/日/TB |
100TB-150TB |
200元/月/TB |
6.6元/日/TB |
6.144元/日/TB |
150TB-200TB |
400元/月/TB |
13.3元/日/TB |
12.288元/日/TB |
>200TB |
800元/月/TB |
26.6元/日/TB |
24.576元/日/TB |
二、存储超限锁死问题的说明
为了数据安全与存储性能,集群存储设置了90%的只读水位,超出后存储将锁死,停止写入功能,需清理至85%才能恢复。近半年多次发生存储锁死事件,集群存储的锁死影响了所有用户的数据的吞吐与计算。
为了避免存储锁死对日常运作的影响,平台会定期通知各课题组整理数据。虽然清理工作得到了课题组的大力配合,取得了一定效果,但是日常的数据收集及计算产生量巨大,现在的存储容量无法容纳长时间的数据归档。尽管平台已经提请了后续的存储扩容方案,但是在新存储投入使用前,用户的数据存储与计算需求问题还是需要得到解决。根据平台用户们的实际情况及全国其他高性能计算平台及公共数据存储服务的收费标准情况调研,平台集群存储的收费政策做出以下调整。
三、收费政策调整方案
1.修改各课题组免费使用的配额
为了维护各课题组的数据周转,每课题组的免费存储配额设置在10TB。
2.为规避集群锁死后影响所有用户的使用,对每个课题组进行存储配额管理。 课题组根据自己的使用需求申请额外存储配额。课题组的可使用存储总量=免费存储配额+额外存储配额。集群系统将根据可使用存储总量为每个课题组设置数据存储上限。这个上限为硬上限,超过容量上限后该课题组将不能写入数据,并且在超过配额85%时进行提醒。
课题组申请额外存储配额时需简要说明配额的分配计划,包括但不限于年度冷冻电镜使用计划,拟存储冷冻电镜数据量(套数)以及使用集群后处理数据结果保存套数等。同时对申请配额的未使用部分也进行基础收费,请大家合理规划使用空间。
规定时间内未完成配额申请将视作不申请额外存储配额,只能使用免费存储配额提供的10TB,同时每月应缴的额外存储配额费率将按次月1日时已使用存储额度向上取整计算。额外存储配额调整将在次月生效,每个月最多调整配额申请一次。
3. 计划调整后的收费标准如下表:
(1)额外存储配额月费率
区间额外存储配额费率 |
拟定月费率(元/GB·月) |
折算月费率(元/TB·月) |
0TB-40TB |
0.02 |
20.48 |
40TB-90TB |
0.04 |
40.96 |
90TB以上 |
0.08 |
81.92 |
例1.申请额外存储配额为20TB,则可使用存储总量为30TB,每月需缴纳额外存储配额费为:
20TB·20.48元/TB·月·1月=409.6元
例2. 申请额外存储配额为100TB,则可使用存储总量为110TB,每月需缴纳额外存储配额费为:
40TB·20.48元/TB·月+50TB·40.96元/TB·月+10TB·81.92元/TB·月
=3686.4元/月
(2)已使用存储额度费率
已使用存储费率 |
拟定月费率(元/GB·月) |
折算月费率(元/TB·月) |
CHESS系统设定费率(元/GB·日) |
小于10TB |
0 |
0 |
0 |
10TB-50TB |
0.05 |
51.20 |
0.0016 |
50TB-100TB |
0.08 |
81.92 |
0.0026 |
100TB以上 |
0.15 |
153.6 |
0.0049 |
例1. 已使用存储额度25TB,则已使用存储额度费率为:
10TB·0元/TB·月+15TB·51.20元/TB·月=768元/月
例2. 已使用存储额度105TB,则已使用存储额度费率为:
10TB·0元/TB·月+40TB·51.20元/TB·月+50TB·81.96元/TB·月+10TB·153.6元/TB·月
=6912元/月
存储费用=已使用存储额度费+额外存储配额费
4.调整前后总费用变化参考:
已使用存储额度/可使用存储总量(额外存储配额)(TB) |
调整前月收费(元) |
调整后月收费(元) |
8/10(0) |
0 |
0 |
40/50(40) |
0 |
2355.2 |
90/100(90) |
3686.4 |
8192 |
125/150(140) |
9216 |
16947.2 |
由于总存储容量限制,现阶段原则上不支持100TB以上的额外存储配额申请,如果有特殊需求需要100TB以上的额外存储配额,需提供存储具体用途说明,由课题组长提交申请至生物电镜平台,并由领导小组评估可执行性。
2024年3月
生物电镜平台