1、2023 年 10 月分布式存储双活在电信运营商业务资源池中的部署研究周娜（广东省电信规划设计院有限公司，广东 广州 510630）【摘要】随着电信运营商用户数和业务数的不断增长袁其对承载业务平台的业务资源池依赖程度越来越高袁而大量业务平台集中部署容易带来极大的风险袁如网络故障尧设备宕机尧机房断电等遥 因此袁为保证电信运营商业务平台能够持续运行袁盘活电信运营商业务资源池袁结合相关工程实践袁提出了一种分布式存储双活方案袁以期为相关人员提供参考遥【关键词】分布式存储曰双活曰生产中心曰站点【中图分类号】TP333【文献标识码】A【文章编号】1006-4222（2023）10-0001-030 引言对
2、于电信运营商而言，由于其业务具有特殊性，任何自然因素或人为因素导致的应用或系统中断都会造成巨大的社会影响和经济损失，甚至造成严重的法律后果。为了满足电信运营商业务平台能够全天 24 h 处理业务的连续性要求，亟须在电信运营商业务资源池中进行分布式存储双活部署，以提高业务平台的冗余度。1 分布式存储双活概述分布式存储又称为软件定义存储（software definedstorage,SDS），其利用 x86 服务器的本地存储资源，通过聚合多个独立服务器的存储容量和性能，创建分布式的存储系统，按需提供存储容量和性能1。分布式存储具有较高的性价比和扩展性，并且能替代现有高造价光纤信道（fiber c
3、hannel,FC）存储方案，实现存储控制与硬件的解耦。分布式存储双活的主要技术原理是将同一数据的多个副本跨两个数据中心延展保存，两个数据中心的存储系统本质上属于同一套存储系统，并在独立的第 3 个数据中心启用一个专用监控模块输出说明（module output notation,MON）节点，保证当某一个数据中心出现故障时，数据和业务能够自动切换到另一个数据中心，不会影响存储系统的使用2。2 分布式存储双活架构分布式存储双活架构如图 1 所示。当同城的两个数据中心距离小于 100 km、时延小于 5 ms 时，通过光纤直连，两个数据中心站点之间采用双活模式运行，其中一个数据中心站点发生故障时
4、，数据和业务自动切换至另一个数据中心站点。跨两个数据中心站点创建存储池，创建多份业务数据副本，两个数据中心站点各分配一个 MON 角色，在独立的第 3 个数据中心站点部署一个 MON 仲裁节点。3 个站点之间通过高速、低延迟的网络进行连接。每个站点都是一个单独的故障域。当一个数据中心站点出现故障时，另一个数据中心站点和仲裁节点的 MON 组件可用，从而保证分布式存储集群能够持续可用3。3 部署方案在电信运营商业务资源池中进行分布式存储双活部署，需要对电信运营商的业务资源池进行梳理，并进行整体的分布式存储双活方案设计。3.1 电信运营商业务资源池设计目前，电信运营商业务资源池一般采用计算与存储分
5、离的模式进行设计，计算部分采用 4 路个人计算机（personal computer,PC）服务器或计算型定制化服务器搭建计算集群，存储部分采用存储型定制化服务器搭建分布式存储集群，按照 25 台 4 路 PC服务器和 20 台存储型定制化服务器（2 路 PC 服务器）的配比搭建一个分布式存储资源池集群。图 1 分布式存储双活架构生产中心 1应用程序 1 应用程序 2操作系统操作系统高可靠性生产中心 2应用程序 3 应用程序 4同步复制站点 A仲裁节点站点 B操作系统操作系统块存储卷块存储卷块存储卷通信设计与应用12023 年 10 月经过组网后的单个分布式存储资源池集群设备配置如下：25 台
6、 4路 PC 服务器，2 台千兆接入交换机，2 台万兆接入交换机，20 台 2 路 PC 服务器，4 台存储层汇聚交换机，2 台千兆接入交换机。万兆和千兆接入交换机通过万兆光口上联至数据中心站点业务资源池的汇聚交换机，万兆接入交换机之间通过万兆光口互联，千兆接入交换机之间通过万兆光口互联。4 路 PC 服务器通过万兆光口上联至万兆接入交换机，通过千兆以太网（gigabitethernet,GE）电口上联至千兆接入交换机，通过万兆光口与 2 台存储层汇聚交换机相连。2 路 PC 服务器通过万兆光口与 4 台存储层汇聚交换机相连，通过GE 电口上联至千兆接入交换机4。3.2 存储设备规划电信运营商
7、业务资源池分布式存储双活部署的设备规划如下。（1）3个中心。3 个中心即生产中心 1、生产中心 2、仲裁中心（仲裁节点）。生产中心 1 和生产中心 2 各保存两个副本。3 个中心各分配 1 个管理角色；3 个中心各分配 1 个监控角色。（2）41 个节点。节点包括生产中心 1 的 20 台存储服务器、生产中心 2 的 20 台存储服务器和仲裁中心一个仲裁节点（可规划为虚拟机）。3.3 网络规划电信运营商业务资源池分布式存储双活集群有3 个网络站点，即生产中心 1 站点、生产中心 2 站点和仲裁站点。网络架构采用二层网络互通配置。分布式存储双活集群网络可分为以下 3 个子网络。（1）双活集群管理
8、网络。该子网络将所有 3 个站点连通。（2）双活集群存储网络。该子网络将所有 3 个站点连通，且存储集群的所有 MON 通信使用该子网络。（3）双活集群业务网络。该子网络将两个生产中心站点连通。3.3.1 组网规划为实现电信运营商业务资源池中不同站点之间的双活容灾功能，规划 1 个独立的仲裁节点，配置管理网络、存储网络，并与两个数据中心站点互通，从而实现当任何一个数据中心站点出现故障时，分布式存储双活集群仍能正常运行的目的。将生产中心 1 的存储层汇聚交换机与生产中心 2 的存储层汇聚交换机通过万兆链路“口”字形相连，将生产中心 1、生产中心 2 的汇聚交换机与仲裁中心的汇聚交换机通过万兆链路
9、“口”字形相连；将生产中心 1、生产中心 2 的存储层汇聚交换机与分布式存储计算集群中的 2 台万兆交换机通过万兆链路“口”字形相连，电信运营商业务资源池分布式存储双活组网架构如图 2 所示。图 2 电信运营商业务资源池分布式存储双活组网架构仲裁中心仲裁节点服务器汇聚交换机-1汇聚交换机-2汇聚交换机-1汇聚交换机-22 台千兆接入交换机2 台万兆接入交换机2 台千兆接入交换机20 台 2 路PC 服务器25 台 4 路PC 服务器生产中心 1生产中心 2汇聚交换机-1汇聚交换机-22 台千兆接入交换机2 台万兆接入交换机2 台千兆接入交换机20 台 2 路PC 服务器25 台 4 路PC 服
10、务器通信设计与应用22023 年 10 月3.3.2 距离限制电信运营商业务资源池分布式存储双活集群的关键是降低各生产中心站点之间的网络延时，从实践角度分析，建议各数据中心站点之间的距离小于 100 km。3.3.3 站点之间的网络延时要求电信运营商业务资源池分布式存储双活集群要求站点之间的网络延时或往返时间小于 5 ms，单向小于 2.5 ms，即往返时延（round谣trip time,RTT）臆5 ms。3.3.4 生产中心站点之间的网络带宽要求在真实的业务场景中，全读或者全写的情况很少，用读写比率来衡量业务输入/输出（input/output,I/O）特性是常用的办法。由于双活集群的读
11、取操作不需要跨站点，因此，生产中心站点之间的带宽只需考虑跨站点的输出（写）即可。涉及的数据包括业务数据量、每秒读写次数（input/output operations persecond,IOPS）、辅助站点对象存储设备（object谣basedstorage device,OSD）副本数，计算如下：带宽=（业务数据量+IOPS伊2 000 Byte）伊辅助站点 OSD 副本数。（1）根据工程实践，生产中心站点之间的网络建议使用 100 Gbit/s 带宽。3.3.5 生产中心站点与仲裁站点的带宽要求（1）正常情况下，不会将仲裁站点作为集群恢复数据提供者，只用 1 000 Mbit/s 的带宽
12、即可满足使用需求。（2）正常情况下，向 OSD、客户端发送数据，当OSD 数量非常大时，所需带宽计算如下：带宽=3 000 Byte伊OSD 数量伊（MON 数量-1）伊2+存储卷数量伊OSD 数量伊2 Byte。（2）（3）异常情况下，如进行 OSDMAP 更新等，需要额外增加带宽，计算如下：带宽=1 kB伊OSD 数量伊（MON 数量-1）伊2+1。（3）（4）上述式（2）、式（3）计算的是发送带宽，由于仲裁节点接收的消息比发送的少，接受带宽可按发送带宽的 1/2 进行预估。（5）在极端故障场景下，仲裁节点需要作为集群恢复数据提供者，MON 集群恢复的速度与 RocksDB的读写性能相关，
13、其极限速度就是磁盘读写速度，因此，网络带宽需达到磁盘读写速度的 1/2。根据工程实践，生产中心站点与仲裁站点之间的网络建议使用 100 Gbit/s 以上的带宽。3.3.6 节点 MTU 设置在一个网际互联协议（internet protocol,IP）包中只能传输有限的数据量，即最大传输单元（meximumtranomission unit,MTU）。对于以太网数据包，超过1 500 Byte 的数据在发送之前必须分段。每当网卡接收到一个数据包就向主机发送一个中断信号以确定接收，这增加了主机的负载和中央处理器（centralprocessing unit,CPU）周期。随着发送包数的增加，路
14、由变得更加复杂。为降低网络延时给 I/O 性能带来的影响，可通过配置网络端口 MTU 为 9 000 来提高 I/O请求的发包效率，解决多副本同步输出延时造成节点返回慢的问题，主机的 CPU 周期消耗可减少 5 倍。3.4 存储资源池规划电信运营商业务资源池分布式存储双活集群是跨数据中心站点进行部署的，多个副本之间的数据传输性能依赖中间网络的质量，实际部署规划时需要综合考虑网络性能和可靠性。采用每个数据中心站点各保存 2 个副本的方式，这样在单站点内允许1 个数据副本出现故障，另一个数据副本可以继续提供本地访问。当单个站点内 2 个副本同时失效时，业务仍可持续跨站点进行访问，保证业务的连续性5
15、。存储资源池共配置 2 个存储池，由于读取操作是从主副本中读取数据，为了避免存储资源池跨网络的读取操作延时，设计将存储池 1 主副本设置在生产中心 1，将存储池 2 主副本设置在生产中心 2，存储池 1对接生产中心 1 主业务，存储池 2 对接生产中心 2 主业务，从而实现本地读取特性。当一个数据中心站点出现故障后，数据主副本会随业务切换到对端可用数据中心，继续提供本地读取特性，实现数据中心级故障域。4 结语为保证关键电信运营商业务持续运行，避免灾难性事件造成业务中断，电信运营商需建设业务资源池分布式存储双活集群。分布式存储双活架构可跨同城数据中心站点部署存储双活集群，同一数据的多个副本跨两个
16、数据中心站点延展保存，两个数据中心站点之间采用双活模式运行，其中一个数据中心站点发生故障时，数据和业务能自动切换到另一个数据中心站点，从而实现数据中心级故障域。参考文献1 黄根华，钟声伟.分布式存储系统在通信运营商云计算资源池的应用研究J.通讯世界，2017（16）：48-49.2 孙淳晔，庞亚南，邓芳.分布式存储在运营商中的应用与研究J.广东通信技术，2023，43（2）：71-74.3 张磊，杨明杰，闫润珍.基于双活容灾存储技术的云计算数据中心的应用分析J.数字通信世界，2019（8）：122.4 刘郁恒，杨龙刚.业务运营支撑系统双活容灾建设方案研究J.移动通信，2017，41（4）：88-92.5 谢帆，彭玉涛.基于 Hadoop 分布式架构的云存储系统、文件存储实现研究J.电脑与电信，2022（10）：102-105.作者简介院周娜（1982），女，汉族，福建东山人，硕士研究生，工程师，主要从事电信网络、信息化、数据中心建设咨询与规划工作。通信设计与应用3
