数据中心供用电系统可靠性提升方案

第1章绪论

1.1研究背景及意义

现在机房的电力供应，要求供电系统必须在24小时不间断都有效，供电可靠，维护简便，容错力强。数据中心机房建设是现代信息化建设的基础工程，为各个业务提供稳定、安全的工作环境，而机房的供配电系统就是这基础工程的心脏和大动脉，供配电系统的稳定，能够保障其它系统发挥作用和核心业务正常运行。机房供电系统不同于一般建筑的供配电系统，就拿配电系统来说涉及到市电供电机房配电系统设计方案，UPS，柴油发电机，HVDC（高压直流）等。各个系统互相交叉，互有影响。而上海某机房现状及老旧机房的大部分现状却有部分开始达不到或已经达不到现在最新的标准，其机房内配电系统路由存在短板，负载由单电源UPS供电或直接市电供电，供电可靠性低。

提高系统可靠性的途径有两条:一是提高设备的可靠性，即延长平均无故障时间MTBF，但是这样做要受到设备设计和制造的限制，效果不太显著，并且提高了造价;另一条是缩短平均修复时间MTTR,这一条容易做到，如使用通过两套UPS电源两条独立路由同时为负荷供电，当其中-套出现故障时，另一套可继续供电。待这一套故障修复后再接入，故从供电未曾中断的角度看，MTTR=0。所以，系统冗余是实现高可靠性的必要条件。而现在新型机房内存在双电源供电已为常态，客户需要可靠的电源对负载供电。所以提出对旧机房的供配电系统进行改造，提升供电可靠性，吸引新的客户，让机房转亏为盈。

1.2研究现状

随着5G时代的到来，对于数据中心的供电冗余能力要求是越来越高，一般要求电源供电系统的可用度A≥99.999%。因此，必须合理进行配置，达到系统供电安全最优化，是目前普遍存在的问题。

1.2.1国外研究现状

在国际上，大型数据中心普遍采用2N供电模式，也就是有2组UPS互为备份，当1组UPS出现故障，另外一组UPS仍然能保证IT设备的正常运行。2N配置，设备占用空间多，日常运行效率低，初始投资多，操作维护简单，但是使数据中心的不间断供电能力得到了极大的提升。

1.2.2国内研究现状

在国内，一些老旧的数据中心，由于设计缺陷、缺乏维护、长时间使用导致设备老化等，导致是数据中心供电系统的冗余能力得不到满足。最明显的就是中国数据中心需求方往往过分重视建设成本，其节约的主要方向在于设计和建造。甚至很多数据中心运营方的理念竟然是“不出事就是好运维”。在这种背景下，国内主要的一线城市纷纷出台措施，不仅严控新建数据中心，而且老旧数据中心的PUE也必须实现绿色化。这使得部分供电可用度达不到要求的数据中心只能选择改造，不然是没有活路的。

1.3论文的主要内容

本论文的主要内容为：本文以某数据中心在为本次毕设的研究对象，以某数据中心为典型，首先对国际上的大型数据中心供电模式进行分析，其次对本数据中心的供电模式进行分析。在对数据中心的供电可靠性越来越快高的国际背景下，如何经过改造来提高本数据中的供电可靠性，使得数据中心的供电可靠性得到顾客的认可，从而提高机房的入住率，吸引新的客户，让机房转亏为盈。

第2章机房现状与目的2.1机房现状

1.老机房，两路10KV进线，分多个变压器。图1-1为不同源两个变压器构成的低压配电系统。

2.有27台艾默生UPS（5×4+5×1+2）

3.有单电源设备、服务器

4.有双电源服务器，UPS供电

5.后端机柜功率为5KW

6.冷冻站二次泵等用市电带

7.精密空调，照明，应急照明等由UPS带

图21某机房两路低压进线图

对于机房而言，要改动机房的设施十分复杂，既要考虑到后端服务器的稳定供电，这可能需要不断电割接，又要考虑二次泵，应急照明，精密空调等改造为伪二路电源的风险，还有要考虑到的也是经济性和后期能带来的收益。

改造范围包括：UPS输入改造，增加电缆，STS设备，ATS设备，HVDC设备，蓄电池，UPS断电前用柴发带载，对不具备改造条件的机房实行主设备搬迁。

项目组成员和专业分工建议

组长:运维副总裁

副组长:机房经理

组员:机房经理助理、值班主管、生产用电部门相关现场人员

厂家成员:含UPS生产厂家、相关关键网络设备供应商

1).设备提供商的分工

UPS系统提供商负责提供本工程所需新增的蓄电池组、UPS设备及其所需的电力电缆，并负责安装、调试及开通所提供UPS和蓄电池组;负责本工程涉及的UPS、蓄电池组的质量保证及技术支持;

STS系统提供商负责提供本工程所需的STS安装，调试及测试；负责本工程涉及的STS的质量保证及技术支持；

ATS系统提供商负责提供本工程所需的ATS安装和跟UPS方共同完成安装调试和测试，负责本工程涉及的ATS的质量保证及技术支持；

2)，施工单位的分工

工程涉及的UPS系统内部的连接及安装由UPS系统提供商负责;施工单位负责完成UPS系统以外至二次输出屏以及二次屏至各业务系统负载的线缆安装布放、原有UPS输出屏供电的线缆安全割接。

STS系统内部的连接及安装由STS系统提供商负责;施工单位负责完成STS系统以外至二次输出屏以及二次屏至负载的线缆安装布放、原有STS输出屏供电的线缆安全割接。

3).设计单位的分工

对安装点进行前期工程勘察，配合收集有关电缆长度、电缆布放、设备安装位置等资料由设计单位负责，包括低压配电屏到UPS系统之间、UPS输出配电屏到各机房二次输出配电屏以及二次输出配电屏到各数据机柜

2.2改造目的

该机房投入至2018年未发生过重大的电力事故,但2019年以后，以UPS为主的电力事故不断。引起事故的表面原因多为UPS设备及电池老化性能下降、输配电器件误动作等,但究其实质还是单电源、单回路的配电结构没有对负载形成真正的冗余回路所致,并由此使小故障升级为大事故。

2旧系统配电回路结构及缺陷

旧系统的配电回路结构简图见图2-2。从图2-2可看出，该机房UPS的整个供配电回路结构上存在着严重的单点故障隐患，和容量损失分析如下。

图22原机房供电路由图

A）自动转换开关（ATS）的单点性：从市电输入侧看，虽然市电1，市电2形成了双路输入，但ATS是一个单点，而后市电与油机的ATS也为一个单点，使三路电源成为两路电源

B）其柴发启动逻辑不明确，因此全改为手动启动，柴发的启动的控制逻辑是由单路市电断电控制还是由两路市电断电启动

C）ATS的控制逻辑上存在误区，单路市电断电先跳ATS1，这与实际不符，如有误动作将会是很严重的后果，应控制范围，先跳后端ATS再跳前端ATS

D）UPS输出后端到负载全为单路径供电，对运维人员检修元器件不方便，任何一个元器件故障都会导致后端掉载，不能有效的监控后端设备。

E）UPS设备老化的缺陷：UPS的运行参数偏离的高效节能的合理区间，UPS在日常运行时市场出现误告警、实际运行参数与显示参数不一致，交流旁路越线等严重的故障，所以更新老化UPS也属必然

F）之前机房为了美观决定下走线线缆，，而机房内空调则是下送风上回风的送风方式，线缆的发热限制了空调的制冷效果，使空调的效率低，也是从节能的角度改为上走线，用电缆桥架。改造过程不能中断或影响业务的正常运行，利用原系统的输入输出柜和可用线路，节约投资。

2.2.1改造涉及范围

改造原则

本次设计总体.上应遵循先进性、实用性、开放性、统一性、可扩展性、安全性及可管理性的原则。

A、先进性:应采用世界上先进成熟的网络技术和设备，能承载和交换各种类型的信息。

B、实用性:以满足现有需要为出发点适度超前，应在要求与投资间权衡，以获取高性价比。

C、开放性:遵循国际、国内及相关行业的技术标准，采用开放技术、开放的体系结构、开放的组件、开放的用

户接口，实现平台、应用的互联互通和资源共享。

D、统一性:按照统一标准、统一平台要求，科学的统一规划设计及选型。

E、可扩展性:充分留有扩充余地，能在规模和性能两方向上进行扩展。

F、安全性:具备各种安全防护手段和措施，重点保证整个系统的安全可控性。

G、可管理性:具备良好的管理手段和界面，降低运行维护成本。

改造范围包括：

UPS输入改造；增加电缆；STS设备；

ATS设备；HVDC设备；蓄电池；

UPS断电前用柴发带载；

对不具备改造条件的机房实行主设备搬迁；

改造成效

改造后效果：

双电源机房的服务器出应有两路不同源电源供给；

单电源机房应有UPS和市电供给，通过STS无缝切换

改造后空调效率比之前高

ATS串联的单点故障消除，改为ATS并联，柴发在中间

单电源设备应有UPS供给，并且改造为伪二路电源

改造后设备的维护应更加便捷

2.3改造提出解决方案

根据原有机房情况，提出以下五种改造方案，并提出对比

1.改造为不同源一路市电、一路UPS供电

2.改造为两路不同源市电供电

3.改造为两路不同源UPS供电

4.改造为不同源一路UPS，一路HVDC供电

5.改造为伪二路电源供电

其低配侧从原有的两级ATS到ATS的并联，基本解决了ATS上的问题，图2-3为改造后低配的进线图

图23某机房改造后两路低压进线图

2.3.1改造为不同源一路市电、一路UPS供电

根据本身有多台UPS供电思考，从市电引入一源与UPS输出支出一源组成供给末端的二源电路，负载由双电源供电

单电源机房（机柜）改造（如图2-4）：

图24改市电，UPS供单电源机房（机柜）

如图，从市电测引出一条线和UPS输出侧支出的一条线共同接入到STS处，通过STS给列头柜供电，保证末端不间断。前端又是UPS来保证不间断，比之前提高了可靠性。而柴发则是和市电处于同等级电源，柴发的PLC逻辑也会相对简单，也能正确的保护线路，误跳的几率也会减少。

双电源机房（机柜）改造（如图2-5）：

图25改市电，UPS供双电源机房（机柜）

如图，从市电测引出一条线和UPS输出侧支出的一条线接入到两个列头柜，而每路列头柜则是带两路机柜，相当于‘U’字型，到每个机柜的电源是由UPS输出到列头柜①的电和市电输出到列头柜②的电共同供电。

优点：

不用大面积更改，从市电测引入一条线，也不用更换列头柜，只需要在列头柜上增加另一列机柜的空开即可。

末端由市电和UPS的电一起供电，在其他条件不变的情况下，能节省大笔成本。

2.3.2改造为两路不同源市电供电

单电源机房（机柜）改造（如图2-6）：

图26改两路不同源市电供单电源机房（机柜）

如图，根据市电的经济性，采用两路市电对后端负载进行供电，通过STS来转换，实现负载无时间转换。

双电源机房（机柜）改造（如图2-7）：

图27改两路市电供双电源机房（机柜）

如图，两路市电接入到两个列头柜，而每路列头柜则是带两路机柜，相当于‘U’字型，到每个机柜的电源是由一路市电到列头柜①的电和另一路市电输出到列头柜②的电共同供电。

优点：

利用市电的经济性，从市电测引入一条线，也不用更换列头柜，只需要在列头柜上增加另一列机柜的空开即可。

末端由两路市电的电一起供电，在其他条件不变的情况下，能节省大笔成本。

缺点：

不通过UPS，虽然后端成为了双电源，但没有UPS保障双路市电断电时只能由柴发带载，在柴发启动到带载的暖机时间则没有电来供给负载。

2.3.3改造为两路不同源UPS供电

根据本身有多台UPS供电思考，从UPS支路输出侧引入一条线与原本UPS输出一源组成供给末端的二源电路，负载由双电源供电。一路UPS在线，一路UPS离线式。这样既能保证后面负载的双优电源，也能减少损耗降低PUE。其供电效率由原来的双路UPS的90%一跃提升到97%。

单电源机房（机柜）改造（如图2-8）：

图28改两路不同源UPS供单电源机房（机柜）

如图，通过UPS的串联来保证单电源负载的供电稳定性，即使UPS跳旁路，也会是由另一路UPS的主路输出供电。

供到头柜的电源，头柜通过‘U’字形的供电形式，形成1路头柜供两路机柜的特色。

双电源机房（机柜）改造（如图2-9）：

图29改两路不同源UPS供双电源机房（机柜）

如图，通过两路不同源的UPS来保证双电源电源负载的供电稳定性，2路UPS的优质电源供到头柜的电源，头柜通过‘U’字形的供电形式，形成1路头柜供两路机柜的特色。

优点：

两路优电给负载供电

UPS具有净化电网的作用，两路UPS更增加了稳定性

两路UPS供电使MTTR=0

UPS的离线式能极大的降低电能的损耗，从而降低PUE

2.3.4改造为不同源一路UPS，一路HVDC供电

根据本身有多台UPS供电思考，又因HVDC比UPS工作效率高，因此选用HVDC的高效率来代替UPS的低效率工作，负载由双电源供电，UPS和HVDC带载率正常。HVDC在线式，UPS离线式。HVDC比UPS少了逆变模块，减少了能量的损失，而UPS离线式在正常的情况下也不会产生很大的损耗，在市电断电情况下也能正常的放电，保证不断电。这样既能保证后面负载的双优电源，也能减少损耗降低PUE。其供电效率由原来的UPS和HVDC的90%一跃提升到99.5%。双电源机房（机柜）改造（如图2-10）：

图210改HVDC和UPS供双电源机房（机柜）

如图为两路不同源的HVDC和UPS同时给机房（机柜）供电，高压直流电源模块和交流电源模块是通用的，所以可以通过UPS和HVDC给服务器供电。

优点：

HVDC和UPS的同时供电方式新颖

有支持直流的服务器可以通过HVDC和UPS离线一起来供电

高压直流电源模块和交流电源模块是通用的，所以双交流的服务器也可以接受供电

HVDC比UPS的效率高，后期成本降低

UPS的离线式能极大的降低电能的损耗机房配电系统设计方案，从而降低PUE

2.3.5改造为伪二路电源供电

基本上冷冻站的部分设备由UPS带，如水泵等设备，可以辐射到单电源设备需要用到。水泵，机房内精密空调，部分照明，应急照明等等。所以决定用UPS带后端设备负载，又因利用两路市电，所以决定改造UPS输入端，利用ATS来切换两路市电保证后端的不间断。

单电源机房（机柜）改造（如图2-11）：

图211改造为伪二路电源（单电源设备）

如图为单电源设备为了保证不间断电源而做的UPS输入端改造，改造后UPS为主路为市电①，ATS的另一路和旁路为市电②，PLC逻辑为当市电①断电时先跳ATS，改为另一路市电主路供电。用以保证后端负载电源的可靠性，稳定性。

双电源设备不用此改造。

第3章改双电源机房（机柜）方案对比3.1.改双电源机房（机柜）

为了让机房散发新的收益点，引入双电源服务器已成为定局，所以将原有的单电源系统改为双电源系统。现提出4种方案，从其中的供电可靠性，供电高效性，改造可行性，改造经济性等多个方向考虑，选择其中最优最好的方案。能慢慢的让机房起死回生并开始盈利。

3.1.1方案对比

方案①：改造为不同源一路市电、一路UPS供电

方案②：改造为两路不同源市电供电

方案③：改造为两路不同源UPS供电

方案④：改造为不同源一路UPS，一路HVDC供电

以上四个方案将从供电可靠性和经济性，未来发展方向性等方向来进行对比，就对于双电源机房（机柜）选择最优方案，就最优方案进行改造。

方案①：改造为不同源一路市电、一路UPS供电（图3-1）

图31改市电，UPS供双电源机房（机柜）

如图，改造为市电，UPS供给后端双电源设备，后端设备不需要改动，只需要在原有基础上增加断路器及线缆。

电缆粗细：大约为100平方毫米粗细

成本预算：200A的ABB断路器及100米线缆，和线缆桥架等

1900+1800×3+34×100+5000=15700元

优点：不用大面积改动机房，在其他条件不变的情况下，能节省大笔成本。运维人员重新熟悉系统时方便很多，可以在线式改造。

方案②：改造为两路不同源市电供电（图3-3）

图32改两路市电供双电源机房（机柜）

如图，在原有基础上增加两条线缆，直接由市电供电，不通过UPS等供电，可以减少UPS的逆变损失。

电缆粗细：大约为100平方毫米粗细

成本预算：200A的ABB断路器2个及100米线缆，和线缆桥架等

1900×2+1800×3+34×100+5000=17600元

方案③：改造为两路不同源UPS供电（图3-3）

图33改两路不同源UPS供双电源机房（机柜）

如图，从原有UPS输出母牌上多接一条线出来，供给机柜，UPS后带其他机柜，为机柜专属UPS。改造后供电可靠性提升许多，在不考虑成本问题下此方案为最优方案。可以选择购买新UPS，组成“一路UPS在线+一路UPS离线式”。

选择方法：购买新的UPS在线加离线式，艾默生400KVA

电缆粗细：低配出线大约为100平方毫米粗细，UPS出线大约240平方毫米。

成本预算：母牌，UPS设备，400A的ABB断路器2个及100平方毫米，240平方毫米的线缆各100米，和线缆桥架等

2500×2+3×1800+550×100+34×100+240×1500+5000=433800元

UPS价格：300000+200000=500000元

UPS备件价格：

优点：原有UPS和新UPS组成双路供电的方式，在线加离线式的新型方式引入，能够有效的减少离线式UPS的损耗，降低PUE。也就是说，按传统双路UPS方式，100度电可能有10度电由UPS损耗掉了，但现在只有0.5度电被损耗。

方案④：改造为不同源一路UPS，一路HVDC供电

图34改HVDC和UPS供双电源机房（机柜）

如图，增加一套新设备，增加HVDC设备及其配套蓄电池。UPS和HVDC供给负载的都是优电，且不间断，提高了可靠性。就是负载侧需要支持交直流的服务器才行。

选择方法：购买新的HVDC和UPS组成一组，互为备用。

电缆粗细：低配出线大约为100平方毫米粗细，HVDC出线大约240平方毫米。

成本预算：母牌,HVDC设备，400A的ABB断路器2个及100平方毫米，240平方毫米的线缆各100米，和线缆桥架等

2500×2+3×1800+550×100+34×100+240×1500+5000=433800元

UPS和HVDC费用：300000+220000=520000元

UPS和HVDC备件费用：

优点：UPS和HVDC的电源都是通过整流滤波后的优电，可以有效的避开市电的七大缺陷，包括闪断，陷压，电涌，频率漂移等。而且HVDC比UPS的效率高，能解决部分UPS存在的缺陷，包括逆变器的效率，HVDC不会有谐波等。

3.2改单电源机房（机柜）设备

改造完双电源系统，单电源的设备和服务器也备受关注，加强单电源设备和服务器的供电也要提上日程。针对机房现状，也提出4种方案，从其中的供电可靠性，供电高效性，改造可行性，改造经济性等多个方向考虑，选择其中最优最好的方案。

3.2.1方案对比

方案Ⅰ：改造为不同源一路市电、一路UPS供电

方案Ⅱ：改造为两路不同源市电供电

方案Ⅲ：改造为两路不同源UPS供电

方案Ⅳ：改造为伪二路电源供电

以上四个方案将从供电可靠性和经济性，未来发展方向性等方向来进行对比，就对于单电源机房（机柜）及设备选择最优方案，就最优方案进行改造。

方案Ⅰ：改造为不同源一路市电、一路UPS供电（图3-5）

图35改市电，UPS供单电源机房（机柜）

如图，一路市电和一路UPS共同给负载供电，通过STS实现不间断的转换。

电缆粗细：大约为100平方毫米粗细

成本预算：200A的ABB断路器及100米线缆和一台STS机器，和线缆桥架等

1900+3×1800+34×100+7200+5000=22900元

优点：不用大面积改动机房，在其他条件不变的情况下，能节省大笔成本。运维人员重新熟悉系统时方便很多。

方案Ⅱ：改造为两路不同源市电供电（图3-6）

图36改两路不同源市电供单电源机房（机柜）

如图，末端负载由两路市电供电，由市电的经济性来改造，付出改造费用少，如有客户，回本周期也短。

电缆粗细：大约为100平方毫米粗细

成本预算：200A的ABB断路器2个及100米线缆和一台STS机器，和线缆桥架等

1900×2+3×1800+34×100+7200+5000=24800元

方案Ⅲ：改造为两路不同源UPS供电（图3-7）

图37改两路不同源UPS供单电源机房（机柜）

如图，由UPS的串联来给负载供电,旁边UPS从输出母排上给另一个UPS的旁路供电，两边的UPS不同源，当一路市电断电时也可直接切到旁路供电，供电质量依旧可靠。

选择方法：老的UPS做串联系统

电缆粗细：UPS出线大约240平方毫米。

成本预算：400A的ABB断路器2个及240平方毫米的线缆200米，和线缆桥架等

2500×2+550×200+34×200+5000=126800元

方案Ⅳ：改造为伪二路电源供电

图38改造为伪二路电源（单电源设备）

如图，此改造为冷冻站这类设备的不间断电源改造，主要针对UPS的改造，不对后端进行改造，在UPS输入侧价格ATS，让它与旁路能够通过ATS来进行切换，此方法改动少，运维人员也不需要重新熟悉系统。

成本预算：施耐德万高ATS630A一台，旁路电缆全部重新连接2台100米

50000+1800=51800元

第四章方案选用及制定4.1双电源机房（机柜）方案选用

方案①：改造为不同源一路市电、一路UPS供电

方案②：改造为两路不同源市电供电

方案③：改造为两路不同源UPS供电

方案④：改造为不同源一路UPS，一路HVDC供电

方案①，方案②与其他方案对比：

在方案①，方案②中存在市电路由供电的情况，由于市电存在的九大缺陷；电源中断、电压下滑、电涌、欠压、过压、瞬态高压、噪声电压、频率波动、谐波畸变。市电不能直接对负载进行带载，如市电的瞬态高压如果直接给负载可能会导致服务器的烧毁，其他情况也可能会导致服务器掉载。所以从稳定性方面考虑，不采用市电直接对负载带载的方案。

方案③，方案④与其他方案对比：

方案③：由优电给负载供电可以避开由市电带来的九种缺陷，同时两路UPS给负载供电可以保证负载的不断电，而采用在线式和离线式UPS的结合，主用离线式UPS可以大大降低线路损耗和UPS本机发热，降低PUE。

方案④：不同源一路UPS，一路HVDC供电给负载供电，而HVDC比UPS损耗低，也能够有效的降低PUE，成本上也

比UPS来说便宜。

综合来说，UPS在线式和离线式一起用的风险比UPS和HVDC来说相对较高，仅在有高技术支撑的情况下使用(如百度云计算（阳泉）中心)。而UPS和HVDC一起给负载供电的方式也为新型供电方式，既能保证负载的稳定性，也能有效的降低PUE。且HVDC设备比UPS设备来说相对便宜。因此方案选用改造为不同源一路UPS，一路HVDC供电。

4.2单电源机房（机柜）方案选用

方案Ⅰ：改造为不同源一路市电、一路UPS供电

方案Ⅱ：改造为两路不同源市电供电

方案Ⅲ：改造为两路不同源UPS供电

方案Ⅳ：改造为伪二路电源供电

同上所述，由于市电存在的九大缺陷，对于负载的稳定性低所以不选用方案Ⅰ和方案Ⅱ。

方案Ⅲ，方案Ⅳ对比：

方案Ⅲ：两路不同源的UPS对单电源机柜供电，采用两路在线式UPS通过ATS切换给负载供电。解决了市电的不稳定性和市电断电的短时间问题。

方案Ⅳ：改造为伪二路电源供电，通过改造UPS的输入端来实现两路电源的优电模式，旁路供电为市电，在此设计中仅用作短暂供电，主用主路供电。

综合来说，采用两路UPS供电最为妥善，因此方案选用改造为两路不同源UPS供电（卖了之前的，重新买）

单电源设备方案选用

从上面方案Ⅲ和方案Ⅳ对比中，两种方案的稳定性都不错，但方案Ⅲ的投入太高，冷冻站的动力设备等从可停电程度来说比机柜来说次一级，为可短暂停电。所以采用方案Ⅳ。