摘要：最近几年采用高压直流系统供电的数据中心相继大量建成及投产，同时相关的行业标准规范也陆续出台。高压直流供电系统已被行业广泛接受和推崇，在数据中心领域已进入高速发展的阶段。本文结合工程实际，分析了高压直流供电系统的在大型互联网数据中心的工程实践中的优势，希望能够为工程建设人员提供参考。
关键词：互联网数据中心 高压直流 系统可靠性 运行效率
引言
传统数据中心行业一直采用 UPS 电源系统供电或低压直流系统 （48V） 供电。随着互联网数据中心业务的持续快速发展，传统的 UPS 供电模式在很多实际应用中不断暴露其自身的缺陷：
1、系统效率较低；
2、系统灵活性和可扩展性不高；
3、系统复杂、可靠性较差；
4、系统维护难度大。
为了提高运行效率及可维护性，提高系统部署的灵活性，降低成本以应付高速增长的海量数据中心服务器规模，我们大部分项目均采用了高压直流称240VDC 供电系统向 IT 设备供电。在项目实践中，高压直流系统对模块化数据中心的架构匹配更是明显优于过去的 UPS 系统。
一、数据中心电源系统方案
传统交流 UPS 系统由整流器、逆变器、蓄电池和静态开关等组成。在市电正常时，市电交流电源经整流器变换为直流电供给逆变器，同时给蓄电池充电，逆变器将直流电变换为 50Hz 交流电供给负载。在市电异常时，蓄电池放出电能，通过逆变器变换为交流电，供给负载。
高压直流系统（HVDC）主要由交流配电单元、整流模块、蓄电池、直流配电单元、电池管理单元、绝缘监测单元及监控模块组成。在市电正常时，整流模块将交流配电单元输出的 380 V 交流转换成 240 V 高压直流，高压直流经直流配电单元给通讯设备供电，同时也给蓄电池充电。在市电异常时，由蓄电池给通讯设备供电，原理图如图 1。
图 1 高压直流系统原理
在早期数据中心的项目中，多采用交流 UPS 的供电方案。但是，逐渐地在设计和大量数据中心运营过程中，我们发现采用交流 UPS 供电存在较多的问题：
1、系统工作效率较低。采用 AC/DC 整流、DC/AC 逆变的双变换，从 UPS 输入到通信设备的电力变换次数多，每次变换都有能量损耗，降低了系统供电效率。
2、系统稳定性不高。不同于 HVDC 电池直挂输出母线，因为 UPS 输出的是交流电，其蓄电池不能直接供电给负载，必须通过逆变模块变成交流电输出。所以如果逆变模块出现故障，即使此时蓄电池正常，也无法供电负载。
3、并机复杂以及负载率较低。为了提高可用度，一般 UPS 采用“N 1”并联冗余或“2N”或 2“N 1”系统。而由于并机复杂，正常情况下只有 2~3 台并机。假设 N=1，理论上每台 UPS 的最大负载率为：2N 系统为 50%，2“N 1”系统为 25%。而实际负载率为：2N系统为 30%~50%，2“N 1”系统为 15%~25%。在如此低的负载率下，UPS 的系统效率将会进一步下降。
4、可维护性较差。交流 UPS 并机系统比较复杂，如果出现故障，往往需要厂家的维护人员进行操作，不间断割接困难。而高压直流系统结构简单，维护工作容易开展，高压直流模块支持带电热插拔，可快速更换。
在成本以及可靠性的优化角度，高压直流系统应运而生。1999 年，21 届 INTELEC 99（哥本哈根）会议，法国电信首次提出了高压直流概念。2007 年，国内江苏电信开始试点 240V（工作电压 204~288V）高压直流通信电源产品。目前，以腾讯为代表的互联网行业的大部分数据中心均采用了 240V 高压直流供电系统。
240V 高压直流技术和传统的 UPS 技术相比起来，主要的优点表现在下面几点：
1、系统功率较高。采用功率 MOS 高频软开关技术的 240V 高压直流可高达 96% 以上效率，比采用晶闸管或 IGBT 的传统 UPS 效率更高，体积更小。高压直流的输入功率因数高、谐波小，且输出负载率可以比 UPS高，可降低柴发容量等。节能休眠技术可以大大提升轻载下的系统效率，减少机房初期的运行能耗。
2、系统稳定性高。电池直接挂在输出母线上，可靠性更高，且可在线扩容、不掉电割接等。拓扑简单，可靠性高。
3、可维护性高。模块化设计，按需配置、边成长边投资。模块热插拔维护，像更换硬盘一样更换故障模块，减少依赖厂家维保服务。
4、安全性高。高压直流比传统 UPS 要更安全，因为输出浮地，即便误碰到单极母排电压，触电电压也只有 135V，比交流要低近 1 倍，且交流 220Vac 的正弦波峰值电压高达 314V，也高于高压直流 270V 的电压。
另外，240V 高压直流可以直接使用在绝大多数的标准交流设备上（380V 高压直流等其他电压等级则不行）， IT 设备不用定制电源及设备改造，也较容易推广。
二、数据中心高压直流系统的设计对比
在高压直流供电系统的设计中，我们会遇到如何选取系统架构的问题，我们需要在系统的安全性、可靠性与工程建设的经济性之间做出取舍。这里对主流的几种供电系统结构做一个说明，供工程人员根据现场实际情况及负荷重要性等诸多因素灵活选取。
（1）第一种方式：高压直流单电源系统双路供电,如图2所示。
图2 高压直流单电源系统双路供电
这种方式系统结构简单，建设投资小。缺点是由于服务器双路输入均来自于同一套高压直流电源系统，系统在电源侧存在单点故障瓶颈。
（2）第二种方式：高压直流双电源系统双路供电
图 3 高压直流双电源系统双路供电
与高压直流单电源系统双路供电相比，高压直流双电源系统双路供电中每台列头柜配置的输入电源分别来自 2 套电源系统，消除了系统的单点故障风险，提高了供电的可靠性，缺点是系统配置采用 2N 方式，系统的冗余度较大，建设投资大。
（3）第三种方式：市电 高压直流双路供电
图 4 市电 高压直流双路供电
这种方式采用 1 路市电电源，1 路高压直流电源的双路供电形式，该方式该供电方式消除了系统的单点故障瓶颈，提高了供电的可靠性，且在每个机架内提供了交直流 2 路电源，且市电路无需电能的转换，可最大程度的提高系统效率。
目前新建的互联网数据中心，综合成本和可靠性大量采用第三种设计方式，即市电 高压直流双路供电。那么下面我们将从设备占地空间 用电效率两个角度， 将“市电 高压直流”与传统 UPS 供电架构进行进一步的对比。
图5是“2NUPS”和“市电 240V HVDC”从低压侧到服务器的供电拓扑。目前数据中心应用最为广泛的容量等级约为 400KVA、UPS 输出功率因数典型值为 0.8~0.9，折算成 360KW，相当于同样功率的单套 1200A 的高压直流系统。即两套 400KVA 的”2N UPS”和一路 360KW 市电 另外一路 360KW 的”240VHVDC“混合供电架构做对比，两者容量基本一样，供电可靠性也基本处于一个等级，具备可比性。
图5 两种供电架构供电拓扑对比
由于变压器及其输入前级基本一样不再比较，这里分别从变压器输出柜、不间断电源系统、电源输出配电柜、末端列头柜等多级配电路由来进行对比，定量分析配电柜的造价成本及配电柜数量，后者会影响到机房空间占用面积及场地租金等成本。
1）低压配电侧：对于 400KVA 的 UPS，变压器输出侧给到 UPS 需要两个 800A 左右的框架断路器，一个给到主路，另外一个给旁路，占用整个低压配电柜。因此两套 UPS 占用 2 个整低压配电柜。而对于“市电 240V HVDC”供电架构，市电直供支路直接由低压母线排直联的 1 个低压配电柜直接输出多路到各个列头柜，比如该低压配电柜内有 5 个 250A 的抽屉式塑壳开关，输出 5 路直接直联到 5 个市电直供的列头柜。而高压直流系统只需要 1 个 800A 的框架断路器，占用半个低压配电柜，剩余 1 个 800A 框架开关预留给另外一套高压直流系统用。所以，在低压侧 2N 的 UPS 系统需要 2个整低压配电柜，共 4 个 800A 的框架断路器；而市电 240V HVDC 系统在低压配电部分会占用半个低压配电柜，即 1 个 800A 框架断路器，以及 1 整个低压配电柜，带 5 个 250A 的塑壳断路器。
2）不间断电源系统：考虑同样大小的负载及同样15 到 30 分钟时长的后备电池时间，理论上电池的安时数应该是基本一样的，这里不再深入比较。再考虑不间断电源系统本身，对于 400KVA 的 UPS 通常都有 1 个输入配电柜、2 个主机柜及 1 个主输出开关共 4 个配电柜。对于 1200A 的“240V HVDC”也类似有 1 个输入配电柜、2 个整流柜及 1 个输出熔丝配电柜共 4 面柜子。可见，不管是电池还是不间断电源系统的机柜数量及占地面积两者差异不大，各占用了 4 个不间断电源系统柜。但这个配电层，市电直供支路无需任何开关及配电柜。因此，对于 2N 的 UPS 架构占用了 8 个机柜位，而市电 240VHVDC 架构只占用 4 个机柜位。
3）输出配电柜：每套 400KVA 的 UPS 输出通常都需要一个 800A 或者 630A 的框架断路器，以及 5 个左右的 250A 抽屉柜到每个列头，所以每套 UPS 的输出配电柜部分会占用 2 个配电柜位，即 1 个 800A 的框架断路器及 5 个 250A 的塑壳断路器。因此，两套 2N 的 UPS系统共需要 4 个配电柜位、2 个 800A 框架断路器及 10个 250A 的塑壳断路器。而对于“市电 240V HVDC”系统，市电直供支路无需配电柜及开关，同样对于“240VHVDC”系统，由于其输出配电部分已经包含在电源系统的输出熔丝柜内了，所以也不需要额外输出配电柜及输出开关等。
4）列头柜层级：基于同样总功率及单机柜功率密度来测算，2N 的 UPS 和“市电 240V HVDC”两个方案在列头柜数量及配电开关数量方面可以认为基本一样，只是会在微断及线缆方面会有些差异，造价有所不同。直流微断比交流微断贵，因此配电空开造价市电 240V架构会贵一些。在线缆投资方面，UPS 系统因为增加两套输出配电柜及线缆，以及手动维修旁路线缆等；而240V 的 HVDC 因为是单相供电，高压直流输出到列头柜的单相线缆成本会比 2N 的 UPS 的三相传输线缆成本稍高些，但总功率一样，耗铜量差别不会很大。可以认为“市电 240V HVDC”的线缆总投资不会超过 2N 的UPS 的线缆总投资。
所以，供电能力均为 360KW 的市电 240V 高压直流相比 2N 的 UPS，减少配电柜数量。按项目经验估算降低一次性投资 42 万左右，约节省 37.5% 的投资成本，并节省占地面积 6 个配电柜以上。
前面分析了很多一次性投资成本 CAPEX 及占地面积的比较。对于数据中心而言，更长的生命周期处于运营阶段，而运营成本构成中很大一块是电费。下面继续分析 OPEX 中的用电成本，对于 360KW 的系统，这里按 320KW 的实际负载来估算，分别比较 2N UPS 和市电 240V HVDC 在 8 年生命周期内的总电费差异。
UPS 系统的效率往往随着负载率的提升而增加，如果 UPS 系统长期处于轻载状态，那么运行的实测效率并没有达到宣称的最高效率点。对于 2N UPS 架构，每套UPS 的负载率往往只有 30%~40% 之间，虽然选用了最高效率为 94% 的 UPS，但实际的运行效率很可能只有90% 左右。而对于“240V HVDC”系统，由于有电池直接挂接母线，那么高压直流系统是允许节能休眠的，监控会自动开启需要工作的电源模块数量，并使电源系统在任何负载情况下都可以工作在最高效率点附近，即高压直流可以在全负载范围内都达到 94% 以上效率，而市电直供支路基本是 100% 供电效率，因此市电 240VHVDC 综合供电效率为 97%。
由于每千瓦 IT 都需要经过不间断电源系统供电，因此 320KW 的 IT 负荷经过 90% 效率的 2N UPS 架构每年损耗的电费（按每度电 0.8 元估算）高达 22.43 万元，而“市电 240V HVDC” 损耗 6.73 万元。此外，电力室内的不间断电源设备产生的热量需要额外的空调系统带走，还需考虑这部分空调能耗产生的电费，为简化分析按电力空调的散热能效 COP 为 4 估算。这样 320KW 的 IT 负荷在数据中心 8 年的生命周期内，仅仅计算不间断电源系统效率损耗及电力室空调能耗，2N UPS 供电架构损耗电费 224.32 万，而“市电 240V HVDC” 损耗电费67.28 万，节省了 157 万元的运营电费。
综上所述，在类似可靠性及输出能力的 2N 配置400KVA UPS 和容量为 360KW 的“市电 240VHVDC”供电架构，在带 320KW 负载的模型下。市电 240 VHVDC 供电架构比传统的 2N UPS 架构减少投资 42 万，并节省 6 个配电柜。还在机房运营的 8 年生命周期内，节省运营电费 157 万。折算成 TCO，仅仅在 CAPEX 及OPEX 的电费部分就节省投资 200 万。
三、数据中心高压直流系统的实践
腾讯第三代数据中心供电系统，采用“市电 240VHVDC”系统架构，该架构开启 ECO 模式后的供电效率高达近 98%，比双路高压直流系统节能 2% 以上，比传统 UPS 节能 6% 以上。且节能效果在轻载下尤为明显，开启 ECO 模式后的高压直流系统在负载为 30% 及以下时，总系统节能高达 10% 以上，这还未算电源系统散热能耗带来的额外节能收益。
在对腾讯数据中心过去两三年的基础设施事故统计后，我们发现 UPS 故障发生的次数较多，总发生次数占比达 9%，基本上每年都会发生四五起 UPS 故障导致的服务器掉电恶性事故发生。但采用高压直流供电的数据中心，虽然偶尔会有整流模块故障发生，但从来没有过因高压直流电源系统故障而导致的服务器掉电事故发生过（腾讯从 2010 年开始采用高压直流技术，目前存量在用的高压直流系统数量占多数），所以从基础设施测故障次数上看，采用高压直流供电的数据中心可靠性要高于采用 UPS 供电的数据中心。
我们继续从基础设施故障导致服务器掉电总数量的层面来分析，高达 41% 的服务器掉电原因是 UPS 故障，虽然 UPS 故障发生次数占比仅仅 9%，但其中某次 UPS故障就影响到了上千台服务器掉电，故障波及面非常大；同样的，因为高压直流供电机房没有出现过因为高压直流电源系统问题导致的服务器掉电事故发生，所以从这个层面上看，受高压直流系统故障影响的服务器数量为零，采用高压直流的数据中心供电可靠性方面有了非常大的提升。
四、结束语
通过回顾和总结大量的项目设计及运营经验，高压直流供电系统在数据中心工程实践中的优势非常明显。尤其是对于大型互联网数据中心，综合建设灵活度、成本、可靠性、可维护性等多方面因素考虑，采用高压直流供电系统成为了数据中心供电方案的首选。
（文章转自：《工程建设标准化》，国家新闻出版广电总局认定的第一批学术期刊、《中国学术期刊网络出版总库》全文收录期刊、《中文科技期刊数据库》收录期刊）
联系客服
