对液冷技术及其发展的探讨

 卡式机箱     |      2019-09-19 14:47

  数据中心能耗是行业一贯重视的问题,传统的风冷散热方式对降低数据中心能耗具有一定的效果,但高密度大型数据中心不断涌现时,液冷技术能带来更加直接的散热优势。浸没、冷板、喷淋是目前液冷的3种主要部署方式,且都已有市场应用。随着计算性能和密度提升,制冷会发生重大变革,数据中心和服务器行业将面临重构的挑战。

  一直以来,数据中心能耗都居高不下。尤其是我国数据中心行业发展比较晚,建设标准相对滞后,数据中心PUE普遍在2.2~3.0之间。高能耗不仅给企业带来沉重负担,也给社会能源造成巨大浪费。

  随着云计算和大数据技术的蓬勃发展,实际业务对底层基础设施的性能要求越来越高。性能的提高直接导致服务器功耗的不断增加,特别是作为服务器关键部件的CPU,随着性能提升功耗增加非常显著。在单机柜服务器数量不变的情况下,整柜的功耗几乎翻★△◁◁▽▼番,可以预见,这会给机房的散热带来多么大的挑战。

  万物互联时代的来临会继续激发移动产品和其产生的数据总量持续高速增长,数据中心必须向高密度配置服务器迈进。为了应对这样的变化,冷却技术也需要随之革新。2013年,工业和信息化部发布《关于数据中心建设布局的指导意见》指出,国内的大型数据中心也开始往气候适宜、能源充足的地区建设,例如内蒙古、山西北部等,这些迁移确实给数据中心的节能带来了收益,但还是无法从根本上满足服务器大功耗高密度部署带来的散热需求。

  液冷技术并不是一个全新的概念,在卫星、火箭发•□▼◁▼动机等航天领域◆▼也已有很长的应用历史,而在数据中心领域,20世◇…=▲纪60年代起大型主机已经开始采用,最为人们熟知的是IBM的System/360型91大型计算机。虽然大家都认可液冷的实用性,也有较好的实践成果,但由于在较低热度负荷时风冷的成本很低,且安装部署更为简单,所以IT产业在随后的60多年里大规模使用的是风冷散热系统。随着时间的推移和技术的进步,计算机芯片的密度越来越高,所要处理的计算工作也越来越复杂,热度负荷节节攀升,液冷技术逐渐被产业界拉出来“救火”。在液冷越来越频繁地出现在数据中心时,它相较于风冷散热的优势也逐渐显现。

  液冷是指使用液体作为热量传输的媒介降低数据中心温度,液体可以直接导向热源带走热量,不需要像风冷一样间接通过空气制冷。液冷将大部分热量通过循环介质带走,单台服务器需求风量降低,机房整体送风需求也随之降低,大大减少机房回流导致的局部热点。液冷有效抑制了CPU等元件内部温度的瞬间提升,因此可以在一定程度上允许CPU超频工作,增大部署密集,提高集成度。此外,液体的比热容远远高于气体,可以吸收大量的热而保持温度变化不大,散热效率得到极大提升。

  2017年,我国在用数据中心机架总体规模166万架,在运行中产生了大量的电量消耗。这些惊人的耗电量背后是高昂的电费支出,其中散热系统占绝大部分。采用液冷技术后,风扇、空调等不间断耗电的风冷方式可以被全部或部分取代,能耗迅速降低。以市面上某款液冷服务器为例,在CPU芯片和内存上安装了固定水冷板以解决服务器核心部件散热问题。与风冷相比,该服务器CPU满载工作时的核温降低了20℃,整机能耗降低了5%。

  电力在数据中心的能源消耗只有小部分是供给IT负荷,绝大部分都来自散热负荷,散热能耗远高于IT设备能耗本身。通过液冷系统削减散热系统的消耗,可以大大降低整个数据中心的能源消耗,极大降低PUE。此外,由于液冷系统的泵等元件比风扇的声音更小,整个液冷系统的噪音比风冷系统大幅降低,基本可达到“静音机房”的效果。

  数据通信设备的液体冷却系统的冷却子系统可以认为是一种液体回路,其中冷却液体与要冷却的部件做热交换。有些情况下,冷却系统的水由机架由CDU提供,也可以由服务多个机架的外部CDU提供。

  有关数据中心内潜在的液体冷却系统和回路以及使用的术语的详细信息参见图1。

  为了解决数据中心的高效散热问题,产业界做了大量的尝试。上文提到的利用自然冷源进行散热是一种降低PUE的好方法。此外,产业界在液冷方面也开始进行尝试,目前来看液冷主要有冷板、浸没和喷淋3种技术路线)冷板式液冷

  冷板式液冷的主要部署方式是在液冷机柜上配置分水器,给液冷计算节点提供进出水分支管路,分支管路进出水管分别与液冷计算节点的进出水口通过接头对接,与液冷计算节点的内冷板管路连通,实现液冷计算节点内液冷循环。液冷计算节点的液体在机柜级汇聚,机柜级有一进一出两个与外部管路连接的接头,该接头与外置或内置CDU 连接,实现液冷整机液冷循环,并带走液冷计算节点的热量。在冷板式液冷系统里的液冷节点中,CPU等大功耗部件采用液冷冷板散热,其它少量发热器件(如硬盘、接口卡等)仍采用风冷散热系统。

  这种散热方式与风冷相比,密度更高、更节能、防噪音效果更好。由于冷板式液冷技术不需要昂贵的水冷机组,所以部署后,在减少总体拥有成本的同时,数据中心的能源利用效率显著增加。目前,在风冷技术下,每机柜的功耗最多只能到30kW。而冷板式液冷在每分钟60升的流量配置下,能达到总功耗45kW每机柜,可以实现更高密度的数据中心。

  浸没式液冷是近年备受业界关注的新型散热技术,尤其在SC14全球超级计算大会上,来自国内外的多家服务器企业均展示了浸没液冷散热产品,极大提升了液冷的受关注•●度。

  浸没式液冷具有明显的优势。首先,在浸没式□◁液▷•●冷中,冷却液与发热设备直接接触,具有较低的对流热阻,传热系数高;其次,冷却液具有较高的热导率和比热容,运行温度变化率较小;再次,这种方式无需风扇,降低了能耗和噪音,制冷效率高;最后,冷却液绝缘性能优良,闪点高不易燃,且无毒、无害、无腐蚀。所以液冷技术适用于对热流密度、绿色节能需求高的大型数据中心、超级计算、工业及其他计算领域和科研机构,特别是对于地处严寒、高海拔地区,或者地势较为特殊、空间有限的◇•■★▼数据中心,以及对环境噪音要求较高,距离人群办公、居住场所较近,需要静音的数据中心具有明显的优势。

  喷淋式液冷作为液冷的一•☆■▲种,其主要特征为绝缘非腐蚀的冷却液直接喷淋到发热器件表面或者是与发热器件接触的扩展表面上,进行吸热后排走,排走的热流体再与外部环境大冷源进行热交换。

  喷淋式液冷机柜系统包括喷淋式液冷机柜系统(含管路、布液系统、回液系统和PDU等部件)、液冷服务器、冷却液三部分。喷淋式液冷机柜通过管路与室内热交换器相连接,即机柜内芯片的废热被冷却液吸收后传递到到室内热交换器并与室外热交换器进行换热。在该系统中,服务器内部各个发热器件要求采用分布式布局,建议发热器件的传热表面的方向不与重力方向相同;机柜内部器件电功率建议不超过56kW;服务器内部无风扇,存储硬盘需要保护和隔离;各个接口可以实现快拔快插。

  为了节能,国外做了很多大胆的尝试,例如微软在海底建设了自给型数据中心、Facebook在靠近北极圈的地方建设数据中心等,但这些主要是依靠环境温度进行节能控制。而回顾液冷技术在数据中心领域的发展,大概可以追溯到20世纪60年代。

  1966年,IBM推出了System/360型91大型计算机,这款巨无霸产品以高速度和高性能优势被运用在大型科学计算中,如太空探索、全球气候预测等。为了保证这个史无前例的大型机的稳定性和高效性,IBM专门研发了水冷系统。随后的几十年里,由于在热负荷不高的场景下风冷成本更低、技术更简单易行,液冷渐渐消沉。虽然IBM也先后在3081大型机和Power 575超算上应用了新型水冷技术,但真正较为系统和成熟的应用是在2010年7月,IBM的“热水”降温超算Aquasar。它的出现▽•●◆再次开启了液冷时代的新纪元,也助推IBM重回液冷巅峰。如今,IBM在德国慕尼黑部署超算中心(LRZ)SuperMUC,采用了40℃的温水作为IT设备制冷的冷媒工质,散热效率比普通风冷高4000倍,其产生的热水可以给LRZ超级计算机中心园区的其他生活建筑供热,每年可节省约125万美元开支。

  与IBM▼▼▽●▽●直接用水制冷不同,Intel与Green Revolution Cooling(GRC)历经一年合作后,推出了矿物油浸没散热系统。GRC是在美国国家科学基金会的初始资助下于2009年成立的一家公司,至今成立不到10年,但已在液体冷却技术解决方案上颇有建树和声望。推出的这套系统中的矿物油比热容是空气的1200倍,试验数据表明冷却效果比传统的空气冷却的耗能要低90%~95%。

  2018年,在I◇=△▲/O开发者大会上,Google推出了专为机器学习设计的芯片TPU的第三代,一个TPU3.0部署可提供超过100 Petaflops的运算能力,高密度的设计和高性能的计算速度让Google不得不在其数据中心中引入液冷技术。这也是Google第一次在其数据中心中使用液冷,从发布的产品图片来看,Google使用的极有可能是冷板式方式,但具体技术细节还未公开。

  我国数据中心行业组织开放数据中心技术推进委员会(ODCC)于2017年成立了液冷项目组,与上述企业以及中国信息通信研究院、百度、腾讯、阿里、美团、京东、中国移动、中国电信等用户单位一起,发起液冷系列规范的编写。整个技术规范将从液体、管线、IT设备、配电等方面进行考量,还对液冷系统的测试验证做了相应规划,包括基础性能、应用性能、热工性能、变负载、可靠性等各个方面。系列规范已于2018年10月16日“2018开放数据中心峰会”上正式发布。

  液冷技术起步不久,还有很多问题亟待解决。例如,机房的承重问题,每平方米1.5吨以上的载荷会对老旧机房的地板带来巨大压力;还有硬盘的失效率问题,从目前技术来看,硬盘的失效率并不会因为温度降低而降低。另外,液冷的行业标准目前▪•★还一片空白,虽然标准上的开放可以助推更多创新技术出世,但这对于液冷的▼▲性能安全、配套设施、人员监管、市场推广等长远▲●…△发展其实都很不利。

  中国信息通信研究院云计算与大数据研究所数据中心部高级项目经理,开放数据中心委员会(ODCC)新技术与测试工作组项目经理。

  中国信息通信研究院云计算与大数据研究所数据中心部副主任,高级工程师。开放数据中心委员会(ODCC)新技术与测试工作组组长。

  由工业和信息化部主管、中国信息通信研究院于1975年主办的《电信网技术》(月刊)自2018年3月正式更名为《信息通信技术与政策》。《信息通信技术与政策》刊载内容在覆盖传统电信领域的基础上向信息、通信和ICT领域延伸。本刊物重点解读行业政策、标准,报道国家重大科研项目成果及业内最新最热产品与技术解决方案。

北京赛车注册