创新与开放的力量――揭秘腾讯天津数据中心

2014-09-21 |  作者:周源 |  来源:cnw.com.cn |  查看原文

摘要国内的互联网企业如腾讯、百度和阿里巴巴等亦很快领会了这种开放与创新精神,积极学习国外新技术的同时,也致力于自主研发,从而建设出一批在领先性与国际接轨的数据中心,腾讯天津数据中心就是其中典型。

【网络世界】专稿

在数据中心领域,互联网企业是一个极为特殊的群体:为了支撑高速增长的海量业务,谷歌、Facebook等大型互联网公司不断探索和实践更高效更智能更节能的数据中心建设与运维技术,由此迸发或加速推进了许多创新技术,如自然冷却、模块化数据中心、整机柜等,可以说掀起了一场由企业用户主导的数据中心技术变革。

令人欣慰的是,国内的互联网企业如腾讯、百度和阿里巴巴等亦很快领会了这种开放与创新精神,积极学习国外新技术的同时,也致力于自主研发,从而建设出一批在领先性与国际接轨的数据中心,腾讯天津数据中心就是其中典型。

近日,为增强业内技术交流,腾讯首次向国内媒体、同行与企业用户开放腾讯天津数据中心,本报记者有幸实地参观了该数据中心。

巧用微信实现电子准入

腾讯天津数据中心是腾讯于2007年启动自建的第一个超大规模数据中心,可承载超过20万台服务器,也是目前亚洲最大的数据中心之一。

在腾讯天津数据高级经理闫昆的带领下,我们来到了科技感十足的天津数据中心园区。首先,整个园区在物理安全方面采用了国际上最先进的五层物理防护圈,包括红外线周界防范和24小时视频监控等。

在此基础之上,腾讯天津数据中心还有一道特别的防范措施:一般来说,要踏入数据中心机房重地,常见的做法是采用查验证件和纸质登记的准入方式,而腾讯天津数据中心已经完全实现了准入的电子化。在访客到达数据中心之前,相关的申请资料(包括个人身份证号、微信号、单位信息等)会在系统内部进行审核,审核通过后会通过微信向访客推送电子门票,访客到达数据中心时只需要出示电子门票的二维码即可完成授权,进入数据中心。

多项举措践行绿色节能

需要说明的是,我们这次参观的主要是新建成的腾讯天津数据中心三号楼。据闫昆介绍,这栋三号楼数据中心可承载10万台服务器,用电负荷相当于8万个城市家庭的总用电量,只不过目前还未达到满负荷运载。

进入该三号楼之后,首先映入眼帘的是下图所示的电子屏:显示着实时PUE值、安全运营天数和当前负载。

可以看出,虽然正值暑热未消的初秋,腾讯天津数据中心PUE值还能保持1.49,其实是个相当不错的数据。如此良好PUE数值的取得,则要归功于自然冷却、提高服务器送风温度、冷热通道隔离等各种节能技术的采用。

首先,在数据中心的一楼基础设施层,我们看到了规模庞大的水冷系统:各种巨大的管道用不同的黄、蓝等颜色来区分,分别代表供水和回水管道。在这些管道上还可以看到有各种大大小小的阀门,据闫昆介绍,在整个天津数据中心有上千个这样的阀门,这是因为冷水系统的管道设计成环形,当管道上任何一个位置出现破裂或其他故障时,就可以通过关闭附近的阀门来隔离故障点,不致于影响整个水系统的运行。这是一种高可用性的设计。当然,清楚地了解上千个阀门的具体位置,也成为天津运营团队的工作难点之一。

水冷机组只是腾讯天津数据中心的一种制冷方式。当秋冬季来临,外界气温降低时,天津运营团队就会关闭水冷机组,通过板式换热器和楼顶的冷却塔,利用室外冷空气对水降温,因此在冬天PUE值能降到1.2。这就是水侧的自然冷却。所有这些转换和控制都是通过自动控制系统来实现的,腾讯天津数据中心运营团队的主要任务,就是通过反复的实践,来摸索出最优的变频调节参数,以及设备轮巡和故障切换的控制逻辑,以达到最优的能效,节约运营成本。

众所周知,温度越低,空调越费电这是一个常识,因此适当提高机房温度成为数据中心一种有效节能手段,业界有专家甚至呼吁国家为此修订相关标准。但服务器有自己的安全运营区间(通常是低于27度),如果温度控制不好造成服务器过热宕机反而得不偿失,所以,在实际应用中,大多数据中心还是非常谨慎,维持着“冷得冻死人”的温度。然而,天津数据中心运营团队与服务器运营组于2011年联合开展了一个提高机房环境温度的节能试验,在服务器能接受的安全温度范围以内,通过精细化运营,将所有机房空调送风温度由17度逐步提升为25度。从此,腾讯天津数据中心服务器长期保持25度的进风温度、40度的出风温度工作。

此外,我们还在腾讯数据中心机房看到一些小的节能举措。例如,无人进入的时候自动关闭白色照明灯,只保留少量蓝色LED灯,保证最低照度满足视频录像要求,在小处体现节约。

供电创新:市电+240V高压直流

在三楼,我们参观数据中心的供配电系统。令人意外的是,我们并没有看到体型庞大的UPS(不间断电源)设备,原来,腾讯采用的是一路市电+一路240V高压直流供电架构,改变了传统UPS等靠硬件多重冗余来保障可靠性的高投入低能效模式。

据腾讯IDC数据中心架构师李典林介绍,腾讯第三代数据中心技术(即以TMDC为核心的数据中心技术)创新之一,就是服务器的供电变成了市电直供加上直流系统备份。和传统的双路UPS供电技术相比,最大的变化是,大家已经看不到UPS设备了。UPS是一种体型庞大、操作复杂的供电设备,而且还存在恶性事故的隐患。另一方面,腾讯TMDC技术用直流系统取代交流系统,系统结构更简单,稳定性更高,单单配电柜的数量就比第二代少了一半。越简单,越可靠,这个原则在数据中心也同样适用。

当前,240伏高压直流供电技术在国内虽渐渐兴起但仍未大范围普及,腾讯在240伏高压直流供电技术之上摸索出市电+直流供电技术,无疑是一种可贵的实践创新。

谈及数据中心供电技术未来发展方向,李典林表示:“数据中心供电技术的总体发展趋势是高压/集中式/交流大UPS向低压/分布式/直流小UPS方向发展,由机房外集中式铅酸电池向IT机柜内分布式小(锂)电池等方向发展,从化石能源向绿色能源方向发展。”

TMDC光彩亮相

2012年,腾讯自行研发出第三代的数据中心技术——TMDC。这是真正意义上的从中国设计到中国制造的技术,是国外没有的,它将有可能为传统数据中心的建设、资源运作以及运营带来若干颠覆性的创新。

在腾讯天津数据中心三号楼的核心区域——服务器机房,我们终于看到了此次腾讯天津数据中心开放日的重点展示对象:微模块与TMDC机房。本次开放日,也是腾讯第一次向外界正式发布自己的TMDC技术。

我们看到,一个腾讯第三代数据中心技术(TMDC)的典型机房由12个微模块组成。每个微模块都包含自身的配电系统、空调系统、消防系统和监控系统等,可以简单认为微模块就是一个微型数据中心。同时,它也是一个完整的产品(+微信网络世界),就像一台服务器一样,微模块的所有组件都在工厂预制和测试完成,到数据中心现场拼装好即可投入使用,这个时间最短只需要两个星期。因此,TMDC和微模块解决了传统数据中心建设的周期冗长、配合复杂的问题,可快速、灵活地部署,这个特点使TMDC更容易安排分期建设,保护投资。当数据中心退役时,这些微模块还可以很方便地拆卸下来,搬运到其他数据中心使用;而传统数据中心的机架则只好随数据中心一起报废、退役。

除了腾讯天津数据中心,腾讯宝安数据中心也已经部署了TDMC技术,同时,这种建设方式也得到运营商的全面肯定,目前已经和深圳联通、深圳电信、上海电信等在大型数据中心中合作推广。

在此次参观过程中,我们还注意到一些细节。例如可以看到参观通道的一根根绿色柱子上面都标注有字母或数字,据说是用来快速定位,并区分不同功能区域;又例如,腾讯认为人的生命第一重要,所以使用的水消防而非气体消防。此外,据闫昆介绍,这么庞大的一个数据中心,腾讯自己的运营团队只有15人,高效、自动化的运维,一直是天津运营团队不懈的追求,在现场我们也可以看到数据中心的值班巡检已经引入了手持PAD的电子化巡检,微模块智能监控系统也展示了腾讯数据中心在运营管理方面的努力和积淀。

迈向下一代数据中心

创新无止境。腾讯IDC平台部技术发展中心副总监朱华还向我们介绍了腾讯下一代数据中心架构的构想,这里面包括腾讯这些年对新能源的持续不懈的研究,希望用更环保、清洁的能源来驱动数据中心运行(腾讯最近在上海数据中心项目就会尝试用三联供的技术来实现分布式供电)。同时,在数据中心内部,腾讯也在积极研究更多的节能技术,例如全自然风的冷却方式、冷却系统去水化等,都将对未来的数据中心带来新的思考。最后,在数据中心的自动化系统方面,腾讯这两年也投入重兵,开始研发基于SDI(software defined infrastructure)的控制系统,并将逐步向业界推出数据中心监管控系统的南向和北向标准。可以说,这是腾讯在中国数据中心领域的薄弱环节下的一步重要的棋子。

创新虽然是动力之源,但互联网精神还包括开放与协作。作为国内互联网企业的代表,腾讯其实一直在开放自己的数据中心技术和经验,例如每年都会在很多行业峰会、技术论坛上宣讲自己最新的技术体会,同时也积极参与类似“天蝎”项目、开放数据中心联盟等开源组织,在其中贡献自己的力量。此次举办腾讯天津数据中心技术开放日,也是为了更加系统与完整地对外分享腾讯数据中心建设经验与相关思考。

“我们希望把腾讯摸索出来的经验更多地分享给业界,可以让后来者少走一些弯路,同时也希望能推动中国数据中心生态圈的健康、快速发展。”腾讯公司副总裁别洪涛说。

相关文章