京东自建数据中心核心技术解密:基础设施

《京东自建数据中心核心技术解密:基础设施》要点:
本文介绍了京东自建数据中心核心技术解密:基础设施,希望对您有用。如果有疑问,可以联系我们。

数据中心

和百度李彦宏在山西阳泉建立数据中心一样,京东的第一个自建数据中心也建在刘强东的老家江苏宿迁.这个IDC被称为京东云华东数据中心,整体由4个模块和1栋综合大楼组成,总占地面积将近6万平方米,总投资30亿元.

可以提供20万台的服务器安装和运营能力,存储能力不小于32EB,计算能力不小于128千万亿次每秒.

京东

作为京东的标杆项目之一,京东CTO张晨曾多次在业界大会上讲到:“宿迁自建数据中心的绿色环保技术,贯穿整个生命周期.从最初的概念设计到施工建造,一直到投产后的运营管理,保证数据中心年均PUE≤1.3(实测),在华东地区达到领先水平.”

接下来我们将为大家揭秘京东自建数据中心的核心技术,通过《基础设施篇》和《数据中心运营篇》,揭开它创新技术的神秘面纱.

制冷系统的技术创新

随着数据中心需求和规模的不断扩大,建设成本和运行成本不可避免的会成为企业的考量指标.数据中心不仅耗电量巨大,耗冷量也不可小觑.

据统计,数据中心空调系统的能耗一般占总能耗的20%-40%左右,其中制冷压缩机的能耗又占到空调系统总能耗的70%-90%.

降低空调制冷系统的能耗,将会是提高数据中心能源利用率最直接和有效的措施.因此,利用自然冷源来解决数据中心的散热问题,成为京东自建数据中心创新技术的核心考量之一.

Freecooling自然冷却系统

京东自建数据中心选址在江苏宿迁地区,一年中大部分时间的温度在-5~35℃之间,水资源丰富,属于暖温带季风气候区.年均气温14.2℃,四季分明,初霜期一般在10月下旬.相对于严寒地区,室外设备被冻结故障的可能性较小,而利用的室外自然冷源的条件又比较充足.

为了充分利用冬季室外天然冷源进行自然冷却,冷冻水系统设置了水-水不锈钢板式换热器,与冷水机组并联.

系统中设计冷冻水供水温度为10℃,实际运行中可以提高水温,来提高系统运行整体效率并延长自然冷却时间.

实际运行中,冷冻水系统在室外日平均温度持续5天以上低于10度时,切换到自然冷却系统使用,日平均温度持续5天以上高于10度时,开始退出.全年基本可以分为免费制冷季和常规制冷季.

数据中心

京东IDC建设部技术专家黄轶彪谈到:“我们在传统的Freecooling技术基础上,增加了一套自主设计的气候环境采集控制系统,我们叫“平滑的连续调整”的Freecooling技术.

利用这套技术,完全实现了制冷系统根据室内外环境温度、湿度、系统负荷大小、平滑连续的调节各组件运行状态,始终保持系统在最佳的效率区间.

而且全年可以“免费”使用自然冷源的时间高达180天以上,直接节约电费数百万元以上.”

制冷系统

制冷系统是数据中心的重要组成部分,担负着为数据中心提供可靠生产环境的任务.京东在宿迁的自建数据中心,采用三级压缩式冷水机组,结合水泵,冷塔变频控制带来很好的节能效果.制冷设备采用4台水冷离心式冷水机组,3+1配备.压缩机形式为三级离心式,三级压缩具有转速低、运行平稳、低负荷工况好的特点,加大了机组制冷量的调节范围,同时,在三级压缩的过程中设置两级节能器,与不带经济器的冷水机组相比,相同制冷工况下节电量达到8-10%.

冷冻水系统的设计供回水温度为10~16℃,主要设备采用N+1冗余配备,保证系统不会由于某一设备故障而受到影响.整个水系统管路采用环状管路,设备之间设置双阀门,保障系统可用性.

并配备有在线式蓄冷罐,可以无间断的为系统提供15mins备用冷源.空调制冷系统的整体设计满足并高于Uptime Tier Ⅲ级别的要求.

空调制冷系统由冷源系统、管路系统、末端空调系统和辅助系统等构成,数据中心专门设置有制冷机房.

空调末端系统

在京东宿迁自建数据中心的一期模块中,主机房内架空地板高度为1.2米.这种较高的架空层有利于空气静压的形成,使通风地板的出口风速平稳.同时也为地下保温层和管线的维护提供了较大的空间.对于不同负荷的机柜,可调整通风地板的开孔面积分配冷量.机柜采用冷通道封闭的形式,使得空调送风冷却效率更高.

每个机房模块配有独立的直膨式新风机组,室外新风经初效和中效过滤,并经冷却处理后送入房间,保证机房正压需求.

主机房、变配电室、电池室、UPS配电室等均采用水冷式精密空调,采用N+1配置方式.

精密空调全部采用“UPS+市电”双路供电,UPS电源为主用,为避免大量空调同时启动对电网造成冲击,空调采取了延时策略.

京东自建数据中心核心技术解密:基础设施

京东IDC建设团队对所选用的精密空调,采用了具备节能设计的产品,包括:

  • 空调EC风机叶轮采用航空级新型工程复合材料,质量更轻,强度更高,也更加节能;
  • 通过控制器根据实际冷负荷按比例设定送风量,满足外部变化的冷负荷,降低风机消耗功率,进一步实现节能;
  • 优化气流通道,扩大回风过滤器面积,减小内部压强,降低风机的功耗;
  • 机组超大面积换热器,将风机模块安装在架空地板下,更好的利用机组的内部空间;

精密空调内置电极式加湿器,具有水处理系统,自动检测加湿罐中的杂质含量并清除,减少了氧化结垢现象.

高可靠性的技术保障

京东在宿迁的自建数据中心,核心目标之一是全力保证负荷用电的高可靠性.

服务器电源是整个数据中心供配电系统建设的重点,了解服务器电源的相关特性对于数据中心的供配电系统建设具有重要的意义.

充分了解服务器电源的容量、冗余方式、制冷要求和能效设计等主要指标对于数据中心供配电系统的设计是十分必要的.

服务器冗余电源系统最终都可以归结到双电源系统上,如果双电源服务器的每一路电源都能通过独立的供电路由从独立的电源取电,就能够获得最高的可靠性.

市电专线的供电系统保障

建立京东专属的110KV开关站成为达成高可靠性这一目标的绝佳途径.110KV开关站紧邻京东宿迁自建数据中心园区,其上一级来自两个不同的220KV变电站专线.在110KV开关站内设2台变压器,容量满足整个数据中心园区的最大用电量.当两台变压器任意一台检修或发生故障时,另一台完全满足园区内所有设备的正常用电需求.

京东自建数据中心核心技术解密:基础设施

京东数据中心自建变电站

机房内所有电子信息设备都采用UPS供电,其中两个生产机房和两个网络机房电子的供电模式为2N,其余六个生产机房的供电模式则为N+1.

辅助设备电源采用“UPS+市电”的供电模式,单台UPS后备蓄电池支撑时间不小于15分钟.当一路市电电源故障时,故障回路负荷自动切换给另一回路承担.

即使当两路市电电源都发生故障,机房模块内负荷由UPS蓄电池供电,同时备用柴油发电机组启动,向机房模块、空调冷源、照明等负荷供电.

后备柴油发电系统

如果市电发生断电,数据中心的发电系统会自动投入运行,与市电自动切换.并在限定时间内,由发电机组启动确保重要负载的紧急供电.油罐储油量在无外部支援情况下满足发电机组大于12h带载连续运行,并有紧急供油协议作为后继可靠保障,任意一套油路系统PLC控制出现故障时,自动切换至另外一套PLC控制系统,保证系统供油的可靠性.当市电恢复,经过人工确认后,手动恢复市电供电.

京东在宿迁的自建数据中心,发电系统全部采用进口一线品牌的柴油发电机组设备,具有良好的启动性能.配有发动机缸套水加热装置,可以保证在低温时,系统的快速启动和带载能力.

机组可以承受负载突加75%的突发状况,保证发电机组快速启动后可以快速加载.对并机主控系统的冗余设计, 有效提高了并机系统的可靠性.发电机配置有防潮加热器,防止因空气湿度过高降低发电机绝缘性能而造成安全风险.

京东自建数据中心核心技术解密:基础设施

供储油系统在每个数据中心模块中独立设置,物理隔离.每个模块配置两个25立方埋地柴油储罐,每个柴油罐配置一用一备2台供油泵,两罐之间配置一台倒油泵.储罐区至机房日用油箱间输油管路为双环路设计,具备在线检修及容错能力.

非晶合金变压器

在宿迁自建数据中心项目中,IDC建设团队选择采用了非晶合金变压器,它既有普通干式变压器阻燃自熄、防潮、耐裂的优良性能,又具有非常优异的导磁性能,去磁与被磁化的过程极易完成.有利于降低损耗,增加有效载荷,提高效率.与普通干式变压器技术参数相比较,空载损耗下降65%-70%,节能效果非常显著.

智能照明系统

京东在宿迁的自建数据中心,所有主机房都采用了分布式照明智能控制系统.人员进入机房时,系统会根据感应打开该部位的灯具,人员离开时灯具则按设定的延时时间自动关闭.无人员进入机房时灯具能满足运维监控的最低亮度,达到节能与自动控制的目的.

实验性技术创新6sigma模拟仿真

京东IDC建设建设部负责人,首席技术专家张敬特别谈到了在京东宿迁自建数据中心二期的建设中,IDC建设团队引入的更多更前沿的实验性项目,包括:“通过6sigma做CFD气流仿真计算,了解IDC模块内的气流组织,温度分布情况,根据服务器的不同负荷状态,推算温度升高变化.”

“通过建立数学模型推算和6sigma CFD系统的验证,在确保服务器同等负荷状态,以及满负荷状态,服务器的实际需求功耗不增加的前提下,逐步提高服务器的运行温度,也就是数据中心模块内的环境温度.”张敬还谈到:“于此同时,我们根据数学推算和CFD仿真验证的结果,将会在二期的实验模块里引入一些更节能的冷却技术.”

京东IT资源服务部负责人吕科认为:“数据中心行业是一个技术含量非常高的服务行业,它为企业大量的电子信息设备提供安全的场所、持续的电力、适宜的环境、稳定的网络以及专业的运维服务.”

“这些表面看似简单的条件,背后却需要一个庞大复杂的综合系统来支撑.京东在人工智能,无人机,云计算等前沿科技领域,不断推出提升亿万用户购物体验的场景应用,正是基于我们持续技术创新的数据中心服务.”

“数据中心在安全性和可靠性方面的不断提高,一直会为这些创新技术的落地推广、上线应用、稳定运行保驾护航.”

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


起步 处理器架构,参考 x86是指intel的开发的一种32位指令集 intel和amd早期的cpu都支持这种指令集 AMD比Intel率先制造出了商用的兼容x86的CPU,AMD称之为AMD64 Intel选择了设计一种不兼容x86的全新64为指令集,称之为IA-64,后来支持AMD64的指令集,
pscp pscp -P 22 C:\work\test.txt root@192.168.1.5:/home/data pscp -P 22 root@192.168.1.5:/home/data/test.txt C://work// 检索 find / -name default.config
文件处理 ls -a # 显示所有文件 ls -l # 显示详细信息 ls -d # 显示路径 mkdir /目录名称 # 创建目录 cd /目录名称 # 切换目录 pwd # 显示当前路径 rmdir /目录名称 # 删除目录 cp -rp [目录名称] [目标目录] # 复制目录到目标目录 cp
准备一台电脑(我就用联想拯救者r7000演示) 参考博客制作启动盘 插上U盘,启动电脑,一直按F2 进入如下页面后,将U盘设置为第一启动项,点击exit,保存并退出 之后进入如下页面,选择第三项 进入如下页面,选择第四项 进入如下页面,选择第一项,选中后,先不要点Enter 按e键,将inst.st
认识 Linux系统是参考了UNIX系统作为模板开发的,但没有使用UNIX的代码;是UNIX的一种,但不是衍生版 在Linux内核的基础上开发是发行版 分区 逻辑分区永远从5开始 步骤 挂载:可理解为分配盘符,挂载点即是盘符名;不同之处:Linux中是以空目录名称作为盘符 Hda 第一块硬盘 Hda
文件处理命令 以 . 开头的文件是隐藏文件 以 - 开头表示这是一个文件 以 d 开头表示是一个目录 以 l 开头表示是一个软链接 第一个root是所有者,第二个root是所属组 ls -h 以文件默认大小后缀 显示 ls -i 查看i节点(唯一标识) 所有者:只能有一个,可变更 所属组:只能有一个
参考 01 02 03 前提环境 本地安装VirtualBox,并安装CentOS8,配置网络后,window系统上putty能连接到CentOS8服务器 配置步骤 右键服务器复制 启动复制后的服务器,查看ip和hostname发现和原来的服务器一样,需要修改 hostname # 查看主机名 vi
文件搜索命令 星号匹配任意字符,问号匹配任意单个字符 -iname 根据文件名查找且不区分大小写 -ok 命名会有一个询问的步骤 如果没有找到指定文件,可输入命令:updatedb 更新文件资料库;除tmp目录不在文件资料库收录范围之内 locate -i 文件名 # 检索时不区分大小写 which
安装环境 安装最新版的Virtual Box,点击安装 下载centos8镜像 创建虚拟机,可参考 选择下载到本地的镜像 设置启动顺序 点击启动 启动过程中报错:“FATAL:No bootable medium found!” 1.没有选择iso镜像 2.光驱没有排在第一位置 3.镜像只能选择x8
Linux严格区分大小写 所有内容文件形式保存,包括硬件 Linux不靠扩展名区分文件类型 挂载:将设备文件名和挂载点(盘符)连接的过程 Linux各个目录的作用 bin表示二进制 服务器注意事项 远程服务器不允许关机,只能重启 重启时应该关闭服务 不要在服务器访问高峰运行高负载命令 远程配置防火墙
IDE连接Linux,上传下载文件 参考1 参考2 连接Linux 上传下载文件 本地项目打包后上传 查看是否上传成功,右键下载 补充 后端项目开发完成后,需clean掉临时文件target文件夹,且只推送修改过的文件 前端项目开发的过程中,需要在每个子组件中使用scoped,确保每个子组件中的编码
起步 LTS与普通版本的区别 LTS版本的发布周期更长,更加稳定 安装jdk sudo mkdir /usr/lib/jvm # 在Ubuntu中创建目录 pscp D:\安装包\linux源码包\jdk-8u291-linux-x64.tar.gz chnq@192.168.0.102:/tmp
前言 最近在b站上看了兄弟连老师的Linux教程,非常适合入门:https://www.bilibili.com/video/BV1mW411i7Qf 看完后就自己来试着玩下,正好手上有台空闲的电脑就尝试不使用虚拟机的方式安装Linux系统 安装步骤 制作启动盘 下载ISO镜像,我这里下载的是Cen
新建虚拟电脑 设置内存和处理器 设置硬盘大小 完成 设置 查看光驱 设置启动顺序 点击启动 选择第1项 进入图形安装界面 选择安装位置,开始安装 设置root密码 重启 登录 查看本地文件夹 配置网络,点击设置 查看宿主机ip C:\Users\ychen λ ipconfig 无线局域网适配器 W
源码包安装需手动下载后安装 二进制包则在package目录下 rpm命令管理rpm包 若某个rpm包依赖于某个模块,需要到网站www.rpmfind.net查询该模块依赖的包,安装这个包后自动安装模块,之后就能安装rpm包了 安装升级时使用包全名 查询卸载时使用包名 虚拟机中的Linux系统安装rp
首先进入命令模式,再输入以下命令 命令模式用于输入命令 插入模式可对文件编写操作 编辑模式下的命令是在冒号后输入 :12, 15d # 删除指定范围的行,这里是删除12到15行 :n1,n2s/old/new/g ## 表示从n1行到n2行,old表示旧的字符串 vim使用小技巧:自定义快捷键,如快
使用源码包安装,需要自己指定安装位置,通常是 /usr/local/软件名/ linux中要想启动执行文件,应使用绝对路径 /绝对路径/rpm包名 start ## 执行方式一 service rpm包名 start ## 执行方式二 使用源码包安装后,由于自定义安装路径,就不能使用service命
网络命令 在收邮件的用户中,输入 mail 可查看邮件信息,输入序列号查看详细信息 在mail命令下,输入h 查看所有邮件的列表 输入:d 序列号 # 删除邮件 last # 统计所有用户登录或重启时间,用于日志查询 lastlog # 显示包括未登录用户的登录时间 lastlog -u 用户id
若要使用yum管理,必须能连接网络,首先配置网络IP 进入yum源文件中启动容器 使用yum源头安装rpm包不需要进入package路径,同时也不需要使用包全名,会有yum自动管理 安装软件组
简介 client即是本机安装的docker,相当于git Docker_host相当于centos系统 registry则是docker仓库,相当于GitHub 镜像用于创建docker容器,一个镜像可以创建多个docker容器 容器是由镜像创建的运行实例,(镜像相当于类,容器相当于类创建的对象)