1

UPS方案

由于空調(diào)的重要性，大負荷IDC機房空調(diào)的供電等極應不低于服務器設備的供電等級，因此采用UPS供電也并不為過。在國外，大型數(shù)據(jù)中心的機房空調(diào)系統(tǒng)采用UPS供電的方法越來越普遍；在國內(nèi)，江蘇電信公司部分機房把專用空調(diào)的風機接在UPS上，這樣解決了停電后的短時間氣流組織中斷的問題，從使用效果來看還不錯。采用UPS方案不利的因素是存在投資過大的問題。

2

IDC空調(diào)雙電源方案

對IDC機房，同一個機房的空調(diào)電源最好不要同時使用同一路電源，以防止一路電源中斷就會導致機房溫升過高。IDC機房的空調(diào)配電屏，進線電源必須有兩路，兩路電源必須來自不同的低壓配電系統(tǒng)，兩路電源間可以手動切換或者采用ATS自動倒換，如果采用ATS最好設置成不同的主路（但是在油機供電下，要注意ATS的自動切換可能會引起部分油機的過載）；一旦電源中斷，可以縮短中斷時間并減小影響面。圖1、圖2和圖3是杭州電信IDC普遍使用的雙電源屏和雙ATS電源屏。

3

空調(diào)配電屏接線方法

相臨的空調(diào)應該從不同的空調(diào)配電屏引出，如1個機房布置16臺空調(diào)，兩塊空調(diào)配電屏，那1、3、5、7等奇數(shù)空調(diào)就從配電屏1引入（主用市電1），2、4、6、8等偶數(shù)空調(diào)從配電屏2引入（主用市電2）。這樣即使一路電源發(fā)生異常，影響到的空調(diào)是部分的，恢復的時間也很快。

4

雙ATS電源柜＋空調(diào)新型電源接線方法

這種方案是對方法2、3的綜合應用，即采用ATS的同時采用雙電源屏方案。從實際使用效果來看，在兩路高壓引入的情況下，采用雙ATS電源柜＋空調(diào)新型電源接線方法，比用UPS供電更經(jīng)濟，而且可靠性也沒減少多少，由于同一機房的空調(diào)電源來自于不同的高壓系統(tǒng)，如果這兩路高壓是真雙路的話，那同時停電的概率是很低的；而在停一路高壓的情況下，還有一半的空調(diào)在運行，最重要的是氣流組織不會中斷，在油機啟動倒電過程中機房的溫升還是可以接收的。一個大的IDC機房最好有兩塊以上的空調(diào)配電屏，以方便上述方法的空調(diào)接線，如果僅采用一塊空調(diào)配電屏，空調(diào)配電屏內(nèi)部的空開要有備份和冗余。

2空調(diào)配置

機房空調(diào)的冷量要大于機房的最大熱負荷并有富裕，空調(diào)的配置原則是根據(jù)機房總熱量總體規(guī)劃空調(diào)設計，按照N+1原則配置空調(diào)數(shù)量?？墒俏覀儠龅竭@樣一個問題：空調(diào)已經(jīng)按照N+1配置，為什么IDC機房溫度會打不下來？

1

分區(qū)配置原則

傳統(tǒng)的配置是以機房為單位；采用的是房間級制冷，空調(diào)是以機房為單位進行制冷，但這種方法的配置和冗余并不適用于大型的IDC機房。

現(xiàn)在的IDC機房由于建設規(guī)模大、面積大和機柜功率密度高，如果按照房間級配置空調(diào)，一臺空調(diào)發(fā)生故障，由于冗余的空調(diào)相距過遠，氣流組織無法送達，會造成局部機柜設備過熱；因此大型IDC機房的空調(diào)要進行分區(qū)配置，即把一個大型的IDC機房劃分為若干個分區(qū)，然后保證每一個分區(qū)內(nèi)的空調(diào)均有冗余，這樣空調(diào)發(fā)生故障后，每一塊區(qū)域內(nèi)的服務器才是安全的。杭州電信的興議、濱江等IDC機房，就以四列的機柜為一個分區(qū)，然后按照每個分區(qū)都滿足N+1的冗余方式配置，是一種比較安全的辦法。

2

空調(diào)冷量取值

機房空調(diào)的冷量計算要采用顯冷量，而不是空調(diào)全冷量。要保證機房空調(diào)的總顯冷量始終大于機房的熱負荷，但是機房空調(diào)的顯冷量在不同情況下是一個變值，它標注的顯冷量是在23度、50％下測定的，隨著機房濕度的增高，機房空調(diào)的顯熱比會下降。比如一臺制冷量標注100KW的機房空調(diào)，測試工況下顯冷量90KW，當機房現(xiàn)對濕度達到65％以上時，空調(diào)的顯冷量只有80KW了，20％的冷量消耗在除濕過程中。設計過程中如果按90KW或者100KW的數(shù)據(jù)設計，夏季高溫高濕環(huán)境下，機房的冷量就會不夠。另外在較大的IDC機房里面，由于混風情況的存在，導致空調(diào)的送回風溫差過小，空調(diào)顯冷量進一部下降。因此在確定空調(diào)的制冷總?cè)萘繒r，必須加大30％以上，目前的經(jīng)驗認為，空調(diào)的總制冷量必須是機房熱負荷的1.3～1.6倍，大型的IDC必須取上限。

3

合理的N值

從IDC運行情況來看，N+1的N數(shù)值要合適，N大了，冗余度不夠，機房不安全；N小了，機房會安全，但投資大且造成空調(diào)運行的能效比過小，如果采用冷備用空調(diào)（停機），部分冷風也會從停機的空調(diào)回風口跑出來，造成氣流短路或者氣流倒灌，影響機房的原有氣流組織，如果能夠以低速或者低風量運行備用空調(diào)，那總體風機功率就可以下降，效率提升；IDC機房空調(diào)的N取值在4～5之間是比較合理的，更高密度機房則要把N取值再減低。

另外對于部分新建和擴建機房，由于負荷的不確定，空調(diào)無法一部安裝到位，是隨設備的增加而陸續(xù)增加的，這種情況要統(tǒng)一規(guī)劃好空調(diào)的位置，并跟蹤機房熱負荷變化情況，適時增配空調(diào)，確保機房始終滿足N+1原則。

空調(diào)配置多，可以提高機房的安全性，但會降低空調(diào)的能效比，導致耗電上升，如何以較少的備用機房空調(diào)在高密度機房情況下實現(xiàn)冗余是我們機房空調(diào)運行中必須關注的一個問題。

3機房大環(huán)境氣流組織

這是IDC規(guī)劃和設計的重點和難點，氣流組織的產(chǎn)生、氣流組織的配送和氣流組織的返回都要合理，一個高效有著良好氣流組織的IDC機房是規(guī)劃和設計出來的，而不是靠后期改造出來的。對于一個新建的IDC，從有利于氣流組織的角度出發(fā)，下面這些是必須注意的。

1

機房布置

大型IDC機房不宜為正方形，而應為長條形，這樣有利于空調(diào)布置，并減少空調(diào)的送風距離和風阻。

2

送風方式

新建的IDC空調(diào)應該是下送風方式，冷熱風道進行分離。

目前的送風方式有上送下回、側(cè)送側(cè)回、上送上回及下送上回等多種方式，但是下送風方式比上送風更有利于機房的氣流組織和提高送風效率，如圖4；冷熱通道分離是指各個機柜服務器均以面對面，背高背的方式進行布置。冷熱氣流組織隔離后氣流組織更合理，而且增大送風和回風之間的溫差，從而提高機房空調(diào)機組的效率。目前的研究表明，達到相同制冷效果的前提下，下送風所需風量比上送風所風量小，這也就說明了下送上回式風比上送下回氣流組織效率更高。

3

關注地板高度、樓房的凈高和機架間距

活動地板的高度對機房空調(diào)的空氣循環(huán)效率有著重大的影響，架空地板的高度應根據(jù)負荷密度、機房面積綜合確定。所需的凈高度取決于機房的大小功率密度和空調(diào)的設計方案，對于氣流組織來說，活動地板高度是越高越好，大型IDC機房建議地板凈高≥60cm（圖5），并根據(jù)機架負荷可以適當加大機架間距。

IDC機房的高度不宜太低，要保證回風層的層高，如果這個高度如果太低，會影響空調(diào)的回風效果，導致機柜內(nèi)部的熱量不容易返回到空調(diào)，另外在市電中斷過程中，機房層高也會影響到服務器宕機的時間，因此要保障機房的層高，圖4是建議的機房高度。

4

風道完整

要保證冷風道的完整，這樣才能保證氣流組織，常規(guī)的解決措施如下：

封閉地板上所有不必要的開口，包括未安裝服務器的機柜、UPS電源和空調(diào)電源柜等下部的開口，防止冷風風道氣流泄露；

靠近墻面和電纜井的地方也需要進行封閉。

實際使用中，如果發(fā)現(xiàn)機房某處的溫度明顯過低，就表明該點的附件存在冷風泄露，要找出泄露點并進行封閉。

5

開口地板的布置

開口地板應該布置在需要冷風來對設備進行冷卻的位置。不要在機房空調(diào)機組附近放置開口地板，否則空調(diào)送出的冷風很容易返回到空調(diào)，開口地板與空調(diào)機組之間應保持至少2m的間距。

冷通道封閉

各機柜以面對面成排方式布置，在冷通道上機柜的頂部和整列機柜的兩端進

行封閉。這樣送風和回風之間就實現(xiàn)了完全的隔離，冷風通過活動地板送到密閉的冷通道內(nèi),熱風離開機柜進入機房環(huán)境，再返回到機房空調(diào)機組（圖7），機房本身處于一個較高的溫度水平。

要注意的是整個IDC機房內(nèi)的所有冷通道都必須被密閉，這樣才可以體現(xiàn)封閉的優(yōu)勢，僅僅封閉機房內(nèi)的部分冷通道沒有太多的作用和意義，因為在沒有封閉的地方，跑出的冷風都可以與熱風混合從而抵消預期的節(jié)能效果。封閉冷通道后，空調(diào)的送回風溫度均可以提升，使制冷系統(tǒng)運行在高效情況下面。

但是在實際運行情況下，冷通道被封閉后，機房其余的空氣溫度會變得更熱了（在27℃～35℃），在這種高溫下，用戶會以為是空調(diào)發(fā)生故障，即使事先溝通，知道該情況機房空調(diào)未發(fā)生故障，進入機房巡視的人感覺也會很不舒服，因此要和用戶充分溝通，讓他們認識并接收這種觀念。否則用戶就會要求降低空調(diào)

設置溫度，這樣一來，節(jié)下的能量又回去了。

熱通道封閉

各機柜以面對面成排方式布置，在熱通道上機柜的頂部和整列機柜的兩端進

行封閉，以管道或者天花板的形式把熱風引會到空調(diào)機組內(nèi)，這樣送風與回風之間也實現(xiàn)了隔離（圖8）。

由于冷風送到整個機房，機房處于一個較平均的溫度水平，而熱通道能夠保持較高的溫度。現(xiàn)有資料顯示：在典型的高熱機房中，服務器熱風和機房室溫的溫差一般在17℃左右。如果機房溫度按ASHRAETC9.9要求保持在22℃，那么17℃的溫差可以使服務器的排風溫度達到39℃。但在實際的熱風封閉系統(tǒng)中，制冷機組的送風量往往會比服務器需求量要多，而且會有少量的機房空氣進入熱通道，這樣導致回風溫度略有下降，但仍然達到38℃，這樣高的回風溫度使得與制冷盤管的熱交換更充分，制冷設備利用率更好，總效率也更高?；仫L溫度的提高對制冷機組制冷量的影響適用于幾乎所有的空調(diào)，所有的制冷系統(tǒng)在回風溫度較高時都將具有更大的制冷量。

通道封閉需要考慮的因素

通道封閉會增加建設成本；在機柜的前方和后方安裝密封盲板均會增加成本。

通道封閉會造成回風溫度升高；密封越好，空調(diào)的回風溫度越高，要關注空調(diào)設備和用戶工作環(huán)境溫度的運行限制。

通道封閉要不影響到現(xiàn)有的消防系統(tǒng)。在對冷熱通道封閉的過程中，會對消防系統(tǒng)產(chǎn)生影響，一旦火警，消防氣體不容易進入封閉的通道內(nèi)，影響消防系統(tǒng)的使用，針對這種情況，杭州電信的技術人員在東冠IDC中心采用了可以自動敞開的柜頂（圖9），在柜頂安裝有電磁鐵（圖10），正常情況下，電磁閥線圈得電，吸住柜頂擋板；電磁線圈和消防聯(lián)動，一旦火警，電磁線圈失電，柜頂擋板在重力作用下自動打開，冷通道從封閉模式變成敞開模式。

這樣做帶來兩個好處，一是解決了消防的問題，另一個是和市電聯(lián)動，在市電中斷過程中，敞開的通道可以延長服務器的宕機時間。

機柜內(nèi)部氣流

對于服務器來說，如果空調(diào)總的制冷量和機房大環(huán)境氣流可以滿足機房要求，最后還要保證機柜內(nèi)部的服務器的溫度正常，換句話說就是機柜內(nèi)服務器產(chǎn)生的熱量要能通過機柜內(nèi)部的小氣流組織及時帶走；在機柜里面，一方面，空氣氣流會選擇流阻最小的路徑，我們要阻止機柜內(nèi)熱空氣同冷空氣混合，另一方面，在一個機架內(nèi)，冷氣是從下部送入，自下而上流動，機架最上部服務器溫度往往是最高的，如果機柜內(nèi)部的小氣流組織不合理，或者冷風進風量不夠，就會造成服務器局部過熱。

消除氣流回流

在氣流回流存在的情況下，機架正面的垂直溫度梯度會很大，部分機架前部的上下溫度差可達10°C。因此要使用盲板或擋板來封閉服務器被拆除或者未安裝的空間，防止部分冷空氣直接跑到熱風風道內(nèi)，另一方面也可以防止服務器的熱風通過這些部位回到服務器的冷風風道內(nèi)，造成氣流組織短路。。安裝擋板可以防止冷卻空氣繞過服務器上的入口形成熱空氣循環(huán)，在機柜上層服務器的入口溫度有了明顯下降，圖11美國電力轉(zhuǎn)換公司對安裝盲板前后的服務器進風溫度對比情況。

新型工藝機柜

這種機柜是專門對機柜內(nèi)進行優(yōu)化和機柜氣流組織設計，直接在機柜內(nèi)部進行送風，采用盲板和漂浮式盲板來封閉機柜上未使用的單元，機柜的前門和服務器形成一個單獨的冷通道，熱風從機柜的后面和上端排出，避免了機柜內(nèi)氣流短路，氣流組織比較合理。根據(jù)這個原理，浙江電信分公司在2008年專門研制了新型工藝機柜，并在杭州電信的IDC機房進行應用，如圖12，在單機柜功率4KW情況下，這種機柜冷卻良好并起到很好的節(jié)能效果。

更高密度服務器布置

在IDC運行情況看，我們會遇到兩種不同的熱點問題，一種是在高密度區(qū)域布置更高密度服務器造成的局部溫度過高，如在平均機柜5KW的機房布置10KW以上的機柜；另一種是整體熱點問題，一個機房的所有服務器均是高密度設備，如單機柜平均功率10KW以上，造成整個機房溫度過高問題。對于前者，最好是不要這樣布置，如果逼不得已，那最好能采取一些特殊的補救措施；對于后者，建議重新設計IDC機房。

1局部更高密度布置方案

不同功率密度的服務器不宜布置在同一機房，尤其是在固定密度區(qū)域布置更高密度服務器，會導致機房局部熱點問題突出。但在實際過程中，往往又不可避免，比如用戶一定要這樣布置，而溝通無效的情況，如何解決這些問題？

方法一：在現(xiàn)有的運行空間內(nèi)加強冷卻能力

如果用戶無法對他的高密度服務器進行分散，這種情況下，就要想辦法增加冷卻能力，如杭州電信就在機房里額外增加了部分空調(diào)（圖13），并在高熱區(qū)域增加開口地板數(shù)量，也可以安裝地板下氣流輔助裝置（圖14），個別機房安裝了特制的回流管道（圖15），確保高密度服務器可以得到足夠的冷量，同時服務器排出的熱量可以順利返回到空調(diào)。

方法二：分散高密度機架

但在實際情況中，由于機房空間的限制，增加空調(diào)冷量的方法很難實現(xiàn)，因此將高密度負載進行分散是一個比較有效的方法，這樣分開的高密度機架可以有效地“借用”鄰近機架的冷量來進行冷卻。杭州東冠IDC機房，用戶要在機柜設計功率4.5KW的機房放置部分12KW的核心網(wǎng)絡設備（ciscoN7K），在解決這個問題時就采用了熱量分散原則，將兩個機架布置在不同的兩列，并留出三個機柜的位置用來冷卻這個高密度機架，這樣機房平均功率密度控制在設計的范圍內(nèi)，如圖16：

2整體高密方案

如果所有服務器均是高密設備，必須重新設計IDC機房，但是我們會面臨一個問題，就是風冷空調(diào)的冷卻極限（目前在6kW/㎡），如果機柜的發(fā)熱過大（現(xiàn)在一個機柜的熱量就輕松突破20kW），我們應該如何解決這個問題呢？

采用增加機柜的間距或者減低服務器的放置密度，從而降低整個機房的平均功率密度，可以把功率密度控制在風冷極限的范圍以內(nèi)。在杭州電信濱江IDC機房，某服務器單機柜銘牌功率20kW（圖17），實測13kW，機柜發(fā)熱嚴重。而用戶又很著急，為了完成這個任務，杭州電信在規(guī)劃這個機房時，加大了冷風道和熱風道的間距，將冷風道從1.2米提升到4.8米（圖18），并增加了熱風道的間距，這樣一來，單位功率密度就下降了一半；另外增加了機房空調(diào)數(shù)量，空調(diào)的冷量采用了2N配置；同時提升了地板高度，把地板高度提升到1.2米，并啟用了柵欄地板，保證了機柜所需的冷風風量。

從使用效果看，該機房冷卻效果良好，圓滿地解決了用戶的需求。但是這種解決方案存在投資成本過高的問題，這種解決方法在對成本不敏感的情況下使用才是合理的。

總結(jié)

END

以上對IDC建設和運行一些比較容易遇到的主要問題進行交流探討和摸索，或許上面提到和采用的方法并不一定是最好或是最完善的，但希望這些做法可以給同行借鑒和參考，避免走彎路和減少不必要的浪費，IDC的系統(tǒng)設計、建設和運維，還有很長的路要走；對目前廣泛普及的高密度機架進行冷卻還有待我們的探索和經(jīng)驗積累；另外IDC的節(jié)能降耗，也是任重道遠的任務和工作。希望在以后的日子里，大家齊心協(xié)力，促進電信IDC的發(fā)展，并為IDC的節(jié)能減排貢獻自己的一份力量。

參考資料

1、中國電信數(shù)據(jù)中心機房電源、空調(diào)環(huán)境驗收規(guī)范

2、GB50174-93中華人民共和國國家標準電子計算機機房設計規(guī)范

3、John Niemann熱通道氣流遏制與冷通道氣流遏制

4、Neil Rasmussen在低密度數(shù)據(jù)中心部署高密度區(qū)域

5、Neil Rasmussen計算數(shù)據(jù)中心的總制冷量第一版

6、FIPS PUB94 "Guidelinefor Computer Powerfor ADP Installations";National Technical Information Service

7、STULZ數(shù)據(jù)中心制冷最優(yōu)方案白皮書2008年4月第二版

8、中國電信股份有限公司浙江電信分公司新型工藝機柜的研制