Klimatyzacja nowoczesnych serwerowni o dużej gęstości mocy (cz. 1)

Wprowadzenie bardziej wydajnych serwerów 1U oraz serwerów typu blade spowodowało całkowitą zmianę podejścia do klimatyzacji pomieszczeń komputerowych.

Dopiero w roku 2001 w Stanach Zjednoczonych zauważono, że zasady projektowania infrastruktury chłodzenia instalacji newralgicznych, takich jak ośrodki przetwarzania danych i serwerownie, nie zmieniły się od roku 1965. Od tego czasu powstało kilka organizacji zajmujących się problemami chłodzenia w Data Center, głównym jest tzw. ASHRAE TC9.9 Committee, która wydała szereg publikacji o nazwie Ashrae Datacom Series.

Mamy nadzieję ze opisane poniżej wskazówki i rozwiązania pomogą inżynierom w dokonaniu najlepszego wyboru z punktu widzenia efektywności, kosztów wdrożenia i eksploatacji systemu klimatyzacji dla współczesnych pomieszczeń komputerowych. Oczywiście wraz ze wzrostem gęstości mocy w centrach przetwarzania danych niezmienne zostają takie parametry jak nadmiarowość, czystość powietrza, bezpieczeństwo pracy, wilgotność itp.

W ciągu w sumie krótkiego czasu powstały tysiące stron opracowań oraz wdrożono urządzenia i układy klimatyzacyjne, których celem było poradzenie sobie z problemem wysokich gęstości mocy i to zarówno w Centrach Danych już pracujących, jak i w nowoprojektowanych.

O ile w nowo projektowanych pomieszczeniach komputerowych wstępnie wiemy w jakich granicach możemy się poruszać, o tyle w istniejących Centrach Danych cały system klimatyzacji musi zostać zmodernizowany i rozbudowany w większości przypadków bez możliwości przerwania pracy centrum.

Poza prostym, ale skrajnie nieekonomicznym rozwiązaniem zapewniającym dostarczenie np. 25 kW chłodu do każdej obudowy, zaprojektowanie nowego albo rozbudowa istniejącego systemu klimatyzacji stawia przed projektantem wiele trudności oraz generuje wiele możliwych rozwiązań.

Brak krajowych opracowań oraz trudności z dostępem do opracowań amerykańskich powodują, że użytkownicy i firmy obsługujące centra danych nie zawsze radzą sobie z problemami stojącymi przed systemami klimatyzacji dla stale zwiększających się obciążeń. Frustrację użytkowników działających Centrów pogłębia fakt, że często teoretycznie dysponują one odpowiednim zapasem mocy chłodzenia. W skrajnym przypadku niewydolnego systemu klimatyzacji z jakim się zetknęliśmy, duża serwerownia dysponowała ponad 3-krotnym zapasem mocy chłodniczej w stosunku do rzeczywistych zysków ciepła.

Określenie gęstości mocy

Do niedawna dla pomieszczenia komputerowego wielkością określającą wytyczne mocy chłodniczej dla klimatyzacji była gęstość mocy przypadająca na jednostkę powierzchni podawana w watach na m2 powierzchni.

Obecnie przy określeniu ilości ciepła jakie należy usunąć z pomieszczeń komputerowych stosuje się dwa określenia, „gęstości mocy" oraz mocy zainstalowanej w jednej szafie serwerowej. Gęstość mocy zwykle jest określeniem odnoszącym się do powierzchni zajmowanej przez szafy serwerowe wraz z przestrzenią komunikacyjno-serwisową wokół nich.

Przy projektowaniu trzymanie się wytycznej np. średniej gęstości mocy dla serwerowni jest dzisiaj określeniem niejednoznacznym ze względu na to, że różnice w gęstości mocy na poziomie szafy, rzędu czy poziomie pomieszczenia mogą się bardzo różnić, a różnice te mają decydujący wpływ na konstrukcję systemu chłodzenia. Określenie średniej gęstości mocy dla rzędu lub wydzielonej strefy wysokiej gęstości mocy powinno raczej być wynikiem pracy projektanta, a nie wytyczną Inwestora.

Na szczęście od dłuższego czasu wytyczne dla projektowania nowych pomieszczeń komputerowych w których planowane jest użycie np. serwerów typu Blade, opierają się na wstępnym określeniu przez zamawiającego jaka będzie ilość szaf rakowych nisko- i średnio obciążonych (np. do 6 kW) oraz podaniu ilości szaf wysoko-obciążonych (np. do 25 kW).

Określenie sposobu rozdziału powietrza w pomieszczeniu

W chwili obecnej wyjściowymi warunkami przy określaniu sposobu rozdziału i chłodzenia powietrza w pomieszczeniu powinny być:

  •    dostarczenie odpowiedniej ilości powietrza do strefy zasysania powietrza przez każdy serwer, o optymalnej temperaturze 20-25°C i wilgotności nie niższej niż 45%;
  •    odprowadzenie z obudowy/serwera nie mniejszej ilości powietrza niż dostarczyliśmy;
  •    zabezpieczenie przed przedostawaniem się gorącego powietrza w strefę zasysania.



Spełnienie w/w warunków w sposób nieprzerwany i maksymalnie bezpieczny (nadmiarowy) determinuje system klimatyzacji wraz z wstępnym określeniem kosztów inwestycyjnych i eksploatacyjnych oraz z wymogami jakie muszą być spełnione w pomieszczeniu. Im wyższe są zakładane gęstości mocy w pomieszczeniach komputerowych tym większy jest wpływ projektanta klimatyzacji na ogólną architekturę pomieszczenia, czy wręcz całego Data Center.

Bazując na powyższych warunkach można obecnie rozróżnić 4 podstawowe strategie chłodzenia we współczesnych pomieszczeniach komputerowych w zależności od mocy zainstalowanej w jednej szafie rakowej:

  •    chłodzenie powietrza w pomieszczeniu - do 2 kW na szafę rakową;
  •    chłodzenie powietrza w strefie zimnej i gorącej - do 8 kW na szafę rakową;
  •    chłodzenie z wykorzystaniem „zamknięcia" strefy gorącej lub zimnej 10-25 kW na RLU;
  •    chłodzenie szaf rakowych - do 40 kW na szafę rakową.



Wszystkie wymienione powyżej metody chłodzenia można stosować w jednej serwerowni rozdzielając strefy chłodzenia w zależności od wydajności.

Chłodzenie pomieszczeniowe

Typowym przykładem chłodzenia pomieszczeniowego jest układ z szafami klimatyzacyjnymi z nawiewem górnym i powrotem swobodnym od frontu. Ciągle w zastosowaniu np. dla pomieszczeń UPS i baterii z nastawą 20-22°C

Chłodzenie w układzie „strefa gorąca -strefa zimna"

Dzisiaj zaczynając projektowanie serwerowni z szafami średnio obciążonymi (maksymalnie 6 do 8 kW) przyjmujemy za pewnik rozkład szaf rakowych w układzie „strefa zimna - strefa ciepła".

Za optymalny układ w tej chwili uznaje się konfigurację: strefa zimna 120 cm, strefa gorąca 90-100 cm. Ustalenie tych wielkości poprzedziły jednak długie badania numeryczne i laboratoryjne nad optymalnym i uniwersalnym rozkładem serwerowni, przy czym większość badań opisywana była dwoma kluczowymi indeksami SHI (Supply Heat Index) i RHI (Return Heat Index).

Indeksy SHI i RHI

Wielkość SHI opisana matematycznie w [1] określa w jakim stopniu gorące powietrze usuwane z raków miesza się z zimnym powietrzem dostarczanym do strefy zimnej, natomiast wielkość RHI jest indeksem opisującym w jakim stopniu gorące powietrze z raków miesza się z zimnym powietrzem zanim powróci do klimatyzatorów.

Suma obu indeksów zawsze jest równa 1, co oznacza, że im wyższa wartość RHI tym jest lepszy rozkład przepływu powietrza i mniejsze mieszanie powietrza gorącego z zimnym.

Jednym z pierwszych oczywistych wniosków wynikającym z analizy indeksów było, że doprowadzenie układu klimatyzacyjnego do formy w której SHI =0 oraz RHI =1, jest rozwiązaniem wszelkich problemów z klimatyzacją. Oczywiście powstały takie układy klimatyzacyjne oraz klimatyzatory, które działają w takich systemach, jednakże ich bardzo wysokie koszty oraz duży wpływ na inne instalacje w pomieszczeniach komputerowych powodują, że zasadność ich stosowania wymaga złożonej analizy.

Indeksy RHI i SHI sąnie tylko narzędziem do zrozumienia przepływu ciepła w pomieszczeniach komputerowych, ale sugerują także sposoby do zwiększenia wydajności energetycznej systemów klimatyzacji. Poprawnie zaprojektowanym układzie klimatyzacyjnym, po zapewnieniu wszystkim serwerom odpowiedniej temperatury i ilości powietrza na zasysaniu, o sprawności energetycznej systemu klimatyzacji świadczy temperatura powietrza powracającego do klimatyzatora, im wyższa (oczywiście w dopuszczalnym dla klimatyzatora zakresie zwykle do 30°C) tym lepiej.

Indeks RCI

Następnym z indeksów wprowadzonym w toku analiz problemów chłodzenia współczesnych pomieszczeń komputerowych był indeks RCI (Rack Cooling Index), czyli Indeks

Chłodzenia Szaf Rakowych.

Ogólnie służy on do określania skuteczności chłodzenia raków oraz wyznaczania wydajności energetycznej systemów klimatyzacyjnych, co jest możliwe dzięki dwóm podindeksom RCIHI oraz RCILO. Pierwszy indeks RCIHI mierzy procent szaf rakowych dla których temperatury powietrza na zasysaniu przez sprzęt komputerowy są niższe lub równe przyjętym standardom.

RCIHI = 100% oznacza, że temperatura na zasysaniu sprzętu we wszystkich szafach rakowych jest niższa lub równa przyjętym standardom.

Drugi indeks RCILO określa jaka ilość sprzętu otrzymuje powietrze o temperaturze zbyt niskiej w stosunku do wymagań producentów.

RCILO = 100% oznacza, że temperatura na zasysaniu sprzętu we wszystkich szafach rakowych jest wyższa lub równa od rekomendowanej. We wstępnej fazie badań nad indeksem w klasycznych serwerowniach z nawiewem dolnym spod podłogi i szafach klimatyzacyjnych z bezpośrednim odparowaniem wartość indeksu RCILO = 40%, co oznaczało, że aż 60 procent sprzętu zasysało powietrze o niepotrzebnie niskiej temperaturze.

Najdokładniejszym sposobem określenia optymalnych temperatur są wytyczne producentów sprzętu, ale analiza taka jest bardzo pracochłonna. W związku z tym w chwili obecnej przyjmuje się standard ASHRAE Thermal Guideline (20-25°C) dla środowisk CLASS 1, albo NEBS (18-27°C), przy czym przy projektowaniu i późniejszym ustawianiu nawiewów zakładamy zwykle temperatury z przedziału (18-22°C).

Doświadczenia z uruchomiania systemów klimatyzacyjnych w serwerowniach, wykazały że spełnienie w/w indeksów jest możliwe przy podniesieniu aż do 27°C nastaw na szafach klimatyzacyjnych zasilanych wodą lodową. Niestety zmiana nastawy temperatury (zwykle średnia temperatura powietrza powracającego) na sterownikach szaf klimatyzacyjnych na wyższą niż 22°C, spotyka się z powszechnym (piszę oględnie żeby nikogo nie urazić) oporem. Kilku użytkowników udało się przekonać do prób z podnoszeniem temperatur powietrza do 26°C, a jedna duża serwerownia od roku pracuje z powodzeniem na nastawach 27°C.

Indeksy RCI miały decydujący wpływ na opracowanie zupełnie nowych rodzajów systemów klimatyzacyjnych, przy czym co ciekawe dwa najdoskonalsze systemy na rynku, czyli rzędowy APC RC system oraz LiebertXD (od niedawna jest model rzędowy) bazując na odmiennych ideach są równie skuteczne.

Podstawowe wytyczne dla układu „hot isle-cold isle"

O ile zaprojektowanie takiego układu jak na rysunku 3 dla kompletnego i z góry znanego obciążenia poszczególnych szaf rakowych jest zadaniem prostym o tyle utrzymanie tego układu w warunkach pracy serwerowni jest, jak się okazuje, bardzo trudne i wymaga zachowania kilku reguł postępowania przy wprowadzaniu zmian i dostawianiu dodatkowego sprzętu komputerowego.

Źródło: Chłodnictwo i klimatyzacja 7/2008

Autor: Maciej ŻUK – Dyrektor Działu Klimatyzacji Precyzyjnej, ZECHIK Sp. z o.o.