Охлаждение ЦОД и серверных помещений: виды систем, расчёт мощности, PUE и выбор оборудования

Как спроектировать систему отвода тепла, которая не подведёт ни в пиковую нагрузку, ни в аномальную жару — от небольшой серверной на 5 стоек до машинного зала коммерческого дата-центра.

Почему охлаждение — критическая подсистема любого ЦОД

Каждый сервер, каждый коммутатор и каждый источник бесперебойного питания преобразует электрическую энергию в вычислительную работу и тепло. Доля тепла при этом составляет от 60 до почти 100 процентов потреблённой мощности — в зависимости от типа нагрузки. Небольшая серверная с десятком стоек выделяет столько же тепла, сколько работающая электроплита в каждом шкафу. Крупный дата-центр на тысячу стоек генерирует тепловой поток, сопоставимый с мощностью котельной жилого квартала.

Если это тепло не отводить, температура в серверном зале поднимается выше допустимого предела за считанные минуты. По данным ASHRAE, при температуре входящего воздуха выше 35 °C вероятность отказа жёсткого диска возрастает на 50 процентов. Конденсаторы на материнских платах теряют до 20 процентов расчётного ресурса на каждые 10 °C сверх номинала. Процессоры начинают тротлить — принудительно снижать тактовую частоту, чтобы не выйти из строя, и производительность кластера падает непредсказуемо.

Цена ошибки при проектировании системы охлаждения всегда двойная. Первая — прямой ущерб от простоя: для среднего коммерческого ЦОД час незапланированного останова стоит от нескольких сотен тысяч до нескольких миллионов рублей. Вторая — скрытые потери: ускоренный износ оборудования, повышенное энергопотребление из-за неэффективной схемы охлаждения и невозможность масштабирования без капитальной перестройки.

Нормативные требования и целевые параметры микроклимата

Прежде чем выбирать оборудование, необходимо определить, какие параметры среды нужно обеспечить.

Температура

ASHRAE (Thermal Guidelines for Data Processing Environments, редакция 2021, актуальна на 2026 год) определяет четыре класса допустимых условий — от A1 до A4. Для большинства серверных и дата-центров применяется класс A1, определяющий рекомендуемый диапазон температуры входящего воздуха от 18 до 27 °C. Расширенный допустимый диапазон — от 15 до 32 °C, но работа в нём ускоряет деградацию компонентов.

Российский свод правил СП 541.1311500.2022 «Центры обработки данных» (вступил в силу в 2022 году и уточнён в последующих редакциях) требует поддерживать температуру в серверном зале в пределах 18–24 °C при влажности 40–55 процентов. Допустимые кратковременные отклонения — до 28 °C, но не более 4 часов подряд.

Влажность

Слишком сухой воздух (относительная влажность ниже 20 процентов) создаёт риск электростатических разрядов, способных повредить микросхемы. Слишком влажный воздух (выше 80 процентов) приводит к конденсации на холодных поверхностях, коррозии контактов и короткому замыканию. Целевой коридор для серверной — 40–55 процентов при температуре 22 °C. Прецизионные кондиционеры обеспечивают точность поддержания влажности ±5 процентов; бытовые и полупромышленные сплит-системы — ±15–20 процентов, что для критичной инфраструктуры неприемлемо.

Чистота воздуха

Пыль, содержащая токопроводящие частицы или сульфиды, вызывает коррозию печатных плат и деградацию паяных соединений. Стандарт ISO 14644-1 определяет класс чистоты 8 как минимально приемлемый для серверного зала. На практике это означает необходимость фильтрации приточного воздуха фильтрами класса F7–F9.

Чем серверная комната отличается от дата-центра с точки зрения охлаждения

Серверная комната и полноценный дата-центр решают одну и ту же задачу — отводить тепло от IT-оборудования — но масштаб и подход принципиально различаются.

Серверная комната (от 1 до 10–15 стоек, тепловая нагрузка до 50–80 кВт)

Обычно располагается внутри офисного здания или производственного объекта. Площадь — от 10 до 60 квадратных метров. Типичная мощность на стойку — от 2 до 8 кВт. Основные особенности:

Ограниченное пространство для размещения наружных блоков и прокладки трубопроводов.
Отсутствие фальшпола — охлаждение организуется через потолочные или настенные блоки.
Резервирование на уровне N+1 (один резервный кондиционер) считается достаточным.
Часто используются полупромышленные сплит-системы или компактные прецизионные шкафные кондиционеры.
Система мониторинга может ограничиваться датчиками температуры с SMS-оповещением.
Критичная ошибка, которую допускают чаще всего, — установка бытового кондиционера, рассчитанного на 8–12 часов работы в сутки. Серверная требует круглосуточного режима 365 дней в году; компрессор бытовой сплит-системы в таком режиме выходит из строя через 6–18 месяцев.

Дата-центр (от 20 стоек, тепловая нагрузка от 100 кВт до десятков мегаватт)

Отдельно стоящее здание или выделенная зона промышленного объекта. Площадь серверного зала — от 100 до нескольких тысяч квадратных метров. Мощность на стойку — от 5 до 30 кВт (стандартный ЦОД) и до 80–200 кВт (AI/HPC-зоны). Основные особенности:

Фальшпол высотой 600–1200 мм для подачи холодного воздуха снизу через перфорированные плитки.
Изоляция горячего или холодного коридора — обязательное условие при плотности выше 5 кВт на стойку.
Резервирование по схеме 2N или 2(N+1) для объектов уровня Tier III и выше.
Центральная чиллерная станция с наружными блоками (драйкулерами или градирнями).
Система DCIM (Data Center Infrastructure Management) для управления микроклиматом в реальном времени.
Критичная ошибка — проектирование «с запасом» без учёта частичных нагрузок. ЦОД редко загружен на 100 процентов; система охлаждения, оптимизированная под пиковую нагрузку, в режиме 30–50-процентной загрузки работает с низким КПД и перерасходом электроэнергии.

Классификация систем охлаждения: от воздушных до иммерсионных

Воздушное охлаждение

Воздушное охлаждение остаётся основой для подавляющего большинства серверных и ЦОД в России. Принцип прост: холодный воздух подаётся к входным панелям серверов, нагретый воздух отводится от задних панелей и возвращается к кондиционеру. Различается способ организации воздушного потока.

Охлаждение всего объёма помещения (room-based cooling). Кондиционер охлаждает весь воздух в серверной. Работает для небольших серверных с плотностью до 3–5 кВт на стойку. При более высокой плотности неизбежно возникают локальные «горячие точки» — зоны рециркуляции нагретого воздуха, где температура на входе в серверы превышает допустимую. Типичное оборудование — шкафные прецизионные кондиционеры или полупромышленные сплит-системы.

Подпольная подача через фальшпол (raised floor cooling). Классическая схема для дата-центров. Кондиционеры CRAC (Computer Room Air Conditioner) или CRAH (Computer Room Air Handler) нагнетают холодный воздух в пространство под фальшполом. Воздух поступает в серверный зал через перфорированные плитки перед стойками. Нагретый воздух поднимается вверх и возвращается к кондиционерам через верхнюю зону зала. Эффективность сильно зависит от правильной организации воздушных потоков: установки заглушек в неиспользуемых позициях стоек, изоляции кабельных проходов в фальшполу, размещения перфорированных плиток строго в холодном коридоре.

Рядное (in-row) охлаждение. Кондиционеры размещаются непосредственно в рядах стоек — между каждыми 4–6 серверными шкафами. Путь воздуха от кондиционера до сервера сокращается до 1–2 метров вместо 10–15 метров при классической схеме. Это позволяет обслуживать плотности до 15–20 кВт на стойку без жидкостного охлаждения. Рядные кондиционеры работают эффективнее в сочетании с изоляцией горячего или холодного коридора.

Изоляция горячего и холодного коридора (hot aisle / cold aisle containment). Физическое разделение холодных и горячих воздушных потоков. В схеме с изоляцией холодного коридора (cold aisle containment) стойки располагаются лицевыми панелями друг к другу, а пространство между ними закрывается потолочными панелями и торцевыми дверями. Весь холодный воздух попадает только на входы серверов, без рециркуляции. В схеме с изоляцией горячего коридора (hot aisle containment) закрывается пространство между задними панелями стоек, и нагретый воздух отводится напрямую к кондиционерам, не смешиваясь с холодным. Внедрение изоляции коридоров снижает PUE на 0.1–0.3 без замены оборудования — одна из самых эффективных мер по повышению энергоэффективности.

Фрикулинг (свободное охлаждение)

Фрикулинг — использование наружного воздуха или промежуточного хладоносителя, охлаждённого наружным воздухом, для отвода тепла из серверного зала без работы компрессора. В московском регионе фрикулинг доступен более 6 000 часов в год (свыше 70 процентов годового фонда), что обеспечивает снижение затрат на электроэнергию для охлаждения на 50–70 процентов.

Прямой воздушный фрикулинг (air-side economizer). Наружный воздух подаётся напрямую в серверный зал после фильтрации и контроля влажности. Плюсы: минимальные капитальные затраты. Минусы: требует качественной фильтрации (класс F7–F9), не работает при высокой наружной температуре и влажности, ограниченно применим в загрязнённых районах (вблизи автомагистралей, промышленных зон).

Косвенный фрикулинг с промежуточным теплоносителем (water-side economizer). Наружный воздух охлаждает воду или раствор этиленгликоля в драйкулере (сухом охладителе), а охлаждённая жидкость поступает в теплообменники кондиционеров внутри серверного зала. Плюсы: чистота воздуха в серверной не зависит от наружной среды, работает в более широком диапазоне температур. Минусы: требует прокладки трубопроводов и установки драйкулеров на крыше или прилегающей территории.

Адиабатический фрикулинг. Перед драйкулером или градирней устанавливается секция увлажнения: вода распыляется в поток наружного воздуха, и за счёт испарения температура воздуха снижается на 5–10 °C. Это расширяет период работы фрикулинга в жаркие месяцы и позволяет отказаться от компрессорного охлаждения даже при наружной температуре до 35–38 °C.

Чиллерные системы

Чиллер — холодильная машина, охлаждающая воду или раствор гликоля до 7–12 °C. Охлаждённая жидкость по трубопроводам поступает к кондиционерам (CRAH — фанкойлам) внутри серверного зала. Чиллерные системы являются стандартом для дата-центров мощностью от 200 кВт и выше.

Типы чиллеров по конструкции компрессора: спиральные (scroll) — для малых и средних нагрузок до 500 кВт; винтовые (screw) — для средних и крупных нагрузок от 200 до 2 000 кВт; центробежные (centrifugal) — для крупных ЦОД от 1 000 кВт. Чиллеры с функцией встроенного фрикулинга автоматически переключаются между компрессорным и свободным режимом в зависимости от наружной температуры. Подробно о выборе, обслуживании и типичных неисправностях чиллеров — в отдельной статье.

Жидкостное охлаждение

При плотностях свыше 20–30 кВт на стойку воздушное охлаждение перестаёт справляться: объём воздуха, необходимый для отвода такого количества тепла, превышает пропускную способность серверных шкафов и коридоров. Здесь в дело вступают технологии жидкостного охлаждения.

Охладители на задней двери стойки (RDHx — Rear Door Heat Exchanger). Теплообменник устанавливается на заднюю дверь серверной стойки. Нагретый воздух, выходящий из серверов, проходит через теплообменник с холодной водой и возвращается в серверный зал уже охлаждённым. RDHx снимает от 60 до 100 процентов тепловой нагрузки стойки и позволяет обслуживать плотности до 40–60 кВт без изменения самих серверов. Требует прокладки трубопроводов к каждой стойке и центральной чиллерной станции.

Прямое жидкостное охлаждение на кристалле (direct-to-chip, D2C). Холодные пластины (cold plates) устанавливаются непосредственно на процессоры и GPU внутри сервера. Хладагент (вода или специализированная жидкость) циркулирует через пластины и отводит тепло напрямую от источника. Это наиболее эффективная технология: тепло отводится до того, как оно попадает в воздух серверного зала. D2C позволяет обслуживать плотности от 50 до 120 кВт на стойку. Применяется в GPU-кластерах для обучения нейросетей (NVIDIA DGX, HGX, GB200 NVL72). Требует специальных серверов с предустановленными cold plates и блоков распределения хладагента (CDU — Coolant Distribution Unit).

Иммерсионное охлаждение (immersion cooling). Серверные платы полностью погружаются в ванну с диэлектрической жидкостью, которая непосредственно контактирует со всеми компонентами. Тепло передаётся жидкости и отводится через теплообменник. Различают однофазное иммерсионное охлаждение (жидкость не кипит, циркулирует насосом) и двухфазное (жидкость кипит на поверхности горячих компонентов, пар конденсируется и возвращается в ванну). Иммерсионное охлаждение обеспечивает плотности до 200 кВт и выше на стойку (точнее — на ванну, поскольку стандартные стойки не используются). Применяется пока ограниченно: требует специальных серверных плат без вентиляторов и конвекционных элементов, а также специализированных жидкостей, стоимость которых существенно выше воды.

Расчёт холодопроизводительности: базовые формулы и подводные камни

Основная формула

Минимальная холодопроизводительность системы охлаждения определяется суммарным теплопритоком:

Q_общ = Q_IT + Q_ИБП + Q_освещение + Q_ограждающие + Q_люди + Q_запас

Где:

Q_IT — тепловыделение IT-оборудования. Принимается равным 100 процентам потребляемой электрической мощности (всё потреблённое электричество в конечном счёте превращается в тепло). Для серверной с суммарным потреблением 50 кВт — Q_IT = 50 кВт.
Q_ИБП — потери в ИБП. Для современного online-ИБП с КПД 96 процентов потери составляют 4 процента от проходящей мощности. Для серверной с Q_IT = 50 кВт и ИБП в том же помещении: Q_ИБП = 50 × 0.04 = 2 кВт.
Q_освещение — обычно 10–20 Вт на квадратный метр. Для серверной 40 м² — около 0.5–0.8 кВт.
Q_ограждающие — теплоприток через стены, потолок и пол. Для внутреннего помещения здания — минимален (0.5–2 кВт). Для помещения с наружными стенами, особенно на южной стороне, может достигать 5–10 кВт.
Q_люди — 100–150 Вт на человека. В серверной обычно одновременно находится не более 2–3 человек, поэтому этот компонент невелик (0.3–0.5 кВт).
Q_запас — коэффициент запаса 15–20 процентов на пиковые нагрузки (одновременный запуск серверов после планового отключения, летний перегрев наружного блока).

Для упрощённой оценки серверной комнаты можно использовать правило: требуемая холодопроизводительность ≈ суммарная IT-мощность × 1.2–1.3.

Подводные камни расчёта

Ошибка 1: расчёт по номинальной мощности оборудования. Паспортная мощность блока питания сервера (например, 2 × 750 Вт = 1 500 Вт) — это максимальная мощность, которую блок питания способен отдать. Реальное потребление может составлять 40–70 процентов от номинала. Расчёт по паспорту приводит к завышению холодопроизводительности на 30–60 процентов, перерасходу капитальных вложений и низкой загрузке оборудования. Правильный подход — использовать данные мониторинга реального потребления или средние значения для конкретных моделей серверов.

Ошибка 2: игнорирование частичной нагрузки. КПД кондиционера максимален при 60–80-процентной загрузке. При загрузке 20–30 процентов (типичная ситуация в первые годы эксплуатации ЦОД) КПД падает, а удельное энергопотребление на отвод одного кВт тепла растёт. Решение — использовать кондиционеры с инверторным управлением компрессором, способные плавно регулировать производительность от 20 до 100 процентов.

Ошибка 3: отсутствие учёта климатических условий региона. Холодопроизводительность чиллера или наружного блока кондиционера снижается при повышении наружной температуры. Кондиционер, выдающий 50 кВт при наружной температуре 35 °C, может выдавать только 42–45 кВт при 43 °C. Расчёт должен производиться для максимальной температуры наружного воздуха в регионе с обеспеченностью 0.98 (то есть температура, превышаемая не более 2 процентов времени года). Для Москвы это 33–35 °C, для Краснодара — 38–40 °C.

Ошибка 4: неучтённый рост нагрузки. Серверная, рассчитанная «впритык» под текущую нагрузку, не оставляет возможности для масштабирования. Через год-два, когда добавятся новые серверы, система охлаждения окажется перегруженной. Правильная практика — закладывать запас в 30–50 процентов от текущей нагрузки или предусматривать модульное наращивание (дополнительные кондиционеры с заранее подготовленными трубопроводами и электропитанием).

Энергоэффективность: что такое PUE и как его снизить

PUE (Power Usage Effectiveness) — основной показатель энергоэффективности дата-центра, равный отношению суммарного энергопотребления объекта к энергопотреблению IT-оборудования:

PUE = Общее энергопотребление / Энергопотребление IT

Идеальное значение PUE — 1.0 (вся электроэнергия расходуется только на IT). На практике PUE 1.2 считается отличным показателем, 1.4–1.6 — средним, а значение выше 2.0 указывает на серьёзные проблемы с энергоэффективностью.

Система охлаждения — главный потребитель электроэнергии после самого IT-оборудования. В типичном ЦОД с PUE 1.6 на охлаждение приходится 35–40 процентов всей потреблённой электроэнергии. Снижение PUE с 1.6 до 1.3 при IT-нагрузке 500 кВт экономит более 1 300 000 кВт·ч в год. При стоимости электроэнергии 7 рублей за кВт·ч это более 9 миллионов рублей ежегодной экономии.

Практические меры по снижению PUE (в порядке возрастания стоимости внедрения):

Установка заглушек в пустые позиции стоек и кабельные проходы фальшпола — бесплатно, эффект: PUE минус 0.02–0.05.
Изоляция горячего или холодного коридора — стоимость от 3 000 до 8 000 рублей за стойку, эффект: PUE минус 0.1–0.2.
Повышение уставки температуры приточного воздуха с 18 до 24–27 °C (в пределах допустимого по ASHRAE A1) — бесплатно, эффект: PUE минус 0.05–0.1.
Внедрение или расширение режима фрикулинга — стоимость зависит от текущей конфигурации, эффект: PUE минус 0.1–0.3.
Замена кондиционеров с постоянной скоростью вентилятора на модели с EC-вентиляторами и инверторным компрессором — эффект: PUE минус 0.05–0.15.
Переход на жидкостное охлаждение высокоплотных зон — капитальное мероприятие, эффект: PUE минус 0.2–0.4.

Резервирование систем охлаждения

Для серверных и дата-центров различного уровня надёжности применяются разные схемы резервирования:

N (без резервирования). Количество кондиционеров и чиллеров ровно соответствует расчётной нагрузке. Выход из строя любого элемента приводит к снижению холодопроизводительности ниже требуемой. Допустимо только для некритичных серверных (тестовые среды, разработка).

N+1. К расчётному количеству оборудования (N) добавляется один резервный блок. При выходе из строя одного кондиционера оставшиеся обеспечивают полную нагрузку. Минимально приемлемая схема для производственных серверных. Соответствует уровню Tier II.

2N. Устанавливается двойной комплект оборудования, каждый из которых способен обеспечить полную нагрузку самостоятельно. Системы работают параллельно, каждая на 50 процентов мощности. При выходе одной системы вторая берёт на себя полную нагрузку автоматически. Соответствует уровню Tier III. Требует двух независимых трубопроводных контуров и двух групп наружных блоков.

2(N+1). Два полных комплекта оборудования, в каждом из которых есть резервный блок. Максимальный уровень надёжности, соответствует Tier IV. Обеспечивает возможность одновременного планового обслуживания одного комплекта и отказа элемента во втором комплекте без влияния на работу ЦОД.

Критичные ошибки при проектировании и эксплуатации

Установка бытовых кондиционеров в серверной. Бытовые сплит-системы рассчитаны на 8–12 часов работы в сутки и комфортное охлаждение людей (снятие и явного, и скрытого тепла). Серверная генерирует только явное тепло и требует круглосуточного режима. Компрессор бытового кондиционера в режиме 24/7 выходит из строя через 6–18 месяцев.
Отсутствие резервирования. Единственный кондиционер — единственная точка отказа. Даже в небольшой серверной минимум — два кондиционера: рабочий и резервный, с автоматическим переключением.
Неправильная организация воздушных потоков. Серверы стоят хаотично, без формирования горячего и холодного коридора. Нагретый воздух рециркулирует — попадает обратно на вход серверов. Результат: кондиционер работает на полную мощность, но часть серверов перегревается.
Проектирование «по паспорту» вместо «по факту». Расчёт по номинальной мощности блоков питания завышает потребность в охлаждении в 1.5–2 раза. Результат: избыточные капитальные затраты, низкая загрузка кондиционеров, низкий КПД.
Отсутствие мониторинга температуры. Без датчиков невозможно обнаружить «горячую точку» до того, как она приведёт к отказу оборудования. Минимум — датчики на входе в каждую стойку; оптимум — на входе и выходе каждой стойки плюс в зоне наружных блоков.
Игнорирование обслуживания. Загрязнённые фильтры, забитые конденсаторы наружных блоков, утечка хладагента — все эти проблемы развиваются постепенно и незаметно снижают холодопроизводительность на 10–30 процентов за 1–2 года. Регламентное ТО — ежемесячное (фильтры, контроль давления хладагента), квартальное (промывка теплообменников), годовое (полная диагностика компрессоров и электрики).
Неверный расчёт нагрузки на перекрытие при реконструкции. При переоборудовании помещения под серверную необходимо учитывать вес стоек с оборудованием (стандартная стойка — 500–800 кг, AI-стойка — до 2 500 кг), вес фальшпола и вес чиллерных трубопроводов. Проектная нагрузка офисного перекрытия (250–400 кг/м²) может оказаться недостаточной.

Как правильно выбрать систему охлаждения: алгоритм принятия решения

Шаг первый — определить тепловую нагрузку. Суммировать реальное потребление всего IT-оборудования (по данным мониторинга или спецификациям), добавить потери ИБП и теплопритоки помещения, заложить запас 20–30 процентов.

Шаг второй — определить плотность (кВт на стойку). До 5 кВт — воздушное охлаждение без изоляции коридоров. От 5 до 15 кВт — воздушное с изоляцией коридоров и рядными кондиционерами. От 15 до 30 кВт — чиллерная система с рядными фанкойлами или RDHx. Свыше 30 кВт — жидкостное охлаждение (D2C, иммерсионное).

Шаг третий — определить требуемый уровень надёжности. Для некритичной серверной — N+1. Для производственной — 2N. Для коммерческого ЦОД Tier III/IV — 2N или 2(N+1).

Шаг четвёртый — выбрать тип оборудования с учётом региона. Для Москвы и средней полосы — чиллеры со встроенным фрикулингом дают максимальную экономию. Для юга России — адиабатический фрикулинг. Для Урала и Сибири — фрикулинг работает до 80 процентов года, что позволяет использовать чиллеры минимальной мощности.

Шаг пятый — заложить масштабируемость. Предусмотреть место для дополнительных кондиционеров, трубопроводных трасс и наружных блоков. Модульный подход (добавление оборудования по мере роста нагрузки) снижает начальные капитальные затраты и повышает энергоэффективность на начальном этапе эксплуатации.

Что учитывать при модернизации существующего объекта

Модернизация действующей серверной или дата-центра сложнее нового строительства, потому что работы ведутся в условиях работающего оборудования. Ключевые факторы:

Работа без остановки. Переключение на временные схемы охлаждения (мобильные чиллеры, временные кондиционеры) на период демонтажа и монтажа основного оборудования. Требует детального плана переключений с расчётом временных мощностей.
Совместимость с существующими коммуникациями. Новое оборудование должно подключаться к существующим трубопроводам, электрическим вводам и системам автоматизации. При несовместимости — замена коммуникаций, что увеличивает стоимость и сроки.
Ограничения здания. Допустимая нагрузка на кровлю (для установки наружных блоков и драйкулеров), допустимая нагрузка на перекрытия (для стоек и трубопроводов), возможность прокладки трубопроводных трасс (высота потолков, наличие проходов между этажами).
Последовательность работ. Модернизация выполняется поэтапно: сначала наращивается мощность — устанавливается новое оборудование параллельно с существующим — затем нагрузка переводится на новое оборудование — затем демонтируется старое. Каждый этап требует проверки и пусконаладки до переключения нагрузки.

РУСИНТЕЛКОМ — проектирование, строительство и модернизация инженерных систем дата-центров и серверных помещений. Аудит системы охлаждения, расчёт холодопроизводительности, подбор оборудования и монтаж «под ключ». Работаем без остановки вашего ЦОД: 8 800 505-63-82.