Что нужно знать инженеру и IT-директору, прежде чем размещать GPU-кластер для обучения нейросетей: от расчёта электрической мощности и выбора технологии охлаждения до оценки конструктива здания и управления рисками при стоимости одной стойки в десятки миллионов рублей.
Почему AI-нагрузки — это другая инженерия
Классический дата-центр проектируется из расчёта 5–10 кВт на стойку. Серверы потребляют умеренную мощность, равномерно распределённую по залу, и выделяют тепло, с которым справляется воздушное охлаждение через фальшпол. Эта модель работала два десятилетия — и в 2024–2025 годах стала стремительно устаревать.
Появление GPU-серверов для обучения и инференса нейросетей изменило базовые параметры инженерной инфраструктуры. Один сервер NVIDIA DGX H100 с восемью GPU потребляет 10–11 кВт. Сервер DGX B200 — уже 14,3 кВт. А флагманская стойка NVIDIA GB200 NVL72, содержащая 72 GPU и 36 CPU в едином жидкостно-охлаждаемом шасси, потребляет порядка 120 кВт — и это не пиковая, а рабочая мощность. Для сравнения: это потребление целого ряда из 12–15 стандартных серверных стоек, сконцентрированное в одном шкафу.
Масштаб проблемы наглядно иллюстрирует средняя плотность стоек в индустрии: по данным AFCOM за 2026 год, среднее энергопотребление серверной стойки достигло 27 кВт (рост на 69 процентов за год), но для AI-стоек типичный диапазон составляет 80–120 кВт, а следующее поколение (NVIDIA Rubin, ожидается в 2027 году) нацелено на 250–600 кВт на стойку.
Это означает, что ЦОД, построенный по стандартным нормам даже пять лет назад, физически не способен принять современную GPU-инфраструктуру без капитальной модернизации — по электрике, охлаждению, конструктиву здания и системам мониторинга.
Электроснабжение: откуда взять мегаватты
Масштаб энергопотребления
Один GPU-кластер для обучения крупной языковой модели класса GPT-4 может включать сотни или тысячи GPU. Рассмотрим типичные конфигурации:
| Конфигурация | Количество GPU | Мощность IT-нагрузки | С учётом PUE 1.3 |
|---|---|---|---|
| 8 стоек DGX H100 (по 4 узла) | 256 | ~350 кВт | ~450 кВт |
| 16 стоек DGX B200 (по 4 узла) | 512 | ~920 кВт | ~1 200 кВт |
| 4 стойки GB200 NVL72 | 288 | ~480 кВт | ~625 кВт |
| 16 стоек GB200 NVL72 | 1 152 | ~1 920 кВт | ~2 500 кВт |
Кластер из 16 стоек GB200 NVL72 потребляет 2,5 МВт — это мощность небольшого промышленного предприятия, сосредоточенная на площади 50–80 квадратных метров. Для такого объекта нужны как минимум два независимых ввода мощностью по 3 МВт каждый (с учётом резервирования 2N), два трансформатора по 3 200 кВА, два комплекта ИБП суммарной мощностью не менее 2 000 кВА и два ДГУ по 2 500 кВт.
Особенности электрической архитектуры для GPU
Профиль нагрузки. GPU-серверы имеют крайне неравномерный профиль потребления. При старте задачи обучения потребление за секунды возрастает от 30–40 процентов до 100 процентов номинала. ИБП и ДГУ должны быть рассчитаны на мгновенный приём полной нагрузки без просадки напряжения.
Распределение питания. При плотности 120 кВт на стойку стандартные кабельные линии неприменимы — для передачи такой мощности при напряжении 380 В потребуется кабель сечением 185 мм² (или несколько параллельных линий). NVIDIA рекомендует использовать шинопроводы (busbar) для распределения питания в GPU-зонах. В архитектуре GB200 NVL72 питание подаётся через стоечные блоки питания (power shelves) на общую шину, а не через индивидуальные PSU в каждом сервере.
Три независимых PDU на стойку. NVIDIA рекомендует три независимых распределителя питания (rPDU) на каждую AI-стойку, подключённых к разным фидерам. При потере одного PDU оставшиеся два обеспечивают достаточное количество запитанных блоков питания на каждом сервере. Это отличается от стандартной схемы 2N (два PDU) и требует дополнительного луча распределения.
Перспектива: высоковольтное постоянное напряжение (HVDC). При плотностях 250–600 кВт на стойку (поколение Rubin) индустрия движется к распределению питания на постоянном токе 400–800 В. NVIDIA совместно с ABB, Eaton и Schneider Electric разрабатывает архитектуру на 800 VDC для стоек мощностью 1 МВт — готовность экосистемы ожидается к 2027 году.
Охлаждение: почему воздух больше не работает
Физический предел воздушного охлаждения
Воздушное охлаждение даже в оптимальной конфигурации (изоляция коридоров, рядные кондиционеры, высокопроизводительные вентиляторы) эффективно работает до 30–40 кВт на стойку. При 120 кВт для отвода тепла воздухом потребовался бы расход порядка 20 000–25 000 кубических метров в час на одну стойку — это объём, который физически невозможно прокачать через серверный шкаф стандартных размеров. Даже если бы это было возможно, мощность вентиляторов потребляла бы 20–30 процентов вычислительной мощности стойки, а уровень шума превысил бы 90 дБ.
Жидкостное охлаждение для GPU-стоек — не опция, а архитектурное требование. NVIDIA официально подтверждает, что платформы Blackwell (B200, GB200 NVL72) требуют жидкостного охлаждения. Это не рекомендация производителя, а обязательное условие, без которого оборудование не может работать.
Технологии жидкостного охлаждения для AI-зон
Direct-to-chip (DLC) — прямое жидкостное охлаждение на кристалле. Основная технология для GPU-серверов. Холодные пластины (cold plates) — медные блоки с микроканалами — прижимаются через термоинтерфейс непосредственно к чипам GPU и CPU. Через микроканалы циркулирует хладагент (деионизированная вода или раствор пропиленгликоля), отводящий тепло напрямую от кристалла.
Контур DLC для одного GPU-сервера включает: 8–10 холодных пластин (по числу GPU и CPU); манифолды и быстросъёмные коннекторы (quick-connect) для подключения без инструмента и без утечек; внутрисерверный контур, изолированный от общей системы. Хладагент поступает от стоечного CDU (Coolant Distribution Unit), который, в свою очередь, подключён к системе охлаждения (чиллер или драйкулер).
Характеристики DLC для GPU: тепловое сопротивление холодной пластины — 0,015–0,03 °C/Вт; расход хладагента — 2–3 литра в минуту на GPU; температура хладагента на входе — 30–45 °C (допускается высокая температура, что повышает эффективность фрикулинга); DLC снимает 70–80 процентов тепловой нагрузки стойки; оставшиеся 20–30 процентов (блоки питания, коммутаторы, память) отводятся воздухом.
Гибридная схема: DLC + воздушное охлаждение. Именно так работает GB200 NVL72: из 132 кВт полной тепловой нагрузки стойки примерно 115 кВт отводится жидкостью (DLC), а 17 кВт — воздушным охлаждением (встроенные вентиляторы + рядные кондиционеры). Это означает, что даже для стоек с DLC необходимо сохранять воздушное охлаждение для «остаточной» нагрузки.
Иммерсионное охлаждение. Теоретически способно обслуживать любую плотность, но для стандартных GPU-серверов формата HGX/DGX/NVL72 практически не применяется: серверы проектируются под DLC, а не под погружение. Иммерсионное охлаждение актуально для специализированных серверов без вентиляторов (custom-designed) и для майнинговых и HPC-установок.
Инфраструктура охлаждения для GPU-зоны
Развёртывание жидкостного охлаждения в ЦОД требует создания нескольких уровней инфраструктуры:
Уровень стойки: CDU (Coolant Distribution Unit) — теплообменник, насос и система управления внутри стойки или рядом с ней. Обеспечивает циркуляцию хладагента через серверы и передаёт тепло во вторичный контур. Резервирование CDU — N+1 (один резервный на группу стоек).
Уровень зала: трубопроводная обвязка — подводящие и отводящие магистрали от CDU до коллектора зала. Материал — нержавеющая сталь или медь. Быстросъёмные коннекторы с автоматическим запиранием (dry-break) на каждом подключении для предотвращения утечек при подключении и отключении стоек. Система обнаружения протечек: ленточные датчики под каждой стойкой и вдоль трубопроводных трасс с автоматическим закрытием запорных клапанов при обнаружении утечки.
Уровень здания: чиллерная станция или драйкулеры для отвода тепла из вторичного контура наружу. При температуре входного хладагента 30–45 °C (допускается для DLC) фрикулинг в московском регионе работает практически круглый год, что снижает PUE до 1,1–1,15.
Конструктив здания: что выдержит, а что нет
GPU-стойки создают нагрузки, на которые стандартные здания не рассчитаны.
Нагрузка на перекрытие
Стойка GB200 NVL72 весит около 1 360 кг (по данным NVIDIA) до 3 000 кг (в конфигурации с CDU, трубопроводами и кабелями, по оценкам интеграторов). Стандартная серверная стойка весит 500–800 кг. Нормативная нагрузка на перекрытие офисного здания — 250–400 кг/м². Стойка занимает площадь около 0,6 × 1,2 = 0,72 м². Давление на перекрытие от одной GPU-стойки: 1 900–4 200 кг/м² — это в 5–15 раз превышает допустимую нагрузку офисного перекрытия.
Для размещения GPU-стоек необходимо:
- Промышленное здание с проектной нагрузкой на перекрытие от 1 500 кг/м² (первый этаж или подвал — предпочтительно, перекрытия верхних этажей могут не выдержать).
- Усиление существующего перекрытия (при реконструкции) — стоимость зависит от конструктива здания и может составлять значительную долю бюджета модернизации.
- Распределение нагрузки через силовой фальшпол с опорами непосредственно на несущие конструкции (колонны, капитальные стены).
Высота помещения
GPU-стойки имеют высоту 42U–52U (2 000–2 400 мм корпус) плюс пространство для кабелей и трубопроводов сверху (300–500 мм) и снизу (фальшпол 400–800 мм или кабельные лотки). Минимальная высота от пола до потолка — 3 300 мм. Рекомендуемая — от 3 600 мм. При наличии верхних трубопроводных трасс для жидкостного охлаждения — от 4 000 мм.
Габариты и проёмы
GPU-стойки глубже стандартных: 1 200–1 400 мм вместо обычных 1 000–1 100 мм. Это влияет на ширину холодного и горячего коридоров (минимум 1 200 мм каждый) и на минимальный размер дверных проёмов для доставки оборудования (не менее 1 400 × 2 200 мм).
Сетевая инфраструктура: без неё GPU простаивают
GPU-кластер для обучения нейросетей — это не набор независимых серверов, а единая вычислительная фабрика, где GPU обмениваются данными с огромной скоростью. Узкое место в сети немедленно превращается в узкое место производительности всего кластера.
Два уровня сетей
Scale-up (внутри узла/стойки) — NVLink. Интерконнект NVIDIA NVLink соединяет GPU внутри одного узла (8 GPU в DGX) или внутри одной стойки (72 GPU в GB200 NVL72). Пропускная способность NVLink 5-го поколения (Blackwell): 130 ТБ/с суммарно на стойку NVL72. Это внутренняя шина, на которую инженер ЦОД не влияет — она встроена в архитектуру сервера.
Scale-out (между узлами/стойками) — InfiniBand или Ethernet. Интерконнект между стойками, формирующий кластер. InfiniBand NDR/XDR: 400–800 Гбит/с на порт, поддержка RDMA, стандарт де-факто для крупных AI-кластеров. Ethernet с RoCEv2: 400 Гбит/с на порт, более широкая экосистема вендоров и привычные операционные практики, но требует тщательной настройки для достижения производительности, сопоставимой с InfiniBand.
Требования к инфраструктуре СКС
- Оптические кабели: одномод и многомод, в зависимости от расстояний и скоростей. Для 400G и выше — как правило, одномод (SM) с трансиверами QSFP-DD или OSFP.
- Кабельные трассы: необходимо предусмотреть значительно больший объём оптических кабелей, чем в стандартном ЦОД. Кластер из 16 стоек GB200 NVL72 может требовать сотни оптических линков между стойками.
- Коммутационное оборудование: выделенные InfiniBand- или Ethernet-коммутаторы (NVIDIA Quantum, Spectrum) с консолью управления.
Мониторинг и управление: другой уровень сложности
Традиционные системы DCIM, спроектированные для мониторинга виртуальных машин и стандартных серверов, не справляются со сложностью GPU-инфраструктуры.
Что нужно мониторить дополнительно
На уровне чипа: температура каждого GPU (через IPMI, NVIDIA DCGM — Data Center GPU Manager), частота GPU и тротлинг (снижение частоты из-за перегрева или превышения лимита мощности), энергопотребление каждого GPU в реальном времени, ошибки памяти HBM (ECC-ошибки, которые являются предвестниками отказа).
На уровне охлаждения: температура хладагента на входе и выходе каждого CDU, расход хладагента через каждый контур, перепад давления (засорение фильтров, снижение производительности насосов), статус датчиков протечек.
На уровне электрики: потребление каждой стойки в реальном времени (с разрешением не менее 1 секунды — профиль нагрузки GPU меняется мгновенно), баланс нагрузки между фазами и PDU.
На уровне сети: утилизация портов InfiniBand/Ethernet, количество ретрансмитов и ошибок (индикатор деградации оптических линков), задержка (latency) между узлами — критична для распределённого обучения.
Интеграция мониторинга
Эффективная система мониторинга AI-ЦОД объединяет данные от всех уровней — инженерных систем (электрика, охлаждение, пожаротушение), IT-оборудования (GPU, CPU, память, сеть) и программного стека (оркестратор задач, планировщик кластера) — в единую панель. Это позволяет коррелировать события: например, обнаружить, что снижение производительности обучения модели связано не с программной ошибкой, а с тротлингом GPU из-за повышения температуры хладагента, вызванного загрязнением фильтра CDU.
Риски и цена ошибки: почему GPU-инфраструктура не прощает
Стоимость оборудования
Стоимость одного GPU-сервера класса HGX H100 (8 GPU) — от 25 до 40 миллионов рублей (в зависимости от конфигурации, конъюнктуры рынка и канала поставки). Стоимость стойки GB200 NVL72 — порядка 200–250 миллионов рублей. Кластер из 16 стоек NVL72 — это 3–4 миллиарда рублей только за вычислительное оборудование, без учёта инфраструктуры. При такой стоимости оборудования каждый час простоя — это не только потеря вычислительного времени, но и амортизационные потери, измеряемые сотнями тысяч рублей в час.
Каскадные отказы
В GPU-кластере отказ одного компонента может каскадировать:
- Выход из строя одного CDU → перегрев группы стоек → тротлинг или аварийная остановка GPU → прерывание задачи обучения → потеря прогресса (checkpoint) за часы или дни вычислений.
- Потеря одного оптического линка InfiniBand → снижение пропускной способности → замедление всего кластера (при обучении модели все GPU должны обмениваться данными синхронно; один медленный линк тормозит всех).
- Потеря электропитания на одной стойке → аварийная остановка 72 GPU → потеря данных из памяти HBM → откат к последнему checkpoint → необходимость перезапуска задачи.
Специфические риски
Протечка жидкостного контура. При DLC через серверы циркулирует вода (или гликоль) под давлением. Протечка внутри стойки стоимостью 200 миллионов рублей — сценарий, который нельзя допустить. Защита: быстросъёмные коннекторы с автоматическим запиранием (dry-break), ленточные датчики протечек на каждом уровне стойки, автоматическое закрытие запорных клапанов за 1–2 секунды, дренажные поддоны под каждой стойкой.
Деградация GPU. Видеокарты серверного класса имеют конечный ресурс. Постоянная работа при максимальной нагрузке ускоряет деградацию: электромиграция в кристалле, износ термоинтерфейса, накопление ECC-ошибок в памяти HBM. Мониторинг ошибок HBM — ключевой предиктивный показатель: рост количества исправляемых ECC-ошибок на порядок (от единиц до десятков в час) обычно предшествует неисправляемой ошибке и отказу модуля памяти на 2–4 недели.
Электростатический разряд (ESD). GPU-модули с тысячами BGA-соединений крайне чувствительны к ESD. При обслуживании DLC-контура (подключение/отключение быстросъёмных коннекторов, замена сервера) обязательно использование антистатических браслетов, ковриков и одежды. Зимой при низкой влажности риск ESD возрастает — поддержание влажности в серверном зале выше 40 процентов становится критически важным.
Как подготовить существующий ЦОД к AI-нагрузкам: пошаговый план
Этап 1: аудит текущей инфраструктуры
Оценить по каждой подсистеме:
Электроснабжение: свободная мощность на вводах (кВт), запас ИБП (кВА), мощность ДГУ, наличие свободных лучей распределения (A/B), сечение кабельных линий до планируемой GPU-зоны.
Охлаждение: доступная холодопроизводительность (кВт), наличие трубопроводной инфраструктуры для жидкостного контура (или возможность её прокладки), мощность чиллерной станции, наличие свободных мест для CDU.
Конструктив: допустимая нагрузка на перекрытие (кг/м²) в зоне планируемого размещения, высота помещения, размеры дверных проёмов и грузовых лифтов, наличие путей доставки тяжёлого оборудования.
Сеть: наличие оптической инфраструктуры для InfiniBand/400G Ethernet, запас портов на коммутаторах, наличие выделенного сегмента для GPU-кластера.
Этап 2: определить целевую конфигурацию
Выбрать платформу GPU (H100/H200/B200/GB200), количество узлов и стоек, тип интерконнекта (InfiniBand vs Ethernet). Рассчитать требуемую электрическую мощность, холодопроизводительность, нагрузку на перекрытие.
Этап 3: проектирование GPU-зоны
Выделить в серверном зале зону для GPU-стоек. Как правило, GPU-зона проектируется как изолированный сегмент с собственным контуром охлаждения (DLC), усиленным электроснабжением и выделенной сетевой инфраструктурой.
Проектная документация должна включать: схему электроснабжения GPU-зоны (от ввода до PDU); схему жидкостного контура (от чиллера до CDU и обратно); план размещения стоек с указанием нагрузок на перекрытие; схему сетевой инфраструктуры (InfiniBand-топология); проект системы обнаружения протечек; проект системы мониторинга с интеграцией DCGM.
Этап 4: модернизация инфраструктуры
Работы выполняются без остановки существующего ЦОД (если GPU-зона размещается в действующем серверном зале):
- Усиление перекрытия (при необходимости).
- Прокладка трубопроводов жидкостного контура.
- Установка CDU и подключение к чиллерной станции.
- Наращивание электрической мощности: дополнительный трансформатор, ИБП, ДГУ (или модули к существующим).
- Прокладка шинопроводов или силовых кабельных линий до GPU-зоны.
- Монтаж оптической инфраструктуры для InfiniBand/Ethernet.
- Установка системы обнаружения протечек и интеграция с BMS.
Этап 5: пусконаладка и тестирование
- Гидравлическое испытание жидкостного контура (опрессовка).
- Проверка протока, температур и давлений во всех контурах.
- Нагрузочное тестирование электрической инфраструктуры.
- Установка GPU-стоек и подключение к DLC, электропитанию и сети.
- Запуск тестовой вычислительной нагрузки (burn-in): 72 часа непрерывной работы при 100-процентной загрузке для выявления скрытых дефектов.
- Настройка мониторинга: пороги температур GPU, потребления, ошибок HBM, статус жидкостного контура.
На что обратить особое внимание при реконструкции
Рост нагрузки заложите с запасом. Следующее поколение GPU (NVIDIA Rubin, ориентировочно 2027) потребует 250–600 кВт на стойку. Если вы строите инфраструктуру сегодня под 120 кВт, предусмотрите запас по электрическим вводам, трансформаторам и трубопроводам для последующего масштабирования — как минимум вдвое. Производители уже рекомендуют закладывать мощность до 600 кВт на стойку при проектировании новых зданий.
Жидкостное охлаждение — это культура эксплуатации. Переход от воздушного к жидкостному охлаждению требует обучения эксплуатационного персонала: операторы должны уметь штатно отключать узел от DLC-контура, продувать контур, реагировать на срабатывание датчиков протечек, контролировать качество хладагента (pH, проводимость, концентрация гликоля).
SLA на обслуживание GPU-инфраструктуры отличается от стандартного. При стоимости оборудования в сотни миллионов рублей время реакции «24 часа» неприемлемо. Для GPU-зон SLA должен включать: время реакции — 1 час (24/7); время прибытия инженера — 2 часа; критический ЗИП (CDU, насос, быстросъёмные коннекторы, фильтры) — на объекте; регламент взаимодействия «эксплуатация ЦОД ↔ производитель серверов ↔ производитель CDU» — при протечке ответственность может быть неочевидной.
Страхование. Рассмотрите страхование GPU-оборудования от повреждения в результате протечки, скачка напряжения, пожара. При стоимости стойки 200+ миллионов рублей страховой полис — разумная инвестиция.
Итог: чек-лист готовности ЦОД к AI-нагрузкам
Этот перечень — сокращённая версия онлайн-скоринга «Калькулятор готовности ЦОД к AI/GPU-нагрузкам» на сайте РУСИНТЕЛКОМ. Пройдите полную версию — и получите детальный отчёт с персональными рекомендациями.
- Электрическая мощность на стойку — от 30 кВт (минимум), от 120 кВт (для GB200 NVL72).
- Схема резервирования ИБП — 2N или 2(N+1).
- ДГУ покрывает полную нагрузку с учётом GPU-зоны с запасом 15–20 процентов.
- Шинопроводы или усиленные кабельные линии до GPU-зоны.
- Три независимых PDU на AI-стойку.
- Жидкостное охлаждение (DLC) с CDU, трубопроводной обвязкой и подключением к чиллерной станции.
- Чиллерная станция с запасом мощности для DLC-контура и фрикулингом.
- Система обнаружения протечек с автоматическим закрытием клапанов.
- Допустимая нагрузка на перекрытие — от 1 500 кг/м².
- Высота помещения — от 3 300 мм (рекомендуется от 3 600 мм).
- Глубина стоек — от 1 200 мм.
- Оптическая инфраструктура для InfiniBand 400+ Гбит/с или Ethernet 400G.
- Мониторинг температуры на уровне чипа (IPMI/DCGM).
- Мониторинг энергопотребления каждой стойки в реальном времени.
- DCIM с интеграцией данных от GPU-оркестратора.
- Обученный персонал для обслуживания DLC-контура.
- SLA на обслуживание с временем реакции 1 час.
- ЗИП для жидкостного контура — на объекте.
- Антистатическая защита при обслуживании GPU-модулей.
- Запас мощности по электрике и охлаждению для масштабирования (×2 от текущей потребности).
РУСИНТЕЛКОМ — проектирование, строительство и модернизация ЦОД для AI-нагрузок. Аудит готовности, проектирование GPU-зон, монтаж жидкостного охлаждения и электроснабжения «под ключ». 8 800 505-63-82.