Дата-центры для нейросетей и AI-инфраструктуры
Проектирование, строительство и эксплуатация ЦОД нового поколения — под задачи обучения и инференса нейронных сетей, HPC-кластеров и GPU-вычислений
GPU-серверы для обучения нейросетей создают нагрузку, с которой стандартная инфраструктура дата-центра не справляется. Каждый из этих параметров требует отдельного инженерного решения.
Электроснабжение
Вместо стандартных 4–8 кВт. Один GPU-кластер из 8 ускорителей потребляет больше, чем целый ряд обычных серверов. Нужны шинопроводы, схемы 2N, запас мощности ДГУ и ИБП.
Охлаждение
Воздушное охлаждение не справляется при плотности выше 30 кВт. Нужны решения direct-to-chip, RDHx (rear-door heat exchangers) или иммерсионное погружение.
Весовая нагрузка
GPU-серверы весят в 3–5 раз больше стандартных. Фальшпол, несущие конструкции и стойки проектируются под усиленную нагрузку с запасом.
Сетевая инфраструктура
Обучение распределённых моделей требует сверхнизкой задержки между узлами. InfiniBand, RoCE, оптика 400/800G — стандартный Ethernet не подходит.
Энергоэффективность
При потреблении в мегаваттах каждая десятая PUE — это сотни тысяч рублей в месяц. Жидкостное охлаждение и фрикулинг снижают накладные расходы на энергию.
Непрерывность работы
Прерывание обучения нейросети означает откат на последний чекпоинт — часы или дни работы GPU-кластера потеряны. Отказоустойчивость на уровне Tier III/IV обязательна.
Инженерный проект AI-ЦОД
От концепции до рабочей документации
Проектируем инфраструктуру под конкретные задачи: обучение LLM, инференс, HPC. Учитываем тип GPU, количество стоек, план масштабирования.
- Технико-экономическое обоснование и выбор площадки
- Расчёт электрической мощности под GPU-конфигурацию
- Проект системы жидкостного охлаждения
- Проектирование высокоскоростной сетевой фабрики
- Расчёт весовых нагрузок на перекрытия и фальшпол
- Проект АСУЭ, мониторинга и DCIM
- Документация по СП 541 и ГОСТ Р 58811
Монтаж и пусконаладка
Строим под ключ или дооснащаем существующие залы
Выполняем полный цикл СМР: от усиления конструкций до запуска GPU-кластера в рабочий режим с выходом на проектные параметры.
- Усиление несущих конструкций и фальшпола
- Монтаж систем электроснабжения: ИБП, ДГУ, шинопроводы
- Монтаж жидкостного охлаждения: CDU, manifolds, трубопроводы
- Прокладка оптики и высокоскоростных интерконнектов
- Установка систем пожаротушения (газовое, VESDA)
- Пусконаладочные работы и нагрузочные испытания
- Ввод в эксплуатацию с передачей документации
Сервис и обслуживание
Непрерывная работа AI-инфраструктуры
Обеспечиваем бесперебойную работу GPU-кластеров: регламентное обслуживание, мониторинг 24/7, аварийный выезд за 4 часа.
- Регламентное ТО инженерных систем по SLA
- Мониторинг параметров охлаждения и энергопотребления
- Обслуживание контуров жидкостного охлаждения
- Аварийный выезд и ремонт — выезд за 4 часа
- Диспетчеризация и DCIM-сопровождение
- Замена компонентов без остановки нагрузки
- Линия поддержки 8 800 505-63-82
Электроснабжение
Силовая инфраструктура под мегаваттные нагрузки
- ИБП мегаваттного класса с резервированием 2N
- ДГУ с автозапуском и параллельной работой
- Шинопроводы для высокоплотных зон (до 200 кВт/стойка)
- PDU с поаппаратным мониторингом потребления
- Трансформаторные подстанции и ГРЩ
- Системы мониторинга энергопотребления в реальном времени
Жидкостное охлаждение
Direct-to-chip, RDHx, иммерсионное — под любую конфигурацию
- Direct-to-chip: холодные пластины на GPU и CPU
- RDHx (rear-door heat exchangers) на дверях стоек
- CDU (coolant distribution units) — распределение хладагента
- Иммерсионное охлаждение для максимальной плотности
- Чиллерные станции для отвода тепла от жидкостных контуров
- Дублирование контуров охлаждения (N+1, 2N)
Сетевая фабрика
InfiniBand, RoCE, оптика 400/800G
- InfiniBand NDR/XDR для GPU-интерконнекта
- RDMA over Converged Ethernet (RoCEv2)
- Spine-leaf архитектура с минимальной задержкой
- Оптические линии 400G/800G между узлами
- Выделенные сети хранения (NVMe-oF, GPUDirect Storage)
- Кабельные трассы под высокоплотные коммутации
Пожаротушение
Газовое тушение + раннее обнаружение
- Газовое пожаротушение (Новек, Хладон, Инерген)
- Аспирационные системы раннего обнаружения (VESDA)
- Зонирование тушения под планировку GPU-залов
- Защита от протечек в зонах жидкостного охлаждения
- Интеграция с DCIM и системой мониторинга
Мониторинг и DCIM
Управление инфраструктурой в реальном времени
- DCIM-платформа с дашбордами и алертами
- Мониторинг температур: чипы, жидкость, воздух
- Мониторинг потребления с точностью до стойки
- Контроль утечек в контурах жидкостного охлаждения
- Интеграция с BMS здания
- API для интеграции с оркестраторами GPU-кластера
Конструктив и стойки
Усиленные стойки, фальшпол, кабельные трассы
- Стойки глубиной 1200 мм под GPU-серверы
- Фальшпол с нагрузкой до 2500 кг/м²
- Усиление перекрытий и несущих конструкций
- Кабельные лотки под высокоплотную коммутацию
- Организация горячих и холодных коридоров
Аудит задач и требований
Определяем тип нагрузки (обучение, инференс, HPC), количество GPU, планы масштабирования. Оцениваем площадку или подбираем новую.
Концепция и ТЭО
Разрабатываем концепцию AI-ЦОД с расчётом мощности, охлаждения, бюджета. Технико-экономическое обоснование для принятия решений.
Проектирование
Рабочая документация по всем инженерным системам: электрика, охлаждение, сеть, пожаротушение, мониторинг. По СП 541 и ГОСТ Р 58811.
Строительство и монтаж
Усиление конструкций, монтаж инженерных систем, прокладка сетей. Поэтапный ввод зон — первые стойки работают пока строятся следующие.
Пусконаладка и испытания
Запуск систем охлаждения и электроснабжения, нагрузочные тесты на проектную мощность, проверка отказоустойчивости (failover-тесты).
Эксплуатация и развитие
Сервисное обслуживание по SLA, мониторинг 24/7, масштабирование мощностей по мере роста нагрузок. Линия поддержки 8 800.
Опыт строительства ЦОД Tier III/IV
198+ объектов, включая ЦОД НТВ (15 МВт, 1080 стоек), Росэнергоатом, Data.pro (7000 стоек).
Полный цикл — не только проект
Проектируем, строим и обслуживаем. Не передаём объект чужой эксплуатации — отвечаем за результат на всём жизненном цикле.
Аварийная служба 24/7
Диспетчерская работает круглосуточно. Среднее время аварийного выезда — 4 часа по Москве и МО.
Работа по стандартам
СП 541.1325800.2024, ГОСТ Р 58811, Uptime Institute Tier — проектируем по актуальным нормативам.
Инженеры с допусками
Сертифицированные специалисты с опытом работы на объектах повышенной ответственности — энергетика, телеком, финансовый сектор.
0 аварийных сбоев за 3 года
На площадке Data.pro (35 000 м²) — ни одного аварийного простоя за всё время эксплуатации.
Обсудить проект AI-ЦОД
Расскажите о задаче — подготовим концепцию с расчётом мощности, охлаждения и бюджета. Первая консультация бесплатно.