Как заменить ИБП, чиллер или целый контур электроснабжения в работающем дата-центре, не обесточив ни одной стойки — от аудита и проекта производства работ до временной инфраструктуры и финальной приёмки.
Почему модернизация под нагрузкой — это отдельная инженерная дисциплина
Построить дата-центр с нуля проще, чем модернизировать работающий. При новом строительстве инженер оперирует пустым зданием: можно прокладывать трубопроводы в любом направлении, монтировать оборудование в удобном порядке, проводить пусконаладку без оглядки на соседние системы. При модернизации действующего ЦОД каждое действие происходит в условиях, когда серверы работают, данные обрабатываются, а клиенты ожидают непрерывного сервиса.
Выключить дата-центр «на пару дней» для капитального ремонта — решение, которое на словах звучит просто, а на практике обходится в миллионы. Час незапланированного простоя коммерческого ЦОД уровня Tier III стоит от нескольких сотен тысяч до нескольких миллионов рублей. Плановый останов на двое суток — это потеря выручки, штрафные санкции по SLA, миграция клиентов к конкурентам и репутационный ущерб, который не измеряется деньгами.
Поэтому модернизация работающего ЦОД — это не «ремонт», а управляемый сценарий переключений: детально спланированная последовательность действий, в которой каждый шаг просчитан, каждое отключение согласовано и каждый риск имеет план отката.
Когда ЦОД нуждается в модернизации
Решение о модернизации принимается не по календарю, а по совокупности признаков:
Исчерпание мощности. Свободная ёмкость ИБП менее 20 процентов. Холодопроизводительность загружена на 80 процентов и выше. Электрические вводы работают на пределе допустимой нагрузки. Установка новых стоек невозможна без наращивания инженерных систем.
Устаревание оборудования. ИБП старше 10 лет (для VRLA-батарей — старше 4–5 лет с момента последней замены). Чиллеры с хладагентом R22, снятым с производства. Прецизионные кондиционеры западных производителей, покинувших российский рынок, — запчасти недоступны или стоят в разы дороже. Удельное энергопотребление выросло на 30 и более процентов относительно паспортных данных.
Изменение требований. Переход на высокоплотные GPU-нагрузки (требуется жидкостное охлаждение и усиленное электроснабжение). Повышение уровня надёжности (с Tier II до Tier III). Приведение в соответствие с СП 541.1325800.2024. Требования новых клиентов или регуляторов.
Экономические причины. PUE объекта превышает 1.8 — модернизация системы охлаждения (добавление фрикулинга, замена кондиционеров на модели с EC-вентиляторами) окупается за 2–3 года за счёт экономии электроэнергии.
Этап 1: обследование и аудит
Модернизация начинается не с закупки оборудования, а с фиксации текущего состояния. Без достоверных исходных данных любой проект переключений — авантюра.
Что обследуется
Электроснабжение: фактическая загрузка вводов, трансформаторов, ИБП и ДГУ (не паспортная, а измеренная). Термография силовых соединений — перегревающиеся контакты выявляются до того, как они станут причиной аварии. Состояние аккумуляторных батарей (замер внутреннего сопротивления каждой банки). Селективность защитных аппаратов — сработает ли при коротком замыкании именно тот автомат, который должен, а не вышестоящий.
Охлаждение: фактическая холодопроизводительность (измерение, а не расчёт по паспорту). Тепловая карта серверного зала — инфракрасная съёмка или сеть датчиков, выявляющая «горячие точки» и зоны рециркуляции. Состояние чиллеров и кондиционеров (давление хладагента, токи компрессоров, перегрев, переохлаждение). Состояние трубопроводов и арматуры.
Конструктив: допустимая нагрузка на перекрытия (критично при установке нового тяжёлого оборудования или GPU-стоек). Возможность прокладки новых кабельных и трубопроводных трасс. Высота потолков, размеры проёмов для доставки оборудования.
Документация: сравнение исполнительной документации (as-built) с фактическим состоянием. Если фактическая конфигурация отличается от схем — а это случается почти всегда — следующий этап модернизации начинается с недостоверных исходных данных. Актуализация документации — обязательная часть аудита.
Результат аудита
Отчёт с оценкой состояния каждой подсистемы, перечнем узких мест, рисков и рекомендаций. Этот документ становится техническим заданием на проектирование модернизации.
Этап 2: проект производства работ (ППР)
Проект производства работ — центральный документ всей модернизации. Без него любые действия под нагрузкой превращаются в неуправляемый риск.
Что содержит ППР
Поэтапная логика переключений. Что, когда и при каких условиях выводится из эксплуатации. Какие временные схемы задействуются на каждом этапе. Как система возвращается в штатный режим после завершения работ. Каждый шаг привязан к конкретному оборудованию (с указанием серийных номеров и маркировки) и конкретному времени.
Расчёт временных мощностей. На каждом этапе модернизации необходимо подтвердить, что оставшееся в работе оборудование способно нести 100 процентов нагрузки. Если нет — определяется необходимость во временной инфраструктуре (мобильные ДГУ, мобильные чиллеры, временные кабельные линии).
Критерии перехода между этапами. Переход к следующему этапу выполняется только после подтверждения, что предыдущий завершён штатно и все контролируемые параметры в норме. Критерии фиксируются в ППР: какие значения токов, давлений, температур должны быть достигнуты перед переходом.
Сценарии отката (rollback). Для каждого этапа прописывается план возврата к предыдущему состоянию в случае нештатной ситуации. Откат должен быть возможен за ограниченное время (как правило, не более 15–30 минут) и без потери нагрузки.
Зоны ответственности. Кто принимает решение о начале каждого этапа. Кто контролирует параметры. Кто имеет право остановить работы. Как организована связь между бригадой на объекте и диспетчером ЦОД.
Сроки подготовки
Для локальной замены одного узла (например, ИБП или участка распределения питания) подготовка ППР обычно занимает 3–6 недель: обследование, проектирование, согласование. Для модернизации крупного сегмента электроснабжения или охлаждения — 8–12 недель, поскольку нужно проверить резервы, автоматику, сценарии возврата и влияние работ на смежные системы.
Этап 3: подготовка временной инфраструктуры
Временная инфраструктура — это оборудование, которое берёт на себя нагрузку модернизируемого участка на период демонтажа старого и монтажа нового оборудования.
Временное электроснабжение
Мобильные ДГУ. Дизель-генератор на прицепе или в контейнерном исполнении, подключаемый к распределительному щиту ЦОД через временный ввод. Используется, когда модернизация затрагивает штатные ДГУ или трансформаторную подстанцию. Мощность мобильной ДГУ должна покрывать полную нагрузку модернизируемого участка с запасом 15–20 процентов.
Временные кабельные линии. Когда заменяется участок шинопровода или магистральный кабель, нагрузка переводится на временную кабельную линию, проложенную по поверхности (по кабельным лоткам или на временных опорах). Сечение временного кабеля — не менее сечения заменяемого.
Временные щиты. При замене главного распределительного щита или секционного АВР нагрузка переключается на временный щит, установленный рядом.
Временное охлаждение
Мобильные чиллеры. Чиллер на прицепе или на раме, подключаемый к контуру хладоносителя ЦОД через временные гибкие подводки. Применяется при замене штатного чиллера, модернизации чиллерной станции или прокладке новых трубопроводов. Мобильный чиллер должен обеспечивать холодопроизводительность, достаточную для компенсации выведенного из работы штатного оборудования.
Временные кондиционеры. Мобильные прецизионные кондиционеры (DX, с выносным конденсатором) используются при замене штатных кондиционеров в серверном зале. Устанавливаются в проходах или на временных площадках рядом с серверным залом, воздуховоды направляются к стойкам.
Временные гибкие трубопроводы. При замене участков трубопроводной обвязки хладоноситель направляется по временным гибким рукавам (армированный каучук или нержавеющая гофра), проложенным в обход демонтируемого участка.
Ключевое правило временной инфраструктуры
Временное оборудование должно быть установлено, подключено, проверено и принято в работу до начала вывода штатного оборудования. Нагрузка переводится на временную схему, штатное оборудование разгружается и только после этого — демонтируется. Обратный порядок (сначала демонтировать, потом подключить временное) — недопустим: любая задержка оставит серверный зал без охлаждения или питания.
Этап 4: выполнение работ — последовательность переключений
Общий принцип
Модернизация выполняется по схеме «параллельного сосуществования»: новое оборудование устанавливается и подключается параллельно со старым (или с временным), нагрузка плавно переводится на новое, старое (или временное) отключается и демонтируется. На каждом шаге серверный зал продолжает работать.
Пример: замена ИБП
- Установить новый ИБП рядом с существующим. Подключить входное питание (от щита или шинопровода). Подключить батарейный кабинет. Выполнить пусконаладку нового ИБП на холостом ходу (без нагрузки).
- Перевести нагрузку на резервный путь питания (луч B, если заменяется ИБП на луче A). Убедиться, что вся нагрузка устойчиво питается от резервного пути.
- Отключить старый ИБП от нагрузки. Разгрузить.
- Переключить выход нового ИБП на место старого в цепи распределения. Перевести нагрузку обратно на основной путь (луч A, теперь через новый ИБП). Убедиться в штатной работе.
- Демонтировать старый ИБП. Привести в порядок кабельные трассы.
- Повторить для второго ИБП (луч B).
Пример: замена чиллера
- Подключить мобильный чиллер к контуру хладоносителя через временные подводки. Запустить, вывести на рабочий режим, убедиться в стабильности температуры подачи.
- Перевести нагрузку охлаждения на мобильный чиллер (закрыть запорную арматуру на штатном чиллере, открыть на мобильном). Убедиться, что температура в серверном зале стабильна.
- Отключить штатный чиллер. Дренировать хладоноситель из контура штатного чиллера. Отключить электропитание.
- Демонтировать старый чиллер. Подготовить площадку для нового (фундамент, виброизоляция, подключения).
- Установить и подключить новый чиллер. Заполнить контур, опрессовать, выполнить пусконаладку.
- Перевести нагрузку на новый чиллер. Отключить мобильный.
- Демонтировать временные подводки. Восстановить штатную обвязку.
Пример: модернизация фальшпола
- Определить участки, которые можно модернизировать без вывода стоек (незанятые зоны, проходы, зоны под кондиционерами).
- Демонтировать плитки и опоры на свободном участке. Установить новые опоры и плитки с увеличенной несущей способностью.
- Для занятых участков — временно переместить стойки на уже модернизированный участок (если позволяет длина кабелей и трубопроводов) или выполнить миграцию нагрузки на другие серверы кластера, разгрузить стойку, переместить, модернизировать участок, вернуть стойку.
Этап 5: пусконаладка и приёмка
После завершения монтажа нового оборудования и переключения нагрузки выполняется полная пусконаладка:
Электроснабжение: контроль напряжения, тока и мощности на всех уровнях распределения. Тест АВР (имитация потери одного ввода). Тест ИБП (переход на батарейное питание и обратно). Тест ДГУ (полный цикл: потеря питания → запуск ДГУ → приём нагрузки → восстановление сети → обратный переход → штатная остановка). Термография силовых соединений.
Охлаждение: контроль температуры подачи и обратки хладоносителя. Контроль расхода и давления. Построение тепловой карты серверного зала — сравнение с картой до модернизации. Проверка работы фрикулинга (если применимо).
Автоматика: проверка всех сценариев автоматического переключения. Проверка срабатывания аварийных сигналов и передачи в систему мониторинга.
Документация: актуализация исполнительной документации (as-built). Фиксация всех изменений в однолинейных схемах, планах размещения, спецификациях. Составление акта приёмки.
Управление рисками: что может пойти не так
Риск: потеря нагрузки при переключении. Причина — ошибка в последовательности операций или несогласованность действий бригады. Защита: ППР с пошаговой инструкцией, репетиция критичных переключений на ненагруженном оборудовании, присутствие ответственного инженера ЦОД при каждом переключении.
Риск: перегрев при замене охлаждения. Причина — недостаточная мощность мобильного чиллера или ошибка в гидравлической обвязке. Защита: расчёт мощности временного оборудования с запасом 20 процентов, тестовый прогон мобильного чиллера под нагрузкой до вывода штатного, непрерывный мониторинг температуры на входе в каждую стойку.
Риск: несовместимость нового оборудования. Причина — новый ИБП не поддерживает параллельную работу со старым, новый кондиционер использует другой протокол управления, новый чиллер требует другого хладоносителя. Защита: проверка совместимости на этапе проектирования, а не на этапе монтажа.
Риск: каскадный отказ. Причина — вывод из работы одного компонента увеличивает нагрузку на оставшиеся, и один из них не выдерживает. Защита: расчёт нагрузки на каждом этапе модернизации, мониторинг токов, давлений и температур в реальном времени.
Риск: утечка при работе с трубопроводами. Причина — негерметичное подключение временных подводок, разрушение уплотнения при демонтаже старого оборудования. Защита: дренажные поддоны, датчики протечек, запорная арматура с автоматическим закрытием, персонал с опытом работы на действующих контурах.
Сроки модернизации
Локальная замена одного узла (один ИБП, один кондиционер, один участок шинопровода) — от 1 до 4 недель (включая подготовку, монтаж и пусконаладку). Модернизация подсистемы (замена всего контура охлаждения или всей системы электроснабжения) — от 2 до 6 месяцев. Комплексная модернизация объекта (электрика + охлаждение + пожаротушение + фальшпол) — от 6 до 12 месяцев, с разбивкой на последовательные этапы.
Если изменения одновременно затрагивают электроснабжение, распределение мощности, охлаждение, автоматику и размещение оборудования, отдельные локальные работы уже целесообразно рассматривать как комплексную реконструкцию с единым проектом и единым планом переключений — а не как набор независимых мероприятий, каждое из которых планируется отдельно.
Чек-лист: готовность к модернизации без остановки
- Проведён аудит текущего состояния всех затрагиваемых подсистем.
- Исполнительная документация (as-built) актуализирована и соответствует фактическому состоянию.
- Разработан и согласован проект производства работ (ППР) с поэтапным планом переключений.
- Для каждого этапа определены критерии перехода и сценарии отката.
- Временная инфраструктура (мобильные ДГУ, чиллеры, кабели) заказана, доставлена и протестирована.
- Новое оборудование доставлено на объект и прошло входной контроль.
- Запасные части для критичного оборудования — на объекте.
- Персонал ознакомлен с ППР, проведён инструктаж, распределены зоны ответственности.
- Система мониторинга настроена на усиленный режим (пониженные пороги аварийных оповещений).
- Служба эксплуатации ЦОД уведомлена и согласовала окна для каждого этапа.
- Клиенты (для коммерческого ЦОД) уведомлены о плановых работах и возможном снижении уровня резервирования.
- Страхование ответственности подрядчика подтверждено.
РУСИНТЕЛКОМ — модернизация инженерных систем дата-центров без остановки. Аудит, проект переключений, временная инфраструктура, монтаж и пусконаладка «под ключ». 8 800 505-63-82.