Как спроектировать систему электропитания дата-центра, которая не оставит серверы без энергии ни при каких обстоятельствах — от выбора схемы резервирования и расчёта мощности до сравнения технологий батарей и генераторов.
Электроснабжение как фундамент надёжности ЦОД
Система электроснабжения — самая критичная подсистема любого дата-центра. Отказ охлаждения даёт инженерам запас времени в 5–15 минут до перегрева. Отказ электропитания останавливает оборудование мгновенно. Даже секундный перерыв в подаче электроэнергии приводит к аварийной перезагрузке серверов, потере данных в оперативной памяти и незавершённых транзакций, а в худшем случае — к повреждению файловых систем и массивов хранения.
По статистике Uptime Institute, проблемы с электроснабжением являются причиной более 40 процентов всех инцидентов с простоем дата-центров. Стоимость часа простоя для среднего коммерческого ЦОД составляет от нескольких сотен тысяч до нескольких миллионов рублей — в зависимости от типа размещённых сервисов и SLA-обязательств перед клиентами.
Цена ошибки при проектировании электроснабжения — это не перерасход бюджета на оборудование (хотя и это случается), а невозможность обеспечить заявленный уровень доступности. ЦОД, позиционирующий себя как Tier III (99,982 процента доступности, не более 1,6 часа простоя в год), но спроектированный с единой точкой отказа в электрической схеме, не сможет выполнить обещания, данные клиентам.
Структура системы электроснабжения ЦОД
Система электропитания дата-центра состоит из нескольких уровней, каждый из которых выполняет свою функцию в обеспечении надёжности и качества электроэнергии.
Внешнее электроснабжение (вводы)
Электроэнергия поступает в ЦОД от городской электросети через один или несколько вводов. Количество и конфигурация вводов определяются требуемым уровнем надёжности:
- Один ввод — минимальная конфигурация. Любая авария на линии или подстанции приводит к полной потере внешнего питания. Допустимо только для серверных уровня Tier I.
- Два независимых ввода от разных подстанций — стандарт для Tier II и выше. При аварии на одном вводе второй обеспечивает питание всей нагрузки. Переключение выполняется автоматически через панель АВР (автоматический ввод резерва).
- Два ввода от разных подстанций плюс третий (ring bus) — для объектов уровня Tier IV в регионах с ненадёжными сетями.
В России состояние распределительных электросетей создаёт дополнительные риски: степень износа магистральных сетей в среднем составляет около 50 процентов, а распределительных — до 70 процентов. В отдельных регионах Сибири и Дальнего Востока износ достигает 80 и более процентов. Это означает, что даже при наличии двух вводов полная потеря внешнего электроснабжения — не теоретический, а вполне реальный сценарий, к которому ЦОД должен быть готов.
Трансформаторная подстанция
Городская электросеть подаёт напряжение 6–10 кВ (среднее напряжение). Трансформатор понижает его до 0,4 кВ (380/220 В) для питания оборудования ЦОД. Для объектов с двумя вводами устанавливаются два трансформатора с секционным АВР между ними. Мощность трансформатора подбирается с запасом 20–30 процентов от расчётной нагрузки с учётом PUE (полная нагрузка = IT × PUE).
Главный распределительный щит (ГРЩ)
Принимает питание от трансформаторной подстанции и распределяет его по потребителям: ИБП (для IT-нагрузки и критичных инженерных систем), прямое питание (для некритичных инженерных систем — освещение, вентиляция общего назначения), зарядные устройства АКБ.
Источники бесперебойного питания (ИБП)
ИБП — первый рубеж защиты IT-оборудования от перебоев электроснабжения. Выполняет три функции: мгновенное переключение на батарейное питание при пропадании сети (время переключения — 0 мс для онлайн-ИБП), фильтрация помех и стабилизация напряжения в нормальном режиме, обеспечение времени автономной работы до запуска ДГУ (обычно 5–15 минут).
Дизель-генераторные установки (ДГУ)
ДГУ обеспечивают длительное автономное электроснабжение при полной потере внешних вводов. Время запуска — 10–15 секунд от момента обнаружения аварии до принятия полной нагрузки. На этот интервал нагрузку несут батареи ИБП.
Распределение питания внутри серверного зала
От ИБП электроэнергия поступает к серверным стойкам через распределительные щиты этажа (РЩ), шинопроводы или кабельные линии и далее — через блоки распределения питания в стойках (PDU — Power Distribution Unit).
Схемы резервирования: N, N+1, 2N, 2(N+1)
Выбор схемы резервирования — ключевое архитектурное решение, определяющее и надёжность, и стоимость системы электроснабжения.
N — без резервирования
Установлено ровно столько оборудования, сколько необходимо для обслуживания нагрузки. Выход из строя любого элемента (ИБП, ДГУ, трансформатора, линии) приводит к снижению или потере питания. Плановое обслуживание требует полной остановки нагрузки.
Применимость: тестовые среды, разработка, некритичные внутренние серверные. Уровень Tier I.
N+1 — одно резервное звено
К минимально необходимому количеству оборудования (N) добавляется один резервный элемент. Пример: нагрузка 800 кВт, установлены три ИБП по 400 кВт (два несут нагрузку, один в резерве). При отказе одного из трёх — два оставшихся обеспечивают полную нагрузку.
Преимущества: допускает отказ одного элемента без потери питания; плановое обслуживание одного элемента без остановки. Ограничения: отказ двух элементов одновременно приводит к потере. Во время обслуживания одного элемента система работает без резерва (N).
Применимость: корпоративные серверные, ЦОД уровня Tier II.
2N — полное дублирование
Вся система электроснабжения состоит из двух одинаковых и полностью независимых «плеч», каждое из которых способно нести 100 процентов нагрузки. Два ввода, два трансформатора, два комплекта ИБП, два комплекта ДГУ, два независимых пути распределения до каждой стойки (луч A и луч B). Серверы с двумя блоками питания подключаются к обоим лучам.
Преимущества: полная независимость «плеч» — отказ всего левого плеча не влияет на правое; любое плечо можно полностью остановить для обслуживания, не прерывая питание нагрузки. Ограничения: стоимость оборудования удваивается (фактически — увеличивается на 60–80 процентов с учётом общей инфраструктуры); при нормальной работе каждое плечо загружено на 40–50 процентов, что снижает КПД ИБП.
Применимость: коммерческие ЦОД уровня Tier III, банковские и финансовые объекты.
2(N+1) — полное дублирование с резервом
Два независимых плеча, в каждом из которых есть дополнительный резервный элемент (N+1). Максимальный уровень надёжности: допускает одновременный отказ элемента в одном плече и полное обслуживание другого.
Применимость: ЦОД уровня Tier IV, государственные и оборонные объекты, финансовые системы национального масштаба.
Как выбрать схему
Выбор определяется балансом между требуемой доступностью, стоимостью и операционной зрелостью эксплуатирующей организации:
| Параметр | N+1 | 2N | 2(N+1) |
|---|---|---|---|
| Доступность | 99,74% (22 ч/год) | 99,982% (1,6 ч/год) | 99,995% (26 мин/год) |
| CAPEX (условно) | 1.0× | 1.7× | 2.0× |
| Обслуживание без остановки | Частично | Полностью | Полностью |
| Допустимый отказ | 1 элемент | Всё плечо | Плечо + 1 элемент |
Расчёт мощности: от серверной стойки до трансформатора
Шаг 1: определить IT-нагрузку
Суммарное электропотребление всего IT-оборудования. Определяется либо по данным мониторинга (для существующих объектов), либо по спецификациям оборудования с поправочным коэффициентом 0.6–0.7 (серверы редко потребляют более 60–70 процентов паспортной мощности блока питания).
Пример: 100 стоек × 8 кВт средней нагрузки на стойку = 800 кВт IT-нагрузки.
Шаг 2: определить полную нагрузку объекта
Полная нагрузка = IT-нагрузка × PUE. PUE учитывает энергопотребление охлаждения, освещения, систем безопасности, инженерных систем.
Пример: 800 кВт × 1.5 (PUE) = 1 200 кВт полной нагрузки.
Шаг 3: рассчитать мощность ИБП
ИБП защищает IT-нагрузку и критичные инженерные системы (управление охлаждением, пожарная сигнализация, СКУД). Мощность ИБП определяется формулой:
P_ИБП (кВА) = P_IT (кВт) / PF × K_резервирования
Где PF — коэффициент мощности нагрузки (для современных серверов с корректором мощности — 0.95–0.99), K_резервирования зависит от схемы: для N+1 из трёх модулей — 1.5 (полная мощность делится на N модулей, один в резерве), для 2N — 2.0.
Пример (схема 2N): 800 кВт / 0.98 × 2.0 = 1 633 кВА. Два ИБП по ~820 кВА или два комплекта модульных ИБП с аналогичной суммарной мощностью.
Шаг 4: рассчитать ёмкость аккумуляторных батарей
Время автономии определяется временем запуска ДГУ и приёма нагрузки. Минимум — 5 минут. Стандарт — 10–15 минут. Для объектов без ДГУ — 30–60 минут (для корректного завершения работы серверов).
Ёмкость (А·ч) = (P_ИБП × t_мин) / (U_шины × η_инвертора × 60)
Пример: 820 кВА × 10 мин / (480 В × 0.95 × 60) = 300 А·ч (при напряжении шины постоянного тока 480 В).
На практике расчёт усложняется эффектом Пейкерта: при высоких токах разряда реальная отдаваемая ёмкость аккумулятора ниже номинальной. Для свинцово-кислотных (VRLA) батарей коэффициент Пейкерта составляет 1.1–1.3, для литий-ионных — 1.02–1.05. Это означает, что при высокой нагрузке VRLA-батарея отдаёт на 20–40 процентов меньше энергии, чем можно ожидать по номиналу.
Температурная поправка: при температуре выше 25 °C ёмкость VRLA-батареи формально растёт, но срок службы катастрофически падает — каждые 10 °C сверх 25 °C сокращают ресурс вдвое (правило Аррениуса). Батарея, рассчитанная на 5 лет при 25 °C, проработает 2.5 года при 35 °C.
Шаг 5: рассчитать мощность ДГУ
ДГУ должна покрывать полную нагрузку объекта (IT + охлаждение + инженерные системы) с запасом 10–20 процентов:
P_ДГУ = P_полная × 1.15
Пример: 1 200 кВт × 1.15 = 1 380 кВт. Для схемы 2N — два ДГУ по 1 380 кВт.
При расчёте необходимо учитывать пусковые токи двигателей (компрессоры чиллеров, насосы), которые в момент запуска потребляют в 5–7 раз больше номинальной мощности. ДГУ должна быть способна принять 100 процентов нагрузки за один шаг (критерий DCC — Data Center Continuous).
Шаг 6: рассчитать мощность трансформатора
P_трансформатора = P_полная / PF_нагрузки × K_запаса
Пример: 1 200 кВт / 0.95 × 1.25 = 1 579 кВА. Два трансформатора по 1 600 кВА для схемы 2N.
ИБП для ЦОД: типы, режимы, выбор
Типы ИБП по принципу работы
Online (двойное преобразование, VFI). Входное переменное напряжение постоянно преобразуется в постоянное (выпрямитель), а затем обратно в переменное (инвертор). Нагрузка всегда питается от инвертора, батареи подключены к шине постоянного тока параллельно. Время переключения — 0 мс (переключения фактически не происходит). Единственный тип ИБП, применимый для ЦОД уровня Tier II и выше. КПД: 94–97 процентов в режиме двойного преобразования.
eConversion (экорежим, активный ECO). Режим работы online-ИБП, при котором при нормальном качестве входного напряжения нагрузка питается напрямую от сети (через байпас), а инвертор работает в режиме «горячего ожидания» с минимальными потерями. При отклонении параметров сети инвертор подхватывает нагрузку за 2–4 мс. КПД в режиме eConversion: 98–99 процентов. Экономия электроэнергии по сравнению с постоянным двойным преобразованием — до 4–5 процентов от мощности ИБП. Для ИБП мощностью 500 кВт это 20–25 кВт непрерывных потерь, что эквивалентно 175 000–220 000 кВт·ч в год и более 1.2–1.5 млн рублей ежегодной экономии при тарифе 7 ₽/кВт·ч.
Модульные vs моноблочные ИБП
Моноблочные — единый корпус с фиксированной мощностью (например, 200 кВА, 500 кВА, 800 кВА). Преимущества: простота, отработанная конструкция. Недостатки: при выходе из строя требуется замена или ремонт всего блока; невозможно наращивать мощность без замены ИБП.
Модульные — корпус (рама) с посадочными местами для силовых модулей. Каждый модуль — независимый ИБП малой мощности (20–50–100 кВА). Преимущества: горячая замена модуля без отключения нагрузки (hot-swap); наращивание мощности установкой дополнительных модулей; при отказе модуля остальные продолжают работу (встроенное резервирование N+1). Недостатки: стоимость за кВА выше, чем у моноблочных; большее количество соединений и точек контакта.
Для современных ЦОД модульные ИБП стали стандартом де-факто — гибкость масштабирования и возможность обслуживания без остановки перевешивают разницу в цене.
VRLA vs Li-ion: сравнение технологий аккумуляторных батарей
Выбор типа батарей — одно из ключевых решений при проектировании ИБП для ЦОД. Свинцово-кислотные батареи с клапанным регулированием (VRLA) доминировали десятилетиями, но литий-ионные (Li-ion) технологии стремительно набирают долю рынка.
| Параметр | VRLA | Li-ion |
|---|---|---|
| Срок службы | 4–5 лет (стандартные), 8–10 лет (с увеличенным ресурсом) | 10–15 лет |
| Замен за 10 лет | 1–2 | 0 |
| Масса (на 1 кВт·ч) | 25–35 кг | 8–12 кг |
| Площадь размещения | В 2.5–3 раза больше | Базовая |
| Температурная чувствительность | Высокая (ресурс падает вдвое на каждые +10 °C) | Умеренная (диапазон 15–35 °C) |
| CAPEX | 1.0× | 1.5–2.0× |
| TCO за 10 лет | Часто выше (из-за замен и охлаждения) | Часто ниже |
| BMS (система управления) | Простая или отсутствует | Обязательна (контроль каждой ячейки) |
| Риск теплового разгона | Крайне низкий | Существует (минимизируется BMS) |
Для новых проектов с горизонтом планирования более 7 лет Li-ion-батареи, как правило, экономически выгоднее за счёт отсутствия замен, меньших требований к площади и охлаждению. Для бюджетных проектов с горизонтом до 5 лет VRLA остаются разумным выбором.
ДГУ для ЦОД: типы, требования и особенности выбора
Требования к ДГУ для дата-центров
ДГУ для ЦОД — это не обычный резервный генератор. Ключевые отличия от промышленных и бытовых ДГУ:
Время запуска. От обнаружения аварии до принятия полной нагрузки — не более 10–15 секунд. Это требует: предварительного подогрева двигателя (jacket water heater) — постоянного поддержания температуры охлаждающей жидкости на уровне 40–50 °C; дублированной стартерной системы (два стартера или стартер + пневмопуск); предварительной подкачки масла (prelube pump).
Приём нагрузки за один шаг. ДГУ должна принять 100 процентов номинальной нагрузки мгновенно, без ступенчатого набора. Это критерий DCC (Data Center Continuous) — не все промышленные ДГУ его поддерживают.
Режим работы. Возможность непрерывной работы без снижения мощности в течение неограниченного времени (пока есть топливо). Стандартные промышленные ДГУ рассчитаны на 500 часов работы в год; ДГУ для ЦОД — на неограниченное время в режиме аварийного питания.
Запас топлива. Топливные баки рассчитываются на 24–72 часа непрерывной работы без дозаправки. Для крупных ЦОД — выносные топливные ёмкости (5 000–50 000 литров и более) с системой автоматической подкачки.
Типы ДГУ
Дизельные генераторные установки. Наиболее распространённый тип для ЦОД. Диапазон мощности — от 100 кВт до 3 500 кВт единичной мощности. Ключевые производители для ЦОД: Cummins (моторесурс до 30 000–40 000 моточасов), Caterpillar, MTU (Rolls-Royce Power Systems), Perkins, а также российские (ТСС, ПСМ, АЗИМУТ) с импортными двигателями.
Газопоршневые генераторные установки (ГПГУ). Работают на природном газе. Преимущества: нет необходимости в хранении топлива (газ подаётся по магистрали); ниже выбросы; ниже стоимость топлива. Ограничения: зависимость от газоснабжения (отключение газа = отключение генератора); время запуска выше, чем у дизельных (20–30 секунд); ограниченная мощность единичного агрегата.
Параллельная работа нескольких ДГУ. Для крупных ЦОД вместо одного генератора большой мощности используют несколько генераторов меньшей мощности, синхронизированных между собой. Преимущества: гибкое наращивание мощности; вывод отдельных агрегатов на обслуживание без остановки; оптимизация расхода топлива (включаются только необходимые ДГУ).
Распределение питания внутри серверного зала
Шинопроводы vs кабельные линии
При мощности свыше 200–300 кВт на серверный зал шинопроводы (busway) становятся предпочтительнее кабельных линий:
| Параметр | Кабельные линии | Шинопроводы |
|---|---|---|
| Монтаж | Трудоёмкий, каждая линия прокладывается отдельно | Быстрый, секции соединяются болтами |
| Гибкость | Новая линия = новый кабель от щита до стойки | Ответвительные коробки подключаются в любую точку шинопровода |
| Потери | 3–5% на длинных трассах | 1–2% |
| Занимаемое пространство | Широкие кабельные лотки | Компактные секции под потолком или под фальшполом |
| Стоимость (при >300 кВт) | Выше за счёт меди и работ | Ниже за счёт скорости монтажа |
Для высокоплотных зон (более 20 кВт на стойку) шинопроводы — практически безальтернативное решение: кабельные трассы физически не вмещают необходимое количество проводников.
PDU (Power Distribution Unit)
PDU в стойке — последнее звено электрической цепи перед IT-оборудованием. Различают три типа:
Базовый PDU — разветвитель с несколькими розетками C13/C19. Без мониторинга и управления.
Мониторинговый PDU — измеряет суммарный ток, напряжение, мощность всей стойки или отдельных фаз. Передаёт данные в DCIM по SNMP. Позволяет контролировать загрузку стойки и планировать размещение нового оборудования.
Управляемый PDU — помимо мониторинга позволяет удалённо включать и выключать отдельные розетки. Применяется для удалённой перезагрузки «зависшего» оборудования и для контроля доступа (отключение питания неавторизованного устройства).
Для схемы 2N в каждой стойке устанавливаются два PDU (один подключён к лучу A, другой к лучу B), и каждый сервер с двумя блоками питания подключается к обоим PDU.
Повышение энергоэффективности электроснабжения
Система электроснабжения (ИБП, трансформаторы, распределение) потребляет 8–15 процентов от общего электропотребления ЦОД. Снижение потерь в электрической инфраструктуре — один из наиболее доступных способов улучшить PUE.
Режим eConversion ИБП. Переход с постоянного двойного преобразования на eConversion повышает КПД ИБП с 94–96 до 98–99 процентов. Для ИБП мощностью 1 000 кВА экономия составляет 30–50 кВт непрерывных потерь.
Оптимальная загрузка ИБП. Максимальный КПД online-ИБП достигается при загрузке 50–75 процентов. При загрузке 20–30 процентов (типично для начальной фазы эксплуатации по схеме 2N) КПД падает на 2–4 процента. Решение: модульные ИБП, в которых включаются только необходимые модули, а неиспользуемые находятся в «спящем» режиме.
Правильный выбор сечения кабелей. Заниженное сечение увеличивает потери (I²R). Завышенное — увеличивает стоимость. Оптимум: потери в кабельной линии не более 1–2 процентов от передаваемой мощности.
Повышение коэффициента мощности. Современные серверы с активным корректором мощности (APFC) имеют PF близкий к единице (0.95–0.99). Старое оборудование или специфические нагрузки (осветительные установки, двигатели без частотного привода) могут снижать общий PF до 0.85–0.90, что увеличивает токовую нагрузку на кабели и трансформаторы без увеличения полезной мощности. Компенсация реактивной мощности (конденсаторные установки или активные фильтры) возвращает PF к 0.95 и выше.
Мониторинг и учёт. Невозможно улучшить то, что не измеряется. Установка энергосчётчиков на каждом уровне распределения (ввод, трансформатор, ИБП, шинопровод, PDU) позволяет выявить «паразитные» потери и отклонения. Рассчитывать PUE по фактическим данным — не реже одного раза в квартал.
Типичные ошибки при проектировании электроснабжения ЦОД
Ошибка 1: расчёт по номинальной мощности блоков питания. Приводит к завышению мощности ИБП, ДГУ и трансформаторов в 1.5–2 раза. Оборудование работает с низкой загрузкой и низким КПД. Капитальные затраты необоснованно высоки. Правильный подход — расчёт по фактическому или ожидаемому потреблению с запасом 20–30 процентов на рост.
Ошибка 2: единая точка отказа в схеме «2N». Формально установлены два ИБП и два ДГУ, но оба ввода приходят через один АВР, или оба луча распределения проходят через один щит. Любое обслуживание или отказ этого элемента обесточивает весь ЦОД. Правильная схема 2N не должна иметь ни одной общей точки на всём пути от ввода до стойки.
Ошибка 3: недооценка пусковых токов. Компрессоры чиллеров, насосы, вентиляторы в момент запуска потребляют в 5–7 раз больше номинала. Если ДГУ рассчитана «впритык» по номинальной нагрузке, пусковые токи могут вызвать просадку напряжения и аварийную остановку генератора. Решение: учитывать пусковые токи при расчёте ДГУ или использовать устройства плавного пуска (софтстартеры) и частотные приводы на двигателях.
Ошибка 4: отсутствие регулярного тестирования ДГУ. Генератор, который не запускали полгода, может не запуститься в аварийной ситуации: разряд стартерного аккумулятора, застывание топлива, заклинивание клапанов. Регламент: тестовый запуск под нагрузкой не реже одного раза в месяц, полное нагрузочное испытание — ежеквартально.
Ошибка 5: отсутствие селективности защит. При коротком замыкании на одной линии должен отключиться автомат именно этой линии, а не вышестоящий автомат, обесточивающий весь этаж. Селективность (координация) защит — обязательная часть проекта электроснабжения, которая требует расчёта токов короткого замыкания и подбора уставок каждого автомата в цепочке.
Ошибка 6: игнорирование гармонических искажений. Серверные блоки питания с APFC генерируют высшие гармоники тока (3-я, 5-я, 7-я). Суммарный коэффициент гармонических искажений (THDi) может достигать 30–40 процентов. Это вызывает перегрев нулевого проводника (токи 3-й гармоники складываются в нуле), перегрев трансформатора и ложное срабатывание защит. Решение: K-фактор трансформатора (K-13 или K-20), увеличенное сечение нулевого проводника, активные фильтры гармоник при THDi выше 25 процентов.
Цена ошибки: что происходит при неверном расчёте
Последствия ошибок в проектировании электроснабжения ЦОД делятся на две категории.
Завышение мощности — потеря денег без потери надёжности. ИБП, работающий на 20 процентов загрузки, имеет КПД на 3–5 процентов ниже оптимума. Для ИБП на 1 000 кВА это 30–50 кВт постоянных непроизводительных потерь — более 1.5–3 млн рублей в год. Плюс переплата за оборудование: разница в цене между ИБП на 500 кВА и 1 000 кВА составляет 3–8 млн рублей.
Занижение мощности или ошибка в схеме резервирования — потеря надёжности. Перегруженный ИБП аварийно переключается на байпас при пиковой нагрузке, теряя функцию защиты. ДГУ, не способная принять пусковые токи, уходит в аварию именно тогда, когда она нужнее всего. Единая точка отказа в «якобы 2N» схеме обесточивает серверы в момент планового обслуживания.
РУСИНТЕЛКОМ — проектирование, строительство и модернизация систем электроснабжения дата-центров и серверных помещений. ИБП, ДГУ, АВР, шинопроводы, PDU: от аудита существующей системы до «под ключ». 8 800 505-63-82.