Инженерная инфраструктура и эксплуатация ЦОД

ЦОД от обсуждения до ввода в эксплуатацию

Пишем ФЗ и ТЗ, ведём предпроект и проектирование, проверяем и принимаем оборудование, подтверждаем систему на испытаниях и вводим объект в эксплуатацию.

Обсудить объект Проекты

ЭнергияХолодКомандаКонтрольПроцессыДанные

15+ летв эксплуатации и строительстве

40 МВт+инфраструктуры под управлением

99,9%+доступность сети на нашей эксплуатации

20+инженеров в проектных командах

10+ ЦОДвведено в эксплуатацию

Цикл объекта

Весь цикл управления на любом этапе

1Аудит и ФЗ
обследование площадки, задачи заказчика, мощность, надёжность, очереди
2ТЗ на предпроект
состав и объём предпроектных работ
3Предпроект
концепция, энергобаланс, компоновка, бюджет
4ТЗ на проектирование
требования к проекту и смежным разделам
5Проект
сопровождение решений на стадиях П и Р
6Закупка
спецификация оборудования, поставщики, условия договора
7Приёмка
оборудование по FAT, SAT и SAP
8Строительство и ПНР
технадзор, монтаж, пусконаладка
9Испытания
L4, L5/IST, punch list, повторная проверка
10Ввод в эксплуатацию
команда, регламенты, мониторинг, SLA

Ситуации

Когда мы нужны

На первом этапе

Заказчик понимает, что ему нужен ЦОД, но не знает зачем. У него нет ФЗ, ТЗ и предварительных расчётов.

Площадка под ИИ-нагрузку

Инвестор или девелопер проектирует площадку под высокую плотность стоек и жидкостное охлаждение.

Проект на руках

Генпроектировщику не хватает экспертизы ЦОД и требований к будущей эксплуатации.

Скоро ввод

Объект близок к вводу в эксплуатацию, а команды, регламентов и проверенных сценариев отказа нет.

Работы

Что делаем

Контроль на каждом этапе: от первого документа до подписанных актов ввода.

Требования и ФЗ

Функциональное задание, ТЗ на предпроектирование и проектирование, мощность, надёжность, этапность, состав помещений.

Документы, которые заказчик утверждает, отдаёт проектировщику и по которым запрашивает ТУ

Предпроект

Площадка, энергобаланс, резервирование, варианты компоновки, бюджет по объектам-аналогам, дорожная карта по ГОСТ Р 58811-2020.

Параметры, на которых утверждают бюджет и выполняют ТУ

Проект

Сопровождение проектирования: задания смежным разделам, контроль решений на стадиях П и Р, подготовка к экспертизе.

Проект, в котором учтены приёмка и будущая эксплуатация

Экспертиза проекта

СБЭ, СГЭ, ИБП и ДГУ, РУ-0,4 кВ, точки отказа, логика переключений, обслуживание без остановки.

Реестр рисков и замечания в проект, а не на площадку

Закупка и приёмка оборудования

Спецификация, предквалификация поставщиков, сроки, ЗИП и сервис, программы FAT, SAT и SAP в договоре поставки.

Стоимость эксплуатации, а не только цена поставки и ПНР

Строительство и испытания

Технадзор на монтаже и ПНР, потеря внешнего питания, отказ ветви СБЭ и охлаждения, неполная автоматика, аварийные сигналы.

Протоколы L4 и L5/IST, закрытый punch list

Ввод в эксплуатацию

Главный инженер и инженеры смены, SOP, MOP и EOP, тренировки, SLA и KPI, разбор инцидентов, ППР и ЗИП.

На вводе готовы объект, люди и процессы

Первый шаг

Первый этап — до 20 рабочих дней

Документов нет

Начинаем с требований: задачи заказчика, площадка, функциональное задание, ТЗ на предпроект.

Есть ФЗ, ТЗ или проект

Разбор исходных материалов. Если есть и ТЗ, и ФЗ — присылайте оба: расхождения видны только при сверке пары.

Отсчёт с момента получения материалов. Объём и стоимость — после того, как посмотрим исходные данные.

На выходе

Реестр технических и эксплуатационных рисков
Замечания к проектным решениям
Требования к оборудованию до размещения заказа
Требования к мониторингу и автоматике
Требования к будущей эксплуатации
Объём испытаний и приёмки

Приёмка

ЦОД проверяется как система

Комплексные испытания подтверждают поведение системы, а не комплектность оборудования.

Отказ обоих вводов

Потеря обоих городских вводов: нагрузка держится на ИБП, поднимаются ДГУ, объект возвращается на город без просадки.

СценарийЗамерРешениеPunch listПовтор

Сценарий	Обнаружение	Переключение	Восстановление	Вердикт
Потеря внешнего питания: ИБП, ДГУ, возврат	время и сигнал	переход на ДГУ	возврат без просадки	PASS / FAIL
Отказ ветви СБЭ, охлаждения, автоматики	аварийный сигнал	переход на резерв	нормальный режим	PASS / FAIL
Неполная автоматика, ручное управление	распознавание режима	действия смены	восстановление	PASS / FAIL
Аварийные сигналы BMS и DCIM	событие	эскалация и реакция	запись в истории	PASS / FAIL

Объекты

Проекты

СочиВ работе · предпроектная стадия

ЦОД для высокопроизводительных вычислений

Реконструкция здания под ЦОД для высокопроизводительных вычислений.

Концепция и планировочные решения
Функциональное задание на проектирование
ТЗ на предпроектные работы, семь этапов
Баланс нагрузок при семи аварийных режимах
Дорожная карта по ГОСТ Р 58811-2020 и матрица участников

Надёжность: Tier III
Мощность: 6,5 МВт первый этап, эскиз до 15 МВт
Стойки: 107 серверных до 35 кВт, 25 сетевых до 20 кВт
PUE: не выше 1,5, расчётный 1,4
Резервирование: 10 кВ — 2N, 0,4 кВ — 2N+1, топливо 24 ч
Ввод: три этапа, две независимые локации

Мощность по этапам

6,5 МВт первый этап15 МВт эскиз полной мощности

Заказчик не раскрываетсяРасчёт выполнен

Предпроектный расчёт ЦОД 6 МВт под ИИ

Первая очередь смешанная: колокейшн продаётся с первого дня, ИИ-зона наращивается блоками под подтверждённого заказчика.

Энергобаланс с восстановлением заряда АКБ и проверкой при ухудшении EER
Три риска до проектирования: рост плотности, скачки мощности кластера, резерв в жаркий день

Состав: 236 стойко-мест, 4 052 кВт IT в лимите 6 МВт
Плотность: от 7 до 140 кВт на стойку
ИБП: 9 600 → 7 500 кВт при той же нагрузке
АКБ: 2 400 → 1 450 кВт·ч, N+1 для ИИ-контура, 2N для ядра

Что изменил расчёт

ИБП

9 600 кВт

7 500 кВт

АКБ

2 400 кВт·ч

1 450 кВт·ч

исходное решение после расчёта

Наш опыт

Магистральные сети и CDN

Эксплуатация федеральной транспортной сети с доступностью 99,9%+, аварийное управление 24×7, узлы связи, серверные и mini-DC.

Строительство ЦОД «Пахра»

Комиссия по строительству ЦОД мощностью 20 МВт: исходные данные и ТЗ, контроль разделов ЭС, ЭМ и ЭОМ, поиск несоответствий СМР рабочей документации, лабораторные испытания и исполнительная документация к вводу.

Электроснабжение Core Site

Модернизация РУ-0,4 кВ, СБЭ и АКБ на площадках в Москве, Новосибирске и Перми, разбор аварий и снижение точек отказа.

Кампусная инфраструктура

Инженерные и ИТ-системы кампуса, OPEX и подрядчики, создание и оснащение научных пространств, включая центр ИТ и ИИ.

Проектная документация

Экспертиза ТЗ, проектной и рабочей документации, замечания генпроектировщику, исполнительная документация и приёмка.

Эксплуатация 24×7

Смены и регламенты SOP, MOP и EOP, ППР и ЗИП, инцидент-менеджмент, SLA и разбор отказов.

Команда

Руководители проектов

Кирилл СоколовЭксплуатация · управление · автоматизация

Эксплуатация транспортной сети федерального оператора, руководство отделом в сервис-провайдере, инфраструктура университетского кампуса.

Требования и функциональные задания
Эксплуатационная модель и команда объекта
SOP, MOP, EOP, SLA, разбор инцидентов
Мониторинг и автоматизация эксплуатации

СПбГМТУ, инженер, 2006 · СПб юридический институт Академии Генпрокуратуры РФ, 2012 · РАНХиГС, государственное и муниципальное управление, 2024

Станислав ФалалеевИнженерная инфраструктура · электроснабжение

17 лет в энергетике и эксплуатации: полный цикл инженерной инфраструктуры ЦОД на площадках CORE, CDN и SITE, модернизация СБЭ и СГЭ, энергоаудит промышленных предприятий.

СБЭ, СГЭ, ИБП, ДГУ, АКБ, РУ-6-10/0,4 кВ
ППР, ЗИП, OPEX и CAPEX, работа с сервисными компаниями
Экспертиза ТЗ, проектной и рабочей документации, тендеры
СМР, ПНР, нагрузочные испытания, исполнительная документация
Разбор аварий и снижение точек отказа, SOP, MOP, EOP

СПбПУ Петра Великого, техническая кибернетика, 2012 · Череповецкий металлургический колледж, электроснабжение, 2006 · V группа по электробезопасности, Ростехнадзор · 1С:ТОИР, управление ремонтами оборудования, 2023

Платформа

Наша платформа tm.hub

Требования, результаты испытаний и учёт ведём в своей платформе: одни и те же документы дают один и тот же результат, проверка идёт по формализованным правилам.

Реестр требований

ТЗ и ФЗ сверяются между собой и с проектными документами, изменения видны по истории.

След испытаний

Программа, результат, punch list и повторная проверка хранятся вместе.

История эксплуатации

Регламенты, инциденты и разборы накапливаются в базе знаний объекта.

Отчёты из 1С

Остатки, закупки, дебиторка и отгрузки прямо в чате — на закупке оборудования видно, что оплачено и что пришло.

Сверка комплекта ТЗ и ФЗ по ЦОД

54требования

17замечаний

6критичных

критичноВ перечне разделов отсутствует Раздел 7Источник: перечень разделов

Открыть отчёт Проверить свой документ

Вопросы

Коротко

С какого этапа мы работаем?

С любого: с обсуждения и функционального задания, на готовом проекте, перед закупкой оборудования или перед вводом. Чем раньше, тем дешевле исправлять найденное.

Вы заменяете генпроектировщика?

Нет. Он выпускает документацию и проходит экспертизу. Мы отвечаем за требования, экспертизу решений, закупку и приёмку оборудования и готовность объекта к эксплуатации.

Сколько занимает и сколько стоит?

Первый этап — до 20 рабочих дней с момента получения материалов. Стоимость считаем по вашему ТЗ: 15+ лет мы строили и эксплуатировали ЦОД, поэтому видим, где проект потеряет деньги и надёжность, и закладываем это в работу с первого документа.

Что прислать для старта?

Любые исходные материалы: ФЗ, ТЗ, концепцию, проект, спецификации, технические условия. Если документов нет — начинаем с разговора о задачах и площадке.

Работаете с ЦОД под ИИ?

Да. Плотности до 140 кВт на стойку и выше, жидкостное охлаждение, разные схемы резервирования для ИИ-контура и ядра, скачки мощности кластера и ступени ДГУ.

Какая у вас география?

Россия и ближнее зарубежье. Реализуем проекты в Санкт-Петербурге, Сочи, Ленинградской области, Москве и других регионах.

Контакты

Расскажите об объекте

Напишите стадию, мощность и какие документы уже есть — предложим, с чего начать.

Написать в Telegram@ki_sokolov E-mailinfo@ai-tm.ru