Коротко. Сопровождение — это не «сидеть на телефоне», а регламент: что проверяем каждый день, каждую неделю, каждый месяц и квартал; как реагируем на события; когда меняем диски и ленту; как обновляемся. Результат — предсказуемое состояние системы и понятная история работ.
1. Уровни поддержки
| Уровень | Кто | Что делает |
|---|---|---|
| L1 | дежурный/оператор | мониторинг, приём заявок, типовые проверки по чек-листу, эскалация |
| L2 | инженер сопровождения | диагностика, разбор событий/задач, работа с моделью, S3/IAM, лента |
| L3 | профильный инженер / вендор | сложные случаи, код продукта, эскалация в Quantum Support |
Мы можем закрывать L1–L3 или только L2–L3, а L1 оставить вашей команде.
2. Регламент
2.1 Ежедневно
- LIVE-события: новые, критические, повторяющиеся.
- Задачи:
FAILURE,REVOKED, залипшие. - Ёмкость: барометр, заполнение NS/блоксторов.
- S3-фронт:
307+Server, доступность. - Часы/NTP: синхронизация, расхождение между нодами.
- Лента: статус приводов, свободные кассеты (
genscratch), safety.
2.2 Еженедельно
- Диски: SMART,
mdstat, событияDISK_*. - Вентиляторы/NIC: ложные
NOTFOUND/NIC_DOWN, лишние порты. - Модель: неприменённые изменения, латентность API.
- Бэкап конфигурации/модели (если не автоматизирован).
- Сверка каталога кассет с железом.
2.3 Ежемесячно
- Политика DSS и фактическое число блоксторов:
w+s ≤ N. - Сертификаты: срок, SAN, соответствие имени.
- Обновления безопасности/патчи — по плану.
- Отчёт: что произошло, что сделано, что в наблюдении.
2.4 Квартально
- Ревизия runbook и чек-листов.
- Тест восстановления (выборочно): restore из холодного класса.
- Планирование апгрейда/расширения.
- Ревизия доступов и учётных записей.
3. Реакция на инциденты
- Фиксация: что видит пользователь, код ответа, время.
- Чтение: модель, события, задачи, журналы, SMART, сеть. Ничего не меняем.
- Гипотеза и проверка: отделяем симптом от причины; проверяем каждую версию.
- Решение: штатный путь; если обход — помечаем «временная мера» и планируем замену.
- Проверка: конкретные коды/значения; наблюдение после.
- Разбор: что было, почему, как не повторить.
Правило: не переустанавливать и не менять пароли «на всякий случай». Сначала измерить.
4. Работы с железом
- Диски: замена, decommission, проверка SMART; не форматировать «на глаз».
- Вентиляторы/NIC: фильтр ложных событий через модель, а не «удалить события».
- Питание: после аварии — BMC, mongod, default route, NTP (в этом порядке).
- Лента: приводы, кассеты, штрихкоды, safety, restore; каталог — с железа, не выдумывать.
5. Обновления
- Планируются как отдельный проект: health check, бэкап конфигурации, окно, проверка после.
- Даунгрейд после апгрейда — нет; поэтому окно и план отката (на уровне конфигурации) обязательны.
- Обходы/патчи снимаются до апгрейда; после — проверяются заново.
6. Отчётность
Ежемесячный отчёт:
- Доступность и ключевые метрики.
- События: сколько, какие, что закрыто.
- Работы: что сделано, чем подтверждено.
- Риски и рекомендации.
- План на следующий месяц.
7. Что не входит без отдельного согласования
- Изменения в продуктивной сети/AD/DNS заказчика.
- Переустановка системы.
- Апгрейд без health check и окна.
- Работы с лентой, которые могут затронуть данные.
8. Форматы
- Разовые выезды/удалённые сессии.
- Пакет часов в месяц.
- Годовое сопровождение с регламентом и отчётами.
- Обучение + передача.
Стоимость и сроки — по запросу после аудита.
Частые вопросы
Что входит в регламент?
Ежедневно — события, задачи, ёмкость и барометр, S3-фронт, часы и NTP, состояние ленты. Еженедельно —
SMART и mdstat, ложные события по вентиляторам и NIC, неприменённые изменения модели, бэкап
конфигурации, сверка кассет. Ежемесячно — политика DSS, сертификаты, патчи, отчёт. Ежеквартально —
ревизия runbook, тест restore, план расширения.
Как часто нужен выезд на площадку? Не по расписанию ради расписания: большинство проверок регламента делается удалённо. Выезд нужен там, где без рук не обойтись — замена дисков, работы с библиотекой и кассетами, монтаж, разбор железа. Формат выбираете вы: разовые выезды, пакет часов в месяц или годовое сопровождение с регламентом и отчётами.
Можно ли всё делать удалённо? Да, регламент и диагностика рассчитаны на удалённую работу: доступ к management-сети через VPN или jump-host, чтение модели, событий, задач, журналов служб, SMART и сети. Удалённо разбираются S3-ошибки, часы, федерация, лента на уровне коннектора и реестра кассет. Физические операции с железом и носителями — только на площадке.
Что происходит при аварии ночью? Первым срабатывает L1 — дежурный или оператор: фиксирует, что видит пользователь, код ответа и время, и эскалирует на L2. Инженер начинает с чтения фактов, а не с изменений: в темноте «на всякий случай» ломается больше, чем чинится. Порядок эскалации и аварийные окна согласуются заранее.
Как вы отчитываетесь? Ежемесячный отчёт: доступность и ключевые метрики, события — сколько, какие, что закрыто, работы — что сделано и чем подтверждено, риски и рекомендации, план на следующий месяц. Отчёт строится на живых проверках, а не на пересказе GUI. Раз в квартал — ревизия runbook и планирование апгрейда или расширения.