"Spokojnych swiat" - одно из самых популярных рождественских польских пожеланий. В переводе на русский язык это означает "Мы желаем вам спокойных рождественских праздников". Однако атмосферу в ИТ-отделе средней или большой компании в канун новогодних праздников редко можно назвать спокойной. Специалисты в это время либо готовятся проводить важные работы, либо собираются их полностью "заморозить" на время праздников.
Каждый год руководители ИТ-блоков сталкиваются с вопросом: останавливать выполнение плановых работ и изменений в праздничный период или продолжать все в обычном режиме. Как обеспечить спокойствие во время праздников при первом и втором вариантах развития событий? Как взаимодействовать с бизнесом, не создавая для него рисков, но оказывая ему полную поддержку в период "пиковых нагрузок"?
Так что же такое период замораживания? Это период времени, когда ИТ-отдел ограничивает или ужесточает правила проведения плановых изменений в ИТ-инфраструктуре.
Для того, чтобы дать компании рекомендацию о замораживании, мы обычно проводим детальный анализ, при котором учитываем такие факторы, как сложность и структура бизнес-процессов компании, важность ИТ-составляющей для бизнеса, влияние отдельных людей на критически важные (mission/business critical) ИТ-системы, а также зависимость нагрузки на инфраструктуру от времени года (месяца, дня и т. д.).
Основные причины для введения режима замораживания:
- Недостаток внутренних и внешних ресурсов для поддержки текущей нагрузки и проведения дополнительных работ. Даже если ваша компания решит продолжить работу в нормальном режиме, другие стороны, которые вовлечены в ваши бизнес-процессы, могут оказаться недоступны.
- Смена приоритетов. Корпорации пользуются праздничным периодом для осмысления, сбора данных для измерения, оценки и анализа итогов работы, подготовки к следующему финансовому году.
- Выплата накопившегося "технического долга". В период замораживания некоторые компании предпочитает разбираться с низкоприоритетными запросами и инцидентами, до которых не доходили руки в течение года.
- Решение отказаться от замораживания было принято слишком поздно (в случае, если до этого вы всегда его вводили). Данное решение всегда планируется заранее.
Мы оказываем поддержку нескольким крупным клиентам в различных индустриях (телекоммуникации, банки, страхование, торговля), и нам довелось убедиться, что не всегда попытки проводить изменения в данный период заканчиваются благополучно. Более того, если в это время в компании не будет налажено эффективное управление, результаты внедрения изменений неминуемо окажутся неудачными.
Мы видим три источника возникновения плановых запросов на изменения:
1. Изменения по инициативе ИТ-отдела. Зачастую департамент хочет начать новый год с новым оборудованием, новыми сотрудниками, тренингами или найти еще какой-нибудь способ потратить выделенный бюджет за остаток декабря. Однако если изменения вызваны искусственными причинами и проводятся без надлежащего QA, они как правило приводят к плачевным результатам.
Если вы отвечаете за критически важные системы, не забудьте организовать первый и второй уровень поддержки (и более строгие SLA для третьего уровня), а также принять специальную схему уведомлений и эскалаций заранее на весь период праздников.
В нашей практике был случай, когда ИТ-отдел одной международной ритейл-компании начал проект по миграции из разработанной на заказ e-commerce-платформы на Magento. Они хотели закончить проект до 10 декабря, однако запаздывали, как это часто бывает. В итоге забыли протестировать карты Visa в стране, которая должна была стать ключевым рынком в пиковый период продаж на Рождество. Коммерческая эксплуатация выявила проблему с этими картами, это упущение обошлось бизнесу очень дорого, так как было потеряно время в тот период, когда каждая секунда на счету.
2. Изменения по инициативе бизнеса. Большинство B2C-бизнесов хотят провести праздничные маркетинговые кампании или представить новую функциональность (сервис, продукт) рынку, и мы должны делать все возможное, чтобы помочь бизнесу в это сверхприбыльное время. Тщательное тестирование и организационная составляющая (работа с кадрами, заинтересованными лицами, клиентами) - ключевые составляющие успеха. Необходимо наладить эффективное общение, объяснить бизнесу, что лучше запустить 80% протестированных маркетинговых кампаний, чем 100% "сырых". Также следует подписать более строгие SLA c вендорами в пиковые периоды, чтобы максимально себя обезопасить. Больше работайте с консультативным комитетом по изменениям (CAB). Если есть обоснованные подозрения, что люди или инфраструктура не смогут справиться, комитет своим авторитетом может наложить запрет на проведение изменений.
Когда я отвечал за управление изменениями в телекоммуникационной компании, мы планировали запустить и тестировали две крупные маркетинговые акции для абонентов. Для одной из них требовалось постоянно проводить множество вычислений на стороне сервера баз данных. Все шло по плану. Но 20 декабря наш коммерческий отдел предложил запустить еще две небольшие простые кампании. Мы протестировали их на определенной группе пользователей и начали запуск. Четыре параллельные акции привели к высокой нагрузке на базу данных Oracle, что спровоцировало задержки в оказании базовых услуг расчетов абонентов. Мы сумели справиться с этой проблемой, временно отключив автоматический сбор информации для отчетов. Стоит отметить, однако, что тот Новый год был не из спокойных.
3. Изменения по инициативе регулятора, местных или национальных властей. Что ж, в этом случае вы вряд ли сможете сопротивляться, просто выполняйте инструкции и проводите необходимые изменения.
Нашим клиентом был крупный международный банк. 4 января налоговые службы в одной из стран присутствия ввели новые налоговые ставки, вступающие в силу с 1 января! Более того, они решили сегментировать налоговые ставки по регистрационным адресам, что никогда раньше не случалось. Нам удалось провести это изменение и пересчитать начисления клиентов за прошедшие дни до конца закрытия отчетного периода и выставления счетов силами ИТ-отдела. Основными факторами успеха стали сотрудничество с консультативным комитетом по изменениям, метод постоянного улучшения (CSI) и руководство в стиле "мотивирующее лидерство".
Существует ли способ контролировать замораживание или проводить его эффективно? Мы считаем, что такое способ есть - применение DevOps-практик. Ознакомившись с базовыми принципами DevOps, такими как "Три пути" и "C.A.L.M.S.", вы сможете понять, как организовать спокойный размеренный режим работы на протяжении всего года.
Представьте себе реку. Она течет легко и свободно весной и летом, но осенью листва и ветки наполняют ее и препятствуют течению. "Первый путь" DevOps поощряет течение самому избавится от препятствий. Люди знают, что их ожидает период замораживания - остановка работ, они массово бросаются срочно выполнять все свои накопившиеся задачи без надлежащего тестирования, чтобы успеть. К чему это может привести? К катастрофе, к росту числа инцидентов.
Необходимо внедрить "Второй путь", подход обратной связи, чтобы река продолжала течь. Почему вы прекращаете работу? Почему выбираете путь замораживания? Это вопрос доверия? Если у вас эффективный рабочий процесс (поток) и отличная обратная связь, значит, для замораживания нет причин. Работа производится небольшими частями, изменения легко контролировать или провести восстановление в случае сбоя. "Третий путь" постоянных экспериментов и изучения позволяет нам увидеть, где мы были не правы, и быстро исправить ошибки. Это все приводит нас к принципам C.A.L.M.S., которые влияют на культуру в компании. Подход, который мы используем, позволяет автоматизации помочь людям и бизнесу, Lean улучшает рабочий процесс и то, как мы общаемся с клиентами. Метрики, которые мы используем, направляют нас, а лидеры делятся с нами и поддерживают весь процесс на протяжении всего года.
DevOps никогда не позволит реке замерзнуть.
DevOps заставляет взглянуть на реку в целом, а не на отдельную ее часть. Помните, что когда мы временно не позволяем изменениям случаться, весной река бурлит. То же происходит и в ИТ. Например, перегрузка систем и множество работ в первые дни после "размораживания". Если вы смотрите на всю реку и видите глобальное влияние любого события, вы сможете предотвратить подобные вещи.
В любом случае мы советуем разработать детальную стратегию для этого времени года. Помните, что ваш бизнес в чем-то уникален, поэтому и решение должно учитывать эти особенности. Мы желаем вам отличных и спокойных новогодних праздников!