120 годин на місяць на ручне налаштування інфраструктури — DevOps вигорають, а клієнти чекають тижнями

Минулого місяця ми підключали велику мережу магазинів, і мої хлопці вручну копіювали конфігурації в Terraform та налаштовували моніторинг у Grafana. Це зайняло майже 40 робочих годин одного старшого інженера, що коштує компанії близько 2500 доларів лише за один запуск. Ми використовуємо Notion для документації та Jira для трекінгу, але процеси все одно залишаються напівручними. Кожна помилка в Sheets потім вилазила боком під час релізу. У підсумку ми витратили купу часу на виправлення дрібних багів у коді інфраструктури.

Найбільше бісить те, що це абсолютно мавпяча робота для людей з високою кваліфікацією. Коли у тебе SLA 98.5%, будь-яка помилка в конфігурації — це ризик простою для ритейлу, що означає величезні штрафи. Мої дери вже просто виють від того, що замість автоматизації вони займаються копіпастом. Це створює неймовірне напруження в команді, бо всі втомлені й роздратовані. Ми втрачаємо фокус на розвитку продукту, бо тонемо в операційці.

Системна проблема в тому, що наші скрипти не уніфіковані, а документація в Notion постійно застаріває. У нас немає єдиного стандарту автоматизації для специфічних запитів клієнтів, тому кожен раз доводиться вигадувати велосипед. Інструменти на кшталт ChatGPT ми використовуємо лише для написання простих скриптів на Python, але цілісної системи немає. Нам банально не вистачає часу, щоб сісти й один раз нормально все заавтоматизувати. Це замкнене коло: ми занадто зайняті гасінням пожеж, щоб побудувати автоматичну систему пожежогасіння.

Ми спробували найняти фрілансера на Upwork за 1500 доларів, щоб він написав нам набір шаблонів, але це була катастрофа. Він не знав специфіки нашої SaaS платформи, і в результаті ми все переробляли самі. Потім я виділив одного мідла, який два тижні колупав ChatGPT, щоб той допоміг згенерувати частину коду для Ansible. Це обійшлося нам приблизно у 2000 доларів його зарплати за цей час. Частково це допомогло, але рішення вийшло дуже фрагментарним і важким у підтримці.

Це рішення — як пластир на відкриту рану, воно не масштабується. Коли прийде ще п'ять клієнтів одночасно, ми знову зашиємося, бо архітектура автоматизації крихка. Код, який згенерував ШІ без чіткої системи, важко перевіряти іншим членам команди. Ми витрачаємо занадто багато грошей на підтримку цих 'костурів', замість того, щоб мати надійний конвеєр. Це дорого, ненадійно і змушує мене постійно контролювати кожен крок інженерів.