120 годин на перевірку тестів вручну — операційний хаос в ЕдуСвіт вбиває масштабування курсів

Минулого місяця ми запускали курс з програмування на Пайтон, і нам потрібно було створити триста унікальних практичних завдань. Я особисто сидів у Гугл Таблицях та в Ноушн, намагаючись структурувати вимоги, а потім передав це методисту. Ми витратили близько двадцяти тисяч гривень на додаткові години оплати фрілансерів, щоб вони просто вичитали тексти на помилки. Використовували безкоштовний ЧатДжіпіті, але він видавав занадто багато галюцинацій у коді. У підсумку запуск затримався на тиждень, а команда була повністю виснажена.

Найбільш нестерпним було те, що перевірка кожного завдання займала більше часу, ніж саме створення курсу. Наші викладачі замість того, щоб покращувати лекції, сиділи над рутинною звіркою відповідей у Трелло та Екселі. Я відчував величезну фрустрацію, бо бачив, як ми втрачаємо темп на ринку, де конкуренти виходять щотижня. Через ці затримки ми недоотримали близько сорока тисяч гривень прибутку від ранніх продажів. Це демотивує всю команду, бо люди хочуть творити, а не бути роботами-коректорами.

Проблема системна — у нас всього вісім людей, і кожен виконує по три ролі одночасно. Наші інструменти — це звичайні таблиці та месенджери, які зовсім не автоматизовані для освітнього контенту. Ми намагалися масштабуватися кількістю людей, але це лише збільшило витрати на управління та комунікацію. Немає єдиного алгоритму перевірки якості, тому кожен методист робить так, як бачить сам. Відсутність чіткої системи автоматичної генерації тестів перетворює кожен новий STEM-курс на справжнє пекло для операційки.

Ми вирішили найняти окремого контент-менеджера на парт-тайм за п'ятсот доларів на місяць, щоб він вручну збирав матеріали в базу. Також я придбав підписку на розширену версію нейромережі за двадцять доларів, аби хоч трохи пришвидшити написання описів до уроків. Це допомогло закрити дірку в процесі на один місяць, але загальні витрати зросли. Витратили на це рішення близько шестисот доларів за один цикл, не рахуючи мого власного часу на контроль. Фактично, ми просто закидали проблему грошима, не змінюючи саму суть процесу.

Це рішення абсолютно не масштабується, бо з кожним новим курсом мені доведеться наймати ще більше людей. Контент-менеджер часто помиляється через втому, що знову призводить до моєї особистої перевірки кожного рядка. Ми платимо за людський фактор там, де мала б працювати автоматика, і це спалює наш бюджет. Крім того, фрілансери часто зникають або не дотримуються стандартів якості наших курсів. Ми залишаємося в пастці ручного управління, де будь-яке зростання кількості студентів призводить до колапсу підтримки.