Як CEO «Освітнього Дому» з 4000 учнів автоматизувала контроль якості навчання та зекономила $2,400 щомісяця

Ми намагалися вручну контролювати якість перевірки завдань нашими 15 кураторами, щоб утримувати показник успішності на рівні 85%. Для цього я найняла 2 методистів, які вибірково перевіряли близько 10% усіх робіт щотижня. Проте за місяць ми все одно отримували понад 20 скарг від корпоративних клієнтів на затримки. Це створювало величезне навантаження на систему менеджменту та демотивувало команду. Ми витрачали понад 60 годин на місяць лише на організаційні наради щодо виправлення помилок.

Найскладнішим був людський фактор та нерівномірність оцінювання різними кураторами. Коли у вас 120+ корпоративних клієнтів, кожен очікує ідеального сервісу та миттєвого фідбеку для своїх співробітників. Ми не могли забезпечити єдиний стандарт якості, бо кожен методист мав своє суб'єктивне бачення. Через це виникали конфлікти всередині команди та з самими студентами. Зростання кількості слухачів просто масштабувало існуючий хаос у геометричній прогресії.

Проблема полягала у відсутності інструменту для миттєвого аналізу великих масивів текстових відповідей. Наші курси включають багато відкритих питань, де неможливо поставити звичайний тест з варіантами відповідей. Ручна перевірка займала від 24 до 48 годин, що занадто довго для сучасного EdTech-ринку. Ми фізично не встигали наймати та навчати нових людей так швидко, як зростала наша клієнтська база. Це створювало «пляшкове горло» у всьому бізнес-процесі компанії.

Ми вирішили розробити внутрішню систему на базі GPT-4 API, яка попередньо оцінює завдання та надає розгорнутий фідбек студентам за 30 секунд. Розробка та початкове налаштування промптів обійшлися нам у $3,500, включаючи оплату послуг розробника та тестування. Тепер куратор лише затверджує згенеровану відповідь, що скоротило час обробки одного завдання у 5 разів. Це дозволило нам не наймати ще 3 додаткових співробітників, яких ми планували залучити на новий сезон. Операційні витрати на підтримку системи зараз складають близько $250 на місяць.

На початку система часто видавала занадто загальні поради або була надмірно лояльною до слабких відповідей. Нам довелося витратити 3 тижні на «тонке налаштування» алгоритмів під специфіку кожного з наших 25 курсів. Деякі студенти відчули, що фідбек став занадто «роботизованим», і нам довелося додавати блок персоналізації. Також виникли труднощі з інтеграцією через API в нашу стару LMS-платформу. Це вимагало додаткових витрат на бекенд-розробника, які ми спочатку не планували в бюджеті.