Байесовское отслеживание знаний в масштабе: инструментарий hmm-scalable
Аудитория: студенты, преподаватели, специалисты-практики.
В этом докладе представлен hmm-scalable — высокоэффективный инструмент для настройки моделей Байесовского отслеживания знаний (BKT). BKT представляет собой специализированную разновидность скрытых марковских моделей (HMM), применяемую в сферах компьютерного обучения и интеллектуальных обучающих систем для оптимизации результатов учебной деятельности.
Байесовское отслеживание знаний (BKT)
Байесовское отслеживание знаний — это вычислительный фреймворк, специально разработанный для моделирования степени овладения студентом отдельными навыками с течением времени. По своей сути BKT представляет собой скрытую марковскую модель (HMM), характеризующуюся двумя бинарными переменными:
- Скрытая переменная (Мастерство): Ненаблюдаемое состояние, отражающее, «знает» ли студент определенный навык или «не знает».
- Наблюдаемая переменная (Результативность): Зафиксированный факт успеха или неудачи студента при выполнении конкретного шага задачи.
Модель переходит между этими состояниями на основе четырех основных параметров: pInit (начальный уровень знаний), pLearn (вероятность перехода из состояния «не освоено» в состояние «освоено»), pGuess (вероятность дать правильный ответ, не владея навыком) и pSlip (вероятность допустить ошибку, владея навыком). Рассматривая результаты деятельности студента как временной ряд, состоящий из подобных переходов и наблюдаемых исходов, BKT позволяет системам «когнитивного мастерства» стратегически подавать учебный материал исключительно по тем навыкам, которые еще не были освоены.
Масштабирование для работы с «большими данными» с помощью hmm-scalable
Хотя концептуальная мощь BKT не вызывает сомнений, настройка этих моделей на массивах данных огромного объема — например, получаемых от крупномасштабных интеллектуальных обучающих систем — требует исключительной вычислительной эффективности. Инструментарий hmm-scalable представляет собой специализированный программный пакет, созданный для обработки «больших наборов данных» (Big Data), которые могут содержать сотни миллионов записей и охватывать аудиторию, превышающую 100 000 студентов. Эффективность данного инструмента наиболее ярко проявляется в скорости обработки данных:
- Производительность: Инструмент способен обработать набор данных объемом 20 миллионов записей (подобный тому, что использовался в соревновании KDD Cup 2010) примерно за одну минуту.
- Эффективность: Даже синтетический набор данных, содержащий почти миллиард записей, может быть обработан примерно за 20 минут благодаря режиму многоядерного параллельного выполнения, реализованному в инструменте.
- Параллелизация: В инструментарии используется технология Open MP, позволяющая распределять обработку отдельных навыков по параллельным потокам, что сокращает время вычислений со стандартных двух с лишним минут примерно до 33 секунд на типовом оборудовании.
Набор оптимизационных решателей
Помимо высокой скорости, hmm-scalable предоставляет несколько решателей (solvers), позволяющих повысить точность модели, что напрямую влияет на эффективность обучения студентов. Пользователи могут выбирать между классическим алгоритмом Баума — Велча (EM-алгоритм), стохастическим градиентным спуском и различными методами сопряженных градиентов. Эти решатели открывают возможности для исследования сложных вариантов модели BKT (Bayesian Knowledge Tracing — байесовское отслеживание знаний), таких как индивидуализированная BKT, которая учитывает специфические особенности успеваемости каждого конкретного студента.
Выбор решателя и уровня точности модели — это не просто техническое решение; оно имеет важное педагогическое значение. Например, модель, которая с большей точностью прогнозирует более высокое значение вероятности усвоения навыка (pLearn), позволяет студенту быстрее достичь порогового уровня мастерства. В результате требуется решить меньшее количество задач, а общее время обучения сокращается. В конечном счете hmm-scalable служит мостом между теоретическими исследованиями в области скрытых марковских моделей (HMM) и практическими требованиями современной образовательной технологии, предъявляющими высокие требования к скорости обработки данных.
Подготовлено с помощью ИИ и проверено на точность 🤖