опыт Plario.ru

Как научить искусственный интеллект обучать людей математике

Цифровой репетитор Plario.ru
«Меня зовут Дмитрий Бубнов, я директор компании ENBISYS. 17 лет мы помогаем клиентам на пути к цифровизации. В 2016 г. мы создали собственную лабораторию машинного обучения и с тех пор накопили ряд компетенций в работе с большими данными.

У нас есть опыт по созданию систем адаптивного обучения в Западной Европе. Именно это позволило нам вступить в стратегическое партнерство с Томским государственным университетом и создать умные алгоритмы, улучшающие качество образования».
В этой статье я хочу поделиться нашим опытом по созданию Plario.ru, платформы адаптивного обучения для старшеклассников и первокурсников. Я опишу технологические подходы к созданию данных систем и покажу, как можно успешно внедрять их в систему образования РФ. Поразмышляю о возможностях применения систем адаптивного обучения и об их дальнейшем развитии.
Для начала раскроем понятие адаптивного обучения. Адаптивное обучение использует компьютерные алгоритмы, взаимодействующие с учащимся, предоставляя ему индивидуализированные ресурсы и упражнения, которые отвечают его уникальным потребностям. Система адаптирует последовательность обучающих материалов в соответствии с индивидуальными особенностями учеников, которые определяются в результате их ответов на вопросы и задания. Системы адаптивного обучения стремятся трансформировать учащегося из пассивного приемника информации в коллаборатора в рамках учебного процесса.
Какие задачи призваны решать системы адаптивного обучения? Почему они стали таким мощным трендом современного образования?
Ответ кроется в желании современных пользователей:

• формулировать цели обучения на понятном языке
• достигать их за максимально короткое время
• отслеживать прогресс
• учиться в любом месте в любое время
Задача адаптивности
• Зная успехи по предыдущим элементам, выбрать лучший следующий (цифровой след)
• Предсказать вероятность решения
Чтобы обеспечить процесс обучения в подобном формате необходимо не только «оцифровать» учебники и лекции. Нужно научить систему помогать пользователям осваивать только необходимые им навыки
Задачи алгоритма
• распознать (профиль) ученика
• исключить эмоциональные факторы
• выбрать оптимальную траекторию
Петля адаптивного обучения
Таким образом, современное образование должно быть:

• индивидуализировано (т.е. адаптивно);
• гранулировано (представлено в формате микроконтента);
• социализировано (коммуникация внутри платформы и за ее пределами);
• непрерывно.
Именно для этого создаются системы адаптивного обучения, где основная задача адаптивности – это выбор наиболее подходящего контента для учащегося в соответствии с его цифровым следом.

Функции систем адаптивного обучения
Существует несколько видов адаптивных систем:
  • Machine learning based
    Искусственный интеллект распознает паттерн, создается цифровой двойник как база для прочих алгоритмов.
  • Rules based
    Такие системы предусматривают несколько траекторий и обеспечивают грубую индивидуализацию.
  • Advanced algorithm
    Данные алгоритмы записывают клики и интервалы, сравнивают с другими студентами, пересчитывают траекторию.
  • Decision trees
    Эти алгоритмы содержат фиксированные жесткие условия «если-то»: если ученик неправильно ответил на вопрос T1, то показать теорию или вернуть назад к навыку X2.
Концептуальная модель системы адаптивного обучения
Среди наиболее успешных и подтвердивших свою эффективность платформ можно выделить:

• Knewton;
• ALEKS;
• LearnSmart;
• RedBird.

Большинство из них являются очень сложными и дорогими; они опираются на формальные математические модели, используемые для представления и оценки состояния обучающегося, например, расширенную Item Response Theory (IRT) в Knewton, или Knowledge Space Theory / Learning Space Theory в ALEKS. Кроме того, адаптивная логика, как правило, предполагает использование «больших данных» (обрабатываемых методами машинного обучения и глубинного анализа данных).

Также, в интеллектуальных обучающих системах широко применяют алгоритм Bayesian Knowledge Tracing (BKT), представляющий знание студента (степень владения определённым навыком) как скрытую переменную в марковском процессе, обновляемую путём наблюдения правильности / ошибочности взаимодействия студента с системой, в котором он применяет рассматриваемый навык (решает задачу, требующую владение навыком).
Пример Plario.ru
Компания ENBISYS совместно с Томским государственным университетом реализовала задачу «выравнивания» уровня владения навыками элементарной математики с использованием технологий адаптивного обучения в цифровом репетиторе Plario.ru.

Математику как предметную область мы решили выбрать в силу нескольких причин: данный предмет достаточно просто разложить на необходимый и логичный «гранулярный» контент. Кроме того, существует объективная проблема: студенты, поступающие в вуз, находятся на самых разных уровнях подготовки по математике, и, зачастую, этого уровня недостаточно для изучения более сложной вузовской программы. Это негативно сказывается на эффективности групповых аудиторных занятий, т.к. преподавателю крайне сложно адаптировать состав и темп подачи материала к фактическому уровню каждого студента. Помимо этого, есть необходимость дополнительно заниматься математикой и у учащихся старших классов школ с целью подготовки к ЕГЭ.
Курс элементарной математики Plario.ru состоит из 6 обучающих модулей: преобразование алгебраических выражений, тригонометрия, логарифмы, уравнения, неравенства, функции.
Каждый модуль представляется совокупностью взаимосвязанных «навыков» (от 30 до 60), каждый из которых соответствует конкретному умению/способности использовать определенный набор теоретических знаний из этой темы для решения практических задач. С каждым навыком связано множество «учебных материалов» (теоретических материалов и практических задач), работа с которыми и составляет основу тренировочного процесса. Состояние знаний (модель) студента представляется совокупностью пар (навык, мастерство). Мастерство – это степень освоения навыка, уверенность в том, что студент освоил этот навык. Мастерство может принимать значения в диапазоне (0, 1]. Навык считается освоенным, если уверенность в его освоении превышает некоторое пороговое значение, например, 0,9.
В ходе разработки системы предъявились следующие требования:
1. При использовании системы учащийся должен достичь целевого состояния – освоить все навыки с уверенностью не ниже порогового значения, например, 0,9. Это означает, что с вероятностью 90% студент будет владеть навыком на необходимом уровне.

2. Исходный уровень подготовки студента позволяет определить, какие именно навыки ему нужно тренировать и с какого навыка необходимо начать процесс обучения. Система должна диагностировать входной уровень знаний студента с детализацией по каждому навыку.

3. Для достижения целевого состояния каждому студенту требуется разное количество учебных материалов различного уровня сложности. Система должна предоставлять то количество учебных материалов различной сложности, которое будет достаточным для освоения каждого навыка. Чтобы исключить вероятность механического запоминания правильного ответа предполагается избыточность контента.

4. Текущее состояние студента (мастерство по каждому навыку) должно быть доступно в каждый момент времени.

5. Система должна предлагать студенту индивидуальную последовательность учебных материалов, соответствующих его текущему состоянию.

6. Теоретические материалы должны быть доступны студенту в полном объеме независимо от текущего состояния.
Таким образом, платформа Plario.ru состоит из следующих блоков: адаптивный алгоритм, модель предметной области в виде онтологий (графов навыков) и диагностический алгоритм.
Из-за особенностей предметной области (математики) в Plario.ru мы решили использовать расширенную версию алгоритма BKT (Bayesian Knowledge Tracing), отличающуюся от стандартной возможностью:

• задавать индивидуальные значения вероятностей «transit», «slip» и «guess» для каждой связи «учебный материал» – «навык»;
• соотносить учебные материалы более чем с одним навыком;
• задавать зависимости типа «пре-реквизит» между навыками.

Расширенная версия BKT в Plario.ru обеспечивает динамическое формирование индивидуальной траектории обучения, когда траектория меняется после выполнения каждого задания.
Данный алгоритм позволяет оценивать текущее состояние студента (какими навыками владеет и какие навыки готов осваивать) после каждого совершенного взаимодействия с системой в виде ответа на предложенное задание.
Поскольку на начальном этапе мы не имели реальных фактических данных о параметрах и результатах обучения, для реализации рекомендательной части системы (адаптивной логики) мы решили использовать алгоритм ранжирования материалов, исправленный и дополненный в соответствии с требованиями к системе. Со временем, после накопления достаточного количества данных, мы планируем перевести механизм адаптивной логики на технологии машинного обучения.

Адаптивность процесса обучения обеспечивается гибким алгоритмом рекомендации упражнений для студента, который обеспечивает:

• ускоренное устранение пробелов;
• непрерывность процесса обучения;
• готовность пререквизитов (уровень освоения, достаточный для продвижения далее).

Модель компетенций (граф навыков)

Модель компетенций для каждого модуля по элементарной математике в Plario.ru была разработана группой экспертов ТГУ и представляет собой ориентированный ациклический граф, в котором:

вершины – это конкретные навыки (например, «Выносить за скобки общий множитель», «Группировать слагаемые»);

дуги – это зависимости между навыками, где начальная вершина соответствует навыку-пре-реквизиту, а конечная вершина – зависимому навыку;

зависимости имеют «силу», описывающую «степень обязательности» изучения пре-реквизита для перехода к изучению навыка (где 1 – максимальная степень зависимости, не допускающая перехода к освоению зависимого навыка, если не освоен навык-пре-реквизит).

Состояние знаний студента в каждый момент времени (модель студента) может быть представлено как совокупность навыков, для каждого из которых определено индивидуальное значение мастерства (уверенности в том, что данный студент освоил данный навык). В результате наложения модели студента на граф навыков мы получаем индивидуальный граф навыков конкретного студента.
Таким образом, процесс обучения в упрощённом виде представляет собой продвижение по индивидуальному графу от освоенных навыков к неосвоенным в соответствии с зависимостями между ними.
Фрагмент графа навыков для модуля «Упрощение алгебраических выражений»
Образовательный контент для Plario.ru создается экспертами ТГУ в соответствии с разработанной ими методикой. Она основана на следующих принципах:

• высокая степень гранулярности – приоритет «микродоз» контента, которые нацелены на прояснение / тренировку небольшого по объёму, но целостного по смыслу элемента знаний (применения конкретного правила, формулы), для освоения которых не требуется много времени;

• независимость единиц контента друг от друга, позволяющая комбинировать их в любой последовательности;

• приоритет практической составляющей над теоретической.

Образовательный контент в Plario.ru состоит из:

• теоретических материалов, представленных преимущественно фрагментами справочной информации или примерами решения задач с пояснениями;
• практических задач, играющих в системе двоякую роль: обучающую и контролирующую.
При создании учебных материалов в системе они описываются в соответствии с требованиями расширенной версии BKT, используемой в Plario.ru. Отдельное место занимают тестовые задачи, используемые для диагностики входного уровня. На этапе диагностики важно за минимально возможное время максимально достоверно определить мастерство по каждому навыку. В связи с этим к подготовке диагностических задач предъявляются несколько иные требования:

• количество и сложность задач должны быть подобраны таким образом, чтобы среднестатистический студент мог выполнить весь тест не более, чем за 2 академических часа;

• задачи должны покрывать все навыки модуля;

• каждый навык должен быть, по возможности, покрыт более чем одной задачей для минимизации влияния случайных ошибок / угадывания;

• неправильные ответы являются источником дополнительной информации о имеющихся пробелах в знаниях и должны давать возможность использовать её.

Планы и варианты развития подобных систем
Платформа Plario.ru проектировалась как система, работающая без участия преподавателя. Преподаватель в ней осуществляет контроль над прогрессом обучения, но непосредственно не вмешивается.

На сегодняшний день система получила значительное развитие. Помимо цифрового репетитора по элементарной математике было добавлено 7 новых предметов и значительно расширен функционал. Теперь платформа превратилась в гибкий инструмент, который позволяет преподавателю управлять образовательным контентом и эффективно обучать студентов в современном формате.
В условиях новой реальности и развития технологий системы адаптивного обучения должны максимально индивидуализировать процесс освоения навыков и помогать преподавателю, делая весь процесс смешанного обучения приближенным к индивидуальному.
Pario.ru — это пример адаптивной системы, решающей реальные проблемы студентов и преподавателей. Концепция платформы соответствует приоритетной задаче вузов, связанной с цифровизацией образовательной среды. Благодаря задействованию умных алгоритмов, онтологий и опыта ведущих экспертов вузов, система Plario трансформирует процесс выравнивания знаний студентов, снимает нагрузку с преподавателей, освобождает их от рутинной работы и помогает снижать загрузку аудиторий. Начиная с 2019 г. система Plario.ru была внедрена в 11 вузов РФ, а также ряд общеобразовательных школ с общим количеством пользователей свыше 10000.

А теперь я хочу задать вопрос вам, коллеги: как вы видите развитие адаптивных систем? Смогут ли алгоритмы Искусственного Интеллекта стать постоянными помощниками преподавателей и эффективно решать задачи образования, повышая его качество?
Напишите нам