Всероссийский сборник статей и публикаций института развития образования, повышения квалификации и переподготовки.

А. Зайков,
аккредитованный преподаватель
платформы
О логике автоматизированной утилиты количественного определения профессиональной конгруэнтности тренера-преподавателя
Методика реализации предлагаемой Утилиты базируется на постулатах теории нечеткой логики и возможности обучать сам искуственный интеллект.
Определимся с терминами. Легкая неточная цитата: Нечёткая логика в искусственном интеллекте�позволяет эффективно работать с большим 1) количеством переменных, 2) неопределённостью, 3) размытыми данными, 4) сложными сценариями в реальном мире, то есть частично имитировать человеческое мышление.
Как нечеткая логика �выглядит в лицах�? Простейший бытовой пример: мы не можем на взгляд оценить в градусах температуру стакана с водой, простоявшего долго в комнате, но можем сказать, что он холоднее воды из вскипевшего только что чайника, или теплее, чем стакан воды, который мы достаем из холодильника, или совпадает с температурой этого стакана без воды. Это — оценочные суждения, но они оценивают атрибуты (признаки, характеристики), которые можно ранжировать, и при ранжировании задать конкретные значения — в абсолютных величинах или пропорциональных (долевых).
Краткая вводная информация (реальный кейс). Дано: группа педагогов, которых необходимо самих обучить глубоко специализированному программному продукту, предлагающемуся для внедрения на промышленных предприятиях (ERP-системе). Эта группа должна далее обучать пользователей этой информационной системе. Требуется определить: кто из тренеров готов и формально, и содержательно вести обучение многих тысяч пользователей на предприятиях. Сопутствующие условия: для группы создан специальный Регламент, квалифицирующий этапы (структуру) обучения и конкретно — занятия для преподавателей.
Педагогическая задача для решения: в процессе сдачи учебного зачета один преподаватель — принимающий — должен соотнести поведение и скиллы другого преподавателя с номинальным шаблоном �идеального андрогога�, чтобы дать �путевку� для работы в центры обучения сотрудников промышленных предприятий. Зона эта формализуема по критериям, но это не точно. Зона эта для оценки — турбулентная… Но принимающим зачёт преподавателям и нужно в зоне неоднозначности однозначно оформить свое мнение по скиллам тренера, сдающего зачет. Вот где пригодится нечеткая логика.
Соотнесем параметры из выше данного определения нечеткой логики с детализацией в учебной сфере:
Переменные. Какие ввести? По темпу чтения? По скорости кликания мышкой по файлу? По количеству правильно сданных тестов? И т.д……..
Неопределенность: подходит ли конкретный человек для работы преподавателем по обучению на промпредприятиях? На зачёт могут прийти (и приходят::) педагоги незнакомые, от слова совсем...
Неполные данные: можно ли хотя бы предположить, насколько процентов из 100 он соответствует атрибутам для работы в условиях обучения групп на на промпредприятиях?
Сложные сценарии: можно ли дать специалисту рекомендацию перед лицом коллектива профессиональных педагогов?
Есть и дополнительные вопросы (на них сложились ответы, ознакомимся с ответами далее по тексту):
Каковы критерии оценки этих атрибутов при той или иной пропорции их у педагога?
Какова структура этих атрибутов? Возможны ли цифровые детерминации оценочных суждений (или — хотя бы в формате �светофора�)?
Какова структура этих атрибутов — она производная от тех сущностей, с которыми взаимодействуют преподаватели в тренировочно-обучающем процессе, и по которым можно судить о степени их профессионализма и аттракции. И которые (забегая вперед) разработаны и в самом Регламенте сдачи зачетов педагогами.
Первая сущность: Презентация учебного курса в формате .pdf (об их методическом качестве не говорим, говорим о них, как об компоненте учебного процесса).
Вторая сущность: Демонстрация выполнения УПЗ (оно же — ОПЗ):) —учебно-практическое задание.
Третья сущность: Устные ответы на вопросы принимающего преподавателя.
Переходя в более оцифровываемое пространство, можно сказать, что эти перечисленные сущности — оси трехмерной системы координат (см. рис. 1) или - многомерные OLAP-кубы баз данных (рис.2).
Рис. 1. — Пример трехмерной системы координат.
Рис.2 — пример многомерных OLAP-кубов баз данных
Подобные сущности можно было бы умножать, благо в портфеле проекта они содержатся — чтобы не быть голословным, приведем в пример сущность �Тест� по пройденному курсу для обучающихся на предприятии, но этот же тест для сдачи можно ввести и для педагогов.
Но давайте сделаем более тонкий ход — разобьем каждую из обозначенных трех сущностей на еще две составляющие, а именно: �Форму� и �Содержание�.
Вопрос — почему именно на такие позиции — надеемся, риторический. Но для чего так сделано - поясним. То есть в ранжир критериев конгруэнтности отметки будет вкладываться то, как принимающий оценил-понял-прочувствовал, как тренер работает с подачей, как справился с подачей:
Формы Презентации,
Содержания Презентации,
Формы Демонстрации ОПЗ,
Содержания Демонстрации ОПЗ,
Формы ответов на вопросы,
Содержания ответов на вопросы.
После первых прочтений данного материала заинтересованными лицами меня попросили детализировать, что имеется ввиду под �формой и содержанием�.
И самое интересное, что автор сам после длительного обдумывания переосмыслил и переоформил наполнение терминов �форма� и �содержание� для данной системы.
Как мыслилось в исходном варианте.
�Форма� - это то, что в Регламенте сдачи зачета называется �Подача материал� (со �звездочкой�, расшифруем �звездочку� - позициями из того же Регламента:
Умение доносить информацию доступным языком, поддерживать диалог с аудиторией и отвечать на вопросы (формирование доступного и лаконичного изложения материала),
Создание комфортной атмосферы в процессе обучения,
Использование лекторских приёмов для удержания внимания аудитории,
Отсутствие в речи слов и фраз-паразитов (развитая культура речи),
Владение служебной терминологией, высокая осведомлённость,
Уверенное изложение материала,
Четкая дикция, ясные и однозначные формулировки, интонационный акцент.
Как автор понимал детализацию сущности �Содержание� для Утилиты? Если коротко, то близко к пп. 5 и 6 из вышеперечисленного перечня. И вот только сейчас автор акцентировал сам свой посыл: �Содержание� - это всё то, что относится к мануалу Программы, к Руководству пользователя и др., к интерфейсу, к теории и практике по курсам обучения…
Если сдающий приводит при демонстрации Презентации выдержки из Руководства пользователя, если не делает лишних движений по интерфейсу карточек, таблиц, разделов, если знает, что обозначают термины по курсу, на каких слайдах находятся определенные данные, как можно в Программе, например, получить нужные одинаковые результаты - если пройти разными треками и т.д…
Для дальнейшего удобства работы и преподавателя, и принимающего (и для статьи) с �формой� и �содержанием� материализуем их критерии в простенькую таблицу 1:
Таблица 1 — Пересечение позиций сущностей Утилиты с подпозициями �Форма� и �Содержание�
Форма
Содержание
Презентация
Лекторская подача материала
Знание теории Программы (РП, мануал, интерфейс и пр.)
Демонстрация ОПЗ
Лекторская подача материала
Знание практической работы с Программой (РП, мануал, интерфейс и пр.)
Вопросы
Лекторские скиллы по ответам на вопросы
Знание теоретической и практической части работы с Программой (РП, мануал, интерфейс и пр.)
Регламент
Выполнение по-максимуму количества пунктов Регламента
Выполнение по-максимуму содержательной части пунктов Регламента
В сухом остатке: �форма� - это лекторско-лингвистическая часть, �содержание� - матчасть. Учите, как говорится, матчасть:)
Выше в тексте и в таблице 1 указан Регламент сдачи зачетов преподавателямими. Для полноты картины мира — приплюсовали его ко всем шести ячейкам оценочной таблицы как четвертую �субстанцию�: к пространственной трехмерной модели �приставили� одномерное - время.
Нет, так - в классической физике.
В проекте есть не одномерный — интегральный — критерий: Регламент приемки зачета у тренеров, и он уже имплементирован в оценочную модель Утилиты.
Регламент не чужероден логике Утилиты — он сам включает в себя те же сущности, что и она. Но. Есть существенная разница: в Регламенте важно последовательно заполнить чек-боксы по исполнительской дисциплине тренера (хотя заполняет их принимающий, но по сути — он заполняется на алгоритмическом �проходе� чек-боксов самим преподавателем), а в Утилите оцифровывается МНЕНИЕ, и мнение это — принимающего (насколько процентов сдающий андрогог готов к работе в учебном классе со специалистами предприятия?).
И сразу восстановим статус-кво: Утилита и Регламент — гипотетически это синтез координат оценивания (до потенциального официального их слияния). Итоговые результаты педагога из Регламента интегрированы в арифметическую логику Утилиты. И, можно даже сказать, что Регламент и Утилита соотносятся друг с другом, как Форма и Содержание единого процесса оценивания.
Есть мнение коллег, что раз уж Утилита впитала в себя позиции из Регламента — подачу материал (описанную выше), то, может быть, проще добавить баллы в позицию Критериев, касающихся этой позиции. Зачем изобретать велосипед? Наверное, такой подход правомочен. Но каков ответ на вопрос - преподаватель сдал зачет на 18 баллов или на 19? Ответ, повторимся, таков — тренер сдал зачет... на 18 баллов или на 19. Формально, Регламент не отвечает на вопрос — насколько процентов готов тот или иной тренер для работы на предприятии… В отличие от Утилиты...
Итак, визуализируем то, что мы наконструировали.
Таблица 2 — Структуры логической модели Утилиты
Форма
Содержание
Презентация
1
4
Демонстрация ОПЗ
2
5
Вопросы
3
6
Регламент
21 - n = Х, где n количество набранных балов
Рминус = Х * 3 (балла)
Поясним табличные данные.
Цифры от 1 до 6 - это пока простая нумерация. Но в самой арифметической модели Утилиты мы, понимая, что в процентной сумме успеха тренера значения этих ячеек должны составлять 100%, разложим по ячейкам эту арифметику:
1+2+3+4+5+6 = 100% (1)
легко высчитать удельный вес одной ячейки в процентном выражении:
100% / 6 = 16,6(66)% (2)
Теперь нашу Таблицу 2 можно представить с данными другого формата (см. Таблицу 3):
Таблица 3 — Данные в процентном значении в модели Утилиты
Форма
Содержание
Презентация
16,6%
16,6%
Демонстрация ОПЗ
16,6%
16,6%
Вопросы
16,6%
16,6%
Регламент
21 - n = Х, где n количество набранных балов
Рминус = Х * 3 (балла)
Поясним записи таблицы 3, а именно: запись �Регламент�.
Как мы помним, максимальное количество баллов, которое может набрать тренер, идеально выполнив требования Регламента — 21. Конечно, реальность не всегда идеальна, 21 — результат не всегда достижимый, поэтому тренер получает за занятие количество баллов n, которое, в свою очередь, либо меньше, либо равно 21. Нас интересует случай, когда n при минусовке дает нам разность Х (не принимающую значение, как мы понимаем, �ноль�, в дальнейшем этот вопрос надо �расшивать�).
И получается, мало того, что Регламент сам по себе интегральный объект, так еще и в арифметической логике Утилите эта разность Х:
- умножается, во-первых, на 3 (три) балла (этот показатель взят не с потолка: вспомним, что максимальный балл за рейтинговую позицию именно столько):
Рминус = Х * 3 (балла) (3)
- а во-вторых, вычитается получившееся значение из суммы шести ячеек (уточним, из оставшейся суммы — об этом ниже) выраженной в процентах.
Конечно, может показаться, что мы неправомочно вычитаем интегральный показатель, описанный не в процентах, от суммы, зафиксированной в процентах… Предварительный ответ такой: и Утилита, и Регламент выстроены на основании одних и тех же сущностей, и �регламентный� показатель вычитается из суммы ячеек не механически — напрямую — а после проделывания над его частями двухтактной операции.
Если отвлечься от незазеркаленных, несинхронизированных позиций единиц измерения в этой части вопроса, то можно выстроить такую математическо-лингвистическую однородную конструкцию: от первого интегрального показателя (презентация-демо-вопросы) минусуется второй интегральный показатель (Регламент), с котором проделаны �утрирующие� операции.
И - в итоге, получаем заветную финальную формулу процентной конгруэнтности тренера (КТ):
КТ = Σ(1...6 )%- Рминус =...% (4)
Далее будет приведен пример конкретного расчета процентной конгруэнтности преподавателя, а сейчас вернемся к таблицам, и к указанию на то, что сумма в наших шести ячейках - �оставшаяся�.
Понятно, что в шести ячейках с нумерацией от 1 до 6 не может быть только постоянный показатель в 16,6%. Что-то преподаватель сделает лучше в глазах принимающего, что-то не так хорошо. Поэтому в каждой ячейке будет стоять значение меньше, чем 16,6% (немного усомнимся в идеальном тренере, чтобы было интереснее считать процентность КТ).
Этому проценту неуспеха по каждой позиции присвоим буквенное обозначение — пока: А,Б,В,Г. Расставим их по таблице 4:
Таблица 4 — Данные с примерной корректировкой на неуспешность
выступления тренера по разным ячейкам в модели Утилиты
Форма
Содержание
Презентация
16,6% - А
16,6% - Г
Демонстрация ОПЗ
16,6% - Б
16,6% - В
Вопросы
16,6% - В
16,6% - Г
Регламент
21 - n = Х, где n количество набранных балов
Рминус = Х * 3 (балла)
И теперь наша формула (4) принимает вид:
КТ = (100% - ΣА...Г ) - Рминус =...% (5)
Для упрощения жизни разработчикам Утилиты позиции из строки �Регламент� переформулируем в одну конструкцию и переработаем формулу (5):
КТ = (100% - ΣА...Г ) - (21 - n ) * 3 = ...% (6)
где n - количество набранных балов по Регламенту.
В формуле (6) указаны все новые переменные, их сумма, но в реалиях, эти переменные будут повторяться либо не все одновременно, либо наличием только от одной какой-либо величины до четырех, либо дублироваться. То есть, к указанным в таблицах нашим двум переменным/неизвестным были введены еще четыре…. Если речь идет о цифровом отображении конгруэнтности преподавателя, то эти новые четыре переменные — А,Б,В,Г — должны иметь цифровой �вес�, градацию.
Мы к ней придем, но через промежуточную итерацию — оценивания оценочных суждений. Именно на них строится теория нечёткой логики, о которой мы говорили выше.
Попробуем это продемонстрировать на нашей педагогической специфике.
Итак, мы видим и слышим педагога, которого предполагается командировать на предприятие для обучения пользователей.
Он сдает зачет. В зачете три компонента: презентация, демонстрация, ответы на вопросы по курсу.
У нас есть свой опыт общения, взаимодействия, коммуникации с профессиональными педагогами, мы сами в данной профессии — много лет. Мы знаем по опыту, как себя ведут, подают, декларируют и проч. тренеры разных квалификаций, скиллов, образования и опыта.
Если градуировать это наше оценочное понимание по уровням:
�Высокий�
�Выше среднего�
�Средний�
�Низкий�
то, возможно �разнести� известных нам кандидатов по �турнирной� таблице? Ответ — очевиден.
Соотнесем шкалу вертикальную (выше-ниже) с буквенными переменными, зададим их, склеим:
�Высокий� - ………...А
�Выше среднего� - …Б
�Средний� - ………...В
�Низкий� - …………..Г.
Произошла синхронизация одной шкалы с другой - буквенными переменными, но пока до цифрового обозначения величин дело не дошло. В чистой нечеткой логике этот шаг не совсем обязательный, но коли уж мы говорим об автоматизированной Утилите…
Назначим сами эти значения — опять-таки, на основе наших оценочных суждений!
С одной стороны, это будет интуитивное действие (разложить 100% критерия на четыре позиции, причем, понятное дело, непропорционально), с другой — критерий можно обосновать: чем меньше тренер �неуспешен� в глазах принимающего, тем меньше процентов от значения одной ячейки у него должно сниматься, значит, тем большее значение в пропорции должно присваиваться нижнему показателю!
Если значение одной ячейки у нас равно 16,6% (а значит, и суммы всех 4-х параметров: ΣА...Г = А+Б+В+Г), а в градации — 4 позиции, и учитывая, что нижний критерий должен, допустим, в 10+ раз быть больше верхнего — первого — то калибровка наших критериев может быть такова (см. таблицу 5):
Таблица 5 — Буквенное и цифровое градуирование
отметок тренерам в модели Утилиты
Шкала �вертикальная� (уровень)
Шкала буквенная
Шкала цифровая, %
�Высокий�
А
0,6
�Выше среднего�
Б
1,4
�Средний�
В
6
�Низкий�
Г
8
Отметим, что шаги в шкале цифровой не абсолютны, и могут быть скорректированы. Да, разница между �ватерлинией� (�срединностью�) значительна - на порядок в экстремумах, но так и запечатано в логике Утилиты изначально… но — если хочется более сбалансированных оценочных шагов, можно, например, ввести еще несколько параметров в вертикальную шкалу или переместить баллы из нижней части таблица в верхнюю...
Показательный расчет процента конгруэнтности тренера
И в конце статьи приведем показательный расчет процента конгруэнтности преподавателя, и уж в самом финале — озвучим возможное развитие темы Утилиты.
Итак, наш тренер А. показал, по мнению принимающего тренера, следующие кондиции по �выдаче� конгруэнтности:
в Форме Презентации - �Высокий� (0,6)
в Содержании Презентации - �Выше среднего� (1,4)
в Форме Демонстрации ОПЗ - �Выше среднего� (1,4)
в Содержании Демонстрации ОПЗ - �Высокий� (0,6)
в Форме ответов на вопросы - �Высокий� (0,6)
в Содержании ответов на вопросы - �Выше среднего� (1,4).
По Регламенту набрал 17 баллов (= n).
Каков же его коэффициент конгруэнтности (КТ%)?
Подставляем значения в формулу (6):
КТ = (100% - ΣА...Г ) - (21 - n ) * 3 = (100% - 6% ) - 4*3 = 82%.
где n - количество набранных балов по Регламенту.
По развитию самой темы создания цифрового портрета тренеров-педагогов
Для тонкой настройки можно добавлять новые сущности в �систему координат�. Как минимум - тест для обучающихся должен пройти сам тренер (и если будут не сданные правильно вопросы, то их количество можно включить с умножением на штрафные баллы в "минусовку" из общих баллов).
Можно откалибровать проценты показателей-шагов с целью стимулирования высоких результатов у тренеров (перекинуть из двух нижних значений - в верхние).
Нужно просчитать цифровые диапазоны, в которые сгруппируются преподаватели в зависимости от достигнутых результатов (здесь имеется в виду �граница отсечения� - если, например, тренер набирает меньше 75% КТ, то рекомендацию ехать на предприятие он пока не получает).
И нужно брать в расчет, что на основании КТ по одному сданному зачету (занятии) нельзя сделать верифицированные выводы о конгруэнтности тренера.
В связи последним текстовым предложением, коллеги подкинули мне сложновыговариваемый термин - коэффициент конкордации Кендалла. После некоторого гуглирования, выяснилось, что данный коэфициент — вполне в парадигме нечеткой логики. �Коэффициент конкордации Кендалла — это некоторое число от 0 до 1, характеризующее степень согласованности мнений экспертов (в виде рангов) по совокупности критериев�. От 0 до 1...Не два значения: 0 и 1 - и только - (как в булевой), а именно, как в нечеткой логике: от... и до… - интервал, период, слот, сегмент.
Что-то полезного мы можем извлечь из этого коэффициента для нашего эксперимента по зачетным зачетам? Можем, и многое. А именно: объективность. Расшифруем. Был еще вопрос, насколько универсальна данная методика, рассматриваемая в статье? Насколько преподаватель принимающий зачет у другого преподавателя может отдавать отчет в своей объективности к одному или разным тренерам? Какая здесь работает связь (как в ER-диаграммах): один — ко многим или многие - ко многим и т.п.?
Поясним.
Один преподаватель может принимать ВСЕ зачеты у одного тренера — в этом случае встает вопрос об объективности, даже в рамках нечеткой логики… А вот если у �многих� сдающих преподавателей принимают, допустим, десять тренеров - �многие�, и их оценки усредняются арифметически, то о необъективности речи быть не может… А вот �плотность� объективности в том вопросе, ради которого задумывалась и Утилита, и статья — �укратняется�… Вряд ли десять профессиональных и опытных практиков-тренеров не смогут отличить �холодное от теплого� или �горячее от теплого�...
Был также вопрос от коллег, который был ожидаем, и он же пойдет в �копилку� апгрейда Утилиты. Вопрос звучал так: конкретно у Вас, дорогой автор, какой КТ? В моменте автор дал неправильный ответ (в парадигме �черно-белой� логике), обозначив, хотя и объективное, но однозначное процентное значение (к слову, сказать, далеко-далеко не максимальное).
Правильный ответ также должен был бы базироваться на методике нечеткой логике: по педагогической компоненте КТ (лекторской, формальной) — коэффициент такой-то, по содержательной компоненте (знанию программного продукта) — такой-то. То есть, возможно в дальнейшем разделить КТ на две позиции, опять-таки — по форме и содержанию, не суммируя их.
***
И конечно, для оперативности и скорости подсчета КТ — ожидается формирование демонстрационной модели Утилиты, хотя бы в Экселе (например, добавив Утилиту в конструкцию Регламента, и используя результаты подсчета в факультативном режиме, имея на руках математически выраженное и подтвержденное свое внутренне мнение).
Для преподавателя этот модуль не должен нести большую оформительскую нагрузку — ему необходимо будет только внести в 6 полей шесть буквенных значений.
Таким предполагается графический интерфейс модуля по подсчету КТ (см. Рис. 3.):
Рис 3. — Интерфейс пользователя модуля расчета коэффициента конгруэнтности тренера.
Тренеру даже не придется в ячейку, связанную с Регламентом , вносить значение n (сданных баллов) - оно подтянется в Экселе автоматически. То есть, свое мнение из градаций буквенной шкалы, синхронизированной с вертикальной шкалой, разнести по шести ячейкам (см. Рис. 3).
Дальше — дело формул Эксель.
На соответствие профатрибутам для работы на АЭС.
Ред. третья, доработанная. Дополнения и изменения выделены подчеркиванием.
Как логика может быть нечеткой и при чем здесь искусственный интеллект. Статья на интернет-ресурсе �Простые технологии. рассказываем просто о сложном� (11 марта 2024 г.)
Грани OLAP-кубов должны быть обозначены не как �Презентация — Демонстрация — Вопросы�, а как �Регламент — (Презентация/Демонстрация/Вопросы) — (Форма/Содержание)� - авт.
Автор данного текста будет благодарен за предложения, отзывы, возражения по форме и содержанию Утилиты
Был вопрос от коллег: почему все-таки три балла? Предварительный ответ: скорее всего, можно тоньше откалибровать показатель интегративного критерия �Регламент� для формулы оценивания в Утилите. Допустим, в формуле (3) Икс умножать не на 3, а на средний арифметический показатель: не выполнены полностью или частично, например, 3 критерия, их максимальный цифровой вес в Регламенте — 1,1,3. Среднеарифметическое их значение = 1,6. Или — есть идея по еще более чувствительной калибровке этого критерия…оставим ее до развития Утилиты :)
Из первой редакции убран промежуточный подсчет �Подставляем данные в запись �Регламент�: 21 - 17 = 4; Рминус = 4 * 3 = 12 (баллов).
.