Формула оценки

Татьяна Анисимова Ректор Славянского-на-Кубани государственного педагогического института

Актуальность научной тематики

Среди научных направлений, развиваемых в Славянском-на-Кубани государственном педагогическом институте, особое место занимает направление, связанное с объективными измерениями латентных переменных. Это объясняется тем, что кроме решения задач, связанных со своей проблематикой, это направление фактически является своего рода инфраструктурой для других научных направлений.

Прежде всего, необходимо отметить, что роль объективных измерений в научной работе очень важна. Достаточно привести высказывания, точнее девизы знаменитых ученых: «Наука начинается с измерения» (Д.И.Менделеев); «Измеряй измеримое и делай неизмеримое измеримым» (Галилео Галилей). Все эти мысли точно и образно характеризуют роль объективных измерений.

Ключевым аспектом здесь являются объективные измерения. В чем особенности этой тематики, почему, казалось бы, для решения чисто технического вопроса,  измерения,  создаются научные подразделения? Дело в том, что измерения в социальных системах (а образование относится к социальной системе) существенным образом отличается от измерения в технических системах. Отличие  в специфике исследуемых переменных. В социальных системах большинство исследуемых переменных являются латентными (скрытыми), т.е. не измеряются в явном виде, как, например, длина или вес в технике. Поэтому объективные измерения латентных переменных необходимы не только для оценивания уровня подготовленности студентов, оптимального управления качеством образования, но и для решения широкого круга задач во многих других областях  психологии, социологии, экономики, экологии, здравоохранении и т.д.

Концепция объективного измерения латентных переменных

Суть концепции измерения латентных переменных состоит в следующем. Измеряемая скрытая переменная каким-то образом проявляет себя, что можно зафиксировать с помощью регистрируемых переменных, которые называются индикаторными. Если бы латентная переменная никак бы себя не проявляла, то тогда вообще было бы непонятно, о чем идет речь. Чем больше число учитываемых индикаторных переменных, тем выше точность измерения латентной переменной. Сама модель является вероятностной, что позволяет использовать для измерения результаты тестирования с самыми неожиданными ответами (например, хорошо подготовленный студент неправильно ответил, на легкое задание, и, наоборот, плохо подготовленный студент правильно ответил, на трудное задание).

Все латентные переменные измеряются на интервальной шкале в логитах. Как и в любой другой интервальной шкале, начало отсчета (точка «О») не фиксировано, и с помощью линейных преобразований легко перевести оценки измерений в логитах в любые другие оценки, например в баллы. Чаще всего за точку отсчета (за нуль логитов) принимается среднее значение оценок индикаторных переменных. Например, в Центре тестирования Министерства образования и науки РФ уровень подготовленности испытуемых измеряется в 100 балльной шкале. Наиболее часто используемая латентная переменная в образовании,  это уровень знаний или уровень подготовленности учащихся. Каково же качество измерения этой переменной?

Например, оценка «4м по физике в сельской школе соответствует одному уровню знаний, оценка «4» по физике в городской школе соответствует другому уровню знаний и та же самая оценка «4» соответствует третьему уровню знаний в физико-математическом лицее. Или, например, оценка»3м у одного преподавателя может соответствовать большому уровню знаний, чем оценка «4» у другого преподавателя. Таким образом, наиболее широко распространенная балльная система оценивания уровня знаний обладает принципиальным недостатком  субъективностью, а именно субъективностью того, кто измеряет.

Широкое распространение сейчас получила классическая или традиционная система тестированная, в которой уровень подготовленности оценивается на основе доли правильных ответов. Преимущество этой системы измерения в том, что она проста, наглядна и, следовательно, легко доступна для понимания. Однако эта система обладает существенными недостатками, главный из которых состоит в том, что оценка уровня подготовленности зависит от набора тестовых заданий. Например, если тест состоит из легких заданий, то доля правильных ответов будет большой. Если же тестовые задания трудные, то доля правильных ответов одного и того же испытуемого будет небольшой. Таким образом, результат оценивания зависит от измерительного инструмента. Результаты же объективных измерений не должны зависеть ни от того, кто измеряет, и от используемого измерительного инструмента (набора тестовых заданий).

Измерение уровня подготовленности

Принципиальное отличие измерения уровня подготовленности на основе модели Раша в том, что формируются и используются четкие и конструктивные понятия «трудность задания» и «уровень подготовленности». Так, одно задание считается более трудным, чем другое, если вероятность правильного ответа на первое задание меньше, чем на второе, независимо от того, кто их выполняет. Аналогично, более подготовленный студент имеет большую вероятность правильно ответить на все задания, чем менее подготовленный. Эти свойства следуют непосредственно из модели.

Для наглядности рассмотрим очень показательную ситуацию, когда один студент правильно ответил на половину тестовых заданий, которые являются наиболее легкими, а на оставшиеся, трудные задания, ответил неправильно. Второй студент, наоборот, на трудную половину заданий ответил правильно, а на оставшиеся легкие задания ответил неправильно. Спрашивается, какой из студентов, обладает большим уровнем подготовленности. Естественно, может возникнуть ответ, что второй, но как тогда это согласовать с тем, что он не знает элементарных вещей? В такой ситуации вопрос об оценке решается субъективно, преподавателем. В классической же системе тестирования этот вопрос решается просто  поскольку и тот и другой студент ответили правильно на одно и то же число вопросов (50%), то оценки их уровней знаний одинаковы. При измерении же уровня подготовленности на основе модели Раша этот вопрос решается принципиально по-другому. Прежде всего, проверяется, можно ли использовать полученные тестовые результаты для измерения уровня подготовленности. Для данной ситуации будет получен вывод, что полученные результаты тестирования невозможно аппроксимировать моделью Раша и по-этому их нельзя использовать для измерения латентной переменной  уровня знаний. Следовательно, вопрос о том, у кого выше уровень подготовленности останется открытым. Единственное конструктивное решение здесь  это анализ причин, обусловивших такую ситуацию. Одна из возможных причин, приведших к таким результатам тестирования, может состоять в том, что набор тестовых заданий плохо отработан и сами тестовые задания являются несовместимыми. Как следствие необходимо улучшать тест  корректировать, исключать или добавлять тестовые задания. Другая причина может заключаться в неадекватном тестировании  плохо организован сам процесс тестирования, в частности не исключены были списывания и т.д.

Рассматриваемая система измерения латентных переменных принципиально отличается от наиболее известной классической или традиционной системы тестирования по многим аспектам. Поскольку эти аспекты важны для понимания сути данного научного направления, приведем краткий сравнительный анализ этих двух направлений. У системы измерения латентных переменных, основанной на модели Раша, нет недостатков присущих классической системе тестирования, кроме того, она обладает еще целым рядом важных достоинств. Например, модель Раша превращает измерения, сделанные в дихотомических и порядковых шкалах в линейные измерения, в результате качественные данные анализируются с помощью количественных методов. Кроме этого, поскольку мера измерения параметров модели Раша (уровня подготовленности испытуемых и трудности заданий) является линейной, то это позволяет использовать широкий спектр статистических процедур.

Оценка трудности тестовых заданий не зависит от выборки испытуемых, на которых была получена. В свою очередь, оценка уровня знаний испытуемых не зависит от используемого набора тестовых заданий и др.

Применение системы измерения латентных переменных в учебном процессе

Прежде всего, система объективного измерения латентных переменных открывает новые возможности для оптимизации учебного процесса. Реальностью становится новая парадигма обучения, в которой ключевым словом является «технология обучения», а не «методика обучения», как в старой парадигме. Здесь нет игры в модные современные термины, как это может показаться на первый взгляд. Принципиальные отличия образовательной технологии (как и всякой технологии) от методики обучения состоят в следующем: технология обучения четко фиксирует цели обучения, которые должны быть достигнуты к концу обучения. В методике задаваемые цели являются расплывчатыми и поэтому трудно судить, достигаются ли они или нет. Соответственно, необходимым атрибутом технологии являются средства (в данном случае это измерительные инструменты  наборы тестовых заданий), которые позволят точно измерить, достигнуты ли цели обучения.

Очевидно, что традиционные способы оценивания мало пригодны. Естественно, что измерительные инструменты нужны не только для определения того, достигнута ли цель обучения. Измерения необходимы и в самом процессе обучения для определения насколько текущий уровень знаний студента соотносится с требуемым уровнем. Весь процесс обучения контролируется с помощью технологических параметров, достаточно просто измеряемых и интерпретируемых. Кроме этого, технология обучения, как и всякая технология, подразумевает воспроизводимость. Это означает, что при заданных начальных условиях, при правильном применении технологии заданные цели всегда будут достигнуты. Применительно к обучению это означает, что поступившие абитуриенты станут специалистами. Среди полученных практических результатов необходимо, прежде всего, выделить результаты, связанные с измерением уровня знаний студентов в учебном процессе.

Разработан и апробирован банк тестовых заданий по блоку учебных дисциплин «Информатика» для тестирования уровня знаний студентов на всех пяти курсах  от первого по пятый. Результаты тестирования, полученные по всем тестам, удовлетворяют требованию адекватности модели Раша, т.е. наборы тестовых заданий могут быть использованы в качестве измерительного инструмента. Средний уровень трудности тестовых заданий соответствует уровню знаний студентов. Оценена эффективность тестовых заданий по учебным дисциплинам блока «Информатика». Определены системные свойства тестовых заданий, проверены равномерность распределения выбора дистракторов и равномерность распределения номера правильного ответа среди дистракторов. В целом результаты анализа являются удовлетворительными и по своим формальным параметрам тесты могут быть использованы для оценивания уровня знаний студентов по информатике. Результаты измерения уровня знаний студентов используются для корректировки рабочих программ.

Методика измерения латентных переменных используется не только в учебном процессе, но и в других социальных системах. Ниже приведен краткий обзор работ, выполненных лабораторией объективных измерений.

Перспективы развития научного направления «Измерение латентных переменных»

Выделено несколько основных направлений развития этой научной тематики. Многоаспектный анализ и исследование эффективности системы измерения латентных переменных на основе модели Раша в различных экспериментальных ситуациях. Прежде всего, это исследование влияния коррелированности идикаторных переменных и числа их градаций на точность измерения латентной переменной. Разработка коммерческого варианта диалоговой системы измерения латентных переменных. Эта диалоговая система будет использоваться не только для измерения уровня знаний студентов, но и для измерения латентных переменных в других социально-экономических системах.

Активное внедрение измерения уровня знаний в учебный процесс на всех этапах обучения. Это необходимо для объективного измерения уровня знаний, что является основой для корректировки рабочих программ и оптимизации учебного процесса. Кроме того, это важное условие для эффективного внедрения рейтинго-модульной системы оценки уровня знаний студен тов, которая рекомендуется Министерством образованием РФ.