Измерение латентных переменных в образовании

Татьяна Анисимова
Ректор Славянского-на-Кубани государственного педагогического института

Анатолий Маслак
Проректор по научной работе Славянского-на-Кубани государственного педагогического института

Отличительной особенностью сферы образования и других социальных систем является то, что их функционирование характеризуется латентными (скрытыми), т.е. непосредственно неизмеряемыми показателями. Примерами таких показателей являются уровень подготовленности студента, качество образования, доступность образования, уровень развития сферы образования и многое другое. Эти показатели необходимы для сравнения объектов, их мониторинга, решения задач управления. Латентные переменные проявляются через так называемые индикаторные переменные, поэтому латентные переменные часто рассматриваются как интегральные показатели. Например, латентная переменная «уровень подготовленности» студента вычисляется на основе результатов решения тестовых заданий (значений индикаторных переменных). Существует два принципиально разных подхода к вычислению значений латентных переменных (интегральных показателей):
• традиционная методика вычисления интегрального показателя;
• методика измерения латентной переменной на линейной шкале.

Традиционная методика вычисления латентных переменных
Традиционная методика вычисления интегрального показателя состоит в следующем:
• на основе экспертных оценок каждой индикаторной переменной приписывается вес, чем выше важность индикаторной переменной, тем больше вес;
• абсолютные значения индикаторных переменных переводятся в относительные. Это осуществляется следующим образом. Для каждой индикаторной переменной на множестве всех рассматриваемых объектов ищется ее максимальное значение, которое и принимается за единицу; остальные значения индикаторной переменной выражаются в долях максимального значения;
• относительные значения индикаторной переменной умножаются на вес этой индикаторной переменной, интегральный показатель вычисляется суммированием взвешенных значений всех индикаторных переменных;
• рассматриваемые объекты ранжируются на основе этого интегрального показателя. В частности, эта процедура использована ГУ – ВШЭ для ранжирования регионов по различным латентным переменным: уровню образования населения, доступности получения образования, качеству образования и другим. Однако эта традиционная методика обладает многими существенными недостатками:
• экспертные оценки являются субъективными, варьируя весами, можно получить любое ранжирование объектов;
• используемый набор индикаторных переменных может характеризовать не одну латентную переменную, а несколько, что искажает получаемые оценки.
• получаемые оценки не измеряются на линейной шкале, что сужает число статистических процедур, которые можно использовать для оптимизации функционирования объектов.

Измерение латентных переменных
Методика измерения латентной переменной принципиально отличается от традиционной процедуры ее вычисления. Традиционная процедура вычисления латентной переменной может быть применима к любому набору данных. Измерить же латентную переменную можно только на основе таких наборов данных, которые удовлетворяют модели измерения. Необходимо отметить, что измерение латентных переменных обладает еще очень важным методологическим аспектом. «Когда вы можете измерить то, о чем говорите, и выразить это числом, вы что-то знаете об этом. Но когда вы не можете это измерить, не можете выразить это числом, ваше знание является скудным и недостаточным» (лорд Кельвин). Дело в том, что любая латентная переменная определяется операционально – набором индикаторных переменных. Корректируя набор индикаторных переменных, мы корректируем свое представление и понимание сути конкретной латентной переменной. Трудно переоценить значимость измерений, вот высказывания знаменитых ученых:
• «Измеряй измеримое и делай неизмеримое измеримым» (Галилео Галилей);
• «Наука начинается с измерения» (Д.И. Менделеев);
• «История науки – это история измерений» (Р. Кеттел).

Важность измерений в научных исследованиях объясняется следующим. Одной из самых главных функций науки является прогноз, который возможен только на основе найденных закономерностей. Теория измерения латентных переменных как раз и позволяет формализовать (операционально определить) важные в предметной области конструкты (латентные переменные), которые и являются необходимой основой для установления закономерностей. Именно отсутствие таких формализованных конструктов является одной из причин того, что многие общественные науки до сих пор являются преимущественно описательными.

Математические основы измерения латентных переменных
Математическое оформление теория измерения латентных переменных получила в 50-е годы в работах датского математика Георга Раша (Georg Rasch), и поэтому эта теория часто называется как Rasch Measurement. Rasch Measurement известна еще как теория объективного измерения латентных переменных. Наиболее полное представление об этом научном направлении можно получить на сайте http://www.rasch.org. Необходимо отметить, что за рубежом эта теория находит все большее применение в образовании, психологии, социологии, здравоохранении. Работы, связанные с измерением латентных переменных, занимают важное место в программе самой масштабной международной ежегодной конференции в области образования AERA – American Educational Research Association (Американская исследовательская ассоциация в области образования). Число участников конференции AERA, которая была проведена в Чикаго (США) в 2007 году, превысило 15 000. Любая латентная переменная измеряется в логитах. С помощью линейного преобразования шкала измерений в логитах может быть переведена в любую другую шкалу, например, 100-балльную или 1000-балльную. Наиболее наглядна интерпретация единицы измерения «логит» в задачах тестирования, когда ответы на индикаторные переменные (тестовые задания) варьируются на двух уровнях: «правильные» или «не правильные». Поэтому рассмотрим суть модели измерения (модели Раша) на примере измерения уровня подготовленности студентов. Модель Раша опирается на четкие и конструктивные понятия «трудность задания» и «уровень подготовленности». Так, одно тестовое задание считается более трудным, чем другое, если вероятность правильного ответа на первое задание меньше, чем на второе, независимо от того, кто их выполняет. Аналогично, более подготовленный студент имеет большую вероятность правильно ответить на все задания, чем менее подготовленный. Эти свойства следуют непосредственно из модели Раша для дихотомических тестовых заданий. Дихотомические тестовые задания соответствуют индикаторным переменным, которые принимают только два значения: 1 (задание решено правильно) и 0 (задание решено правильно): pij= e?i??j/(1+e?i??j), где pijправильного ответа i-ого студента на j-ое задание, ?i– уровень подготовленности i-ого студента (в логитах), ?j– трудность j-ого задания (в логитах). Здесь уровень подготовленности студентов и трудность тестовых заданий являются латентными переменными. Результат измерения латентной переменной, в данном случае это уровень подготовленности студента, в логитах интерпретируется следующим образом. Для наглядности опустим индексы и примем, что трудность задания равна 0, т.е. ? = 0. Тогда p = e?/(1+e?). Нуль логитов означает 50%-ную вероятность достижения некоторого базового уровня подготовленности, который определяется значениями индикаторных переменных. Например, если оценка уровня подготовленности студента равна «1,0» логит, то это означает, что вероятность достижения базового уровня знаний в соответствии с моделью Раша равна p= e1,0 / (1 + e1,0) = 0,73. Если же оценка уровня подготовленности равна «–1,0» логит, то вероятность достижения базового уровня равна p= e-1,0 / (1 + e-1,0) = 0,27. Соотношение между оценкой латентной переменной в логитах и вероятностью достижения базового уровня подготовленности приведено ниже: Аналогичным образом интерпретируются и результаты измерения индикаторных переменных.

Принципиальные отличия методики измерения латентных переменных от традиционной процедуры их вычисления
Необходимо отметить, что рассматриваемые отличия носят существенный характер:
• Результаты измерений являются «объективными».
• Обязательным условием применения процедуры измерения является совместимость используемых индикаторных переменных. Поэтому непосредственно до применения процедуры измерения проверяется, действительно ли все индикаторные переменные определяют одну и ту же латентную переменную.
• Измерения производятся на интервальной шкале в логитах. Поскольку мера измерения параметров модели Раша является линейной, то это позволяет использовать широкий спектр статистических процедур для анализа результатов измерений.
• Модель измерения (модель Раша) является вероятностной.
• Чем больше индикаторных переменных, которые определяют латентную переменную, тем выше точность ее измерения.
• Модель Раша превращает измерения, сделанные в дихотомических и порядковых шкалах, в линейные измерения, в результате качественные данные анализируются с помощью количественных методов.
• Пропуск данных для некоторых комбинаций (испытуемый – индикаторная переменная) не является критическим.
• Благодаря простой структуре модели существуют удобные вычислительные процедуры для многоаспектной проверки адекватности модели: для всего набора тестовых результатов, для каждого испытуемого, для каждой индикаторной переменной и для каждой комбинации «испытуемый – индикаторная переменная».

Наиболее важные свойства процедуры измерения латентных переменных
Кратко рассмотрим наиболее важные аспекты процедуры измерения латентных переменных на основе модели Раша – объективность измерений, совместимость индикаторных переменных, линейная шкала измерений и вероятностный характер модели измерений. Объективность измерений латентных переменных Безусловно, наиболее известной латентной переменной в образовании является «уровень знаний», или «уровень подготовленности» учащегося. Как измеряется эта латентная переменная на практике, и каково же качество измерения этой переменной? Например, оценка «3» по физике в сельской школе соответствует одному уровню знаний, оценка «3» по физике в городской школе соответствует другому уровню знаний и та же самая оценка «3» соответствует третьему уровню знаний в физико-математическом лицее. Или, например, оценка «3» у одного преподавателя может соответствовать большему уровню знаний, чем оценка «4» у другого преподавателя. Необъективность такого рода измерений очевидна – результат измерений зависит от того, кто измеряет, – от преподавателя. При использовании традиционной или классической системы тестирования латентной переменной этой необъективности уже нет, поскольку оценка уже не за висит от того, кто проводит тестирование. Здесь уровень подготовленности учащегося определяется как доля правильных ответов. Преимущество этой системы оценивания в том, что она проста, наглядна и, как следствие, легко доступна для понимания. Однако эта система обладает существенными недостатками. Так, оценка уровня подготовленности зависит от набора тестовых заданий. Если тест состоит из легких заданий, то доля правильных ответов будет высокой. Если же тестовые задания трудные, то доля правильных ответов у того же самого учащегося будет низкой. Спрашивается, как можно использовать такого рода измерения для управления качеством образования? Результаты же объективных измерений не зависят ни от того, кто измеряет (преподавателя), ни от используемого измерительного инструмента (набора тестовых заданий). Именно эту объективность и обеспечивает методология измерения латентных переменных на основе модели Раша: оценка индикаторных переменных не зависит от выборки испытуемых, на которых была получена; оценка уровня подготовленности испытуемых не зависит от используемого набора тестовых заданий.

Совместимость индикаторных переменных
Для наглядности рассмотрим очень показательную ситуацию, когда один студент правильно ответил на половину тестовых заданий, которые являются наиболее трудными, а на оставшиеся, легкие, задания ответил неправильно. Второй студент, наоборот, на трудную половину заданий ответил неправильно, а на оставшиеся, легкие, задания ответил правильно. Спрашивается, какой из студентов обладает большим уровнем подготовленности? Естественно, возникает ответ, что первый, но как тогда это согласовать с тем, что он не знает элементарных вещей? В классической системе тестирования этот вопрос решается просто – поскольку и тот, и другой студент ответил правильно на одно и то же число вопросов (50%), то оценки их уровня подготовленности одинаковы. В методологии измерения латентных переменных (при использовании модели Раша) этот вопрос решается принципиально по-другому. Прежде всего проверяется, можно ли использовать полученные тестовые результаты для измерения уровня подготовленности. Для данной ситуации наверняка будет получен вывод, что полученные результаты тестирования невозможно аппроксимировать моделью Раша и поэтому их нельзя использовать для измерения латентной переменной – уровня знаний. Следовательно, вопрос о том, у кого выше уровень подготовленности, останется открытым, поскольку эти данные нельзя использовать для измерения. Единственное конструктивное решение здесь – это анализ причин, обусловивших такую ситуацию. Одна из возможных причин, приведших к таким результатам тестирования, может состоять в том, что набор тестовых заданий плохо отработан и сами тестовые задания являются несовместимыми. Как следствие, необходимо улучшать тест – корректировать, исключать или добавлять тестовые задания. Другая причина может заключаться в неадекватном тестировании – плохо организован сам процесс тестирования, в частности, не исключены были списывания и т.д.

Линейность шкалы
Важное свойство измерительной шкалы – это ее линейность, т.е. величина единицы измерения одна и та же на любом участке шкалы. Другими словами – латентная переменная может быть отображена на прямой, называемой линейным континуумом. Эта прямая может быть разделена на равные (большие или меньшие) единицы. Удобный пример – это измерение длины. Но все измерения обладают этим принципиальным свойством. Результаты же измерения при использовании классической системы тестирования являются существенно нелинейными. Так, одна и та же разность в числе правильных ответов по краям шкалы и в середине шкалы не соответствует одной и той же разнице в уровне подготовленности. Например, при общем числе тестовых заданий, равном 100, разница между числом правильных ответов 100 и 95 соответствует большей разнице в уровне подготовленности, чем разность между 53 и 48.

Модель измерения является вероятностной
Существенная особенность модели Раша заключается в том, что она является вероятностной. Целесообразность использования вероятностной модели объясняется следующим. Дело в том, что невозможно описать и предсказать поведение отдельного индивида. Например, хорошо подготовленный студент может «провалиться» на легкой задаче, и, наоборот, плохо подготовленный студент может решить трудную задачу. Мы никогда не можем предсказать, решит или не решит студент задачу, но мы можем сказать, какие у него шансы (высокие или низкие) решить задачу. Поэтому результат решения студентом тестового задания описывается вероятностной моделью. Мы оцениваем вероятность того, что данный студент (с известным уровнем подготовленности ?i) решит задачу, имеющую трудность ?j. Так, из приведенной выше модели измерения следует, что если уровень знаний i-ого студента точно равен трудности j-ое тестового задания, т.е. ?i= ?j, то вероятность правильного ответа студента на такое задание равна pij= 1/(1+1) = 0,5. Если же уровень знаний студента значительно превышает трудность задания, т.е. ?i>> ?j, то вероятность правильного ответа будет стремиться к 1, но никогда не будет равна 1. Таким образом, эта вероятностная модель допускает, что даже отличник может ответить неправильно на очень легкое задание (правда, вероятность неправильного ответа очень мала). С другой стороны, если трудность задания значительно превосходит уровень знания студента, т.е. ?ij, то вероятность правильного ответа будет стремиться к 0, но никогда не будет равна 0. Следовательно, даже в такой ситуации модель допускает небольшую вероятность правильного ответа. Это означает, что модель является достаточно гибкой и позволяет описывать широкий круг ситуаций.

Теоретический и практический опыт измерения латентных переменных в СГПИ
По тематике измерения латентных переменных Славянский-на-Кубани государственный педагогический институт выиграл 5 грантов, в том числе наиболее престижный грант в области образования – грант программы Фулбрайт:
• грант № 1025-0118 (фонд Форда) Центра тестирования Министерства образования РФ «Оценка эффективности системы тестирования на основе модели Раша», 2001-2002 гг.;
• грант 11 Российского гуманитарного фонда научных исследований и администрации края «Разработка и оценка эффективности системы тестирования уровня знаний студентов на основе модели Раша», 2002 г.;
• грант 68427622 Программы Фулбрайт «Измерение латентных переменных в области образования», 2003 г.;
• грант 05-06-80110 Российского фонда фундаментальных исследований «Разработка методики измерения на интервальной шкале латентных переменных в социально-экономических системах» (2005-2007 гг.);
• грант 06-02-38203а/Ю «Разработка методики измерения латентной переменной «уровень жизни населения» и мониторинг по этому показателю регионов Южного федерального округа» (РГНФ, 2006-2007 гг.). Кроме того, по федеральному тематическому плану институт выполняет фундаментальное исследование «Разработка актуальных проблем измерения латентных переменных в образовании» (2005-2009 гг.).

Теоретические разработки
Теоретические разработки по измерению латентных переменных ведутся в институте по двум направлениям: разработка программного обеспечения для измерения латентных переменных и исследование точности измерения латентных переменных в зависимости от характеристик набора индикаторных переменных. Здесь можно выделить следующие работы:
• «Исследование точности измерения латентной переменной в зависимости от числа дихотомических индикаторных переменных»;
• «Анализ качества тестовых заданий с выбором одного правильного ответа»;
• «Исследование точности измерения латентной переменной в зависимости от числа градаций индикаторных переменных»;
• «Исследование точности измерения латентной переменной в зависимости от коррелированности индикаторных переменных»;
• «Разработка программы имитационного моделирования для исследования точности измерения латентных переменных».

Прикладные работы
Сотрудниками СГПИ выполнено более 20 прикладных работ с использованием методики измерения латентных переменных:
• «Измерение уровня развития сферы образования в регионах России»;
• «Измерение качества высшего образования в странах мира»;
• «Измерение на линейной шкале уровня физической подготовки студентов»;
• «Измерение социального положения населения районов Краснодарского края»;
• «Измерение латентной переменной «уровень знаний по педагогике» на основе модели Раша»;
• «Разработка процедуры измерения качества выпускной квалификационной работы»;
• «Измерение уровня развития сферы «культура» в регионах России» и др. Выполненные работы представлены более чем в 50 публикациях, в том числе в двух монографиях:
• Анисимова Т.С. Измерение латентных переменных в образовании. –М.: Исследовательский центр проблем качества подготовки специалистов, 2004. – 148 с.
• Маслак А.А. Измерение латентных переменных в социально-экономических системах. – Славянск-на-Кубани: Изд-во СГПИ. – 333 с. Славянский-на-Кубани государственный педагогический институт ежегодно проводит всероссийские (с международным участием) научно-практические конференции «Теория и практика измерения латентных переменных в образовании и других социально-экономических системах». (проведено 9 конференций) и летние школы «Измерение латентных переменных» (проведены 3 школы). Занятия проводятся по разработанной авторами учебной программе:
• Анисимова Т.С., Маслак А.А. – Основы измерения латентных переменных в образовании.

Экспериментальная учебная авторская программа (под науч. ред. д.т.н., проф. Н.А. Селезневой) – М.: Исследовательский центр проблем качества подготовки специалистов, 2005. – 38 с. Конференция и летняя школа пользуются все большей популярностью среди профессорско-преподавательского состава российских вузов. Кроме того, в этих мероприятиях принимают участие ведущие специалисты в области измерения латентных переменных из Австралии и США. Десятую конференцию и третью летнюю школу для профессорско-преподавательского состава по тематике измерения латентных переменных Славянский-наКубани государственный педагогический институт будет проводить 25 июня – 5 июля 2008 года в г. Анапе (подробная информация об этих мероприятиях на сайте института www.sgpi.ru, дополнительные сведения можно получить по адресу [email protected].