Общие методические подходы к подготовке тестовых заданий.
Очень важен контроль качества знаний при дистанционном обучении. Поэтому особое внимание в компьютерных обучающих программах должно быть уделено заданиям для самоконтроля и контроля. Соответственно и в изложении методики подготовки исходных материалов этот вопрос является одним из ключевых.
Методология построения тестов для самоконтроля и контроля знаний в целом сходная. Однако есть и различия. Так, прямое и единственное назначение контрольных тестов – проверка усвоения знаний студентом по изучаемой дисциплине (в то время как задания для самоконтроля включают в себя и элементы обучения – ведь студенту сообщаются правильные ответы). Исходя из этого требования к корректности составления контрольных тестов более жесткие, поскольку исследуемый уровень знаний должен быть адекватно отражён некими количественными показателями. Поэтому далее при рассмотрении методики подготовки тестовых задании мы будем говорить преимущественно о контрольных тестах.
Тесты (т.е. серии тестовых заданий) для контроля усвоения знаний в какой-либо предметной области относятся к так называемым тестам достижений [6]. Применительно к контролю знаний в учебных заведениях распространен также термин «педагогические тесты». Для того чтобы подготовленные тесты действительно позволяли оценить степень усвоения учебного материала, они должны быть составлены в соответствии с определенными требованиями классической теории тестирования, которые будут изложены далее. Кроме того, при написании тестовых задании для компьютерных обучающих программ необходимо также учитывать специфику компьютерных тестов, обусловливающую их достоинства и некоторые недостатки.
К достоинствам компьютерной формы тестирования следует отнести:
- объективность тестирования – ЭВМ «беспристрастна» при предъявлении тестовых заданий и подсчете результатов их выполнения;
Рис. 1. Основные требования, предъявляемые к тестам
- удобство фиксации, хранения и представления результатов тестирования, а также возможность их автоматизированной обработки, включая ведение баз данных и статистический анализ;
- удобство реализации процедур индивидуально-ориентированного тестирования, о чем будет сказано ниже;
- возможность создания таких тестовых заданий, которые не могут быть представлены без компьютера.
При этом можно использовать графические, динамические, интерактивные и другие специфические возможности представления тестовых заданий на компьютере, однако чрезмерно увлекаться ими тоже не следует. Излишества, отвлекающие внимание студента, нанесут ущерб качеству теста. Недопустимо создавать те или иные тесты только потому, что компьютер способен их реализовать.
Недостаток компьютерного тестирования заключается в том, что от испытуемого требуются хотя бы минимальные навыки работы с ЭВМ. Поэтому надо составлять тесты таким образом, чтобы испытуемый не тратил больших усилий и внимания на восприятие вопроса и выбор ответа и это не влияло бы на показанный результат. Правда, для тестирования студентов экономических факультетов подобное ограничение не столь актуально, поскольку курс информатики дает им навыки работы за компьютером.
Подробнее о специфике и проблемах компьютерного тестирования при исследовании личностных качеств и достижений можно прочесть, например, в [4, 7].
Согласно теории тестирования [6], тест может быть охарактеризован как эффективный, если он удовлетворяет определенным требованиям (рис. 1).
Валидностъ – «комплексная характеристика теста, включающая сведения об области исследуемых явлений и репрезентативности используемой по отношению к ней диагностической процедуры» [6]. Тест можно считать валидным, если он позволяет оценить именно то, для определения чего предназначен (в нашем случае – степень усвоения учебного материала). Главная составляющая валидности для педагогических тестов – содержательная, которая характеризует степень репрезентативности содержания по отношению к измеряемому показателю.
В теории и практике тестирования понятие надежности имеет два значения. Тест считается надежным, если он дает одни и те же показатели для каждого испытуемого при повторном выполнении им данного теста (естественно, при условии, что он не знает или не помнит, правильно или неправильно выполнил каждое из предложенных заданий в первый раз). Такая надежность называется ретестовой.
Тест называется также надежным, если он является внутренне согласованным, т.е. результаты выполнения отдельных заданий положительно коррелируют друг с другом и с общим показателем теста.
Дискриминативность теста характеризуется способностью отдельных его заданий и теста в целом дифференцировать тестируемых относительно максимального и минимального результатов теста. Например, задания, на которые правильно отвечают все студенты, не имеют никакой практической ценности.
Шкалирование результатов тестирования – это способ их оценивания и упорядочивания в определенную числовую систему. Шкалирование результатов и группировка их по интервалам необходимы для проведения ряда статистических процедур, которые должны сопутствовать валидизации теста. Применительно к педагогическим тестам речь идет о шкале достижений, в соответствии с которой за правильное решение тестового задания студенту начисляются баллы (в общем случае – в зависимости от сложности задания), которые затем суммируются. При этом вся шкала обоснованным образом разбивается на интервалы. В идеале желательно, чтобы в каждый интервал попадало одинаковое количество суммарных результатов, и в любом случае требуется, чтобы ни в один интервал не попадала большая часть результатов. Частным случаем может являться деление шкалы достижений на интервалы одинаковой ширины.
Теперь, когда мы изложили базовые требования, предъявляемые к тестам, перейдем непосредственно к описанию методических рекомендаций по их составлению.
При подготовке тестовых заданий для контроля усвоения учебного материала их авторам необходимо последовательно решить следующие вопросы:
– каково должно быть содержание тестовых заданий;
– как правильно сконструировать тестовые задания;
– как правильно составить из тестовых заданий тесты;
– как убедиться в валидности, надежности, дискриминативности тестов и при необходимости скорректировать их.
Требования к содержанию тестовых заданий
- Содержание тестовых заданий для контроля усвоения знаний по конкретной дисциплине определяется в первую очередь учебной программой этой дисциплины, которая в свою очередь составляется в соответствии с государственным образовательным стандартом. Авторы (преподаватели) должны определить наиболее существенные, важные, характерные понятия и определения курса, для проверки понимания которых и будут далее сформулированы тестовые задания. Таким образом, содержательная валидность теста обеспечивается авторами учебных материалов. Для оценки адекватности содержательного наполнения тестов могут привлекаться также независимые эксперты, умеющие взвесить важность одного аспекта некоторого предмета по отношению к другим его аспектам.
Вопросы «на понимание» эффективнее, чем вопросы «на запоминание». Так, если в контрольном задании требуется определить правильную формулировку некоторого определения, которая имеется в компьютерной обучающей программе, то студент может просто вернуться к нужной теме и переписать правильный ответ. Правда, нам приходилось слышать мнение:
«...пусть возвращается и ищет правильный ответ – а как еще заставить его прочитать материал?» Но этот способ скорее применим при самоконтроле, чем при контроле знаний. К тому же «скрытый» вопрос, на который нет прямого ответа в тексте, заставит студента перечитать материал, пожалуй, более вдумчиво.
Конструирование тестовых заданий
- После того как содержание будущего теста определено, необходимо облечь его в конкретную форму, т.е. сконструировать тестовое задание. Это сложный и неформальный этап подготовки тестовой базы, требующий от автора творческого подхода, знания основ теории тестирования, педагогического опыта. Поэтому остановимся на нем подробнее.
В тестах достижений следует выделить следующие возможные формы тестовых заданий [2]:
– закрытая (в том числе задания с несколькими вариантами выбора и альтернативные задания);
– открытая;
– на установление соответствия;
– на установление правильной последовательности.
- Закрытые задания, наиболее часто встречающиеся на практике, состоят из двух частей:
– основной части, содержащей утверждение или вопрос;
– вариантов выбора, или некоторого количества возможных ответов, из которых тестируемый должен выбрать правильный ответ.
Если в задании представлены только дна варианта выбора – «да» и «нет», то такое задание называется альтернативным.
Формировать эффективные задания с несколькими вариантами выбора помогут следующие правила:
1) задание должно быть записано настолько просто, насколько это возможно для его точного понимания. Нежелательно, чтобы на результаты оказывали влияние уровень словарного запаса испытуемого или его общие способности. В формулировке вопроса не следует использовать отрицание (тестироваться должны позитивные знания!), а также такие слова, как «все», «каждый», «всегда», «никогда», «иногда», «часто», в которых обычно содержатся двусмысленность или противоречие;
2) все неверные варианты ответа, называемые дистракторами, должны быть такими, чтобы привлечь внимание отвечающего. Чем больше будет неэффективных дистракторов, тем проще становится задание;
3) ответ на один вопрос не должен давать ключа к остальным (т.е. не рекомендуется использовать одни и те же варианты ответов в различных заданиях, если они могут навести отвечающего на правильный ответ);
4) следует избегать тестирования тривиального ввиду простоты его обнаружения;
5) следует учитывать компьютерную специфику заданий, выбирая понятные для тестируемого и удобные для разработчика способы их реализации.
Оптимальное количество вариантов ответов в закрытых заданиях 4-6 [8]. Допускается и иное количество вариантов. Однако надо иметь в виду, что систематическое использование большого количества вариантов утомляет тестируемого и к тому же усложняет задачу разработчика тестовых заданий. Меньшее число вариантов упрощает задачу отвечающего, повышая вероятность угадывания верного ответа. Именно поэтому альтернативные задания хотя и достаточно широко применяются в тестировании, но по эффективности уступают заданиям с несколькими вариантами ответов, хотя сконструировать их гораздо проще. Впрочем, и здесь есть свои «подводные камни»: например, не всегда просто сформулировать альтернативный вопрос так, чтобы на него можно было дать недвусмысленный ответ – «да» или «нет».
По классической теории тестирования [6], в закрытом задании должен быть только один правильный вариант ответа. При компьютерном тестировании, однако, допускается и такая формулировка задания, когда для его правильного решения необходимо отметить несколько вариантов ответа [5]. Такое построение также уменьшает вероятность угадывания правильного решения. Необходимо только, чтобы правильным решением считалась именно конкретная комбинация вариантов ответов, например, несколько пунктов некоторого списка перечисления; все остальные комбинации будут квалифицированы как неверные. А вот ситуация, когда в списке ответов имеются два (или более) варианта, каждый из которых в отдельности может быть признан исчерпывающе правильным, недопустима.
Недопустима такая формулировка закрытого задания, когда для правильного его решения необходимо отметить все варианты ответов. Точно так же неприемлемо, если среди перечисленных вариантов ответов нет ни одного правильного.
Примеры корректных типовых заданий в закрытой форме приведены на (рис. 2 и рис. 3). Здесь и далее тестовые задания демонстрируются в том виде, в каком они предъявляются студенту на экране дисплея; это позволяет продемонстрировать их компьютерную специфику.
Рис. 2. Пример тестового задания в закрытой форме, решение которого предусматривает выбор нескольких вариантов ответов (в данном случае – -А, В, Г)
Рис. 3. Пример тестового задания в закрытой форме (альтернативного)
Отметим, что, помимо формулировки вопросов на таких иллюстрациях могут присутствовать также и указания, как студент должен выбирать и вводить ответ.
Выбрать можно только один вариант ответа – ошибочная попытка выбора обоих будет блокироваться тестирующей программой.
В качестве примера неверного конструирования теста приведём следующее задание.
В соответствии с аудиторским стандартом «Аудиторские доказательства» не является наиболее распространенным способом получения аудиторских доказательств:
а) проверка арифметических расчетов клиента (пересчет);
б) инвентаризация;
в) проверка соблюдения правил учета отдельных хозяйственных операций;
г) подтверждение;
д) устный опрос персонала, руководства экономического субъекта и независимой (третьей) стороны;
е) проверка документов;
ж) прослеживание;
з) экстраполяция;
и) аналитические процедуры;
к) подголовка альтернативного баланса.
К недостаткам данного тестового задания следует отнести:
- постановку вопроса в негативной форме, с частицей «не»;
- пространную и не совсем четкую формулировку вопроса;
- чрезмерно большое количество вариантов ответа.
Как показал опыт, причина неправильных ответов на подобные неверно сконструированные задания заключается чаще всего не в незнании учебного материала, а в непонимании вопроса.
Задания в открытой форме требуют ответа, сформулированного самим обучаемым. Строго говоря [6], задания в открытой форме подразделяются на задания со свободным (т.е. произвольным) ответом и на задания с ограничениями на ответ. Сравните:
|
Открытое задание со свободным ответом |
Открытое задание с ограниченным ответом |
|
В какой оценке в балансе отражаются остатки товаров? |
Остатки товаров в балансе отражаются по ……ценам |
Задания со свободными ответами для компьютерного тестирования малопригодны: программа в общем случае не сможет оценить, правильно был дан ответ или нет. Правда, по этому поводу в педагогической среде существуют различные мнения. Дело в том, что форма открытого задания со свободным ответом весьма привлекательна для педагогов, поскольку позволяет контролировать усвоение знаний не только на уровне распознавания, но и на более высоких уровнях – воспроизведения, умения, интерпретации, синтеза. Кроме того, задания со свободными ответами могли бы быть особенно актуальными в трудноформализуемых дисциплинах, которые имеются в базовом экономическом образовании. Поэтому предпринимаются попытки «научить» программу определять правильность ответа путем распознавания и анализа смыслового содержания и структуры ответа. Например, предлагается сравнивать ответ обучаемого с некоторым эталоном ответа, представляющим собой ключевые слова, связанные определёнными логическими операциями [3]. Однако в этой же работе признаётся, что ошибки при таком автоматическом анализе неизбежны, а их относительное количество в различных условиях может колебаться от сотых долей процента до 10-15 %.
В качестве компромисса в данном вопросе можно порекомендовать исключить задания со свободными ответами из состава компьютерного теста достижений, однако оставить в составе компьютерных обучающих программ (или в дополнение к ней) несколько заданий (практических ситуаций, кейсов, итоговых контрольных заданий, рефератов), требующих развёрнутого ответа студента. Эти ответы должны быть проанализированы преподавателем «вручную» и учтены при формировании итоговой оценки. Конечно, таких заданий не должно быть много, иначе тьютор не справится с подобной нагрузкой.
Поскольку конкретные учебные программы в экономических вузах различаются, каждый из них, как правило, решает проблемы контроля качества знаний (в том числе при дистанционном образовании) индивидуально, и хорошо, чтобы авторы и разработчики при этом опирались на какие либо методические концепции и рекомендации в данной области (такие, как, например, согласованные с Минобразования РК «Требования к программно-педагогическим тестам, тестовым заданиям технологии компьютерного тестирования»).
Конечно, приведённым обзором не ограничивается всё многообразие аспектов теории и практики оценки качества обучения в вузах (в частности, экономических). Помимо монографии [6] и методического пособия [5], поднятая проблема освещается и в других источниках [1, 2, 4].