Одной из важных задач, которые ставит перед собой высшее учебное заведение, является подготовка и выпуск бакалавров и магистров, имеющих высокий уровень качества знаний.
В настоящее время самостоятельная работа занимает важное место в процессе обучения студентов и является особенно актуальной при обучении различным дисциплинам. Достаточно много учебного времени, отведенного на усвоение той или иной дисциплины, выносится на самостоятельную работу. В связи с этим большое значение приобретает контроль и учет знаний, умений и навыков студентов.
Сложившаяся в России ситуация в области оценки знаний, образовательных достижений требует дальнейших изменений в сравнении с оценкой знаний в высшей школе периода Советского Союза.
Вуз обязан готовить творческих работников, способных грамотно и успешно решать в будущем поставленные перед ними задачи. Это указывает на необходимость нового подхода к профессиональной подготовке студентов, совершенствуя все аспекты образования. Постоянное обеспечение и улучшение качества подготовки специалистов в высшей школе требует своевременной оценки качества получаемого образования каждым студентом в согласовании с системой научных знаний и профессиональных задач в выбранной специальности, а также оценки возможности изменения самой системы образования, обеспечивающей улучшение его качества.
Организация учебного процесса в рамках Болонского соглашения предполагает приведение к единообразной форме учебных планов одноименных дисциплин, которые изучают в различных учебных заведениях. Это формирует ряд требований в подходе к оценке знаний студентов и особенно к привлечению различных методов тестирования, которые являются основой теории педагогических измерений величины получаемых студентами знаний [1–3]. При этом следует отметить, что ни один из методов оценки качества знаний, используемых на сегодняшний день, не является универсальным, что указывает на необходимость дальнейшего изучения данного вопроса [4–6]. Профессиональные способности, усилия преподавателя, интерес к изучаемому предмету и уровень мотивации студентов определяют уровень качества их знаний.
Таким образом, одной из основных задач является анализ механизма обеспечения объективной оценки и, как результат, модификация системы сбора информации о качестве обучения в соответствии с образовательными стандартами. Тематическая структура учебной дисциплины должна согласовываться как с содержанием разрабатываемых контрольных заданий, так и с их основными показателями – назначением, конструктивными формами, уровнем трудности и пр.
При изучении различных методик тестирования [1–3] не было обнаружено единых правил их составления.
Для быстрой и оперативной оценки качества усвоения конкретного материала предлагается использование контролирующих тестов с заполнением таблиц и последующим построением, с использованием статистических данных, диаграмм, полигонов частот и гистограмм. Такой подход позволяет преподавателю наглядно, быстро и объективно оценить знания студентов, а также оперативно произвести анализ усвоения материала по конкретным темам занятий, а также одновременно оценить действительность, надежность, и эффективность применяемых контролирующих тестов. Задания по дисциплинам в виде вопросов, графических изображений, небольших контрольных задач составляются с конкретной целью – уяснить, насколько глубоко студент освоил данный предмет.
При этом следует учитывать характер тестовых технологий. Особую прагматическую значимость в контроле оценки знаний получают следующие подходы:
– критериально-ориентированный;
– нормативно-ориентированный.
На сегодняшний день ведутся споры о положительных и отрицательных сторонах тестового подхода при анализе уровня знаний студентов.
Одним из преимуществ использования тестов является отсутствие со стороны преподавателя предвзятого отношения к оценке знаний экзаменующегося. С другой стороны, тесты не выявляют глубину познаний, наличие логического мышления у обучающихся.
Все сказанное ведет к необходимости разработки нового подхода к профессиональной подготовке студентов в вузе.
Над этой задачей работают все коллективы высших учебных заведений. Создаются различные методики преподавания отдельных дисциплин, разрабатываются новые технологии обучающих процессов, различные методические рекомендации и т.д. Завершающим этапом в процессе обучения является контроль качества и определение объема усвоенных знаний студентами [7, 8].
На сегодняшний день одним из современных подходов в контроле уровня знаний студентов является компьютерное тестирование [9]. В ряде случаев оно заменяет устный экзамен по дисциплине. Все чаще удовлетворительное прохождение компьютерного тестирования служит основанием для получения допуска к экзамену. Такие подходы практикуют как в западных, так и в отечественных университетах.
В любом случае тестирование признано одним из эффективных инструментов контроля уровня усвоения информации и в некоторой степени гарантирует объективность оценки знаний студентов, формируя в нем творческий подход в принятии решений, вариантность мышления. Для успешного прохождения электронного тестирования студент должен основательно изучить вопросы курса, постоянно посещать лекции, семинарские занятия, уделять достаточно времени самостоятельному решению задач.
На экзамене студента выручают только собственные знания и умение логически мыслить, находясь один на один с компьютером, подсказки и шпаргалки невозможны и бессмысленны.
Составители теста также должны удовлетворять ряду требований. Обычно разработку тестовых заданий поручают доценту или профессору, ведущему соответствующую дисциплину, но иногда тесты составляют специалисты из отдела контроля качества обучения в вузе или даже внешняя независимая организация. Если пройденный курс небольшой и количество заданий незначительное, то часто содержание контрольных текстов экзаменуемым не сообщают. В случае объемного курса в практике проведения тестирования принято правило, согласно которому, если число тестов больше 500, их содержание и правильные ответы можно сообщить студентам заранее. Ведь тогда запомнить правильные ответы на тесты будет очень сложно. Как правило, во время экзамена студент получает для ответа только часть совокупности тестов по данному предмету. Она определяется путем равномерной систематической выборки по всем темам дисциплины из заранее установленного количества тестов. Это количество зависит от нормативного времени компьютерного экзамена, сложности предмета и характера тестов.
Тестирование не может заменить традиционные виды промежуточного контроля, проходящие в форме зачетов или экзаменов, однако позволяет по единым измерительным материалам провести независимую коллективную оценку качества подготовки студентов, а в случае компьютерного тестирования проанализировать результаты, полученные как в своем образовательном учреждении, так и в других вузах.
В основу оценки результатов выполнения теста может быть положен как формальный (количественный), так и качественный критерий. Оценивая результаты тестирования на базе формального критерия, преподаватель сопоставляет количество правильных ответов с общим количеством заданий в тесте.
После изучения дисциплины и проведения тестирования по его результатам с применением качественного критерия может быть рассчитан общий коэффициент усвоения учебного материала каждым студентом.
Исходя из изложенного, была поставлена задача – получить наглядное, удобное для интерпретации представление о качестве усвоения материала по результатам статистической оценки согласно разработанным тестам.
Предлагаемая в работе методика статистической оценки знаний студентов [10–12] состоит в следующем. В контрольном листе оценки результатов проведенного тестирования по горизонтали откладываются номера вариантов, участвующих в эксперименте, контрольных тестов, В1, В2, В3,…, Вn и количество опрошенных студентов по каждому варианту C1, C2, C3,…, Cn. По вертикали располагаем 1, 2, 3,…, i – номера вопросов контрольного теста. Тесты, которые были выбраны для оценки качества знаний, формируются по вариантам. Далее определяется общее число неправильных ответов N1-1, N1-2, N1-3, …, N1-i, и их процент от общего количества участвующих в тестировании студентов по данному варианту:
Результаты заносятся в ячейку, расположенную на пересечении номера варианта В1 и соответствующего ему номера вопроса 1, что, в свою очередь, соответствует значению X1-1 в таблице.
Результативность тестирования
|
число студентов, участвовавших в опросе |
C1 |
C1 |
C1 |
… |
… |
… |
Cn |
|
варианты вопросы |
В1 |
В2 |
В3 |
… |
… |
… |
Bn |
|
1 |
X1-1 |
X2-1 |
X3-1 |
… |
… |
… |
Xn-1 |
|
2 |
X1-2 |
X2-2 |
X3-2 |
… |
… |
… |
Xn-2 |
|
3 |
X1-3 |
X2-3 |
X3-3 |
… |
… |
… |
Xn-3 |
|
… |
… |
… |
… |
… |
… |
… |
… |
|
i |
X1-i |
X2-i |
X3-i |
… |
… |
… |
Xn-i |
Чтобы определить, какие вопросы, а также какие темы и разделы предмета, плохо усвоены студентами, строятся графики усвоения материала для каждого варианта.
На рис. 1 приведен анализ уровня усвоения материала студентами по первому варианту теста. На графике видно, что студенты достаточно хорошо усвоили вопросы 1, 4, 5, 7 какого-либо раздела. Так же наибольший процент неправильных ответов приходится на 3, 6, 8 вопросы других тем.
Рис. 1. График для определения усвоения материала по варианту 1
Рис. 2. График определения трудоемкости тестов по номерам вариантов
Рис. 3. Диаграмма Парето на неудовлетворительные ответы по вопросам теста
Для оценки распределения вопросов теста по их сложности строится график трудоемкости тестов по номерам вариантов. При этом по оси абсцисс откладываются номера вариантов, а по оси ординат процент неправильных ответов на вопросы теста (за критерий оценки недостаточности знаний взяты вопросы, на которые ответили неправильно 40 и более процентов студентов, рис. 2).
Предложенная методика была проверена на результатах тестирования в учебных группах Камышинского технологического института. Всего было обработано более 200 тестов.
Оценка трудоемкости тестов показала, что вопросы по своей сложности не совсем равномерно распределены по вариантам. Так в 1, 4, 5, 8 вариантах процент неправильных ответов составляет всего 20 %, что указывает на необходимость доработки преподавания разделов 3, 6, 8, в то же время в вариантах 3, 7, 10 процент неправильных ответов составил от 40 % до 50 %.
Для анализа сложности подготовленных вопросов в тесте можно также использовать такой инструмент качества, как построение диаграммы Парето или столбиковых диаграмм согласно составленным ранее таблицам. На рис. 3 показано построение диаграммы Парето для анализа результатов ответов испытуемых студентов по вопросам конкретного варианта.
На данном графике по оси абсцисс расположены номера вопросов в порядке, начиная с вопросов с наибольшим процентом неправильно полученных ответов у проверяемых студентов. По оси ординат отмечено процентное содержание неправильных ответов.
Все вопросы, в зависимости от сложности их понимания студентами, были разделены на три группы. Так в группу А, с самыми большими процентами неправильных ответов по предложенным тестам, попали вопросы 8, 6, и 3. Во вторую группу Б попали ответы по вопросам 9, 2 и 10, с удовлетворительными знаниями, а в третью группу С попали вопросы 4, 7, 1 с хорошими ответами на поставленные вопросы.
Это значит, что темам или разделам дисциплины, по которым были составлены вопросы в группе А, необходимо больше уделить внимания на лекционных, практических и лабораторных занятиях. Аналогично можно также составить график для определения трудоемкости тестов по номерам вариантов.
Правильно организованный тестовый контроль может содействовать развитию учебно-познавательной деятельности в условиях конкретной дисциплины, обеспечивая минимальные затраты времени и трудозатраты как студентов, так и преподавателей.