Руководство к составлению тестов

Методические рекомендации по составлению тестовых заданий

1. При создании тестов для проверки остаточных знаний по соответствующей дисциплине или для проверки итоговых знаний обучающегося/студента на основании программы дисциплины определяется область содержания теста и цели тестирования.

План теста (Приложение 1) для промежуточного контроля знаний должен охватывать знания, умения и навыки по одной или нескольким дидактическим единицам, для итоговой аттестации – по всем дидактическим единицам дисциплины в соответствии с программой дисциплины, для проверки остаточных знаний по всем дидактическим единицам дисциплины в соответствии с ГОСом по профессии/специальности.

2.  Содержание теста должно соответствовать содержанию учебной дисциплины. Задания теста должны в правильной пропорции охватывать все важные аспекты области содержания.

3.   Необходимо включение в тесты только наиболее важных, базовых знаний, выражающих сущность, содержание, законы и закономерности рассматриваемых явлений. Все спорные точки зрения, допустимые в научном споре, следует исключить из тестовых заданий.

4.       Каждый учебный элемент должен иметь некоторую усредненную меру трудности, которую необходимо учитывать в процессе контроля знаний.

1. При разработке плана тестовых заданий по дисциплине делается примерная раскладка процентного содержания разделов и определяется необходимое число заданий (но не менее 3-х) по каждому разделу дисциплины (по каждой дидактической единице) исходя из его важности и числа часов, отведенных на его изучение в программе.

2. Общие рекомендации к тестовым заданиям

Содержание тестового задания должно быть ориентировано на получение от тестируемого однозначного заключения.

Основные термины тестового задания должны быть явно и ясно определены.

Тестовые задания должны быть прагматически корректными и рассчитаны на оценку уровня учебных достижений студентов по конкретной области знаний.

Тестовые задания должны формулироваться в виде свернутых кратких суждений.

В содержании тестового задания определяющий признак должен быть необходимым и достаточным.

Следует избегать тестовых заданий, которые требуют от тестируемого развернутых заключений на требования тестовых заданий.

При конструировании тестовых ситуаций можно применять различные формы их представления, а также графические и мультимедийные компоненты с целью рационального предъявления содержания учебного материала.

Количество слов в тестовом задании не должно превышать 10-12, если при этом не искажается понятийная структура тестовой ситуации. Главным считается ясное и явное отражение содержания фрагмента предметной области.

Среднее время  на тестовое задание не должно превышать 1,5 минуты.

1. Рекомендуется соблюдать следующие параметры тестов:

Соответствие содержания тестовых заданий государственному образовательному стандарту по учебной дисциплине (базовая часть тестовых заданий –70%- 85%), а также включение дополнительных тестовых заданий (вариативная часть  тестовых заданий – 15%-30%).

Необходимо проводить подбор заданий, комплексно отображающих основные темы учебной дисциплины.

Тестовые задания по конкретной учебной дисциплине должны наиболее полно отображать ее содержание и ключевые понятия, чтобы иметь качественную объективную оценку знаний студентов. Включение в тест второстепенных элементов содержания может привести к неоправданным выводам о знании или незнании учебной дисциплины.

Необходимо соблюдать пропорции в количестве тестовых заданий по темам учебной дисциплины.

Необходимо проверять соответствие  содержания тестовых заданий знаниям, навыкам и умениям, оцениваемым у студентов.

В каждом тестовом задании необходима определенность, логичность, отсутствие некорректных формулировок, выделение одного предмета измерения  (ключевого  понятия,  термина,  правила,  определения  и  т.д.).

1. Спецификация теста включает:

Цель создания теста, обоснование выбора подхода к его созданию,  описание возможных сфер его применения.

Перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников и др.), используемых при планировании содержания теста.

Количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте.

Вес каждого задания, рекомендуемый автором теста.

Рекомендуемое время выполнения теста, среднее время выполнения одного задания с учетом специфики формы.

Охват требований государственных образовательных стандартов по дисциплине.

1. Рекомендации к формулировкам тестовых заданий

Основными элементами тестового задания являются инструкция,  задание (содержательная часть), ответы к заданию.

Инструкция к тестовым заданиям определяет перечень действий  при прохождении тестирования. Она должна быть адекватна форме и содержанию задания («укажите правильный ответ (ответы)», «установите соответствие», «определите правильную последовательность», «введите правильный ответ»).

Используемая терминология не должна выходить за рамки основных учебников и нормативных документов.

Содержательная часть задания не должна включать элементы инструкции.

Содержательная часть задания формулируется в логической форме высказывания, а не в форме вопроса; в ней не должны быть двусмысленные и неясные формулировки, вводные фразы, двойное отрицание, оценочное суждение, выясняющее субъективное мнение испытуемого.

Все повторяющиеся слова должны быть исключены из ответов и вынесены в содержательную часть задания.

В содержательной части и в ответах необходимо исключить слова «большой, небольшой, много, мало, меньше, больше, часто, всегда, редко, никогда …».

Все варианты ответов должны быть грамотно согласованы с содержательной частью задания, однообразны по содержанию и структуре, равнопривлекательны. Между ответами необходимы четкие различия. Правильный ответ однозначен и не должен опираться на подсказки.

Среди ответов должны отсутствовать ответы, вытекающие один из другого.

В варианты ответов нельзя включать формулировки «все перечисленное выше», «все утверждения верны», «перечисленные ответы не верны»,  так как такие ответы нарушают логическую конструкцию тестового задания или несут подсказку.

Число тестовых заданий с отрицанием должно быть минимальным. При этом частица «не» выделяется жирным шрифтом.

1.     Виды и типы тестовых заданий. Их особенности, преимущества и недостатки

Существуют два типа заданий, которые объединяют шесть видов

Схема 1. Типы и виды тестовых заданий

К заданиям открытого типа относятся два вида – задания дополнения и задания свободного изложения. Их отличительной особенностью является то, что для их выполнения ученику необходимо записать одно или несколько слов (цифр, букв, словосочетаний, предложений).

Задания закрытого типа (альтернативных ответов, множественного выбора, восстановления соответствия и восстановления последовательности) предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Эти задания предполагают наличие ряда предварительно разработанных вариантов ответа на заданный вопрос.

Задания закрытого типа

1. Задания альтернативных ответов.

К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них – “да – нет”, “правильно – неправильно” и др. 

Форма задания

Текст задания (вопрос)	Ответ
Утверждение 1	да	нет
Утверждение 2	да	нет
Утверждение 3	да	нет

…        …        

Инструкция для задания альтернативных ответов: Вам необходимо выбрать один вариант ответа, который Вы считаете правильным.

Задания альтернативных ответов в большей степени подходят для выявления уровня овладения сложными определениями, знания достаточно сложных графиков, диаграмм, схем и др.Особенностью заданий альтернативных ответов является то, что вопрос должен быть сформулирован в форме утверждения, поскольку он предполагает согласие или несогласие, которое можно отнести к утверждению.

2. Задания множественного выбора.

Это основной вид заданий, применяемый в тестах достижений. Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный.

Рекомендации к заданиям с выбором ответа

1. В тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;

2. Основная часть задания формулируется очень кратко, не более одного предложения из семи-восьми слов;

3. Задание должно иметь предельно простую синтаксическую конструкцию;

4. В основную часть задания включается как можно больше слов, оставляя для ответа 2-3 ключевых слова для данной проблемы;

5. Все ответы к одному заданию должны быть примерно одной длины, либо в некоторых заданиях правильный ответ может быть короче других;

6. Из текста должны быть исключены все ассоциации, способствующие выбору правильного ответа с помощью догадки;

7. Частота выбора одного и того же номера места для правильного ответа в различных заданиях должна быть примерно одинакова;

8. Из ответов исключаются все повторяющиеся слова за счет ввода их в основной текст заданий;

9. В ответах не рекомендуется использовать слова «все», «ни одного», «никогда», «всегда», «ни один из перечисленных», «все перечисленные», т.к. в отдельных случаях они способствуют угадыванию правильного ответа;

10. Из числа неправильных должны исключаться ответы, вытекающие один из другого;

11. Из числа тестовых должны исключаться задания, содержащие оценочные суждения или мнения испытуемого по какому-либо вопросу;

12. Все варианты ответов должны быть равновероятно привлекательны для испытуемых;

13. Ни один из вариантов ответов не должен являться частично правильным, превращающимся при определенных дополнительных условиях в правильный;

14. Основная часть задания формулируется в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки ответов;

15. Ответ на одно задание не должен служить ключом к правильным ответам на другие задания теста, т.е. не следует использовать дистракторы из одного задания в качестве ответов к другим заданиям теста;

16. Если задание содержит среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредотачивается только на этих двух ответах;

17. Все ответы должны быть параллельны по конструкции и грамматически согласованы с основной частью задания теста.

Форма предоставления заданий множественного выбора:

Вопрос (утверждение):

A. Вариант ответа 1

B. Вариант ответа 2

C. Вариант ответа 3

Инструкция для заданий множественного выбора: Выберите букву (ы), соответствующую (ие) варианту (ам) правильного (ых) ответа (ов). 

3. Задания на восстановление соответствия.

К заданиям данного типа относятся задания на восстановление соответствия между элементами двух списков, порядка ряда. Состоит из двух групп элементов и четкой формулировки критерия выбора соответствия между ними. Соответствие устанавливается по принципу 1:1 (одному элементу первой группы соответствует только один элемент второй группы) или 1:M (одному элементу первой группы соответствует М элементов второй группы). Внутри каждой группы элементы должны быть однородными. Количество элементов во второй группе должно превышать количество элементов первой группы, но не более чем в 1,5 раза. Максимально допустимое количество элементов во второй группе не должно превышать 10. Количество элементов в первой группе должно быть не менее двух.

Форма представления заданий на восстановление соответствия:

Инструкция: Соотнесите написанное в столбцах 1 и 2.

Вопрос:

Варианты ответа:

Столбец 1	Столбец 2
А.	1.
Б.	2.
В.	3.
Г.	4.
Д.	5.

Ответ: А. 3.  Б. 2.  В. 5.  Г. 1.  Д. 4.

Главными преимуществами заданий этого вида являются: возможностью быстрой оценки знаний, умений и навыков в конкретной области знаний, и экономичность размещения задач в тесте. 

4. Задания на восстановление последовательности

Задания на восстановление последовательности можно рассматривать как вариант задания на восстановления соответствия, когда одним из рядов является время, расстояние, или иной континуальный конструкт, который подразумевается в виде ряда.

Задания на восстановление последовательности – это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью, простотой проверки.

Задание.

Инструкция: Расположите в правильной последовательности.

Вопрос.

Варианты ответа.

1. А.

2. B.

3. С.       …….                             Ответ: 1. А. 2. D. 3. В. 4. Е. 5. С. 6. F.

Преимущества заданий закрытого типа

Задания могут быть надежны, поскольку отсутствуют факторы, связанные с субъективными оценками, которые снижают надежность.

Оценивание заданий полностью объективно: между оценками различных проверяющих не может быть различий.

Не учитывается умение испытуемых хорошо формулировать ответы.

Задания этого типа легко обрабатываются, тестирование быстро проводится.

Простой алгоритм заполнения снижает количество случайных ошибок и описок.

Эти задания позволяют охватить большие области знания, что для тестов достижений особенно важно.

Возможна машинная обработка ответов.

Низкая вероятность угадывания правильных ответов.

Возможно получение точной оценки содержательности теста, что особенно важно для определения соответствия теста целям исследования

Задания открытого типа

Требует сформулированного самим тестируемым заключения на требования задания. Имеет вид неполного утверждения, в котором отсутствует один или несколько ключевых элементов. В качестве ключевых элементов могут быть: число, слово или словосочетание. При формулировке задания на месте ключевого элемента, необходимо поставить прочерк или многоточие. Отсутствующий элемент (правильный вывод) в задании открытой формы вводит тестируемый  на месте прочерка и/или в специальном поле, хорошо видимом испытуемым.

К ним относятся задания двух видов:

1) дополнения (задачи с ограничением на ответы). В этих заданиях испытуемые также самостоятельно давать ответы на вопросы, однако их возможности ограничены.

Ограничения обеспечивают объективность оценивания результата выполнения задания, а формулировка ответа должна дать возможность однозначного оценивания.

Инструкция для заданий дополнения: вместо многоточия впишите только одно слово (символ, знак и т.д.).

Пример задания дополнения.

Инструкция: Вместо многоточия впишите только одно слово.

Вопрос: Фирма, предоставляющая сетевые услуги – это …

Ответ: провайдер.

2) Свободного изложения или свободного конструирования. Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа.

Инструкция для заданий свободного изложения: закончите предложение (фразу), впишите вместо многоточия правильный ответ (словосочетание, фразу, предложение или несколько предложений).

Пример задания свободного изложения.

Инструкция: Закончите предложение.

Вопрос: Специальная программа, реализующая правила передачи информации между компьютерами – это … …

Ответ: сетевой протокол.

Трудность в применении этого вида задач заключается в сложности с формализацией ответов, необходимость подготовки оценочных схем затрудняет стандартизацию, громоздкость процедуры и большие затраты времени на проведение.

Основная трудность при составлении заданий открытого типа – соблюдения основного требования к тестовым заданиям (наличия однозначного правильного ответа).

Положительными сторонами хорошо составленных заданий дополнения и свободного изложения являются:

1) невозможность угадать ответ;

2) краткость и однозначность ответов;

3) необходимость воспроизведения ответа по памяти;

4) отсутствие необходимости искать несколько вариантов ответа;

5) простота формулировки вопроса;

6) простота проверки.

1.    Критерии выставления оценки

Оценка «удовлетворительно» ставится, если обучающийся/студент ответил на от 55 до 70% вопросов. Оценка «хорошо» ставится, если обучающийся/студент получил от 71 до 85%. Оценка «отлично» ставится, если обучающийся/студент получил 86% и более.

Приложение 1 Пример плана теста

Номер задания	Тема	Шифр темы	Вид задания*
А1	Основные законы химии. Количество вещества. Молярная масса.(Задача)	1	2
А2	Молярный объем газа. (Задача)	1	2
А3	Число Авогадро (Задача)	1	1
А4	Основные типы химических реакций	3.2, 3.3	2
А5	Периодическая система Д.И.Менеделеева и свойства химических элементов	3.1	1
А6	Химическая связь и строение вещества	3.4	2
А7	Химическая  кинетика и катализ. Скорость реакций. Катализ. (Задача)	2. 2.3 1.3	2
А8	Химическое равновесие. Константа равновесия. Смещение равновесия.	2.1, 2.2	3
А9	Дисперсные системы. Общие свойства растворов. Энергетика растворения.	1.1 1.2	2
А10	Состав растворов. Массовая доля. Молярная концентрация.	1.1,	3
А11	Растворы электролитов. Диссоциация кислот, оснований, солей.	1.1 3.2	2
А12	Кислотно-основные реакции. Гидролиз солей.	3.2	2
А13	Реакции ионного обмена. Выпадение осадка, образование  газа.	3, 3.2	2
А14	Химические свойства простых веществ, оксидов, кислот, оснований	3	1

Шифр темы	Количество заданий	% от всего теста
1
1.1
..
Всего

*Примечание. Виды тестовых заданий:

1 — задания с выбором одного или нескольких правильных ответов;

2 — задания открытой формы, т. е. без указания ответов (дополнения и свободного изложения)

3 — задания на установление соответствия

4 — задания на установление правильной последовательности

5 – задания альтернативных ответов

Рекомендации к составлению тестов

Авторы: Е.Г. Тиссен, И.Г. Калугина, А.С. Спирина

Тестирование, как одна из форм аттестации, представляет собой процедуру, позволяющую объективно установить уровень учебных достижений обучающихся: теоретических знаний, интеллектуальных умений, практических навыков.

Тестирование в педагогике выполняет три основные взаимосвязанные функции: диагностическую, обучающую и воспитательную:

• Диагностическая функция заключается в выявлении уровня знаний, умений, навыков обучающихся. Это основная и самая очевидная функция тестирования. По объективности, широте и скорости диагностирования тестирование превосходит все остальные формы педагогического контроля.
• Обучающая функция тестирования состоит в мотивировании учащихся к активизации работы по усвоению учебного материала. В целях усиления обучающей функции тестирования могут быть использованы дополнительные меры стимулирования, такие, как раздача преподавателем примерного перечня вопросов для самостоятельной подготовки, наличие наводящих вопросов и подсказок в тесте, совместный разбор результатов теста.
• Воспитательная функция проявляется в периодичности и неизбежности тестового контроля. Это дисциплинирует, организует и направляет деятельность обучающихся, помогает выявить и устранить пробелы в знаниях, формирует стремление развивать свои способности.

Тест – это стандартизованное задание, по результатам выполнения которого дается оценка уровня знаний, умений и навыков испытуемого. Педагогический тест определяется как система заданий (вопросов) определенного содержания и специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний каждого испытуемого.

Традиционно рассматривается три основных критерия качества теста: действенность (валидность, показательность), надежность (вероятность, правильность), дифференцированность (раз-личимость).

Действенность теста по своему содержанию близка к требованию полноты, всесторонности проверки, пропорционального представления всех элементов изучаемых знаний, умений. Четкая и ясная постановка вопроса в пределах контролируемых знаний – неотъемлемое условие действенности теста. Если уровень теста превышает запроектированный уровень обучения, выходит за пределы изученного содержания или же не достигает этих пределов, то он не будет действенным для тех обучаемых, которым он адресован. Действенность теста обычно определяется статистическими методами.

Степень надежности характеризуется стабильностью, устойчивостью показателей при повторных измерениях с помощью одного и того же теста или его равноценного заменителя. Установлено, что надежность теста повышается при увеличении количества тестовых заданий в рамках одной, конкретно обозначенной (проверяемой) темы и понижается при увеличении (большем разбросе) тематического, содержательного разнообразия вопросов. Надежность тестов также значительно зависит от трудности их выполнения. Трудность определяется по соотношению правильных и неправильных ответов на тестовые вопросы. Включение в состав тестов таких заданий, на которые все обучаемые отвечают правильно или же наоборот, неправильно, резко снижает надежность теста в целом. Наибольшую практическую ценность имеют задания, на которые правильно отвечают 45 – 80% обучаемых.

Характеристика дифференцированности связана с использованием таких тестов, где нужно выбирать правильный ответ из нескольких возможных альтернатив. Если, например, все обучающиеся безошибочно находят правильный ответ на один вопрос и также дружно не могут ответить на другой, то это сигнал для усовершенствования теста в целом. Его необходимо дифференцировать, сделать различимым.

Кроме рассмотренных критериев используется и показатель эффективности теста. Тест, обеспечивающий при прочих равных условиях большее количество ответов за единицу времени, считается более эффективным.

В разработке педагогических тестов можно выделить три этапа (Рис.7): планирование, написание заданий и анализ заданий, каждый из которых, в свою очередь, включает в себя несколько обязательных стадий.

Рис. 7. Этапы разработки тестовых заданий

Как отмечалось выше (критерий действенности), тест должен соответствовать запроектированным целям обучения, образования, развития обучаемых. Поэтому первый шаг в планировании теста – это анализ соответствующих Государственных образовательных стандартов, всех разделов учебной программы, учебников и учебных пособий. Составителю теста необходимо иметь четкое представление о требованиях к знаниям, навыкам и умениям обучающихся по данной учебной дисциплине, хорошо знать цель и конкретные задачи обучения. Задания теста должны в полной мере выявить степень овладения требуемыми знаниями, навыками и умениями.

Для получения максимального результата от тестирования рекомендуется использовать тесты с целью:

• оценки остаточных знаний;
• промежуточного (для каждой темы) контроля;
• итогового контроля.

На этом основании можно выделить следующие типы тестов: входящие, текущие, промежуточные, итоговые.

Входящие (предварительные) тесты – предназначены для предварительного измерения степени готовности к освоению учебного содержания, являются способом адаптации к требованиям учебной дисциплины. Главная функция подобных тестов связана с самооценкой. Содержанием является ключевой материал предшествующего этапа обучения или навыки, приобретенные в ходе повседневного взаимодействия с объектом изучения. Для обучающегося данные тесты являются средством актуализации имеющихся знаний и умений, необходимых для последующего освоения содержания учебного предмета. Входящее тестирование сочетается с требованиями коррекционного обучения, направленного на устранение пробелов в знаниях, умениях. Поэтому такие тесты уместно использовать не только в начале учебного года, но и в начале изучения нового раздела или при овладении новым комплексом умений.
Текущие тесты – направлены на диагностирование хода учебного процесса, проверку одной из единиц содержания обучения (знания, умения, опыт), организацию экспресс-контроля осознания усвоенной информации. Данные типы тестов используются в повседневной учебной деятельности, имеют большое значение для стимулирования у обучающихся стремления к самостоятельной систематической работе, повышают интерес к учению, чувство ответственности за полученные результаты. Содержание этих тестов охватывает важнейшие элементы знаний, умений, освоенные обучающимися в ходе урока или на протяжении двух-трех уроков.

Промежуточные тесты – позволяют оценить качество освоения темы, раздела внутри программного модуля, предметных умений и навыков в конце учебного периода (четверть, семестр, полугодие). Содержание таких тестов основано, как правило, на большом объеме материала. К промежуточному педагогическому тесту предъявляются повышенные требования. Он должен обладать достаточно высокой надежностью и действенностью (валидностью), так как речь идет не просто о проверке усвоения отдельных элементов, а о понимании системы, объединяющей эти элементы. Оценка промежуточных тестов осуществляется на основе тех критериев, которые предусмотрены учебной программой, требованиями школы и государственными обра-зовательными стандартами.

Итоговые тесты – предназначены для контроля и оценки степени сформированности знаний, умений, навыков по окончании учебного года, этапа обучения в школе (начальная, основная, средняя школа) или по завершению изучения учебной дисциплины; оценки уровня учебных достижений обучающихся по основным компонентам содержания образования. Содержание тестов должно быть разработано на основе содержания блоков и модулей, предлагаемых в типовых программах образования в школе.

Педагог может самостоятельно разрабатывать входящие, текущие и промежуточные тесты, имея для этого необходимые компетенции, или использовать готовые варианты.

Во избежание несбалансированности и диспропорции, охватываемых тестом тем, составлению заданий должна предшествовать разработка его спецификации. При подготовке тестов разработку спецификации следует начать с описания целей изучения данного предмета, а также охватываемого этим предметом содержания. Перечисляя цели, создатель теста должен проанализировать, к каким изменениям ведет освоение изучаемого предмета: скажется ли оно на приобретении и развитии интеллектуальных навыков, способах решения задач, а также на способностях, интересах и прочих подобных характеристиках.

Тест состоит из тестовых (контрольных) заданий, инструкций к ним, баллов за выполнение каждого задания, общего тестового балла, рекомендаций по интерпретации результатов тестирования.

Тестовые задания включают в себя вопросы, отражающие содержание курса, которые выносятся на контроль. Исходным моментом составления тестовых заданий является выделение общей цели, преследуемой тестированием, и далее цели, с которой задание включается в тест. Такие цели должны предусматривать следующие требования к уровню знаний и умений обучающихся:

а) простое воспроизведение знаний, анализ и сравнение данных. Постановка таких вопросов в заданиях позволяет проверить усвоение учащимися материала на уровне запоминания, тренирует память;

б) анализ признаков понятия. При этом выявляется умение обучающихся находить общее и специфическое в изучаемом материале, отделять существенные признаки от несущественных, родовые от видовых и т.д.;

в) умение распознавать схемы, рисунки;

г) понимание функций, выполняемых различными элементами (органами, звеньями, приборами, устройствами и т. п.), и процессов взаимодействия между ними. Вопросы такого типа позволяют проверить умение обучаемых вскрывать определенные причинно-следственные связи и отношения, оценивать роль и значение данного элемента для процессов, происходящих во всей системе;

д) приведение в логическую последовательность элементов множества, расположенных в беспорядке, т. е. умение решать задачи определенного класса, требующие обнаружения последовательности расположения элементов в информационном ряде объектов, тактических приемов;

е) творческий подход к рассматриваемым проблемам и вопросам, умение применять полученные знания в условиях той или иной ситуации.

Отличительная особенность тестовых заданий заключается в том, что все задания теста должны соответствовать следующим критериям, предъявляемым к форме и содержанию:

• правильность содержания;
• логичная форма высказывания;
• правильность формы;
• краткость вопросов и ответов;
• наличие определенного места для ответов;
• правильность расположения элементов задания;
• одинаковость правил оценки ответов;
• одинаковость инструкции для всех испытуемых;
• адекватность инструкции форме и содержанию задания.

Правильность содержания означает, что из тестового задания должна быть полностью устранена двусмысленность. Тестовое задание формулируется из точных терминов и не должно содержать ни метафор, ни лишних слов, ни лишних знаков.

Конструирование тестовых заданий требует четкого деления изучаемого материала на логически законченные доли учебного материала, уровень усвоения которых можно было бы оценить кратко и однозначно. Эти доли не должны быть слишком малы, чтобы в целях контроля усвоения материала не приходилось ставить элементарные вопросы, не требующие усилий мысли обучающегося. Подобная часть учебного материала должна содержать не менее одного-двух новых понятий. При этом важно выделить главные (проблемные) вопросы, не увлекаясь второсте-пенными.

Логические требования к тестовым заданиям – это требования определенности, непротиворечивости и обоснованности содержания теста.

Определенность содержания теста образует предмет измерения. Довольно часто случается так, что правильные ответы на некоторые задания требуют знаний не только тестируемой дисциплины, но и ряда других, близость и связанность которых затрудняет точное определение предметной принадлежности измеряемых знаний. Чем меньше пересечение знаний одной тестируемой дисциплины со знаниями другой, тем определеннее содержание теста. В каждом тестовом задании заранее определяется, что́ однозначно считается ответом на задание, с какой степенью полноты должен быть правильный ответ. Не допускается определение понятия через перечисление элементов, не входящих в него.

Непротиворечивость содержания заданий требует, чтобы относительно одной и той же мысли не возникали суждения, одновременно утверждающие и отрицающие ее. Недопустимо существование двух исключающих ответов на одно и то же задание теста. Не допускается содержание ответов, вообще не связанных с содержанием задания. Если при апробации теста обнаружатся ответы к заданиям, которые обучающиеся вообще не выбирают, то такие ответы из теста удаляются, потому что они не выполняют функцию так называемых дистракторов, призванных отвлечь внимание незнающих обучающихся от правильного ответа.

Обоснованность содержания тестовых заданий означает наличие у них оснований истинности. Обоснованность связана с аргументами, которые могут быть приведены в пользу той или другой формулировки заданий теста. В случае отсутствия доказательных аргументов в пользу правильности сформулированного задания, оно не включается в тест ни под каким предлогом. То же происходит, если в процессе экспертного обсуждения возникает хотя бы один контраргумент или допускается условие, при котором данное утверждение может оказаться двусмысленным или ложным.

Правильная форма заданий – это средство упорядочения и эффективной организации содержания теста. Форма заданий правильная, если она позволяет точно выразить содержание, понятна для всех испытуемых, исключает возможность появления ошибочных ответов по формальным признакам.

Ответ на задание теста представляет собой краткое суждение, связанное по содержанию и форме с содержанием задания. Каждому заданию ставятся в соответствие ответы правильные и неправильные. Следует избегать применения таких ответов, как «правильного ответа нет», «все ответы правильные» или «все ответы неправильные». Нельзя включать ответы, неправильность которых на момент тестирования не может быть обоснована учащимися. Неправильные ответы должны конструироваться на основе типичных ошибок и должны быть правдоподобными. Правильные ответы должны располагаться среди всех предла-гаемых ответов в случайном порядке. Ответы на одни вопросы не должны служить подсказками для других. Критерии правильности заранее определяются авторами теста. В идеале, вероятность правильного ответа на любое задание должна зависеть только от соотношения уровня знаний испытуемого и уровня трудности задания.

Наличие определенного места для ответов является одним из внешних признаков задания в тестовой форме. Правильность расположения элементов задания является требованием, помогающим тестируемым не тратить время на определение места для ответов и быстрее зафиксировать свое решение.

Правила оценки определяются заранее и абсолютно одинаковы ко всем испытуемым.

В целях формирования наибольшей наглядности тестового кон-троля, рекомендуется максимально использовать в тестах гра-фический материал.

На этапе написания заданий (Рис. первостепенной задачей является выбор типа тестового задания. По форме предъявления ответа тестовые задания классифицируют на задания открытого типа и закрытого.

Задания открытого типа представляют собой тип тестовых заданий, предусматривающих свободные ответы обучающихся, по сути это задания без предлагаемых вариантов ответов. Предполагается, что тестируемый должен дать короткий и четкий ответ из одного, реже – двух слов (это следует указать в инструкции к тесту). Задания открытой формы часто разделяют на задания дополнения (предполагается, что заполнить пропуск можно строго однозначно) и задания свободного изложения. Данный тип теста часто используют в заданиях на математические вычисления.

Пример:

Инструкция: дополнить.

1. Система внутренних побуждений человека, определяющая его избирательную активность называется ________________.

Правильный ответ: направленность.

Тестовые задачи данного типа позволяют получать разностороннюю, развернутую информацию о знаниях обучающегося. Они применяются в случае, когда необходимо проверить знание фактического материала, способность обучающегося интерпретировать данные и применять правила, когда исключается фактор догадки.

Наряду с достоинствами, заданиям открытого типа присущи и определенные недостатки, основными из которых являются: сложность (иногда невозможность) формализации ответов и их оценки; неоднозначность, вызывающая затруднения в интерпретации (связанная иногда с необходимостью дополнительного расспроса), громоздкость процедуры и большие затраты времени на тестирование. Следует избегать применения данного типа заданий, когда возможен не один, а несколько правильных ответов. Компьютерная обработка подобных заданий затруднена.

При составлении заданий открытого типа необходимо учитывать следующие общепринятые правила:

• в каждом задании должно быть только одно дополнение (ответ);
• дополнение (ответ) должно быть наиболее важным («ключе-вым») термином, знание которого является обязательным;
• дополнение (ответ) лучше всего располагать в конце предложения;
• вопрос должен формулироваться четко, требовать однозначного ответа и не допускать двоякого толкования.

Составление задания открытого типа можно проводить в следующей последовательности:

• написать определение (принцип, закон);
• выделить в нем ключевое слово;
• перестроить фразу так, чтобы это слово оказалось послед-ним.

Пример:

1. Под направленностью понимается система внутренних побуждений человека, определяющая его избирательную актив-ность.
2. Под направленностью понимается система внутренних побуждений человека, определяющая его избирательную актив-ность.
3. Система внутренних побуждений человека, определяющая его избирательную активность, называется ________________.

Правильный ответ: направленность.

Задания закрытого типа – тип тестовых заданий, предусматривающий различные варианты ответа на поставленный вопрос, задачу. Из ряда предлагаемых ответов, тестируемый выбирает один или несколько, по его мнению, правильных.

В педагогической практике наиболее удобными и широко используемыми для дистанционного обучения являются задания с предписанными ответами (закрытые), которые в свою очередь делятся на следующие виды:

• задания с альтернативными ответами;
• задания с множественным выбором;
• задания с выражением ответа в виде восстановления частей предложений, фигур и т. д.

Рис. 8. Типы тестовых заданий

Альтернативные задания предусматривают наличие двух вариантов ответов (типа «да» – «нет», «верно» – «неверно» и т.д.).

Пример: Выберите, на ваш взгляд, верный вывод о «состоянии» Версальско-Вашингтонской системы в 1930-е гг.

1. Версальско-Вашингтонская система в 1930-е гг. была оплотом мира и спокойствия на международной арене	да	нет
2. Правовые и политические основы Версальско-Вашингтонской системы были полностью разрушены	да	нет

Правильный ответ: Правовые и политические основы Версальско-Вашингтонской системы были полностью разрушены

Достоинством этого вида заданий являются простота процедуры регистрации и обработки данных, четкая формализация оценивания. Этот тип заданий можно использовать для оценки способности тестируемого различать правильный и неправильный ответы, способности связывать причину и следствие. К недостаткам следует отнести высокую вероятность случайных ответов и то, что у обучающегося есть шанс «отгадать» правильный ответ. Поэтому не следует использовать данный тип заданий при оценке запоминания фактов, способности обучающегося синтезировать или анализировать сложную информацию. Основная сфера применения альтернативных заданий – быстрая проверка ориентированности обучающихся в учебной дисциплине, что может эффективно использоваться в текущем контроле.

Задания с множественным выбором предусматривают большее количество возможных ответов, как правило, от четырех и более. Задания с множественным выбором состоят из основы (вопрос или незавершенное предложение), правильного ответа и нескольких неправильных ответов, отвлекающих внимание. Есть, по меньшей мере, четыре вида задач с множественным выбором:

• Правильный ответ – обучающийся выбирает правильный ответ из нескольких альтернатив.

Пример:

Инструкция: выбрать один правильный ответ.

Стрелецкий бунт, в результате которого на престол были возведены цари Иван и Петр при регентстве Софьи, произошел

1) в 1676 г.

2) в 1682 г.

3) в 1689 г.

В качестве тестовых заданий могут быть использованы последовательные цепочки вопросов.

Пример:

Инструкция: к каждому вопросу выбрать один правильный ответ.

Человек находится под постоянным воздействием своего внутреннего состояния.

1. Изменение внутреннего состояния человека воспринимается:

а) сознанием;

б) органами чувств.

2. Данное восприятие вызывает:

а) изменение в состоянии организма;

б) ухудшение в состоянии организма.

3. Данная реакция приводит к:

а) стабильности организма;

б) внесению изменений в поведение человека.

Цепочка может быть продолжена, причем ее могут составлять тестовые задания различных видов.

• Самый лучший ответ – обучающийся должен выбрать самый лучший ответ из нескольких вариантов.

Пример

Инструкция: выбрать один, наиболее точный ответ.

Какое из суждений наиболее точно определяет личность:

А) Человек как совокупность всех общественных отношений.

В) Человек, достигший определенного уровня психического развития.

С) Человеческий индивид как субъект межличностных и социальных отношений и сознательной деятельности.

D) Дееспособный член общества.

• Несколько вариантов правильного ответа – обучающийся должен выбрать несколько правильных ответов из предложенного списка.

Пример

Инструкция: выбрать несколько правильных ответов.

Какие факторы предопределили непрочность Версальско-Вашингтонской системы?

1. Традиционное военно-силовое мышление политических лидеров стран-победительниц и их непомерные требования.
2. Новое государственное размежевание в Европе.
3. Отсутствие экономической программы восстановления Европы.
4. Исключение Советской России из договорной системы.
5. Умеренная сумма репарационных платежей, возложенных на Германию.
6. Противоречия между великими державами.
7. Утверждение американским Конгрессом вступление США в Лигу Наций.
8. Слабость Лиги Наций как международной организации, призванной обеспечить мир.
9. Отказ Германии подписать Версальский договор.

• Незаконченное утверждение – обучающийся должен закончить мысль, выбрав правильный ответ.

Пример

Инструкция: выбрать правильный ответ.

Под конфликтом в психологии понимают:

1. Причины непонимания людьми друг друга, приводящих к обострению взаимоотношений.
2. Столкновение взглядов, идей, убеждений, в основе которых лежат обостренные противоречия.
3. Индивидуальные или коллективные акты поведения, идущие в разрез с общепринятыми нормами.
4. Средства отстаивания своей позиции, не совпадающей с мнением большинства.

В заданиях с множественным выбором вероятность угадывания ниже, чем в альтернативных задачах, вместе с тем процедура обработки практически не усложняется. Это делает данный тип тестовых заданий предпочтительным в большинстве случаев. Он используется тогда, когда необходимо провести оценку знаний: насколько хорошо усвоен материал, как полученные знания используются в практической работе.

Следует избегать использования данного типа заданий, когда оценивается способность вспоминать факты, так как в данном случае проверяется способность распознавать правильные ответы. Не следует пользоваться данным типом заданий при оценке оригинальных и творческих подходов.

При разработке заданий с множественным выбором, в целях исключения подсказок со стороны других вариантов ответов, которые явно могут контрастировать с правильными, требуется подбирать внешне правдоподобные и похожие на правильный ложные ответы. При разработке данного типа тестовых заданий формулирование подобных ответов представляет наибольшую трудность. Если они составлены неудачно, то правильный ответ выделяется на их фоне и может быть легко «расшифрован» даже недостаточно обученным учащимся. В таком случае задание теряет свою контролирующую функцию. Чтобы задание «работало», все ответы должны быть привлекательными, причем желательно, чтобы их правдоподобность была более или менее равнозначной, равновероятной. Только тогда задание с множественным выбором становится удачным.

Выбор таких вариантов ответов сложен и обычно проводится на материале опроса по данному пункту при открытой форме ответа. Наиболее часто встречающиеся варианты неправильных ответов обучающихся обычно дают материал для составления вариантов ответов. В целях снижения вероятности появления случайных правильных ответов порядковые номера (места) вариантов должны меняться по случайному закону.

Задачи закрытого типа, построенные по принципу восстановления соответствия частей, являются модификацией задач с множественным выбором. Здесь в блок объединяется ряд задач и ответов на них, при этом количество задач и решений может совпадать (что более типично) или число ответов может быть больше, чем число задач данного блока.

При оценке выполнения задания следует учитывать, что все задание рассматривается как одно. Если допущена хотя бы одна ошибка, то ответ считается неверным.

В качестве примера тестовых заданий по выбору соответствия можно привести следующие:

Пример 1:

Инструкция: установить соответствие.

Виды ассоциаций	Определение
1. По смежности	А. В памяти возникают прямо противоположные факты и явления
2.По контрасту	Б. Основаны на «пространственных» связях
3. По времени	В. Основаны на сходстве товаров
4. По сходству	Г. Взаимодействие предметов, следующих друг за другом
…	Д. Товары предназначены на одну и ту же сферу применения

Возможно иное расположение материала задания.

Пример 2:

Инструкция: установить соответствие.

К психическим процессам относятся:

1. ощущения,
2. восприятие,
3. внимание,
4. память.

Определения

А. Направленность психической деятельности на какой-либо объект.

Б. Целостное отражение в коре головного мозга предметов и явлений окружающего мира.

В. Запоминание, сохранение и воспроизведение воспринятой информации.

Г. Познавательный и предметный процесс взаимодействия с окружающей действительностью.

Д. Отражение в коре головного мозга отдельных свойств предметов и явлений окружающего мира.

Данный тип тестовых заданий может использоваться при оценке понимания принципов и концепций, способности классифицировать информацию. В сущности, одно тестовое задание данного типа включает в себя несколько задач соответственно количеству пунктов задания. Это позволяет повысить эффективность и экономичность теста.

Задание закрытого типа на установление правильной последовательности. С помощью таких заданий можно проверить последовательность протекания процесса, порядок решения какой-либо задачи, алгоритм действия. К этим заданиям дается следующая инструкция: «Установить правильную последовательность». В отличие от вопросов с выбираемыми ответами, здесь важен порядок следования номеров правильных ответов. Если допущена хотя бы одна ошибка, то ответ оценивается как неверный.

Принцип правильной последовательности может быть применен к заданиям на ранжирование элементов по возрастанию или убыванию их значимости, свойств, количественных характеристик.

Пример:

Инструкция: установить правильную последовательность.

Указать страны в порядке возрастания доли расходов на вооружение:

а) Япония;

б) США;

в) Германия;

г) Россия;

д) Англия.

Комбинацией открытого и закрытого типов заданий являются задания на подстановку:

Пример 1:

Инструкция: закончить предложение, выбрав правильный ответ.

Частые горизонтальные и вертикальные линии в иллюстрации вызывают у человека _____________ .

1. спокойствие,
2. раздражительность,
3. вдохновленность,
4. непринужденность.

Пример 2:

Инструкция: дополнить, выбрав несколько правильных ответов.

Красный цвет ___________ кровяное давление, вызывает __________, указывает на ________________ человека.

1. понижает,
2. повышает,
3. возбуждение,
4. успокоение,
5. спокойствие,
6. энергичность.

В случае выбора нескольких правильных ответов важен порядок ввода их номеров. Задания на подстановку подходят для текущей проверки знаний, которая носит контрольно-обучающий характер. Без слов-подсказок уровень трудности заданий существенно выше (открытые задания).

Очевидно, что один и тот же вопрос может быть выражен как в форме открытого, так и в форме закрытого задания, поэтому для предъявления вопроса обучающемуся нужно искать форму, наиболее полно отвечающую целям тестового задания и тестирования в целом.

Возвращаясь к этапам разработки педагогических тестов следует отметить, что на заключительной стадии (этапе анализа) следует уделить особое внимание определению трудности заданий и установить шкалу оценивания теста.

В процессе составления теста задания подбираются так, чтобы они соответствовали определенному уровню трудности. Педагогические тесты предназначены для как можно более точной оценки индивидуального уровня знаний и умений учащихся, и если в таком тесте никто не может справиться с заданием, то оно оказывается балластом. То же самое можно сказать о заданиях, с которыми справляются все.

Показателем трудности тестового задания (р) является доля обучающихся, выполнивших и не выполнивших задание. Чаще всего степень трудности задания определяется процентом тестируемых, давших правильный ответ. Чем легче задание, тем выше этот процент. Если только 20% тестируемых (р=0,20) решили задачу, ее можно оценить как трудную для данной выборки, если 80% (р=0,80), – как легкую.

Оценка за выполнение каждого задания может варьироваться в зависимости от его важности и трудности. При выставлении оценки обычно используется номинальная шкала, в рамках которой за каждый правильный ответ на задания теста испытуемый получает один балл, за неправильный — ноль. Часто оценку теста определяют при помощи коэффициента усвоения (Q). Он определяется как отношение количества правильных ответов (ПО) к общему количеству заданий (КЗ), умноженное на 100%. Для четырехбалльной системы Q обычно принимают значения:

Оценка «5» – Q = 100%≥90%;

Оценка «4» – Q = 100%≥80%;

Оценка «3» – Q = 100%≥70%.

Литература

1. Авапесов В.С. Формы тестовых заданий. М., 1991.
2. Аванесов В.С. Композиция тестовых заданий. — М., Центр тестирования, 2002.
3. Асямов С.В. Педагогическое тестирование в системе оценки знаний слушателей. – Ташкент, 2006
4. Афонина М.В. Педагогический тест: требования к разработки и использованию . – Барнаул: БГПУ, 2006.
5. Верин В.А. Как построить тест. – Спб., 1994.
6. Градова Н.Ю. Объективно программированный тестовый контроль. –Ярославль, 1989.
7. Майоров А.Н. Теория и практика создания тестов для системы образования: Как выбирать, создавать и использовать тесты для целей образования. М: Интеллект-Центр, 2002.
8. Морев И. А. Образовательные информационные технологии. Часть 2.Педагогические измерения: Учебное пособие. — Владивосток: Изд-во Дальневост. ун-та, 2004.
9. Нейман Ю. М., Хлебников В. А. Педагогическое тестирование как измерение. Ч.1. — М.: Центр тестирования МО РФ, 2002.
10. Челышкова М.Б. Теория и практика конструирования педагогических тестов. Уч. Пособие. — М.: Логос, 2002.
11. Христовский С.А. Методические основы проектирования электронного учебника // Проектирование образовательных информационных ресурсов, систем и технологий: Сб. докладов и сообщений.- М.: ИЦПКПС, 1998. — 75с.

Вам будет интересно

Перейти на главную блога