Компьютерное тестирование начинается с предварительной инструкции

Презентация на тему: Компьютерное тестирование. Основные понятия и виды компьютерного тестирования

1

из 25

№ слайда 1

Описание слайда:

№ слайда 2

Описание слайда:

Разработками технологий компьютерного обучения и контроля занимаются практически все наиболее оснащенные техникой вузы и центры информационных технологий. Среди основных проблем разработки и внедрения технологий компьютерного обучения и контроля можно выделить несколько: – неоднозначность терминологии; – непроработанность методики создания контролирующих материалов для компьютерного тестирования; – отсутствие единого методического центра компьютерного тестирования, который мог бы взять на себя общее методологическое руководство проблемой исследования.

№ слайда 3

Описание слайда:

Проведение компьютерного контроля знаний обучаемых является основой получения объективной независимой оценки уровня учебных достижений (знаний, интеллектуальных умений и практических навыков), а также предоставления органам управления достоверных и своевременных результатов оценки уровня подготовленности учащихся по образовательным программам, составленным в соответствии с Государственным образовательным стандартом (ГОС). Анализ результатов компьютерного контроля остаточных знаний позволяет выработать рекомендации прогностического характера по совершенствованию преподавания проверяемых учебных дисциплин.

№ слайда 4

Описание слайда:

Разведем понятия: контроль и тестирование Под контролем будем понимать процедуру, позволяющую оценить уровень усвоения и понимания изучаемого материала с целью управления текущим процессом обучения и обеспечения индивидуализации обучения. Тестирование – это процедура аттестации, установления соответствия личностной модели знаний требуемой стандартизованной модели знаний. Как видим из определений: контроль – процедура управления обучением; тестирование — процедура констатации факта знает — не знает. Безусловно, обе процедуры имеют значение для подготовки ученика, но они же имеют разные целевые функции.

№ слайда 5

Описание слайда:

Требования к разработке контролирующих материалов Выработка единых требований должно способствовать унификации разработки компьютерных дидактических материалов для процедуры тестирования. Требования к программно-дидактическим контролирующим материалам для компьютерного тестирования разработаны в целях осуществления единого подхода в университете в области конструирования и формирования фонда контрольных заданий для проведения контроля остаточных знаний студентов и получения объективных оценок уровня знаний, умений и навыков (учебных достижений). В то же время основные требования к контролирующим материалам тестирования приемлемы и для постановки контролирующих заданий для компьютерного обучения.

№ слайда 6

Описание слайда:

В основу предлагаемых требований для создания контролирующих материалов для компьютерного тестирования положены работы многих исследователей и авторских групп, в том числе: –центра тестирования при МГУ «Гуманитарные технологии» (научный руководитель центра доктор психологических наук, профессор МГУ А.Г. Шмелев), который в этом году выиграл конкурс на проведение ЕГЭ в компьютерной форме (К_ЕГЭ); –центра тестирования профессионального образования при Московском государственном университете печати (директор центра доктор технических наук В.И. Васильев); –управления современных информационных технологий ОГУ. В лекции использованы выработанные на практике принципы и требования к постановке контролирующих заданий, полученные при разработке и внедрении в учебный процесс контролирующих и обучающих программ.

№ слайда 7

Описание слайда:

Виды компьютерного тестирования – централизованное вузовское тестирование по контрольным материалам, разработанным в соответствующих УМО, ассигнованных министерством центрах; – аттестационное тестирование (при самообследовании кафедр, подтверждение государственной лицензии); – итоговое тестирование по оценке соответствия полученных в процессе обучения знаний по конкретной дисциплине требованиям государственного образовательного стандарта; – рубежное и текущее тестирование по оценке подготовленности в процессе изучения дисциплины; – оценка остаточных знаний обучаемых.

№ слайда 8

Описание слайда:

Методом компьютерного тестирования можно получить объективную, оперативную, достоверную информацию о знаниях, полученных в процессе обучения и о готовности обучаемых к восприятию нового материала. Компьютерное тестирование имеет ряд преимуществ: обеспечение стандартизации; обеспечение индивидуальности прохождения процедуры контроля; повышение объективности контроля и исключения субъективных факторов (усталость преподавателя и его эмоциональность или плохое настроение, отсутствие или недостаточность времени для личного общения с преподавателем, другое); оперативность статистической обработки результатов контроля; доступность для обучающегося к полной информации о результатах контроля;

№ слайда 9

Описание слайда:

обеспечение возможности преподавателю быстрой проверки знаний большого количества обучаемых по разным темам, выполнению заданий, дисциплине в комплексе; освобождение преподавателя от выполнения повторяющейся трудоёмкой и рутинной работы по организации массового контроля, высвобождение времени для творческого совершенствования разных аспектов его профессиональной деятельности; обеспечение всесторонней и полной проверки; обеспечение возможности обучающемуся самопроверки освоения материала в том режиме работы как это ему удобно (сетевой режим доступа к контролирующим системам и измерительным материалам); доступности и равноправия всех участников процедуры тестирования.

№ слайда 10

Описание слайда:

Современные системы компьютерного тестирования отличает: выбор конкретного режима работы обучающимся: — попытаться ответить на большее количество вопросов за большее время; — или, наоборот, ограничить количество вопросов, но получить меньшее время; — выбрать меньшее количество трудных вопросов и большее простых и т.п. определенная гибкость, когда обучаемым можно выбрать индивидуальный график прохождения контрольных точек.

№ слайда 11

Описание слайда:

№ слайда 12

Описание слайда:

Разработка контролирующего материала Самой сложной задачей эксперта по компьютерному тестированию является задача разработки тестов, которые позволяют максимально объективно оценить уровень соответствия или несоответствия личностной модели знаний ученика и экспертной модели знаний. Разработка тестовых материалов для любой формы тестирования (бланкового или компьютерного), а также компьютерного контроля должна удовлетворять определенным принципам, выработанным требованиям, правилам оформления и удовлетворять требованиям экспертов по оценке тестовых заданий.

№ слайда 13

Описание слайда:

Тип контролирующего (обучающего) алгоритма определяется: целями обучения; структурой материала; методикой преподавания; подготовленностью аудитории; фактором времени; дидактическими возможностями техники. При разработке компьютерного тестового задания необходимо руководствоваться принципами и основными требованиями ранее рассмотренных общих вопросов построения тестовых заданий.

№ слайда 14

Описание слайда:

В работе Готлиба М. предлагается рассматривать 7 типов обучающих заданий по принципу реализованного в них алгоритма обучения: последовательно-подготовительный; параллельно-подготовительный; последовательно-корректирующий; параллельно-корректирующий; алгоритм переноса; аналитический алгоритм; алгоритм упорядочения. Рекомендуемые типы обучающих заданий предлагаем расширить комбинациями указанных алгоритмов, что позволяет разработать обучающие задания, имеющие большую практическую направленность, а последнее является одним из определяющих моментов индивидуально-деятельностной модели обучения.

№ слайда 15

Описание слайда:

Вопросы как форма обучающего задания. Контроль и самоконтроль обучающегося – очень важные звенья в любой форме обучения, поэтому существует многообразие форм контроля. Форма постановки контролирующих/обучающих заданий в виде вопросов – одна из самых сложных. Вопрос, поставленный в КОП, должен отвечать ряду требований и, в первую очередь, – однозначности восприятия, а это, в свою очередь, влечет за собой другие характеристики вопроса для работы КСО: четкость вопроса, полнота постановки, непротиворечивость и другие характеристики этой наиболее важной в обучении дидактической единицы.

№ слайда 16

Описание слайда:

Аналитический алгоритм. Суть алгоритма: поставить в соответствие вопросу (упражнению) номер правильного ответа. Количество вопросов в этом алгоритме может быть как равно количеству ответов, так и меньше. Алгоритм соответствия. Суть алгоритма: поставить в соответствие каждому вопросу один ответ. Алгоритм упорядочения. Суть алгоритма: определить правильный порядок выполнения действий. Обучение с помощью предметного алгоритма один из способов достижения необходимого уровня подготовленности обучающегося, и это далеко не всегда приводит к механическому выполнению действий, а скорее прививает правильный и рациональный подход к выполнению определенной работы.

№ слайда 17

Описание слайда:

Алгоритм отбора/исключения. Суть алгоритма: указать необходимые действия и порядок их следования, или наоборот исключить нежелательные и лишние операции. Способ постановки обучающих заданий на исключение ненужных или вредных действий очень эффективен, поскольку позволяет в подсказке (или других типов пояснений) раскрыть суть неправильных действий (раскрыть и локализовать ошибки) и их последствия. Для повышения эффективности обучения в заключение такого типа обучающих заданий необходимо указать упорядоченную, наиболее эффективную или просто рациональную последовательность действий для достижения цели.

№ слайда 18

Описание слайда:

Алгоритм дополнения. Суть алгоритма: дополнение недостающих действий или пропущенных слов. Алгоритм вычислительного характера. Алгоритм ситуативный. Суть алгоритма: ставится проблема, возможно комбинированная с другими областями, необходимо предложить конкретное решение. Это очень интересный тип контролирующих и обучающих заданий, где требуется широкая эрудиция преподавателя и не только той предметной области, для которой строится система контроля.

№ слайда 19

Описание слайда:

Аналитический алгоритм. Суть алгоритма: поставить в соответствие вопросу номер правильного ответа. По классификации А.Н. Майорова – это закрытая форма ответа. Алгоритм соответствия. Суть алгоритма: поставить в соответствие каждому объекту одной группы объект другой группы (1:1). Алгоритм классификации. Суть алгоритма: отнести объекты группы В к определенному классу из перечня классов А. Преподаватель должен описать характеристику классов и основания, по которому сформированы классы. Алгоритм упорядочения. Суть алгоритма: определить правильный порядок выполнения действий.

№ слайда 20

Описание слайда:

Правила составления задания для компьютерного тестирования Содержание контрольного задания (КЗ) должно быть ориентировано на проверку значимых понятий и элементов содержания предмета контроля и получение от тестируемого однозначного заключения. Основные термины тестового задания должны быть явно и ясно определены. Тестовые задания должны быть прагматически корректными и рассчитаны на оценку уровня учебных достижений студентов. Тестовые задания могут быть сформулированы в виде кратких суждений, четко поставленных вопросов и конкретных задач. Следует избегать контрольных заданий, которые требуют от испытуемых развернутых заключений при выполнении контрольных заданий.

№ слайда 21

Описание слайда:

При конструировании контрольных заданий можно применять различные формы их представления, а также графические и мультимедийные компоненты не только с целью рационального предъявления содержания учебного материала, но и при постановке контрольного задания, требующего графическую форму ответа. Количество слов в контрольном задании должно быть минимальным, если при этом не искажается понятийная структура постановки задания. Главным считается ясное и явное отражение содержания фрагмента предметной области. Но лучше воспользоваться ТЕЗИСОМ: Лучше «длинный» вопрос и «короткие» ответы, чем наоборот.

№ слайда 22

Описание слайда:

Содержание задания должно быть выражено предельно простой синтаксической конструкцией без повторов и двойных отрицаний. Не следует при подготовке тестовых заданий использовать задания составного характера, при ответе на которое правильность выполнения одного задания зависела бы от правильности выполнения другого задания этого же субтеста. В тексте тестового задания не должно быть непреднамеренных подсказок и сленга. Недопустимы заключения типа: все выше перечисленное верно, все указанные ответы неверны и т.д. В задании не использовать слова, которые понимаются у различных людей по-разному: иногда, часто, всегда, иногда, все, никогда и т.п. В заданиях не должна использоваться терминология, выходящая за рамки учебной дисциплины.

№ слайда 23

Описание слайда:

В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора. Ни в тексте, ни в ответах не должно быть подсказок. В заданиях не должно быть заключений, вариантов ответов: заведомо ложных; содержащих подсказку; явно выделяющихся, обособленных. 17. Задание должно быть составлено с учетом того, что среднее время формирования заключения тестируемого со средним уровнем подготовленности не должна превышать 2-х минут (определяется эмпирически при прогонке задания). Среднее время ответа студента на контрольное задание определяется установкой преподавателя – автора контрольного задания. Среднее время выполнения задания определяется эмпирически при прогонке задания.

Описание слайда:

На сайте подготовки единого государственного экзамена в компьютерной форме («Центр гуманитарных технологий» под руководством Шмелева представлен очень интересный и разнообразный материал для подготовки компьютерных контролирующих заданий, разнообразные задания для тестирования школьников и абитуриентов. Адрес сайта http://www.ege.ru/.

Лекция 11. Компьютерное тестирование в образовании.

1.Специфика компьютерного тестирования и его формы.

2.Инновационные формы тестовых заданий при компьютерном
тестировании.

3. Компьютерное адаптивное тестирование.

4.Online
-тестирование, его применение
в дистанционном обучении.

1.
Специфика компьютерного тестирования и его формы

Общие представления о компьютерном тестировании.
С начала
XXI
в. в образовании тестирования стали
широко применяться компьютеры. В педагогических инновациях появилось
отдельное направление – компьютерное тестирование, при котором
предъявление тестов, оценивание результатов учащихся и выдача им
результатов осуществляется с помощью ПК.

Этап генерации тестов технологически может протекать по–разному, в
том числе путем ввода в компьютер бланковых тестов. На сегодняшний
день по компьютерному тестированию имеются многочисленные публикации,
разработаны программно-инструментальные средства для генерации и
предъявления тестов

Когда необходимо обращаться к компьютерному тестированию.

Хотя компьютерное тестирование значительно облегчает работу учителя
при предъявлении и оценивании результатов выполнения тестов, его
распространение во многом не более чем дань моде, все негативные
последствия которые до сих пор не выявлены по полной мере. Выбор
компьютерного формата экзамена должен основываться на более важных и
обоснованных предпосылках, чем просто увлечение инновациями,
поскольку он порождает множество проблем и ставит учащихся в
неравные условия. Обращаться к компьютерному тестированию следует в
тех случаях, когда есть настоятельная потребность в отказе от
традиционных бланковых тестов.

Например, компьютерное тестирование необходимо при проведении ЕГЭ в
труднодоступных районах России. Сбор выпускников отдельных районов в
обозначенное время проведения ЕГЭ становится настолько сложным и
дорогостоящим мероприятием, что обойтись без компьютерного
тестирования и современных средств коммуникации просто невозможно.
Компьютерное тестирование целесообразно также применять при
проведении экзаменов для детей с ограниченными возможностями,
имеющих серьезные нарушения зрения или слуха. С помощью ПК можно
использовать большие по размерам шрифты, аудиозаписи, дополнительные
устройства для ввода данных тестирования и другие приспособления,
компенсирующие на экзаменах потенциальное отставание детей с
ограниченными возможностями.

Формы осуществления компьютерного тестирования.
Компьютерное
тестирование может проводиться в различных формах, различающихся по
технологии объединения заданий в тест (рис.17). часть из них пока не
получили специального названия в литературе по тестовой
проблематике.

Рис.17. Формы компьютерного тестирования

Первая форма – самая простая. Готовый тест, стандартизированный или
предназначенный для текущего контроля, вводится в специальную
оболочку, функции которой могут различаться по степени полноты.
Обычно при итоговом тестировании оболочка позволяет предъявлять
задания на экране, оценивать результаты их выполнения, формировать
матрицу результатов тестирования, обрабатывать ее и шкалировать
первичные баллы испытуемых путем перевода в одну из стандартных шкал
для выдачи каждому испытуемому тестового балла и протокола его
оценок по заданиям теста.

Вторая форма компьютерного тестирования предполагает
автоматизированную генерацию вариантов теста, осуществляемую с
помощью инструментальных средств. Варианты создаются перед экзаменом
или непосредственно во время его проведения из банка калиброванных
тестовых заданий с устойчивыми статистическими характеристиками.
Калибровка достигается благодаря длительной предварительной работе
по формированию бланка, параметры заданий которого получают на
репрезентативной выборке учащихся, как правило, на протяжении 3-4
лет с помощью бланковых тестов. Содержательная валидность и
параллельность вариантов обеспечиваются за счет строго
регламентированного отбора заданий каждого варианта в соответствии
со спецификацией теста.

Третья форма – компьютерное адаптивное тестирование – базируется на
специальных адаптивных тестах. В основе идей адаптивности лежат
соображения о том, что учащемуся бесполезно давать задания теста,
которые он выполнит наверняка правильно без малейших затруднений,
или гарантированно не справится в силу высокой трудности. Поэтому
предлагается оптимизировать трудность заданий, адаптируя ее к уровню
подготовленности каждого испытуемого, и сократить за счет исключения
части заданий длину теста.

Достоинства и недостатки компьютерного тестирования.

Компьютерное тестирование имеет определенные преимущества по
сравнению с традиционным бланковым тестирование, которые проявляются
особенно заметно при массовых проверках, например при проведении
национальных экзаменов типа ЕГЭ. Предъявление вариантов теста на
компьютере позволяет сэкономить средства, рекомендуемые обычно на
печать и транспортировку бланковых тестов.

Благодаря компьютерному тестированию можно повысить информационную
безопасность и предотвратить рассекречивание теста за счет высокой
скорости передачи информации и специальной защиты электронных файлов.
Упрощается также процедура подсчета результирующих баллов в тех
случаях, когда тест содержит только задания с выбором ответов.

Другие преимущества компьютерного тестирования проявляются в текущем
контроле, при самоконтроле и самоподготовке учащихся; благодаря
компьютеру можно незамедлительно выдать тестовый балл и принять
неотложные меры по коррекции усвоения нового материала на основе
анализа протоколов по результатам выполнения корректирующих и
диагностических тестов. Возможности педагогического контроля при
компьютерном тестировании значительно увеличивается за счет
расширения спектра измеряемых умений и навыков в инновационных типах
тестовых заданий, использующих многообразные возможности компьютера
при включении аудио- и видеофайлов, интерактивности, динамической
постановки проблем с помощью мультимедийных средств и др.

Благодаря компьютерном тестированию повышаются информационные
возможности процесса контроля, появляется возможность сбора
дополнительных данных о динамике прохождения теста отдельными
учащимися и для осуществления дифференциации пропущенных и не
доступных заданий теста.

Помимо неоспоримых достоинств компьютерное тестирование имеет ряд
недостатков, которые представлены на рис. 18.

Рис.18 Проблемы, возникающие при компьютерном тестировании

Типичные психологические и эмоциональные реакции учащихся на
компьютерном тестировании.
Обычно психологические и
эмоциональные реакции учащихся на компьютерное тестирование носят
позитивный характер. Учащимся нравится незамедлительная выдача
тестовых баллов, протокола тестирования с результатами по каждому
заданию, а также сам инновационный характер контроля в том случае,
когда привлекаются современные гипермедийные технологии по выдачи
теста. Динамическое мультимедийное сопровождение заданий на
компьютере, объединенное программными средствами для представления в
интерактивном режиме, по мнению учащихся, обеспечивает более точную
оценку знаний и умений, сильнее мотивирует к выполнению заданий по
сравнению с бланковыми тестами. Удобно также то, что вместо
заполнения специальных форм для ответов можно просто выбрать ответ
мышью. Если тестирование проходит в адаптивном режиме, то
сокращается время проведения экзамена и длина теста.

Негативные реакции обычно вызывают различные ограничения, которые
иногда накладываются при выдачи заданий в компьютерном тестировании.
Например, фиксируется либо порядок предъявления заданий, либо
максимально возможное время выполнения каждого задания, после
истечения которого независимо от желания испытуемого появляется
следующее задание теста. В адаптивном тестировании учащиеся бывают
недовольны тем, что они не имеют возможности пропустить очередное
задание, просмотреть весь тест до начала работы над ним и изменить
ответы на предыдущие задания. Иногда школьники возражают против
компьютерного тестирования из-за трудностей, которые возникают при
выполнении и записи математических вычислений и т.д.

Воздействие на выполнение теста предшествующего уровня
компьютерного опыта.
Результаты зарубежных исследований
показали, что опыт работы на компьютерах, имеющийся у школьников, во
многих случаях значительно влияет на валидность результатов
выполнения теста. Если в тест включены задания без инноваций с
выбором ответов, то влияние опыта работы с компьютером на результаты
тестирования незначительно, поскольку от учащихся в таких заданиях
не требуется никаких сложных действий при выполнении теста. При
предъявлении на экране инновационных типов заданий, широко
использующих средства компьютерной графики, и другие новшества,
влияние предшествующего компьютерного опыта на тестовый балл
становится очень значительным. Таким образом, при компьютерном
тестировании необходимо учитывать уровень компьютерного уровня
учащихся, для которого предназначается тест.

Влияние интерфейса пользователя на результаты компьютерного
тестирования.
Интерфейс пользователя включает доступные
учащемуся функции и возможности движения по заданиям теста, элементы
размещения информации на экране, а также общий визуальный стиль
представления информации. Хороший интерфейс пользователя должен
обладать ясностью и корректностью логической последовательности
взаимодействия с экзаменуемым, отражая общие принципы дизайна
графической информации. Чем более продуман интерфейс, тем меньше
внимания учащийся на него обращает, сосредоточивая все свои усилия
на выполнении заданий теста.

2. Инновационные формы тестовых
заданий при компьютерном

тестировании.

Цели разработки инновационных заданий
в компьютерном тес­тировании

.
Инновационные задания, использующие возможности компьютерного
тестирования, на сегодняшний день являются наи­более перспективным
направлением развития автоматизации пе­дагогических измерений.
Основной причиной этого является боль­шой потенциал инновационных
заданий для повышения инфор­мативности педагогических измерений и
увеличения содержатель­ной валидности тестов.

Основная цель разработки инновационных
заданий для компь­ютерного тестирования состоит в оценивании тех
когнитивных умений, функциональной грамотности и коммуникативных
уме­ний, которые остаются не выявленными при традиционном кон­троле,
или использовании бланковых тестов.

Предметом оценивания при инновациях может
быть уровень аналитико-синтетической деятельности обучаемого,
скорость обоб­щения новой информации, гибкость мыслительного
процесса и многие другие показатели умственной деятельности,
сформировавшиеся в процессе обучения и не поддающиеся оцениванию с
помощью обычных тестов.

Возможности инновационных задании в
компьютерном тестиро­вании.

В
использовании инновационных заданий можно выделить два аспекта:
дидактический и психолого-педагогический. Первый предполагает
развернутую содержательную интерпретацию резуль­татов тестирования в
контексте освоенных на момент предъявле­ния теста когнитивных,
учебных и общеучебных умений, а
вто­рой позволяет оценить
уровень развития мыслительных процес­сов у учащегося и выявить
особенности усвоения им новых зна­ний. Большинство инновационных
заданий, разработанных к на­стоящему времени, обеспечивают
совершенствование измерений в обоих направлениях. Таким образом,
инновационные задания позволяют расширить возможности самого
педагогического изме­рения за счет получения результатов в новых,
недоступных ранее направлениях оценивания качества подготовленности
учащихся. Например, для оценивания уровня сформированности
функцио­нальной грамотности экзаменующимся, можно предложить
отры­вок текста, в котором есть ошибки, а затем попросить
идентифи­цировать их и исправить путем перепечатывания разделов
текста.

Инновационные задания способствуют
сокращению влияния слу­чайного угадывания за. счет увеличения числа
возможных ответов без нарастания громоздкости заданий теста.
Например, при оцени­вании понимания прочитанного текста можно
попросить учащего­ся выбрать ключевое предложение в тексте и указать
на него щелч­ком мыши. Таким образом, каждое предложение в текстовом
от­рывке становится опцией для выбора вместо 4-5 ответов в
тради­ционных заданиях с готовыми ответами. Для совершенствования
формы заданий используют сложный рисунок, динамические эле­менты,
включая изображения, мультипликацию или видео; тем самым сокращается
время чтения условия. Расширение возможно­стей тестирования
происходит при включении звука, что позволя­ет вести диалог с
учащимся, оценивать фонетические особенности его произношения при
тестировании по иностранному языку, про­верять, правильность
интерпретации различных звуков.

Основные направления инноваций при
разработке заданий.

Ин­новации
при разработке заданий для компьютерного тестирова­ния охватывают
пять связанных между собой направлений. К ним относятся: форма
задания, действия испытуемого при ответе, уро­вень использования
мультимедийных технологий, уровень интер­активности и методика
подсчета баллов.

Нововведения в форме задания включают
визуальный и звуко­вой информационные ряды или их сочетание.
Визуальная инфор­мация может носить реалистический (фото, кино) и
синтезиро­ванный (рисунок, анимация) характер. Тип информации в
соче­тании с тестовой формой определяет формат ответа, выбираемого
или создаваемого экзаменующимся. При использовании фото­графий или
рисунков информация, содержащаяся в тестовых заданиях, носит
статический характер. Кино, отражающее реаль­ный мир, и анимация
вносят динамику в выполнение, теста.

Действия учащегося при ответе на задания
зависят от тех ин­новационных средств, которые включены в тест. При
включении в задания звуковой информации, предполагающей голосовой
от­вет учащегося, для ответа используются клавиатура, мышь или
микрофон. Значительное место при ответах отводится интерак­тивным
процессам. Интерактивный режим работы учащихся при компьютерном
тестировании означает поочередную выдачу аудио­визуальной
информации, при которой каждое новое высказыва­ние со стороны
учащегося или компьютера строится с учетом пре­дыдущей информации с
той и другой стороны. При организаций интерактивного режима в
компьютерном тестировании использу­ется в основном экранное меню, в
котором учащийся для ответа на тестовые задания выбирает, создает
или перемещает объекты — компоненты ответа. Реже в интерактивном
режиме применяют голосовой ввод ответа.

В целом уровень интерактивности,
обеспеченный в компью­терном тестировании, характеризует степень, в
которой опреде­ленная форма задания реагирует или отвечает на ввод
информа­ции со стороны экзаменующегося. Этот уровень варьируется от
простейшего случая, когда совершается один шаг, до сложных,
многошаговых заданий с разветвлением после каждого очередно­го
ответа ученика.

Сравнительная характеристика
инновационных форм заданий при компьютерном тестировании для
различных целей совершен­ствования педагогического измерения
приведена в табл. 5.

Проблемы, возникающие при
использовании заданий повышен­ной трудности в компьютерном
тестировании.

Задания
повышен­ной трудности всегда требуют больше времени для ответов вне
зависимости от того, предъявляются ли они с помощью компью­терного
моделирования виртуальной реальности, имеют ли фор­му лабораторной
работы, эссе или используют мультимедийные технологии. Из-за
временных затрат число сложных заданий дол­жно быть незначительно —
не более 10-15 %, в отдельных случа­ях — 20-25%. Многообразие
звуковых и зрительных образов в компьютерном тестировании приводит к
возникновению у школь­ников усталости, поэтому при включении в тест
даже небольшого количества трудных инновационных заданий приходится,
значи­тельно уменьшать длину теста, что негативно сказывается на
со­держательной валидности, надежности и информационной
без­опасности педагогического измерения.

Несмотря на преимущества инновационных
форм заданий, предъявляемых с помощью компьютера, к ним нужно
относиться с осторожностью, тщательно анализировать их адекватность
це­лям измерения и уместность в тесте. Обычно инновационные за­дания
высокой трудности выделяют в отдельный блок и помеща­ют в конце
теста* Их выполнение не должно отнимать времени у наиболее слабых
учащихся, которые, скорее всего, не дойдут до конца теста.

Таблица 5

Сравнительная характеристика
инновационных форм заданий при компьютерном тестировании

Цель совершенствования педагогического измерения	Характеристика формы ответа	Основные направления инноваций	Характеристика трудности Задания
Снизить эффект угадывания	Ответ числовой (или текстовый), конст­руируемый учащим­ся, вводе клавиату­ры или голосовой через микрофон	Использование формы задания с конструируе­мым ответом	Обычно высокая
Повысить содержательную валидность	Ответ выбирается мышью на графиче­ском изображении, используется обыч­ное меню или гипер­текст	Использование аудиовизуально-го ряда. Включение мультиме­диа без интерактивности	Низкая или средняя
Обеспечить повышение конструктной и содержательной валидности	Ответ выбирается мышью на графиче­ском изображении, запрашивается допол­нительная информа­ция, используется гипертекст	Использование мультимедиа для моделирования естественной ок­ружающей сре­ды и действий пользователя в ней. Представле­ние объектов с помощью анима­ции вне режима интерактивности	Средняя или высокая
Расширить возможность измерения ин­теллектуаль­ных умений, когнитивных навыков	Ответ осуществляется перемещением объек­тов на экране и конст­руируется учащимся, используется клавиа­тура, левая и правая кнопки мыши. Воз­можен интерактив	Использование формы задания с конструируе­мым ответом и интерактивом простейшего уровня	Средняя или высокая
Обеспечить возможность оценивания творческих и практических умений	При конструирова­нии ответа учащимся обязательно исполь- зуется двухступенча­тый или многосту­пенчатый разветв­ляющийся интерактивный переход к различным этапам выполнения задания	Использование формы задания с конструируе­мым ответом и интерактивом сложного уровня	Средняя или высокая
Обеспечить по­вышение кон­структной и содержательной валидности; расширить охват содержа­ния; реализо­вать возможность измерения коммуникативных и интеллектуальных уме­ний, когнитив­ных навыков	Ответ моделируется учащимся пошагово с использованием многоступенчатого разветвляющегося интерактивного пе­рехода к различным этапам выполнения задания и виртуаль­ной реальности	Действия ис­пытуемого при ответе	Высокая

Подсчет баллов учащихся.


Если в компьютерном тестировании не используются мультимедийные и
интерактивные технологии, то подсчет первичных баллов учащихся
проводится традиционно путем суммирования оценок по отдельным
заданиям. Привлечение мультимедийных технологий приводит к
многомерности результа­тов выполнения теста, поскольку оценивание
целого спектра твор­ческих, коммуникативных, общепредметных и других
умений с помощью инновационных форм заданий всегда связано с
несколь­кими переменными измерения. Появление интерактивности еще
больше усложняет процедуру подсчета баллов учащихся, она ста­новится
зависимой от ответа экзаменующегося на каждом шаге вы­полнения
заданий теста и требует политомических оценок.

Проверка результатов выполнения заданий с
конструируемым регламентированным ответом осуществляется путем
сравнения ответа экзаменующегося с эталоном, хранящимся в памяти
компьютера, и включает различные синонимы правильного, ответа с
приемлемыми орфографическими ошибками.

Намного сложнее автоматизированный
подсчет баллов в зада­ниях со свободно конструируемым ответом (типа
эссе) в гумани­тарных дисциплинах. На сегодняшний день зарубежными
тестоло
гами разработаны
специальные программы для автоматизирован­ной проверки эссе.
Критерии оценивания в этих программах до­вольно разнообразны: от
рассмотрения поверхностных характе­ристик эссе типа длины и степени
полноты ответа до сложных случаев анализа с использованием
достижений компьютерной лингвистики. Обычно все эти различные
автоматизированные про­граммы подсчета баллов требуют участия
экспертов только на момент начала работы, когда квалифицированным
педагогам не­обходимо «обучить» компьютерную программу оцениванию
лю­бых развернутых ответов.

Тесты фиксированной длины,
компьютерная генерация параллельных вариантов теста

Основные компоненты процесса
автоматизированной компонов­ки теста для компьютерного предъявления.

Процесс автоматизи­рованной
компоновки теста в том случае, когда он. происходит заранее и не в
адаптивном режиме, включает сборку (генерацию) параллельных
вариантов, выбор правила подсчета баллов тести­руемых учащихся и
коррекцию вариантов для выполнения требо­ваний теории педагогических
измерений.

Неизбежные

различия по трудности вариантов,
возникающие вследствие существования ошибок измерения, устраняются
пос­ле тестирования путем выравнивания шкал, получаемых при
под­счете тестовых баллов по отдельным вариантам теста. К числу
со­путствующих вопросов, решение которых также необходимо при
автоматизированной компоновке теста, относится работа по на­полнению
банка тестовых заданий и оцениванию информацион­ной безопасности
тестирования.

Компьютерная генерация параллельных
вариантов теста фикси­рованной длины.


Автоматизированная сборка теста с фиксирован­ным числом, заданий
предполагает наличие установленной длины теста, его спецификации и
банка
калиброванных заданий, В
рабо­тоспособный банк, поддерживающий генерацию многовариант­ного
теста, должны входить фреймы заданий различной трудно­сти по каждому
содержательному элементу с устойчивыми оцен­ками параметров. С
помощью специального программно-инстру­ментального, обеспечения
получается аналог традиционного блан­кового теста, готовый к
предъявлению спустя несколько минут от начала генерации и
обеспечивающий высокое качество педагоги­ческих измерений.

Метод автоматизированной компоновки теста
для компьютер­ного предъявления в
режиме
offline

(без использования локаль­ных

компьютерных сетей или Интернета) или в режиме

online

(с использованием локальных компьютерных сетей или Интернета)
называют автоматизированным тестовым дизайном.
Целью дизай­на
является формирование вариантов теста, удовлетворяющих целому ряду
условий, к которым относятся: число заданий, струк­тура содержания,
частота выбора заданий в варианты, а также ряд требований,
обеспечивающих генерацию параллельных вариантов теста.

Технология компоновки вариантов должна
поддерживать сис­тематический контроль за. частотой включения
каждого задания из банка в тест. Количество одинаковых заданий в
параллельных вариантах, используемых для выравнивания шкал по
вариантам, не должно превышать 15-20 %. Для контроля частоты
включения задания в варианты в качестве ограничения вводится
максимально
возможный процент
выбора каждого задания из банка. При его до­стижении задание
перестает использоваться в дальнейших проце­дурах генерации теста.

Обычно многочисленные параллельные или
квазипараллель­ные
варианты теста
создаются в режиме

offline
для последующего
предъявления в режиме

online
,
в том числе при интерактивном

взаимодействии с обучающимися . Дня расширения коммуни­кативных
возможностей компьютерного контроля в

real time

ре­комендуется, использование адаптивного тестирования:,
обеспе­чивающего пошаговую

оптимизацию подбора-трудности заданий при генерации адаптивного
теста (см. раздел 8.4).

3. Компьютерное адаптивное
тестирование

Адаптивное тестирование и его
возможности.

Появление
адап­тивного тестирования было вызвано стремлением к повышению
эффективности педагогических измерений, которая, как прави­ло,
связывалась с уменьшением числа заданий, времени, стоимо­сти
тестирования, а также с повышением точности оценок уча­щихся. В
основе адаптивного подхода лежит индивидуализация процедуры отбора
заданий теста, которая за счет оптимизации трудности заданий
применительно к уровню подготовленности обучаемых обеспечивает
генерацию эффективных тестов .

Оптимизация трудности заданий обычно
проводится пошаго­во. Если учащийся выполняет задание, верно, то
затем ему дается более трудное задание. При неправильном
выполнении задания совершается отход назад к более легким заданиям
банка. При не­выполнении трех заданий подряд процесс
останавливается и спе­циальными методами (чаще всего с помощью
теорий
IRT
)
опре­деляется балл учащегося за выполненные задания по
сформиро­ванному специально для него адаптивному тесту. Таким
образом, в компьютерном адаптивном предъявлении число тестовых
зада­ний и их трудность индивидуально подбираются для каждого
эк­заменующегося на основании его ответов, а индивидуальная
со­вокупность заданий образует адаптивный тест. Адаптивные тесты в
группе испытуемых состоят в основном из разных заданий и различаются
по количеству и трудности заданий тем сильнее, чем больше разброс
среди испытуемых тестируемой группы по подго­товленности.

Получить одновременный прирост
эффективности измерений по всем критериям невозможно, поэтому обычно
при организа­ции адаптивного тестирования на первый план выходит
один; в лучшем случае, два критерия. Например, в одних случаях при
экспресс-диагностике в адаптивном режиме наибольшее внима­ние
уделяется минимизации времени испытания и количеству предъявляемых
заданий, а вопросы точности оценок отходят на второй план. В других
случаях приоритетной может быть точность измерения и тестирование
каждого испытуемого продолжается до тех Нор, пока не достигается
запланированная минимальная ошиб­ка измерения.

На длине адаптивного теста существенно
сказывается качество структуры знаний учащихся. Обычно испытуемые с
четкой струк­турой знаний выполняют задания нарастающей трудности,
уточ­няя с каждым очередным верно выполненным заданием оценку
подготовленности. Они выполняют небольшое число заданий адап­тивного
теста и быстро доходят до порога своей компетентности. Учащиеся с
нечеткой структурой знаний, у которых чередуются верные и неверные
ответы, получают колеблющиеся по трудно­сти задания. Процесс
тестирования затягивается, поскольку при скачкообразном изменении
трудности заданий не происходит пошагового нарастания точности
измерения и число заданий, адап­тированных по трудности, нередко
оказывается даже большим, чем в обычном, традиционном тесте.

Преимущества адаптивного тестирования.


К числу важных пре­имуществ компьютеризованного адаптивного
тестирования мож­но отнести:

Высокую эффективность;

Высокий уровень секретности;

Индивидуализацию темпа выполнения
теста;

Высокий уровень мотивации к тестированию
у наиболее сла­бых обучающихся за счет исключения из процесса
предъявления излишне трудных заданий;

Сообщение результата в интервальной
шкале тестовых баллов каждому испытуемому незамедлительно, сразу
после окончания его работы над индивидуально подобранным набором
заданий в адаптивном тесте.

Стратегии адаптивного тестирования.


Стратегии предъявления тестовых заданий в адаптивном тестировании
можно разделить на двухшаговые и многошаговые, сообразно которым
используется различная технология формирования адаптивных тестов.
Двухшаговая стратегия предполагает наличие двух этапов. На первом
этапе всем испытуемым выдается одинаковый входной тест, цель
которого — осуществление предварительной дифференциации уча­щихся
вдоль оси переменной измерения. По результатам диффе­ренциации на
втором этапе организуется адаптивный ре­жим и строятся адаптивные
тесты. :

В результате развития теории

IRT
,
обеспечивающей единую интервальную шкалу для оценок параметров
испытуемых и труд­ности заданий теста, появилась возможность
по-новому осуще­ствить оптимизацию процедуры отбора заданий для
моделирова­ния эффективных адаптивных тестов: Стали развиваться
многоша­говые стратегии адаптивного тестирования, в рамках которых в
процессе выполнения наборов заданий каждый испытуемый дви­жется по
своей индивидуальной траектории.

Многошаговые стратегии адаптивного
тестирования подразде­ляются на фиксировано-ветвящиеся
и
варьирующе-ветвящиеся
в за­висимости от того, как конструируются
многошаговые адаптив­ные тесты. Если один и тот же набор заданий с
их фиксирован­ным расположением на оси трудности используется для
всех ис­пытуемых, но каждый учащийся движется по набору заданий
индивидуальным путем в зависимости от результатов выполнения
очередного задания, то стратегия адаптивного тестирования является
фиксировано-ветвящейся.

Заданий по трудности в наборе заданий
обычно располагают на равном расстоянии друг от друга или выбирают
убывающий шаг сообразно нарастанию трудности, что позволяет
подстроить темп тестирования под испытуемого, поскольку по мере
выполнения заданий у него нарастает утомление и снижается мотива­ция
к выполнению заданий теста.

Варьирующе-ветвящаяся стратегия
адаптивного тестирования предполагает отбор заданий непосредственно
из банка по опреде­ленным алгоритмам, которые прогнозируют
оптимальную труд­ность последующего задания по результатам
выполнения испыту­емым предыдущего задания адаптивного теста. Таким
образом, шаг за шагом из Отдельных заданий получается адаптивный
тест. В нем варьирует не только трудность, но и шаг, определяемый
разно­стью трудностей двух соседних заданий адаптивного теста.
Отли­чительной особенностью варьирующей ветвящейся стратегии
адаптивного тестирования является пошаговая переоценка уровня
под­готовленности испытуемого, предпринимаемая после каждого

выполнения очередного задания теста.

Рис. 19. Алгоритм варьирующего
многошагового тестирования

Алгоритм, реализующий варьирующую
стратегию адаптивного тестирования, носит циклический характер и
имеет вид, пред­ставленный на рис. 19.

Вход и выход из адаптивного
тестирования

. Выбор начальных
оценок для входа в адаптивное тестирование осуществляется
по-разному, в зависимости от вида стратегии и имеющихся
техноло­гических возможностей при генерации адаптивных тестов. Один
из методов определения начальных оценок основан на выдаче
испы­туемым перед началом адаптивного тестирования входного
протеста. В протест обычно включают 5-10 заданий из разлитых
разде­лов содержания, охватывающих по трудности весь диапазон
пред­полагаемого расположения тестируемой выборки учащихся на оси
переменной измерения. Иногда входное тестирование заменяют
про­цессом самоадаптации, в котором испытуемому предлагают набор
заданий возрастающей трудности. Он выполняет задание, отража­ющее
уровень его знаний и умений.

Для выхода из режима тестирования либо
вводят ограничения по времени или по числу заданий, либо задаются
планируемой точностью измерений. Ориентация на точность при
организации адаптивных циклов порождает многообразие индивидуальных
тра­екторий испытуемых, которые можно визуализировать в виде
ло­маных линий. Вершины ломаной линии соответствуют отдельным
заданиям адаптивного теста, длина звена определяется варьирую­щим
шагом, размер которого равен разности оценок параметра трудности
двух смежных заданий адаптивного теста. Очевидно, что чем меньше
длина ломаной, тем лучше структура знаний учаще­гося и эффективнее
подобраны по трудности задания адаптивно­го теста (рис. 20).

Рис. 20. Визуализация индивидуальных
траекторий испытуемых: в круж­ках — номера заданий

На рис. 20 изображены траектории
адаптивного тестирования трех учащихся, начинавших свой вход в
адаптивный режим по результатам выполнения протеста. Чем выше
расположена вер­шина ломаной, тем труднее было первое задание
адаптивного теста. На момент входа в протесте самый высокий
результат по­казал первый учащийся, поэтому он начинает адаптивное
тес­тирование с более трудного задания. Для удобства обсуждения
ре­зультатов визуализации на рисунке приводятся непересекающие­ся
траектории. Над ломаными ставится «плюс» в тех случаях, ког­да
испытуемый выполнил задание верно, или «минус», если ис­пытуемый
выполнил задание неверно. В качестве критерия окон­чания
тестирования выбрано простое правило: тестирование пре­кращается,
если учащимся подряд выполнены, верно, или неверно три задания
адаптивного теста.

Несмотря на высокий начальный результат,
первый учащий­ся, по-видимому, обладает плохо структурированными
знания­ми, что следует из чередования верных и неверных ответов.
Тести­рование первого ученика прекращается, если ему удается
спра­виться с идущими подряд тремя заданиями адаптивного теста.
Траектория ответов второго учащегося намного короче благодаря хорошо
структурированным знаниям. После неудачи при выполнении первого
задания он все делает верно, и поэтому быстро за­канчивает
адаптивный тест. Третий учащийся самый слабый. Он начинает
тестирование с наиболее легкого задания, с которым не справляется.
Второе, более легкое задание он также выполняет неверно. Наконец,
после трех следующих подряд неправильных ответов он выходит из
адаптивного теста.

Представленный рисунок является
идеализацией, иллюстри­рующей реальные ситуации варьирующих
многошаговых страте­гий генерации адаптивных тестов, в которых после
выполнения каждого задания осуществляется пересчет текущей оценки
уровня подготовленности для выбора очередного задания адаптивного
теста.

Надежность, валидность и длина теста
ори адаптивном тестиро­вании.


Так же как и при традиционном тестировании, отбор зада­ний в
адаптивные тесты осуществляется в соответствии со специ­фикацией
теста. Оптимизируя трудность; можно лишь уменьшить число
предъявляемых заданий по каждому разделу и сохранить при этом для
каждого испытуемого содержательный план теста. Таким образом,
адаптивное тестирование вне зависимости от стра­тегии предъявления
заданий и их числа должно обеспечивать вы­сокую содержательную
валидность каждого генерируемого адап­тивного теста.

Надежность в адаптивном тестировании
зависит от совокупно­сти факторов. К ним относятся: число заданий,
наличие система­тического контроля за частотой выбора заданий банка
при гене­рации адаптивного теста. На надежность также влияют
характери­стики банка тестовых заданий, связанные с качеством
измерений (устойчивость и диапазон вариации оценок трудности) и
каче­ством входного (стартового) контроля.

Адаптивный алгоритм организуется так, что
после каждого очередного предъявления задания проверяется разность
между полученной и запланированной точностью измерений. По
дости­жению запланированной точности алгоритм подбора заданий
при­останавливается, достигается ожидаемая надежность адаптивного
теста.

5.

Online
-тестирование,
его применение в дистанционном

обучении

Уровни интерактивности

.
В самом простом понимании интерак­тивного режима обучения учащийся
имеет возможность получать (читать, смотреть, слушать) только ту
информацию, которую он выбирает для усвоения с использованием
компьютера. Усложне­ние возможностей и технологии осуществления
интерактивного режима приводит к моделированию окружающего мира и
поведе­ния объектов в нем, позволяя имитировать реальность.

Конечно, на сегодняшний день, в силу
многих причин, в обу­чении используются далеко не все возможности
интерактивного режима. В частности, по мнению А. Г: Шмелева,
являющегося круп­нейшим специалистом в России по применению
интерактивных технологий в образовательном и психологическом
тестировании (система «Телетестинг»), в современном Интернете
преобладают неинтерактивные формы преподнесения образовательной
инфор­мации .

Простейший интерактивный режим в
локальной сети и в Интер­нете.


В соответствии с классификацией компьютерных сетей на локальные и
глобальные простейший интерактивный режим,орга­низуется в пределах
одной комнаты, или учебного заведения либо с использованием
Интернета. Как правило, интерактивность ос­новывается на асинхронной
коммуникационной связи, когда ре­акция педагога на результаты
тестирования носит отсроченный характер из-за времени, которое
необходимо на проверку теста в автоматизированном режиме и подсчет
баллов учащихся по ре­зультатам его выполнения.

В первом случае, когда в локальную сеть
объединено несколько десятков или сотен компьютеров, специальная
программа-реали­затор — инструментальная оболочка — обеспечивает
выдачу зада­ний

online
-теста для всей группы
тестируемых, обычно в индиви­дуальном временном.режиме. На экране
каждого компьютера из локальной сети появляется задание одного из
параллельных вари­антов, теста. При обеспечении режима
информационной безопас­ности для всей группы учащихся может
использоваться только один вариант теста.

Выполнение

online
-теста
с использованием Интернета не име­ет принципиальных отличий от
случая применения локальной сети при простейшем уровне
интерактивности без адаптивного режи­ма, когда все учащиеся
выполняют одинаковые варианты теста. Задания в подавляющем
большинстве требуют от учащихся выбо­ра одного или нескольких
правильных ответов с помощью таких известных диалоговых объектов,
как «селекторные кнопки» (radio
—
buttons
).
Подсчет тестовых баллов производится путем сличения ответов учащихся
с ключом и сводится, чаше всего, к простому суммированию. Передача
итогового балла по тесту может быть осуществлена с помощью
электронной почты.

Время, затраченное на предъявление
результата тестирования, определяется длительностью пересылки
(обычно от нескольких секунд до нескольких часов) и тем временным
промежутком, который пройдет до момента, когда учащийся прочтет
пришед­шую ему почту. В отдельных случаях, когда учащемуся требуется
документальное подтверждение баллов, результаты тестирования могут
быть доставлены

offline
с помощью записи на
носитель ин­формации. Таким образом, низкий уровень интерактивности
вполне пригоден для итогового тестирования вне адаптивного режима,
когда учащийся должен работать без помощи педагога, а получе­ние
результатов может носить отсроченный по времени характер.

Средний уровень интерактивности в
online
-тестировании.

В теку­щем контроле при дистанционном обучении обычно реализуется
средний уровень интерактивности. В соответствии с возможностя­ми
синхронного обмена информацией в реальном времени с по­мощью
интернет-пейджеров учащемуся обеспечиваются помощь и консультации
педагога при выполнении заданий корректирую­щего и диагностического
тестов.

При среднем уровне интерактивности большое разнообразие
приобретают формы тестовых заданий. В частности у школьника
появляется возможность редактирования текста, представленного в
задании, с помощью введения новых предложений или замены одной части
текста на другую. В заданиях на установление пра­вильной
последовательности сразу после выбора испытуемым не­которого порядка
элементов компьютер отображает новую после­довательность на экране и
т.д. Если установлению синхронной связи не мешают временные пояса,
интерактив незамедлительно обеспечивает эффект «педагог рядом»,
благодаря которому при выполнении заданий текущего контроля ученик
получает помощь, оценку или подсказку педагога.

Высокий уровень интерактивности в
online
-тестировании.

Высо­кий уровень интерактивности обеспечивается в тех случаях, когда
при взаимодействии с педагогом используются звук и
видеоизоб­ражение, что требует значительных финансовых затрат, но
без труда позволяет идентифицировать личность учащегося,
выпол­няющего тест в дистанционном контроле.

С педагогической точки зрения высокому
уровню интерактив­ности отвечает адаптивное тестирование, включающее
разветв­ленные технологии оптимизации трудности заданий в
зависимо­сти от ответов учащегося на каждое предыдущее задание
адаптив­ного теста.

Преимуществами компьютерного тестирования являются:

• * Объективность. Исключается фактор субъективного подхода со стороны экзаменатора. Обработка результатов теста проводится через компьютер.
• * Валидность. Исключается фактор «лотереи» обычного экзамена, на котором может достаться «несчастливый билет» или задача — большое количество заданий теста охватывает весь объем материала того или иного предмета, что позволяет тестируемому шире проявить свой кругозор и не «провалиться» из-за случайного пробела в знаниях.
• * Простота. Тестовые вопросы конкретнее и лаконичнее обычных экзаменационных билетов и задач и не требуют развернутого ответа или обоснования — достаточно выбрать правильный ответ и установить соответствие.
• * Демократичность. Все тестируемые находятся в равных условиях, результаты тестирования прозрачны.
• * Массовость и кратковременность. Возможность за определенный установленный промежуток времени охватить итоговым контролем большое количество тестируемых. При этом оставшееся время использовать на изучение нового материала или закрепление старого.
• * Технологичность. Проведение экзамена в форме тестирования весьма технологично, так как позволяет использовать автоматическую обработку.
• * Достоверность информации об объеме усвоенного материала и об уровне его усвоения.
• * Надежность. Тестовая оценка однозначна и воспроизводима.
• * Дифференцирующая способность. За счет наличия заданий различного уровня трудности.
• * Реализация индивидуального подхода в обучении. Возможна индивидуальная проверка и самопроверка знаний учащихся.

Наряду с преимуществами у компьютерных методов есть и свои недостатки:

1) Общение человека с компьютером имеет свою специфику, и не все одинаково спокойно относятся к компьютерному тестированию. Например, если процедура тестирования затянется или содержание теста не заинтересует человека, положительный настрой может смениться противоположным: будут утомлять и раздражать однообразие и монотонность работы, «глупость» вопросов и заданий. Иногда негативное отношение к компьютерному тестированию бывает вызвано и отсутствием обратной связи. А когда тестируемый человек не получает обратной связи, возрастает вероятность ошибочных ответов (можно неверно понять инструкцию, перепутать клавиши для ответов и др.).

Были проведены специальные исследования, чтобы определить, как люди относятся к компьютерному тестированию. Оказалось, что у некоторых людей возникает так называемый эффект психологического барьера, а у некоторых — эффект сверхдоверия. Бывает, человек вообще не способен справиться с заданием потому, что «боится» компьютера. Возможно и включение психологических защитных механизмов, связанных с нежеланием тестируемого раскрываться, стремлением избежать излишней откровенности или намеренным искажением результатов.

• 2) При компьютерном тестировании специалисты имеют дело только с полученными результатами. Они не видят тестируемого, не общаются с ним, а значит, не владеют о нем дополнительной информацией, не могут выяснить его действительный объем знаний.
• 3) Тестовый контроль не способствует развитию устной и письменной речи учащихся.
• 4) Широта охвата тем в тестировании имеет и обратную сторону. Учащийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы.
• 5) В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.

— 246.00 Кб

В наши дни существует много видов тестов,
поэтому дать универсальное определение
для всех этих видов вряд ли можно.

Анализ литературы показал, что
существует разные формулировки
понятия «тест». Но независимо от вида,
назначения я бы дала следующее определение
теста.

Тест – это один из методов
контроля знаний, который позволяет
учителю установить фактические,
теоретические знания учащихся
и оценить их за достаточно
короткое время. Необходимо отметить,
что тест не учитывает индивидуальные
особенности человека.

1. Специфика
   компьютерного тестирования
   и его формы
   
   

С
начала XXI века в образовании стало широко
применяться компьютерное тестирование
(КТ), при котором предъявление тестов,
оценивание результатов учащихся и выдача
им результатов осуществляется с помощью
ПК. Однако обращаться к компьютерному
тестированию следует в тех случаях, когда
есть настоятельная потребность в отказе
от традиционных бланковых тестов: при
проведении экзаменов для детей с ограниченными
возможностями, имеющих серьезные нарушения
зрения или слуха и др. Этап генерации
тестов технологически может протекать
по-разному, в том числе путем ввода в компьютер
бланковых тестов. На сегодняшний день
по компьютерному тестированию имеются
многочисленные публикации, разработаны
программно-инструментальные средства
для генерации и предъявления тестов.

Компьютерное тестирование может
проводиться в различных формах,
различающихся по технологии
объединения заданий в тест. Часть из них
пока не получили специального названия
в литературе по тестовой проблематике.

Первая форма — самая простая.
Готовый тест, стандартизованный
или предназначенный для текущего
контроля, вводится в специальную
оболочку, функции которой могут
различаться по степени полноты. Обычно
при итоговом тестировании оболочка позволяет
предъявлять задания на экране, оценивать
результаты их выполнения, формировать
матрицу результатов тестирования, обрабатывать
ее и шкалировать первичные баллы испытуемых
путем перевода в одну из стандартных
шкал, чтобы каждый испытуемый получил
свой балл и протокол оценок по заданиям
теста.

Вторая форма компьютерного тестирования
предполагает автоматизированную генерацию
вариантов теста, осуществляемую с помощью
инструментальных средств. Варианты создаются
перед экзаменом или непосредственно
во время его проведения из банка калиброванных
тестовых заданий с устойчивыми статистическими
характеристиками. Калибровка достигается
благодаря длительной предварительной
работе по формированию банка, параметры
заданий которого получают на репрезентативной
выборке учащихся, как правило, на протяжении
3 — 4 лет с помощью бланковых тестов. Содержательная
валидность и параллельность вариантов
обеспечиваются за счет строго регламентированного
отбора заданий каждого варианта в соответствии
со спецификацией теста.

Третья форма — компьютерное адаптивное
тестирование — базируется на специальных
адаптивных тестах. В основе идей адаптивности
лежат соображения о том, что учащемуся
бесполезно давать задания теста, которые
он выполнит наверняка правильно без малейших
затруднений или гарантированно не справится
с ними в силу высокой трудности. Поэтому
предлагается оптимизировать трудность
заданий, адаптируя ее к уровню подготовленности
каждого испытуемого, и сократить за счет
исключения части заданий длину теста.

При
проведении компьютерного тестирования
необходимо учитывать психологические
и эмоциональные реакции учащихся.
Негативные реакции обычно вызывают различные
ограничения, которые иногда накладываются
при выдаче заданий в компьютерном тестировании.
Например, фиксируется либо порядок предъявления
заданий, либо максимально возможное время
выполнения каждого задания, после истечения
которого независимо от желания испытуемого
появляется следующее задание теста. Учащиеся
при адаптивном тестировании бывают недовольны
тем, что не имеют возможности пропустить
очередное задание, просмотреть весь тест
до начала работы над ним и изменить ответы
на предыдущие задания. Иногда школьники
возражают против компьютерного тестирования
из-за трудностей, которые возникают при
выполнении и записи математических вычислений
и т.д.

Для
снижения влияния опыта работы учащихся
с компьютером на тестовые баллы
рекомендуется включать в оболочки для
компьютерного тестирования специальные
инструкции и тренировочные упражнения
для каждой инновационной формы заданий.
Необходимо также предварительно ознакомить
учащихся с интерфейсом программы, провести
репетиционное тестирование и выделить
в самостоятельные группы учащихся, не
имеющих достаточного опыта работы с ПК,
для того чтобы дополнительно обучить
их или дать им бланковый тест.

Таким
образом, компьютерное тестирование выступает
как инструмент управления учебным процессом,
как элемент обратной связи, который дает
возможность анализировать учебный процесс,
вносить в него коррективы, т.е. осуществлять
полноценное управление процессом обучения.
Постоянное использование компьютерных
тестов в качестве промежуточного контроля
успеваемости определяет учебный процесс
как систему непрерывного контроля и самоконтроля
учащихся, которая дает возможность учителю
получать «обратную связь», а учащимся
— возможность в течение всего обучения
отслеживать уровень своей подготовленности.

1. 
   Преимущества и недостатки
   компьютерного тестирования
   
   

Преимуществами
компьютерного тестирования являются:

Объективность. Исключается фактор
субъективного подхода со стороны
экзаменатора. Обработка результатов
теста проводится через компьютер.

Валидность. Исключается фактор
«лотереи» обычного экзамена, на котором
может достаться «несчастливый билет»
или задача — большое количество заданий
теста охватывает весь объем материала
того или иного предмета, что позволяет
тестируемому шире проявить свой кругозор
и не «провалиться» из-за случайного
пробела в знаниях.

Простота. Тестовые вопросы конкретнее
и лаконичнее обычных экзаменационных
билетов и задач и не требуют развернутого
ответа или обоснования – достаточно
выбрать правильный ответ и установить
соответствие.

Демократичность. Все тестируемые
находятся в равных условиях, результаты
тестирования прозрачны.

Массовость и кратковременность.
Возможность за определенный установленный
промежуток времени охватить итоговым
контролем большое количество тестируемых.
При этом оставшееся время использовать
на изучение нового материала или закрепление
старого.

Технологичность. Проведение экзамена
в форме тестирования весьма технологично,
так как позволяет использовать
автоматическую обработку.

Достоверность информации об объеме
усвоенного материала и об уровне его
усвоения.

Надежность. Тестовая оценка однозначна
и воспроизводима.

Дифференцирующая способность. За
счет наличия заданий различного
уровня трудности.

Реализация индивидуального
подхода в обучении. Возможна индивидуальная
проверка и самопроверка знаний учащихся.

Наряду
с преимуществами у компьютерных
методов есть и свои недостатки:

1) Общение человека с компьютером
имеет свою специфику, и не
все одинаково спокойно относятся к
компьютерному тестированию. Например,
если процедура тестирования затянется
или содержание теста не заинтересует
человека, положительный настрой может
смениться противоположным: будут утомлять
и раздражать однообразие и монотонность
работы, «глупость» вопросов и заданий.
Иногда негативное отношение к компьютерному
тестированию бывает вызвано и отсутствием
обратной связи. А когда тестируемый человек
не получает обратной связи, возрастает
вероятность ошибочных ответов (можно
неверно понять инструкцию, перепутать
клавиши для ответов и др.).

Были
проведены специальные исследования,
чтобы определить, как люди относятся
к компьютерному тестированию. Оказалось,
что у некоторых людей возникает так называемый
эффект психологического барьера, а у
некоторых – эффект сверхдоверия. Бывает,
человек вообще не способен справиться
с заданием потому, что «боится» компьютера.
Возможно и включение психологических
защитных механизмов, связанных с нежеланием
тестируемого раскрываться, стремлением
избежать излишней откровенности или
намеренным искажением результатов.

2) При компьютерном тестировании
специалисты имеют дело только
с полученными результатами. Они не
видят тестируемого, не общаются с ним,
а значит, не владеют о нем дополнительной
информацией, не могут выяснить его действительный
объем знаний.

3)
Тестовый контроль не способствует развитию
устной и письменной речи учащихся.

4)
Широта охвата тем в тестировании имеет
и обратную сторону. Учащийся при тестировании,
в отличие от устного или письменного
экзамена, не имеет достаточно времени
для сколько-нибудь глубокого анализа
темы.

5)В
тестировании присутствует элемент случайности.
Например, учащийся, не ответивший на простой
вопрос, может дать правильный ответ на
более сложный. Причиной этого может быть,
как случайная ошибка в первом вопросе,
так и угадывание ответа во втором. Это
искажает результаты теста и приводит
к необходимости учета вероятностной
составляющей при их анализе.

1. 
   Классификация видов
   компьютерных тестов
   
   

Очевидно,
что первоочередной задачей при
проведении проверки полученных знаний
должно быть определение целей контроля.
Так в Вузах в большей степени необходимо
проверять у обучающихся глубину знаний
учебных дисциплин, умение будущих специалистов
логически мыслить, сопоставлять различные
предметы и явления, делать правильные
выводы и принимать оптимальные решения.
Значит набор (база данных) контрольных
заданий должен максимально полно охватывать
учебную дисциплину, а тематическое их
разделение — позволять осуществлять в
процессе изучения предмета этапный контроль,
выявлять индивидуальные пробелы знаний
обучаемых, корректировать учебные программы
и т.п.

Важное
место при формировании базы заданий
занимает их формулировка. Как и
любое предложение, задания подразделяются
на явные и неявные, вопросительные
и утвердительные, суждения, мнения
и другие вопросы. От искусства преподавателя
зависит многообразие их форм, несущее
в себе богатство языка, обилие специальных
терминов. Использование подобных заданий
способствует повышению у обучающихся
умения логически мыслить, а также уровня
их общей культуры.

Другим
важным моментом является определение
правильности ответа обучаемого на предложенные
вопросы. Существуют различные варианты
ответов, закладываемые в программу. Предпочтительно,
чтобы студент «отвечал» компьютеру
как бы в устной форме, как преподавателю
(открытая форма ответа). Возможно, такие
экспертные системы на основе специально
разработанных баз знаний появятся в недалеком
будущем с внедрением ЭВМ пятого поколения.
Пока же некоторые специалисты приступили
к созданию баз знаний. Эта достаточно
интересная и сложная проблема имеет основной
недостаток, изначально присутствующий
в ней — субъективность системы, базирующейся
на оценках событий и явлений отдельными,
хотя и порой весьма авторитетными, специалистами.
Пожалуй, наиболее правильно будет в настоящее
время осваивать компьютерные системы
контроля на основе баз данных. В этом
случае обычно прибегают к различным готовым
формам ответов – шаблонам.
[
3
]

Широкое
распространение получила такая
форма ответов, когда отвечающему
предлагается заранее сформированный
набор ответов для выбора одного или нескольких,
являющихся, по его мнению, правильными
(форма закрытых ответов). Программа автоматически
оценивает правильность сделанного выбора.
В другом случае, контролируемый вводит
с клавиатуры некоторые формулировки
или отдельные слова, являющиеся ответом
на поставленный вопрос (форма полуоткрытых
ответов). На экране ЭВМ нет этих вариантов
ответов, но программа содержит максимально
возможный, по мнению ее авторов, набор
ответов. Считается, что в большинстве
случаев в программе имеются необходимые
модификации и она сможет, осуществив
сравнение, дать свое заключение о правильности
ответа. Имеются и другие варианты. Каждый
способ формирования ответа контролируемым
имеет свои достоинства и недостатки.
Здесь следует придерживаться поставленной
цели и выбирать наиболее подходящий для
ее реализации.

В
этой связи можно предложить использовать
единый набор вариантов ответов
для всех контрольных заданий
по теме. Формулировки должны носить общий
характер и способствовать выявлению
умения контролируемого логически мыслить,
что более важно и ценно, чем запоминание
отдельных фактографических данных. При
достаточном искусстве преподавателя
с помощью таким образом сформулированных
вариантов ответов возможно определение
знания и отдельных фактов, событий.

В
школах развитых стран внедрение
и совершенствование тестов шло
быстрыми темпами. Широкое распространение
получили диагностические тесты
школьной успеваемости, использующие
форму альтернативного выбора правильного
ответа из нескольких правдоподобных,
написания очень краткого ответа (заполнения
пропусков), дописывания букв, цифр, слов,
частей формул и т.п. С помощью этих несложных
заданий удается накапливать значительный
статистический материал, подвергать
его математической обработке, получать
объективные выводы в пределах тех задач,
которые предъявляются к тестовой проверке.
Тесты печатаются в виде сборников, прилагаются
к учебникам, распространяются на компьютерных
дискетах.
Преимущества и недостатки компьютерного тестирования…………..….9
Глава 2 Компьютерный контроль знаний……………………………………………12
2.1 Классификация видов компьютерных тестов………………………….…12
2.2 Требования, предъявляемые к системам компьютерного тестирования………………………………………………………………………………………15
2.3 Формирование тестовых заданий для компьютерного контроля знаний………………………………………………………………………………………19
2.4 Типы вопросов компьютерного контроля…………………………….…..24
Глава 3 Методика проведения компьютерного опроса учащихся…….. …………27
3.1 Методика проведения программированного опроса..…. .….…….……..27
3.2 Обработка результатов тестирования……………………………….….…28
Заключение……………………………………………………………………………..30
Список использованной литературы…………

Необходимость в оценке и проверке уровня и качества знаний возникает в любой деятельности человека. Проблема адекватности и валидности результатов теста становиться еще острее при дистанционном и повсеместном использовании информационных технологий для тестирования и проверки знаний студентов, школьников, преподавателей и других категорий людей, для которых результаты теста имеют важное личностное значение.

Контроль уровня знаний является важной составной частью процесса обучения. Он обеспечивает обратную связь в системе «обучаемый – педагог». Контроль знаний выполняет в учебном процессе контролирующую, обучающую, диагностическую, воспитательную, мотивирующую и другие функции.
Для управления процессом обучения на различных этапах, контролирующий специалист должен постоянно иметь сведения о том, как учащиеся воспринимают и усваивают учебный материал.

Контроль с точки зрения преподавателя – длительная и трудоемкая часть работы. Облегчить и систематизировать ее можно путем использования так называемых инструментальных программных средств. Проблема реализации связанных с контролем функции распадается на три направления – функции подготовки к контролю, функции проведения контроля и функции обеспечения обратной связи в процессе обучения. Набор инструментальных средств, связанных с логикой и идеей, может составлять инструментальную систему. Использования компьютерной инструментальной системы контроля выступает как средство реализации системы компьютерного контроля.

Проконтролировать деятельность учащихся можно при наличии специальных контролирующих тестов. Тесты представляют собой особого вида задания, позволяющие групповым способом оперативно проконтролировать степень усвоения знаний и приобретения умений и навыков учащимися на занятиях теоретического и производственного обучения, установить внутреннюю и внешнюю обратные связи, на основании которых учащиеся и преподаватель осуществляют функции управления процессом обучения. Тестирование давно уже появилось в педагогике как метод контроля знаний.

В настоящее время появляется множество компьютерных программ, служащих для проведения тестирования. Существует как множество продуктов (в том числе мультимедийных), с готовыми тестовыми заданиями, так и программы-оболочки для самостоятельного создания тестов. Существует ряд инструментальных программ, созданных отечественными и зарубежными специалистами. Разработанные на их основе компьютерные тесты обладают свойствами, присущими подобным системам: адаптивностью, открытостью, стандартностью, возможностью ее расширения и наращивания, способностью осуществлять индивидуальный и групповой контроль знаний студентов и др. Тестовая система за счет своей универсальности представляет собой автоматизированную поддержку самостоятельной работы студентов, позволяющую проводить контроль и самоконтроль уровня усвоения материала, выступать в роли тренажера при подготовке к экзаменам.

1.1

Сущность понятия «Тест»

Для понимания сущности тестов важно разобраться в системе понятий. Понятия вообще образуют основу любой науки, и в этом смысле деятельность по разработке и эффективному применению тестов не является исключением. Начиная с 30-х годов наука о тестах называлась буржуазной, все цели которой считались «реакционными». И хотя такие суждения теперь уже считаются неадекватными духу нашего времени, все-таки появляются публикации, где тестам по-прежнему пытаются отказать в научности.

Первые научные труды по теории тестов появилась в начале ХХ века, на стыке психологии, социологии, педагогики и других, так называемых поведенческих наук. Зарубежные психологи называют эту науку психометрикой, а педагоги – педагогическим измерением. Поскольку общего названия на русском языке пока нет, автор называл эту науку тестологией, которая может быть педагогической, психологической или социологической, в зависимости от того, где применяется и развивается. Незамутненная идеологией и политикой, интерпретация названия «тестология» проста и прозрачна: наука о тестах. В XXI веке название этой науки Аванэсов привёл в соответствие с её названием на Западе – Педагогические измерения.

Остановимся на определении понятия «тест», так как в настоящее время он применяется в широком диапазоне.

Тест (англ. test – проба, испытание, исследование) экспериментальный метод в психологии и педагогике, стандартизированные задания, позволяющие измерить психофизиологические и личностные характеристики, а также знания, умения и навыки испытуемого.

Тесты начали применяться в 1864 году Дж. Фишером в Великобритании для проверки знаний учащихся. Теоретические основы тестирования были разработаны английским психологом Ф. Гальтоном в 1883 году: применение серии одинаковых испытаний к большому числу индивидов, статистической обработке результатов, выделение эталонов оценки.

Термин «тест» впервые ввёл американский психолог Дж. Кеттел в 1890 году. Предложенная им серия из 50 тестов фактически представляла программу определения примитивных психофизиологических характеристик, базирующихся на наиболее разработанных в то время психологических экспериментах (например, измерение силы правой и левой рук посредством динамометра, скорости реакции на звук и т. д.).

Слово «тест» вызывает самые различные представления. Одни полагают, что это вопросы или задачи с одним готовым ответом, который надо угадать. Другие считают тест формой игры или забавы. Третьи пытаются истолковать это как перевод с английского слова «test», (проба, испытание, проверка). В общем, по этому вопросу нет единства мнений. Тем более что в учебниках педагогики об этом не пишут. А если где и пишут, то нередко написанное трудно понять. Не случайно размах мнений о тестах оказывается слишком широким: от суждений обыденного сознания до попыток научного истолкования сущности тестов.

В науке приводят существенные различия между простым переводом слова и смыслом понятия. Чаще всего мы встречаемся с упрощенным восприятием понятия «тест» как простой выбор одного ответа из нескольких предложенных к заданию. Многочисленные примеры таких, казалось бы, «тестов» легко найти в газетно-журнальной периодике, в различных конкурсах и в многочисленных книжных публикациях под названием «Тесты». Но и это часто оказываются не тесты, а нечто внешне похожее на них. Обычно это сборники вопросов и задач, рассчитанных на выбор одного правильного ответа из числа предложенных. Они только по внешней видимости похожи на настоящий тест. Различия в понимании сущности тестов порождают различия в отношении к тестам.

Какова формулировка понятие «ТЕСТ» в словарях?

Большой Энциклопедический словарь. Тест (англ. test – проба, испытание, исследование):

1) в психологии и педагогике – стандартизированные задания, по результатам выполнения которых судят о психофизиологических и личностных характеристиках, а также знаниях, умении и навыках испытуемого;

2) в физиологии и медицине – пробные воздействия на организм с целью изучения различных физиологических процессов в нем, а также для определения функционального состояния отдельных органов, тканей и организма в целом;

3) в вычислительной технике – контрольная задача для проверки правильности работы ЭВМ;

4) в распознавании образов множество функционально взаимозависимых признаков, характеризующих образ (класс).

Современный толковый словарь русского языка Т.Ф. Ефремовой. Тест:

1) задание, испытание стандартной формы, по результатам выполнения которых можно судить о способности, предрасположенности и т.п. кого-л. к чему-л., а также о знаниях, умениях испытуемого;

2) метод исследования, диагностики, заключающийся в пробном воздействии на организм (в физиологии, медицине);

3) вопросник, используемый при социологических исследованиях.

4) задача с известным решением, предназначенная для проверки правильности работы ЭВМ (в вычислительной технике).

Толковый словарь русского языка Д.Н. Ушакова. Тест (англ. test) (псих.):

Психотехническое испытание, состоящее в том, что испытуемому предлагается решить одну или несколько задач для определения тех или иных его способностей (памяти, внимания, быстроты реакции и т.д.).

В наши дни существует много видов тестов, поэтому дать универсальное определение для всех этих видов вряд ли можно.

Анализ литературы показал, что существует разные формулировки понятия «тест». Но независимо от вида, назначения я бы дала следующее определение теста:омпьютерное тестирование требование методика

Тест – это один из методов контроля знаний, который позволяет учителю установить фактические, теоретические знания учащихся и оценить их за достаточно короткое время. Необходимо отметить, что тест не учитывает индивидуальные особенности человека.

1.2 Специфика компьютерного тестирования и его формы

С начала XXI века в образовании стало широко применяться компьютерное тестирование (КТ), при котором предъявление тестов, оценивание результатов учащихся и выдача им результатов осуществляется с помощью ПК. Однако обращаться к компьютерному тестированию следует в тех случаях, когда есть настоятельная потребность в отказе от традиционных бланковых тестов: при проведении экзаменов для детей с ограниченными возможностями, имеющих серьезные нарушения зрения или слуха и др. Этап генерации тестов технологически может протекать по-разному, в том числе путем ввода в компьютер бланковых тестов. На сегодняшний день по компьютерному тестированию имеются многочисленные публикации, разработаны программно-инструментальные средства для генерации и предъявления тестов.

Компьютерное тестирование может проводиться в различных формах, различающихся по технологии объединения заданий в тест. Часть из них пока не получили специального названия в литературе по тестовой проблематике.

Первая форма – самая простая. Готовый тест, стандартизованный или предназначенный для текущего контроля, вводится в специальную оболочку, функции которой могут различаться по степени полноты. Обычно при итоговом тестировании оболочка позволяет предъявлять задания на экране, оценивать результаты их выполнения, формировать матрицу результатов тестирования, обрабатывать ее и шкалировать первичные баллы испытуемых путем перевода в одну из стандартных шкал, чтобы каждый испытуемый получил свой балл и протокол оценок по заданиям теста.

Вторая форма компьютерного тестирования предполагает автоматизированную генерацию вариантов теста, осуществляемую с помощью инструментальных средств. Варианты создаются перед экзаменом или непосредственно во время его проведения из банка калиброванных тестовых заданий с устойчивыми статистическими характеристиками. Калибровка достигается благодаря длительной предварительной работе по формированию банка, параметры заданий которого получают на репрезентативной выборке учащихся, как правило, на протяжении 3-4 лет с помощью бланковых тестов. Содержательная валидность и параллельность вариантов обеспечиваются за счет строго регламентированного отбора заданий каждого варианта в соответствии со спецификацией теста.

Третья форма – компьютерное адаптивное тестирование – базируется на специальных адаптивных тестах. В основе идей адаптивности лежат соображения о том, что учащемуся бесполезно давать задания теста, которые он выполнит наверняка правильно без малейших затруднений или гарантированно не справится с ними в силу высокой трудности. Поэтому предлагается оптимизировать трудность заданий, адаптируя ее к уровню подготовленности каждого испытуемого, и сократить за счет исключения части заданий длину теста.

При проведении компьютерного тестирования необходимо учитывать психологические и эмоциональные реакции учащихся.Негативные реакции обычно вызывают различные ограничения, которые иногда накладываются при выдаче заданий в компьютерном тестировании. Например, фиксируется либо порядок предъявления заданий, либо максимально возможное время выполнения каждого задания, по истечении которого независимо от желания испытуемого появляется следующее задание теста. Учащиеся при адаптивном тестировании бывают недовольны тем, что не имеют возможности пропустить очередное задание, просмотреть весь тест до начала работы над ним и изменить ответы на предыдущие задания. Иногда школьники возражают против компьютерного тестирования из-за трудностей, которые возникают при выполнении и записи математических вычислений и т.д.

Для снижения влияния опыта работы учащихся с компьютером на тестовые баллы рекомендуется включать в оболочки для компьютерного тестирования специальные инструкции и тренировочные упражнения для каждой инновационной формы заданий. Необходимо также предварительно ознакомить учащихся с интерфейсом программы, провести репетиционное тестирование и выделить в самостоятельные группы учащихся, не имеющих достаточного опыта работы с ПК, для того чтобы дополнительно обучить их или дать им бланковый тест.

Таким образом, компьютерное тестирование выступает как инструмент управления учебным процессом, как элемент обратной связи, который дает возможность анализировать учебный процесс, вносить в него коррективы, т.е. осуществлять полноценное управление процессом обучения. Постоянное использование компьютерных тестов в качестве промежуточного контроля успеваемости определяет учебный процесс как систему непрерывного контроля и самоконтроля учащихся, которая дает возможность учителю получать «обратную связь», а учащимся – возможность в течение всего обучения отслеживать уровень своей подготовленности.

1.3 Преимущества и недостатки компьютерного тестирования

Преимуществами компьютерного тестирования являются:

Объективность. Исключается фактор субъективного подхода со стороны экзаменатора. Обработка результатов теста проводится через компьютер;

Валидность. Исключается фактор «лотереи» обычного экзамена, на котором может достаться «несчастливый билет» или задача – большое количество заданий теста охватывает весь объем материала того или иного предмета, что позволяет тестируемому шире проявить свой кругозор и не «провалиться» из-за случайного пробела в знаниях;

Простота. Тестовые вопросы конкретнее и лаконичнее обычных экзаменационных билетов и задач и не требуют развернутого ответа или обоснования – достаточно выбрать правильный ответ и установить соответствие;

Демократичность. Все тестируемые находятся в равных условиях, результаты тестирования прозрачны;

Массовость и кратковременность. Возможность за определенный установленный промежуток времени охватить итоговым контролем большое количество тестируемых. При этом оставшееся время использовать на изучение нового материала или закрепление старого;

Технологичность. Проведение экзамена в форме тестирования весьма технологично, так как позволяет использовать автоматическую обработку;

Достоверность информации об объеме усвоенного материала и об уровне его усвоения;

Надежность. Тестовая оценка однозначна и воспроизводима;

Дифференцирующая способность. За счет наличия заданий различного уровня трудности;

Реализация индивидуального подхода в обучении. Возможна индивидуальная проверка и самопроверка знаний учащихся.

Наряду с преимуществами у компьютерных методов есть и свои недостатки:

Общение человека с компьютером имеет свою специфику, и не все одинаково спокойно относятся к компьютерному тестированию. Например, если процедура тестирования затянется или содержание теста не заинтересует человека, положительный настрой может смениться противоположным: будут утомлять и раздражать однообразие и монотонность работы, «глупость» вопросов и заданий. Иногда негативное отношение к компьютерному тестированию бывает вызвано и отсутствием обратной связи. А когда тестируемый человек не получает обратной связи, возрастает вероятность ошибочных ответов (можно неверно понять инструкцию, перепутать клавиши для ответов и др.).

Были проведены специальные исследования, чтобы определить, как люди относятся к компьютерному тестированию. Оказалось, что у некоторых людей возникает так называемый эффект психологического барьера, а у некоторых – эффект сверхдоверия. Бывает, человек вообще не способен справиться с заданием потому, что «боится» компьютера. Возможно и включение психологических защитных механизмов, связанных с нежеланием тестируемого раскрываться, стремлением избежать излишней откровенности или намеренным искажением результатов;

При компьютерном тестировании специалисты имеют дело только с полученными результатами. Они не видят тестируемого, не общаются с ним, а значит, не владеют о нем дополнительной информацией, не могут выяснить его действительный объем знаний;

Тестовый контроль не способствует развитию устной и письменной речи учащихся;

Широта охвата тем в тестировании имеет и обратную сторону. Учащийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы;

В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.

2.1 Классификация видов компьютерных тестов

Очевидно, что первоочередной задачей при проведении проверки полученных знаний должно быть определение целей контроля. Так в ВУЗах в большей степени необходимо проверять у обучающихся глубину знаний учебных дисциплин, умение будущих специалистов логически мыслить, сопоставлять различные предметы и явления, делать правильные выводы и принимать оптимальные решения. Значит набор (база данных) контрольных заданий должен максимально полно охватывать учебную дисциплину, а тематическое их разделение – позволять осуществлять в процессе изучения предмета этапный контроль, выявлять индивидуальные пробелы знаний обучаемых, корректировать учебные программы и т.п.

Важное место при формировании базы заданий занимает их формулировка. Как и любое предложение, задания подразделяются на явные и неявные, вопросительные и утвердительные, суждения, мнения и другие вопросы. От искусства преподавателя зависит многообразие их форм, несущее в себе богатство языка, обилие специальных терминов. Использование подобных заданий способствует повышению у обучающихся умения логически мыслить, а также уровня их общей культуры.

Другим важным моментом является определение правильности ответа обучаемого на предложенные вопросы. Существуют различные варианты ответов, закладываемые в программу. Предпочтительно, чтобы студент «отвечал» компьютеру как бы в устной форме, как преподавателю (открытая форма ответа). Возможно, такие экспертные системы на основе специально разработанных баз знаний появятся в недалеком будущем с внедрением ЭВМ пятого поколения. Пока же некоторые специалисты приступили к созданию баз знаний. Эта достаточно интересная и сложная проблема имеет основной недостаток, изначально присутствующий в ней – субъективность системы, базирующейся на оценках событий и явлений отдельными, хотя и порой весьма авторитетными, специалистами. Пожалуй, наиболее правильно будет в настоящее время осваивать компьютерные системы контроля на основе баз данных. В этом случае обычно прибегают к различным готовым формам ответов – шаблонам.

Широкое распространение получила такая форма ответов, когда отвечающему предлагается заранее сформированный набор ответов для выбора одного или нескольких, являющихся, по его мнению, правильными (форма закрытых ответов). Программа автоматически оценивает правильность сделанного выбора. В другом случае, контролируемый вводит с клавиатуры некоторые формулировки или отдельные слова, являющиеся ответом на поставленный вопрос (форма полуоткрытых ответов). На экране ЭВМ нет этих вариантов ответов, но программа содержит максимально возможный, по мнению ее авторов, набор ответов. Считается, что в большинстве случаев в программе имеются необходимые модификации и она сможет, осуществив сравнение, дать свое заключение о правильности ответа. Имеются и другие варианты. Каждый способ формирования ответа испытуемым имеет свои достоинства и недостатки. Здесь следует придерживаться поставленной цели и выбирать наиболее подходящий для ее реализации.

В этой связи можно предложить использовать единый набор вариантов ответов для всех контрольных заданий по теме. Формулировки должны носить общий характер и способствовать выявлению умения, контролируемого логически мыслить, что более важно и ценно, чем запоминание отдельных фактографических данных. При достаточном искусстве преподавателя с помощью таким образом сформулированных вариантов ответов возможно определение знания и отдельных фактов, событий.

В школах развитых стран внедрение и совершенствование тестов шло быстрыми темпами. Широкое распространение получили диагностические тесты школьной успеваемости, использующие форму альтернативного выбора правильного ответа из нескольких правдоподобных, написания очень краткого ответа (заполнения пропусков), дописывания букв, цифр, слов, частей формул и т.п. С помощью этих несложных заданий удается накапливать значительный статистический материал, подвергать его математической обработке, получать объективные выводы в пределах тех задач, которые предъявляются к тестовой проверке. Тесты печатаются в виде сборников, прилагаются к учебникам, распространяются на компьютерных дискетах.

Тесты обученности
применяются на всех этапах дидактического процесса. С их помощью эффективно обеспечивается предварительный, текущий, тематический и итоговый контроль знаний, умений, учет успеваемости, академических достижений.

Тесты обученности все больше проникают в массовую практику. В настоящее время кратковременный опрос всех учащихся на каждом уроке с помощью тестов используют почти все педагоги. Преимущество такой проверки в том, что одновременно занят и продуктивно работает весь класс и за несколько минут можно получить срез обученности всех учащихся. Это вынуждает их готовиться к каждому уроку, работать систематически, чем и решается проблема эффективности и необходимой прочности знаний. При проверке определяются прежде всего пробелы в знаниях, что очень важно для продуктивного самообучения. Индивидуальная и дифференцированная работа с обучаемыми по предупреждению неуспеваемости также основывается на текущем тестировании.

Естественно, не все необходимые характеристики усвоения можно получить средствами тестирования. Такие, например, показатели, как умение конкретизировать свой ответ примерами, знание фактов, умение связно, логически и доказательно выражать свои мысли, некоторые другие характеристики знаний, умений, навыков диагностировать тестированием невозможно. Это значит, что тестирование должно обязательно сочетаться с другими (традиционными) формами и методами проверки. Правильно действуют те педагоги, которые, используя письменные тесты, дают возможность обучаемым устно обосновывать свои ответы. В рамках классической теории тестов уровень знаний испытуемых оценивается с помощью их индивидуальных баллов, преобразованных в те или иные производные показатели. Это позволяет определить относительное положение каждого испытуемого в нормативной выборке.

Другой подход к созданию тестов и к интерпретации результатов их выполнения представлен в так называемой современной теории педагогических измерений
– Item Response Theory (IRT), получившей широкое развитие в 60-е – 80-е годы в ряде западных стран. К исследованиям последних лет в этом направлении относятся труды B.C. Аванесова, В.П. Беспалько, Л.В. Макаровой, В.И. Михеева, Б.У. Родионова, А.О. Татура, В.С. Черепанова, Д.В. Люсина, М.Б. Челышковой, Т.Н. Родыгиной. Е.Н. Лебедевой и др.

К наиболее значимым преимуществам IRT относят измерение значений параметров испытуемых и заданий теста в одной и той же шкале, что позволяет соотнести уровень знаний любого испытуемого с мерой трудности каждого задания теста. Критики тестов интуитивно осознавали невозможность точного измерения знаний испытуемых различного уровня подготовки с помощью одного и того же теста. Это одна из причин того, что в практике стремились обычно создавать тесты, рассчитанные на измерение знаний испытуемых самого многочисленного, среднего уровня подготовленности. Естественно, что при такой ориентации теста знания у сильных и слабых испытуемых измерялись с меньшей точностью.

В зарубежных странах в практике контроля нередко используются так называемые тесты успешности
, которые включают несколько десятков заданий. Естественно, что это позволяет более полно охватить все основные разделы курса. При этом используются два вида заданий:

а) требующие от учащихся самостоятельного составления ответа (задания с конструктивным типом ответа);

б) задания с выборочным типом ответа. В последнем случае учащийся выбирает из числа предъявленных ответ, который он считает правильным.

Важно отметить, что эти типы заданий подвергаются серьезной критике. Отмечается, что задания с конструктивным типом ответа приводят к необъективности оценок. Так, разные экзаменаторы и нередко даже один и тот же экзаменатор ставят разные оценки за один и тот же ответ. Кроме того, чем больше свободы в ответе у учащихся, тем больше и вариантов оценки преподавателей.

При создании тестов контроля знаний можно руководствоваться и другими классификациями видов тестов. Обычно используется деление их на:

тесты «достижений»;

стандартные тесты «достижений»;

тесты умственных способностей;

тесты наклонностей;

прогностические тесты;

критериально-ориентированные тесты;

тесты развитых способностей.

Существующие другие классификации практически сводятся к названным выше типам. Далее, осуществляя выбор, необходимо ориентироваться на педагогические положения, согласно которым система контроля должна быть приемлемой для проверки профессиональных знаний. Наполнение ее содержания должно служить для определения как уровня интеллекта, так и способностей, контролируемых в конкретной области знаний. Форма процедуры проверки должна включать индивидуальное и/или групповое проведение контроля.

Как показали исследования, для проверки студентов наиболее целесообразно применение критериально-ориентированный
тип

тестов.

Критериально-ориентированный тест

позволяет осуществлять более полный индивидуальный и коллективный программный контроль объема усвоенных знаний; получать балльные оценки, позволяющие сравнивать уровень знаний студентов как внутри отдельной группы, так и между ними; выявлять результаты, достигаемые каждым отдельным студентом в ходе проверки в широком диапазоне значений (баллов).

Обращение к этому типу тестов вызвано также и тем обстоятельством, что с его помощью возможно выявление уровня знаний обучаемых по заранее заданному, общему для всех объему и содержанию учебного материала. При этом ясно просматриваются две составные части данного типа тестов. С одной стороны, возможность получения данных об индивидуальных знаниях каждого студента, с другой, – возможность сравнения полученных данных в широком диапазоне учебных групп при условии создания адекватной среды тестирования.

В конечном счете, важно определить, что каждый отдельный студент знает и умеет, а не то, каков он на уровне других студентов. Грамотно сформированное содержание (наполнение) теста обеспечивает получение каждым студентом рейтинга (индивидуальный интегральный показатель), одновременно предоставляет преподавателю данные, характеризующие способности любого студента к учебе в сравнении с его сокурсниками. Таким образом, возможна успешная реализация этих двух проблем одновременно. Выполнение студентом теста оценивается не в соответствии с некоторой нормой, а определяется степенью освоения им указанной в тесте дисциплины, достижением определенного уровня выполнения предложенных заданий. Таким образом, с помощью этих тестов возможно выявлять степень знаний каждым отдельным студентом как отдельных заданий, так и разделов учебной программы; точку (высоту) усвоения ими конкретной дисциплины.

2.2 Требования, предъявляемые к системам компьютерного тестирования

В последнее время вниманию педагогов предлагается достаточно большое количество разнообразных программных средств для разработки тестов и тестирования. Однако многие из них не могут реализовать современные требования к качеству педагогических контрольных материалов (ПКМ), т.к. сами не удовлетворяют требованиям, предъявляемым к системам компьютерного тестирования:

возможность использования четырех форм заданий классического педагогического теста;

получение и накопление матрицы профилей ответов испытуемых для дихотомической и политомической оценки результатов выполнения заданий;

корректировка и перекомпоновка тестовых заданий в зависимости от итогов статистической обработки результатов тестирования;

защита результирующих матриц от несанкционированного доступа.

Кроме того, с точки зрения педагога-предметника, в системах компьютерного тестирования хотелось бы иметь следующие возможности:

применение мультимедийных технологий при тестировании. В большинстве тестовых оболочек задания представляются в виде текста (иногда с применением графики). Мультимедийные тестирующие системы объединяют текстовые, графические, анимационные и видеоматериалы в наиболее эффективных сочетаниях и используют одновременно все каналы общения для передачи информации: текст, изображение и звуковое сопровождение. Озвучивание вопросов и вариантов ответов позволяет исключить ошибки испытуемого при неверном прочтении задания; а в дисциплинах, связанных с изучением иностранных языков подача материала в аудио-форме является обязательной. Графика (рисунок, схема, фотография) может быть включена в формулировку как вопросов, так и вариантов ответов. При этом графический вариант ответа может быть представлен выбором некоторой области на экране (например, область на графике функции, точка либо функция). Истинность или ложность ответа, выбранного испытуемым, тоже может быть представлена графически. Использование анимированной графики, видеофрагментов позволяют сделать более наглядными задания на определение последовательности действий, продемонстрировать развитие ситуации в зависимости от ответа, выбранного испытуемым и т.д.;

использование псевдотестовых заданий, например, цепных, текстовых, ситуационных и даже нетестовых, например, кроссвордов, ребусов и т.п.;

применение подготовленного теста не только для контроля, но и для самоконтроля знаний. В этом случае студент после выполнения такого теста получает сведения об успешности своих действий, а после окончания самоконтроля может вновь вернуться к заданиям, на которые давал неправильные ответы и попробовать снова ответить. Таким образом, будет реализован элемент тренажа;

использование алгоритмов адаптивного тестирования, обусловливающих выбор очередного задания в зависимости от ответов тестируемого на предыдущие вопросы;

применение гипертекстовых ссылок в режимах самоконтроля и тренинга;

проведение тестирования в сетевом варианте.

Перечисленные выше дополнительные возможности расширили бы сферу применения систем компьютерного тестирования.

Одним из определяющих успех моментов создания тестов является правильный выбор технических и программных средств.

Термин «технические средства обучения» появился во второй половине 60-х гг. и под ним понимались системы, комплексы, устройства и аппаратура, применяемые для предъявления и обработки информации в процессе обучения с целью повышения его эффективности. По функциональному назначению они обычно делятся на три основных класса: информационные, контролирующие, обучающие. Контролирующие технические средства обучения предназначены для определения степени и качества усвоения учебного материала. Концепцией информатизации образования в нашей стране в качестве главной материальной основы современного обучения, основным его техническим средством определена ЭВМ.

Параметры используемых ЭВМ в значительной степени определяют возможности эффективного контроля знаний студентов. Наилучшие характеристики при эксплуатации в вузах страны показали универсальные ПЭВМ или компьютеры, способные сочетать в себе возможности практически всех видов технических средств обучения. К важным преимуществам ПЭВМ относится их возможность создавать обучаемому условия для самостоятельного принятия решений, т.е. индивидуализировать процесс обучения путем создания адаптивных компьютерных программ. Они позволяют успешно автоматизировать учебный процесс, в т. ч. и процедуру контроля знаний. Согласно статистике, от 80 до 90 % компьютеров, работающих в различных странах мира, относятся к IBM-совместимым.

IBM-совместимый компьютер является наиболее подходящим техническим средством повышения качества обучения и контроля знаний студентов в современных условиях. Он работает с помощью системных, инструментальных и прикладных компьютерных программ. Наибольший интерес в контексте данной работы представляет второй тип программ. Инструментальные программы, написанные на языках высокого уровня, позволяют программистам создавать программы специального назначения – пользовательские, прикладные программы. К числу прикладных программ относятся также программы контроля знаний студентов. Основные принципы создания подобных программ заключаются в том, что они ориентируются на конкретный курс обучения и позволяют квалифицированным пользователям (программистам и преподавателям) создавать авторские программы обучения и контроля знаний студентов.

Ограниченные возможности данной работы не позволяют более детально и глубоко рассмотреть многие важные проблемы, связанные с тестированием. Однако дать краткую характеристику свойств тестирования просто необходимо.

Адаптивность

– способность системы приспосабливаться к изменяющимся условиям (техническим и программным средствам).

Открытость

определяется способностью системы под воздействием квалифицированного пользователя подстраиваться под контроль конкретных учебных дисциплин.

Стандартность системы

выражается использованием функций, дизайна и др., применяемых в программах общего пользования. Подготовленный пользователь чувствует себя более комфортно, а неподготовленный пользователь может использовать полученный опыт при работе с другими программами.

Унифицированность

заключается в создании такой системы, на основе которой можно создать ей подобные. Большой ошибкой разработчиков систем компьютерного тестирования знаний является разработка узкоспецифических программ для конкретного учебного предмета. Очевидно, что подобная деятельность является совершенно неэффективной и приводит к неоправданным трудозатратам как программиста, так и эксперта.

Необходимость унификации контролирующих программ логически проистекает из формализации предметной области. Так как использовать компьютерное тестирование в виде программированного контроля целесообразно только в легко формализуемых предметных областях, следовательно, имеет смысл разрабатывать универсальные способы представления контрольных вопросов, унифицированную систему их оценки, а собственно информационное наполнение создавать в виде отдельных, подключаемых баз данных.

Возможность расширения и наращивания системы

также является важной ее характеристикой. Ее обеспечение создает пользователю уверенность в дальнейшем, продолжительном использовании системы, в ее модификации, а также в применении различных решений по ее совершенствованию.

Не менее важное свойство – способность системы осуществлять индивидуальный и групповой контроль знаний студентов. Кроме очевидных достоинств, она дает возможность использования системы в различных условиях, которые определяет преподаватель, автор теста, исходя из учебных задач.

Если учитывать все перечисленные свойства, то в результате будет сформирована система, работая с которой студенты получат возможность в режиме самоконтроля проверить свои знания по каждой теме учебной дисциплины в удобном индивидуальном темпе, выявить пробелы и затем их устранить. При этом у студентов повысится мотивация к учению и в значительной степени снимутся стрессовые ситуации, обеспечится глубокое изучение учебного материала, появится уверенность в имеющихся знаниях и адекватности получаемой ими оценки по результатам контроля.

Помимо указанного требования, система контроля знаний должна также удовлетворять следующим критериям:

работа в компьютерной сети (локальной и глобальной), возможность проведения тестирования одновременно у группы респондентов;

в системе должна быть предусмотрена возможность создания новых тестов и анализа результатов тестирования;

в системе должны содержаться алгоритмы анализа результатов тестирования (валидность тестов, оценка степени их сложности, сопоставления результатов тестирования разных групп и т.д.);

система должна обеспечивать высокую гибкость в выборе типов вопросов и заданий, но при этом должна обладать высокой степенью защищенности;

инструментальная система должна обеспечивать разграничение прав доступа ко всем своим элементам.

Большую роль при проверке знаний играет объективность, точность результатов и минимальная вероятность погрешности оценок, исключение влияния каких-либо субъективных факторов, а также практически одинаковость для всех студентов условий тестирования, что достигается в нашем случае с помощью ЭВМ и специальных программ. Обеспечение глубины и полноты контроля также достигается предложением студенту ответить на несколько сотен вопросов. Это как минимум на порядок превышает подобные значения при традиционной проверке знаний. При этом достигается как дифференцированная, так и интегрированная оценка уровня овладения учебным материалом по конкретной дисциплине. Контроль проводится непосредственно после завершения изучения каждого раздела учебной программы. Преподаватель получает оперативную и объективную информацию о результатах освоения студентами данного раздела. Следовательно, полученные данные могут использоваться для внесения соответствующих корректив в содержание и методику учебного процесса.

2.3 Формирование тестовых заданий для компьютерного контроля знаний

Компьютерное тестирование для гуманитарных дисциплин ВУЗа почти полностью реализуется при проведении контрольных работ, контроля над самостоятельной работой студентов (входной, текущий, тематический), частично – коллоквиумов, зачетов и экзаменов (рубежный, итоговый, заключительный контроль).

Педагогический тест

– это система фасетных заданий определенного содержания, возрастающей трудности, специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений, навыков и представлений
.

Свойство фасетности в гуманитарном знании реализовать весьма затруднительно в силу слабой формализации и неартикулярности.

С одной стороны, тестовые задания (ТЗ) составляют очень высокий процент, пожалуй, 80-90 % компьютерных контролирующих программ по любой гуманитарной дисциплине. С другой, – не всякое содержание поддается трансформации формам тестового задания. Многие доказательства, многословные описания трудно выражаются, а то и совсем не выражаются в тестовой форме.

Вопрос наполнения баз данных кажется очевидным и потому, как правило, не вызывает затруднений ни в теории, ни в практике. На первый взгляд, разработка тестирующих вопросов и определение эталонов ответов доступно любому преподавателю. Однако на самом деле ситуация в этой области прямо противоположна тому, что кажется на первый взгляд.

Сформулировать вопрос действительно несложно. Однако большинство разработчиков не задают себе при этом главный вопрос: какие цели преследует данный вопрос? Какой раздел рассматриваемой темы этот вопрос охватывает? Корректно ли сформулирован вопрос, не вызывает ли он разночтений, не допускает ли он неоднозначных ответов, как воспринимается он учащимися с точки зрения не преподавателя (имеющего большой по сравнению с учащимися объем знаний), а с точки зрения пройденного учащимися теоретического курса?

Попытка ответа на эти вопросы показывает, что, прежде всего, база данных должна разрабатываться не педагогом-энтузиастом, а специалистом высокого уровня в данной предметной области. Кроме того, какой бы высокий уровень не был у разработчика, любой человек способен ошибаться или неверно формулировать отдельные положения. Поэтому тестовая база, перед ее вводом в эксплуатацию, обязательно должна проходить через оценку как минимум методического совета по данной специальности.

Однако никакая комиссия не способна определить восприятие контрольных вопросов учащимися. Это может показать только реальное тестирование. Более того, подобная оценка весьма проста технически – необходим только накопительный статистический анализ по ответам на каждый конкретный вопрос. Для этого вопрос должен быть однозначно идентифицируем. Анализ подобной статистики, особенно при проведении контрольного тестирования в разных учебных группах, дает двойственный результат: вопрос, на который никто не может дать правильный ответ, или неправильно сформулирован, или эта тема чрезвычайно плохо раскрыта в процессе обучения. Вопрос же, на который правильно отвечают все, или плохо сформулирован (имеет в тексте вопроса подсказки), или эта тема очень хорошо раскрыта в процессе обучения и правильно усвоена всей группой.

Подобная неоднозначность анализа статистики приводит к вопросу о времени и форме статистического анализа и проведения тестирования вообще.

Основными

формами тестовых заданий

являются: задания открытой формы, закрытой, на соответствие, на установление правильной последовательности.

1. Задания с выбором одного или нескольких правильных ответов

. Среди этих заданий выделяются такие разновидности, как:

1.1. Выбор одного правильного ответа

по принципу: один – правильный, все остальные (один, два, три и т.д.) – неправильные.

Например, при недостатке какого витамина происходит нарушение роста и развития костей:

а) витамина А;

б) витамина В;

в) витамина С;

г) витамина D.

1.2. Выбор нескольких правильных ответов.

1.3. Выбор одного, наиболее правильного ответа.

Например, к органическим веществам относятся:

а) белки;

б) белки и углеводы;

в) белки, углеводы и жиры;

г) белки, углеводы, жиры и минеральные соли.

Каждый из ответов в целом правдоподобен, однако 1-й и 2-й ответ является не полными. Не верен и 4-й ответ, поскольку минеральные соли не относятся к органическим веществам.

2. Задания открытой формы

. Задания сформулированы так, что готового ответа нет; нужно сформулировать и вписать ответ самому, в отведенном для этого месте.

3. Задания на установление соответствия

, где элементам одного множества требуется поставить в соответствие элементы другого множества.

Например, установите соответствие:

Среда обитания

Организмы

1) Организменная

а) карась

2) Водная

б) медуза

3) Почвенная

в) крот

4) Наземно-воздушная

г) дождевой червь

5) Наземно-водная

д) воробей

е) тигр

ж) аскарида

з) лягушка

и) дизентерийная амеба

4. Задания на установление правильной последовательности

(вычислений, действий, шагов, операций, терминов в определениях).

Перечисленные формы компьютерного представления тестовых заданий не исчерпывают их многообразия. Многое зависит от мастерства и изобретательности учителя. При создании тестов важно учитывать многие обстоятельства, например, личность тестируемого, вид контроля, методику использования тестов в учебном процессе и т.д.

Выбор формы зависит от:

цели тестирования;

содержания теста;

технических возможностей;

уровня подготовленности преподавателя в области теории и методики тестового контроля знаний.

Самым лучшим можно считать тест, в котором заложено широкое содержание, и оно охватывает более глубокие уровни знаний.

Тестовое задание включает в себя:

а)

констатирующую часть,

описывающую ситуацию (может и отсутствовать), которая не требует от тестируемого каких-либо активных действий;

б)

процедурную часть,

содержащую предложения обучаемому выполнить какие-либо конкретные действия – выбрать правильный элемент из предложенного набора, установить соответствие или правильную последовательность, назвать дату, записать название и т.д. Процедурная часть – это такой вид информации, после получения которой, от студента требуется произвести активные действия, связанные не только с изучением и анализом материала, содержащегося в задании, но и составлением и вводом ответа;

в) э

лементы самого выбора

.

Общие правила для всех форм тестовых заданий.
Необходимо следить за корректностью формулировки задания. Тестовое задание должно быть сформулировано четко, ясно, конкретно, не допуская двусмысленности в ответе. Оптимальное число элементов ответа – 5-8, но существуют исключения.

Процедурная часть тестового задания должна быть максимально краткой

– не превышать 5-10 слов. Тестовое задание должно быть сформулировано в утвердительной форме
.

Не допускается определение понятия через перечисление элементов, не входящих в него.

Для всех форм тестового задания должна быть стандартная инструкция. Все элементы в заданиях должны отбираться по какому-то определенному, выбранному автором принципу. Предпочтение большому количеству простых по структуре тестовых заданий, а не малому количеству сложных.

В сложных разделительных тестовых заданиях необходимо перечислять все возможные альтернативы, т.к. в противном случае у обучаемого искажается представление о классификации или структуре объекта базиса.

Тестовые задания открытой формы

должны отвечать следующим требованиям:

дополняющее слово или словосочетание ставится в конце и должно быть единственным;

дополнять надо только важное;

желательно, чтобы при формулировке задания дополнение было в именительном падеже;

все прочерки для дополнения должны быть одинаковой длины;

желательно дать обучаемому образец ответа.

Закрытая форма тестовых заданий

должна отвечать следующим требованиям:

равная правдоподобность элементов;

желательно, чтобы все элементы выбора были равны по длине;

в элементах выбора желательно использовать один объект или равное количество объектов;

необходимо исключить повторяющиеся слова в ответах;

все элементы должны быть верными утверждениями, но только один из них является верным ответом на данное задание, а остальные могут являться верными на другие задания в этом тесте или в других тестах.

Тестовое задание на соответствие

содержат два множества, правый столбик – для выбора, левый – для ответа. В правом формируется, например, на 1-3 элемента больше, чтобы при последней подстановке у студента был выбор, а не автоматически подставляемый остаток. Все элементы являются истинными высказываниями.

В тестовых заданиях на установление правильной последовательности

может быть избран принцип формирования элементов по алфавиту. Если алфавитный список является верным ответом, то элементы располагать случайным образом.

С целью нивелирования заимствования ответа у соседа в заданиях всех данной формы надо формулировать тестовое задание в 2-3-х синонимичных по смыслу вариантах, которые выбираются случайным образом. В заданиях закрытой формы и в заданиях на соответствие элементы подаются с помощью датчика случайных расстановок. Элементы задания в этих формах формируются по принципу «основных» и «запасных» игроков. Например, при 5-ти элементах, подающихся студенту, автор формирует набор не «1 верный + 4 неверных», а «1 верный + 4 основных неверных + 5 запасных неверных», где из 9-ти неверных случайным образом выбираются.

Методы оценки критериев качества тестов.
Классическая теория тестов опирается на теорию корреляции, главными параметрами которой являются надежность и валидность. Надежность
– устойчивость результатов теста, получаемых при его применении. Валидность
– пригодность теста, т.е. способность качественно измерять то, для чего он создан по замыслу авторов.

Существует строгая научная теория тестов, позволяющая методологически и методически обосновать их применение и обработку результатов тестирования. Научно обоснованный тест – это метод, соответствующий установленным стандартам надежности и валидности (величина от 0 до 1; чем ближе к 1, тем качественнее тест).

По классификации существуют тесты, ориентированные на
норму

(рейтинг по сильным – слабым студентам) и тесты, ориентированные на
критерий

(сортировка по трудным – легким заданиям).

По характеру действий тесты подразделяются на
вербальные

(выраженные словами) и
невербальные

(представленные образами).

По степени однородности задач тесты бывают
гомогенные

(по одной дисциплине) и
гетерогенные

(по нескольким дисциплинам).

По целям

использования: начало обучения, прогресс и трудности в процессе обучения, достижения в конце обучения. Практика высшей школы показывает, что наиболее применимы критериально-ориентированные, в подавляющем большинстве вербальные, гомогенные, нацеленные, как правило, на достижения в конце обучения тесты.

Оценка тестовых заданий может быть
политамическая

(если из 10 элементов задания одно сделал неправильно, то сумма баллов равна 9);
дихотомическая

(сделал все элементы – 1 балл, не сделал – 0 баллов).

По степени трудности задания могут быть
одноуровневые

, т.е. с весовым коэффициентом, равным единице и
многоуровневые

с весовым коэффициентом от 0 до N.

Под длиной теста понимается количество заданий, входящих в тест. Классическая теория тестов утверждает: чем длиннее тест, тем он надежнее. Но практика показывает, что если тест очень длинный, то ухудшается мотивация и внимание. Практически длину теста следует определять опытным путем, с учетом валидности, времени тестирования и др. Оптимальная длина теста, как показала теория и практика – 30-60 заданий. Соотношение длины теста к числу тестовых заданий в банке должно стремиться к соотношению 1:10.

Каждый тест имеет
оптимальное время тестирования

– время от начала процедуры тестирования до момента наступления утомления. Разброс по характеристикам порога наступления утомления довольно большой – от 20 до 100 минут в одной возрастной группе Основные причины утомления: возраст, мотивация, монотонность выполняемой работы, индивидуальные особенности испытуемых. Следовательно, необходимо поддерживать мотивацию на нужном уровне, максимально разнообразить работу за счет введения в оборот всех форм заданий и невербальной поддержки, а также адаптировать программный продукт согласно индивидуальным особенностям испытуемых. Среднее ориентировочное время до момента утомления для студентов – 50-80 минут (максимальная продолжительность). А по минимальной зависит от форм, количества и трудности заданий, элементов в задании. Например, для легкого тестового задания закрытой формы с выбором одного элемента из предложенных достаточно 10-15 сек. В процессе апробации реальные сроки должны быть уточнены.

Соотношение форм заданий в тесте

. Выбор формы тестового задания
зависит от содержания курса, цели создания теста, умения разработчика. Усредненный расклад может быть следующим. В тесте длиной, например, 60 заданий, рекомендовано не более 10 тестовых заданий открытой формы, примерно по 10 на соотношение и последовательность, остальные 30 заданий целесообразнее давать в закрытой форме.

2.4 Типы вопросов компьютерного контроля

Наверное, самым большим заблуждением разработчиков большей части контролирующих программ является использование так называемой одинарной выборки: учащемуся задается вопрос, на него дается несколько готовых вариантов ответов (как правило, пять – удобнее выводить оценку), один из которых – верный. Несмотря на то, что действительно существует класс контрольных вопросов, которые могут быть реализованы подобным образом, несмотря на то, что вероятность угадывания (20 %) достаточно низка, зацикливание исключительно на одинарной выборке исключает богатейшие возможности применения педагогических технологий при проведении контроля.

Кроме того, ни для кого не является секретом способ обхода учащимися данного типа контроля – рано или поздно в руки учеников попадает распечатка с правильными ответами, и порядок ответов просто заучивается или заносится на шпаргалку. Далеко не во всех (на самом деле только в единичных) системах контроля знаний реализована функция изменения местоположения правильного ответа при каждом тестировании.

Какие же типы вопросов позволяет использовать компьютерный вариант программированного контроля?

Произвольный тип
, или, ввод с клавиатуры. Мощнейший инструмент при проверке разного рода терминов, констант, дат. Однако его реализация, как правило, весьма математически сложна и поэтому большинством разработчиков оставляется без внимания. Проблема заключается, прежде всего, в том, что введенную фразу необходимо подвергнуть синтаксическому, а в идеале – и семантическому анализу, моделирующему варианты возможного мышления отвечающего. Кроме того, учащийся может опечататься, и в большинстве областей знаний подобные опечатки нельзя считать ошибкой – а это требует очень гибкой реализации компьютерной логики, которая под силу далеко не всякому программисту. О возможности использования учащимся при вводе произвольного ответа различных синонимов, которые могут быть не предусмотрены разработчиком базы данных и в то же время могут быть абсолютно или частично правильными, тоже можно говорить очень много. Кроме того, в произвольном типе вопроса может быть и несколько возможных ответов.

Существует также ряд разновидностей произвольного типа вопроса:

Ввод нескольких ответов в определенной последовательности
может использоваться в вопросах о строгой последовательности каких-либо операций, взаиморасположений и т.д. Тип вопроса настолько же сложный для программирования, как и произвольный, весьма сложен в конструировании и вызывает определенные трудности у учащихся, так как требует не только безошибочного ввода ответов, но и безошибочного их взаимного расположения. Однако, несмотря на достаточно редкое его применение, этот тип незаменим и является мощным средством выяснения уровня знаний учащегося в вопросах, к примеру, относительного взаиморасположения органов в топографической анатомии, последовательности превращения вещества в химии, последовательности действий в разного рода ремонтных работах и т.п.;

Ввод пропущенных частей строк или букв,
несмотря на кажущуюся простоту, является незаменимым средством для проверки понимания различных языковых конструкций (в русском и иностранном языках, в программировании и т.д.). В отличие от стандартного «Произвольного» типа вопроса, как правило, предполагает однозначные варианты ответов и потому более легок в программировании;

Выборочный тип вопроса
. Классический вариант, который подавляющая часть разработчиков и считает необходимым и достаточным для проведения компьютерного тестирования. В этом типе вопроса может подразумеваться один или несколько правильных ответов из предложенных. Часть теоретиков разделяет эти две разновидности на разные типы вопросов, однако с точки зрения формальной логики эти разновидности абсолютно равнозначны. Вопрос заключается лишь в методологии выведении результатов по этим разновидностям.

Компьютерная реализация этого типа необычайно проста. Возможно, именно с этим и связано его широкое использование в разного рода тестирующих программах. Для реализации этого типа достаточно даже начальных знаний в любом языке программирования либо в программируемых офисных системах типа Excel или Quattro.

У выборочного типа вопроса также существуют разновидности:

Альтернативный тип
является максимально упрощенной формой и предполагает готовый ответ уже в тексте вопроса. Испытуемому остается только указать, правильный это ответ или нет (т.е. ответить «Да» или «Нет»). Несмотря на кажущуюся простоту, этот тип с успехом может использоваться в некоторых областях знаний.

Разновидностью выборочного типа является тип вопроса, названный «Отбор
«. Однако разница между ним и стандартным выборочным типом заключается только в системе вывода результата.

Последовательный тип вопроса
. Наиболее сложный для учащихся, хотя и достаточно простой в реализации тип, дающий преподавателю мощный инструмент для оценки не только конкретных знаний, но и логики.

Упрощенный вариант последовательного типа – «Перестановка»
предполагает, что учащемуся задается вопрос и дается набор готовых правильных ответов. В его задачу входит расстановка этих ответов в требуемой последовательности.

Как и тип «Последовательность», эта разновидность может быть использована в тех предметных областях, где требуется четкое знание последовательности операций, действий или правильное взаиморасположение объектов. Однако в отличие от типа «Последовательность», эта разновидность может использоваться гораздо шире, так как не содержит в себе «подводных камней» неверной формулировки учащимися какого-либо термина – все ответы уже находятся на экране.

Усложненный вариант последовательного типа – «Расстановка»
является наиболее сложным из всех типов, как по сложности программирования, так и по сложности восприятия его учащимися. Однако именно этот тип дает наиболее широкие возможности для проверки логики. Конструирование вопроса этого типа заключается формально в построении учащимися графа логической структуры. В тексте вопроса перечисляются некие пронумерованные положения (пункты), а в тексте ответов даны соответствующие этим пунктам выводы или факты. От учащегося требуется расставить соответствие пунктов, перечисленных в вопросе, готовым ответам.

3.1 Методика проведения программированного опроса

Проблему организации коллективных форм учебной деятельности особенно актуализирует специфика проведения занятий в учебных классах, оснащенных локальной компьютерной сетью. Использование сети предоставляет преподавателю новые возможности управлять учебным процессом с одной стороны, с другой – обеспечивает возможности результативной самостоятельной учебной работы обучаемых по выполнению практических заданий.

Локальная компьютерная сеть дает возможность представить любое действие в развернутой последовательности операций, показать его результат, условия выполнения; фиксировать промежуточные пооперационные результаты, позволяет интерпретировать и оценивать каждый шаг обучаемых при выполнении заданий и т. д.

Для преподавателя компьютерная сеть позволяет осуществлять как итоговый, так и пооперационный контроль, накапливать итоговую информацию, относящуюся как к отдельному обучаемому, так и ко всей группе в целом. Компьютерная сеть позволяет качественно изменить систему проверки деятельности обучаемых, обеспечивая при этом гибкость управления учебным процессом. Работа на одной общей базе данных позволяет проверить правильность выполнения всех заданий и не только зафиксировать ошибку, но и определить ее характер, что помогает вовремя устранить причину, обусловившую ее появление.

Подбор тематики и возможные варианты тестовых заданий готовятся заранее. Содержание тестовых заданий формулируется таким образом, чтобы показать применимость на практике необходимых для усвоения материала знаний и умений.

Индивидуализация обучения может быть реализована за счет дифференциации содержания предъявленного учебного материала, а также подбора тестовых заданий по уровню сложности.

Подбор степени трудности заданий играет важную роль. Излишне простые задания не требуют от обучаемого умственных усилий, а потому тормозят формирование у него необходимых навыков. Правильное выполнение относительно легких заданий не переживается обучаемым как успех. В то же время, многие из ошибок активизируют творческий потенциал обучаемых и положительно сказываются на активизации познавательных потребностей и на мотивационной сфере.

Средствами создания учебно-познавательной мотивации могут выступать как содержание тестового задания, так и форма организации деятельности (учебно-игровая, групповая, индивидуальная).

По усмотрению преподавателя обучаемым может быть предложен план выполнения тестового задания, разрешена работа с рабочими тетрадями и литературой. Поддерживать интерес обучаемых преподаватель может, включаясь в процесс обсуждения отдельных нюансов при выполнении тестового задания.

Занятие может быть построено с таким расчетом, чтобы направить его на максимальное развитие обучаемых. Для этого в тот момент, когда у них складывается ощущение завершенности выполнения предложенных тестовых заданий, преподаватель с целью активизации дальнейшей познавательной деятельности обучаемых может поставить перед ними проблемные вопросы по изучаемой теме, вызывая познавательный интерес. В результате разрешения этого затруднения обучаемые получают новые знания и умения. Таким образом, работа группы обучаемых над выполнением тестовых заданий может осуществляться в режиме последовательного решения проблемных задач.

После завершения работы обучаемых над выполнением тестовых заданий, преподавателем может быть организована дискуссия в группе, коллективное обсуждение заданий, вызвавших наибольшие затруднения. В обсуждение целесообразно включать вопросы, которые остались нерассмотренными, выяснять возможные пути их решения. Таким образом, преподаватель не только может осуществлять контроль, но и становится организатором процесса самостоятельного активного приобретения обучаемыми новых знаний.

3.2 Обработка результатов тестирования

Вопрос выведения оценки, наверное, является одним из самых сложных и противоречивых в педагогике. В самом деле, задать вопрос легко, а вот определить, правильно ли ответил учащийся, насколько правильно он ответил, правильно ли он мыслил, несмотря на неправильный ответ – это задача, которая полностью далеко не решена. Соответственно, и компьютерный аналог выведения оценки страдает теми же недостатками, если не большими.

В большинстве систем программированного контроля принцип выведения результата прост. Так как в таких системах, как правило, используется только одинарная выборка, то и оценка вычисляется просто: ответил – плюс, не ответил – минус. Затем количество плюсов и минусов приводится к пятибалльной шкале и выводится оценка.

Подобный принцип вывода оценки, хотя и является примитивным, однако в случае, когда все вопросы в базе данных равнозначны и однотипны, он тоже имеет право на существование. Однако прямое приведение количества положительных и отрицательных ответов к пятибалльной системе заслуживает серьезной критики. Общепризнанно, что зачетный порог коэффициента усвоения равен 70 %. В рассматриваемом же случае для получения зачетной оценки (т.е. «удовлетворительно») достаточно ответить правильно на 51 % вопросов, для получения оценки «хорошо» – на 71 %, для получения оценки «отлично» – на 91 %.

Однако вышеописанной практики, как правило, не происходит, так как всем разработчикам тестирующих систем очевидна неравнозначность вопросов в базе данных. Существует и другая методика, когда разработчики дают возможность преподавателю определять «вес», т.е. относительную значимость каждого вопроса в базе.

Эта методика, не смотря на кажущуюся эффективность, также имеет свои недостатки. Дело в том, что с точки зрения педагогической теории не бывает вопросов простых и сложных (если говорить именно о вопросах, а не о математических и логических задачах, требующих многокомпонентного решения). Простым вопрос всегда будет для того, кто знает на него ответ. И сложным – для того, кто ответ не знает. Таким образом, расставляя «веса» вопросов, преподаватель фактически расставляет их в соответствии с собственными представлениями об их сложности, в соответствии со своим уровнем компетентности или некомпетентности.

Тем не менее, существуют вопросы, требующие большего или меньшего времени на ответ. Логично было бы предположить, что на каждый вопрос, с точки зрения психофизиологии, может быть затрачено большее или меньшее число мыслительных (т.н. существенных) операций. Определение этого количества, как правило, не составляет особого труда, в простых типах вопросов равно количеству предложенных вариантов ответов, и полностью поддается автоматизации.

Таким образом, на настоящий момент существует два способа определения результата ответа – по правильным или неправильным ответам в целом на вопрос и по существенным операциям. При выборе принципа оценки следует предполагать, что оценка по существенным операциям гибче и объективнее, так как она позволяет выявлять неполные, не совсем верные, частично ошибочные и другие подобные ответы и вычислять их в конкретных цифрах коэффициента усвоения.

Гибкость использования способа оценивания по существенным операциям кроется в возможности ввода так называемой «мягкой оценки». В системе оценивания по ответам в целом всегда используется «жесткая оценка» – т.е. если учащийся допустил ошибку, не засчитывается весь вопрос. Однако такой метод оценивания оправдан далеко не для всех вопросов. К примеру, в большой части вопросов, имеющих несколько вариантов правильных ответов (подразумевается выборочный тип вопроса), не является обязательным отметка полностью всех правильных ответов. В таких вопросах вполне допустим или частично правильный ответ, или, наоборот, отсутствие неправильного ответа. Использование принципа оценивания по существенным операциям позволяет в подобных вопросах определять коэффициент правильности ответа и засчитывать частично правильные ответы.

Одной из значимых тенденций развития образования является поиск инновационных методов контроля знаний, отвечающих требованиям объективности, надежности, технологичности. На современном этапе среди эффективных методик оценки способностей и достижений учащихся, важная роль отводится компьютерному контролю знаний, который сегодня успешно используется в учебных заведениях различного уровня – от школ до университетов.

По сравнению с традиционными формами контроля компьютерное тестирование имеет ряд преимуществ: быстрое получение результатов испытания, освобождение преподавателя от трудоемкой работы по обработке результатов тестирования, однозначность фиксирования ответов, конфиденциальность при анонимном тестировании.

Проанализировав современную литературу по данной проблематике, были выявлены следующие требования к унифицированной автоматизированной тестирующей системе:

защита от несанкционированного доступа к вопросам теста. Решение данной проблемы может осуществляться средствами шифровки данных;

неограниченная тестовая база, которая предназначена как для разнообразия теста, так и для меньшей повторяемости вопросов;

простота интерфейса программы. Многие специалисты, особенно специализация которых не связанна с информационными технологиями, довольно плохо умеют обращаться с компьютером и компьютерными программами, поэтому понятность и доступность интерфейса – немаловажное требование к тестирующей системе;

простота администрирования теста. Это требование также немаловажно. Чем легче будет среда разработки тем и тестов, тем меньше будет возникать вопросов, касающихся работы на компьютере. Простота администрирования решается посредством использования отдельной программы создания или занесения тем и тестов в базу и установки параметров;

полная автоматизация процесса тестирования. Тестирование должно проводиться без контроля преподавательского состава за ходом тестирования. Поэтому весь процесс – от задания вопросов теста преподавателем, идентификации специалиста, проведения тестирования, до оценки полученного результата и занесения этого результата в файл данных, должен проходить в полностью автономном режиме;

быстрота загрузки. Этот критерий важен для компьютеров с небольшим быстродействием. Человек не должен ожидать загрузки вопроса в течение длительного времени. Каждая картинка, график должны быть оптимизированы или сжаты. Они не должны содержать избыточной информации, а включать только необходимую часть;

переносимость на разные платформы с поддержкой GUI Microsoft Windows;

учет обращений. Каждое проведение тестирования должно фиксироваться для обеспечения контроля. Это необходимо для учета неудачных попыток тестирования, в случае если тест был прерван по какой-либо причине. Это обеспечит контроль за действиями пользователей;

ориентация на непрограммирующих пользователей. Применение тестирующей программы не должно требовать опыта работы с другими приложениями;

тестирующая система должна поддерживать файлы мультимедиа (графика, видео, звук, анимация). Это необходимо для задания сложных вопросов, например, для отображения графиков, чертежей, видеороликов и т.п.

Анализ литературы позволил выявить следующие типы вопросов компьютерного контроля знаний: произвольный тип, или, ввод с клавиатуры; ввод нескольких ответов в определенной последовательности (ранжирование); ввод пропущенных частей строк или букв; выборочный тип вопроса; альтернативный тип вопроса; последовательный тип вопроса. Для эффективного контроля знаний необходимо грамотно использовать все типы вопросов.

В настоящий момент существует два способа определения результата ответа – по правильным или неправильным ответам в целом на вопрос и по существенным операциям. При выборе принципа оценки следует предполагать, что оценка по существенным операциям гибче и объективнее, так как она позволяет выявлять неполные, не совсем верные, частично ошибочные и другие подобные ответы и вычислять их в конкретных цифрах коэффициента усвоения.

Тестовая система имеет следующие важные характеристики:

адаптивность, т.е. способность системы приспосабливаться к изменяющимся условиям (техническим и программным средствам);

открытость определяется способностью системы подстраиваться под контроль конкретных учебных дисциплин;

стандартность системы выражается использованием функций и дизайна, применяемых в программах общего пользования;

унифицированность заключается в том, что на основе данной системы можно создать ей подобные.

Реализованная в процессе данного исследования система контроля знаний представляет собой автоматизированную поддержку самостоятельной работы учащихся, позволяющую проводить контроль и самоконтроль уровня усвоения материала, выступать в роли тренажера при подготовке к экзаменам.

Разработанная система контроля знаний позволит решить задачу автоматизации создания тестов и процедуры тестирования, и может быть использована для контроля в процессе освоения обучающимися материала различных учебных дисциплин.

• Небольшие технические трудности. В ближайшее время мы появимся в сети и сайт станет чуточку лучше

Тестирование программного обеспечения – Обзор

Тестирование – это процесс оценки системы или ее компонентов с целью выяснить, удовлетворяет ли она указанным требованиям или нет. Проще говоря, тестирование – это выполнение системы с целью выявления пробелов, ошибок или отсутствующих требований, противоречащих фактическим требованиям.

В соответствии со стандартом ANSI / IEEE 1059 тестирование можно определить как – процесс анализа элемента программного обеспечения для выявления различий между существующими и требуемыми условиями (то есть дефектами / ошибками / ошибками) и для оценки характеристик элемента программного обеспечения.

Кто проводит тестирование?

Это зависит от процесса и связанных заинтересованных сторон проекта (ов). В ИТ-отрасли у крупных компаний есть команда, отвечающая за оценку разработанного программного обеспечения в контексте заданных требований. Более того, разработчики также проводят тестирование, которое называется Unit Testing . В большинстве случаев следующие специалисты участвуют в тестировании системы в рамках своих соответствующих возможностей –

• Тестер программного обеспечения
• Разработчик программного обеспечения
• Руководитель проекта / менеджер
• Конечный пользователь

Различные компании имеют разные обозначения для людей, которые тестируют программное обеспечение на основе своего опыта и знаний, таких как Software Tester, Software Quality Assurance Engineer, QA Analyst и т. Д.

Невозможно протестировать программное обеспечение в любое время в течение его цикла. В следующих двух разделах указано, когда следует начинать тестирование и когда его завершать во время SDLC.

Когда начинать тестирование?

Своевременное начало тестирования снижает затраты и время на доработку и создание безошибочного программного обеспечения, которое доставляется клиенту. Однако в жизненном цикле разработки программного обеспечения (SDLC) тестирование можно начинать с этапа сбора требований и продолжать до развертывания программного обеспечения.

Это также зависит от используемой модели развития. Например, в модели «Водопад» формальное тестирование проводится на этапе тестирования; но в инкрементальной модели тестирование выполняется в конце каждого приращения / итерации, и все приложение тестируется в конце.

Тестирование проводится в разных формах на каждом этапе SDLC –

• На этапе сбора требований анализ и проверка требований также рассматриваются как тестирование.

• Проверка проекта на этапе проектирования с целью улучшения дизайна также рассматривается как тестирование.

• Тестирование, выполняемое разработчиком по завершении кода, также относится к категории тестирования.

На этапе сбора требований анализ и проверка требований также рассматриваются как тестирование.

Проверка проекта на этапе проектирования с целью улучшения дизайна также рассматривается как тестирование.

Тестирование, выполняемое разработчиком по завершении кода, также относится к категории тестирования.

Когда прекратить тестирование?

Трудно определить, когда прекратить тестирование, поскольку тестирование является бесконечным процессом, и никто не может утверждать, что программное обеспечение протестировано на 100%. Следующие аспекты должны быть рассмотрены для остановки процесса тестирования –

• Сроки тестирования

• Завершение выполнения тестового примера

• Завершение функционала и покрытие кода до определенной точки

• Уровень ошибок падает ниже определенного уровня, и высокоприоритетных ошибок не обнаружено

• Управленческое решение

Сроки тестирования

Завершение выполнения тестового примера

Завершение функционала и покрытие кода до определенной точки

Уровень ошибок падает ниже определенного уровня, и высокоприоритетных ошибок не обнаружено

Управленческое решение

Проверка и валидация

Эти два термина очень запутаны для большинства людей, которые используют их взаимозаменяемо. В следующей таблице указаны различия между проверкой и проверкой.

Sr.No.	верификация	Проверка
1	Верификация решает проблему: «Вы правильно ее строите?»	Валидация решает проблему: «Вы строите правильную вещь?»
2	Гарантирует, что система программного обеспечения соответствует всем функциональным возможностям.	Гарантирует, что функциональные возможности соответствуют предполагаемому поведению.
3	Проверка выполняется в первую очередь и включает проверку документации, кода и т. Д.	Проверка происходит после проверки и в основном включает проверку всего продукта.
4	Сделано разработчиками.	Сделано тестерами.
5	Он имеет статическую активность, так как включает в себя сбор отзывов, пошаговые руководства и проверки для проверки программного обеспечения.	Он имеет динамическую деятельность, так как включает в себя выполнение программного обеспечения в соответствии с требованиями.
6	Это объективный процесс, и для проверки программного обеспечения не требуется никаких субъективных решений.	Это субъективный процесс и включает субъективные решения о том, насколько хорошо работает программное обеспечение.

Тестирование программного обеспечения – мифы

Ниже приведены некоторые из самых распространенных мифов о тестировании программного обеспечения.

Миф 1: Тестирование слишком дорого

Реальность. Существует поговорка: плати меньше за тестирование во время разработки программного обеспечения или плати больше за обслуживание или исправление позже. Раннее тестирование во многих аспектах экономит как время, так и затраты, однако снижение стоимости без тестирования может привести к неправильной разработке программного приложения, что сделает продукт бесполезным.

Миф 2: Тестирование отнимает много времени

Реальность. На этапах SDLC тестирование никогда не занимает много времени. Однако диагностика и исправление ошибок, выявленных во время правильного тестирования, является трудоемкой, но продуктивной деятельностью.

Миф 3: тестируются только полностью разработанные продукты

Реальность – Без сомнения, тестирование зависит от исходного кода, но рассмотрение требований и разработка контрольных примеров не зависит от разработанного кода. Однако итеративный или инкрементальный подход в качестве модели жизненного цикла разработки может снизить зависимость тестирования от полностью разработанного программного обеспечения.

Миф 4: полное тестирование возможно

Реальность – становится проблемой, когда клиент или тестер считает, что полное тестирование возможно. Возможно, что все пути были проверены командой, но полное тестирование никогда не возможно. Могут существовать некоторые сценарии, которые никогда не выполняются группой тестирования или клиентом в течение жизненного цикла разработки программного обеспечения и могут выполняться после развертывания проекта.

Миф 5: протестированное программное обеспечение не содержит ошибок

Реальность – это очень распространенный миф, в который верят клиенты, менеджеры проектов и команда менеджеров. Никто не может с полной уверенностью утверждать, что программное приложение не содержит ошибок на 100%, даже если тестировщик с превосходными навыками тестирования протестировал тестирование. приложение.

Миф 6: пропущенные дефекты из-за тестеров

Реальность. Это неправильный подход к обвинению тестировщиков в ошибках, которые остаются в приложении даже после проведения тестирования. Этот миф относится к ограничениям времени, стоимости и требований. Однако стратегия тестирования может также привести к тому, что команда тестирования пропустит ошибки.

Миф 7: тестеры несут ответственность за качество продукции

Реальность. Это очень распространенное неправильное толкование того, что только тестировщики или группа тестирования должны отвечать за качество продукта. В обязанности тестировщиков входит выявление ошибок для заинтересованных сторон, а затем они сами решают, исправят ли они ошибку или выпустят программное обеспечение. Выпуск программного обеспечения в то же время оказывает большее давление на тестеров, так как они будут обвинены в любой ошибке.

Миф 8: Автоматизация испытаний должна использоваться везде, где это возможно, чтобы сократить время

Реальность – да, это правда, что автоматизация тестирования сокращает время тестирования, но невозможно запустить автоматизацию тестирования в любой момент во время разработки программного обеспечения. Тестовый автомат должен быть запущен, когда программное обеспечение было проверено вручную и в какой-то степени стабильно. Более того, автоматизация тестирования никогда не может быть использована, если требования постоянно меняются.

Миф 9. Любой может протестировать приложение

Реальность – люди за пределами IT-индустрии думают и даже верят, что любой может протестировать программное обеспечение, и тестирование – это не творческая работа. Однако тестеры очень хорошо знают, что это миф. Думая об альтернативных сценариях, попытка сбить программное обеспечение с целью изучения потенциальных ошибок не представляется возможным для человека, который его разработал.

Миф 10. Единственная задача тестера – найти ошибки

Реальность. Поиск багов в программном обеспечении – задача тестировщиков, но в то же время они являются экспертами в области конкретного программного обеспечения. Разработчики несут ответственность только за конкретный компонент или область, назначенную им, но тестировщики понимают общую работу программного обеспечения, каковы зависимости и влияние одного модуля на другой модуль.

Тестирование программного обеспечения – QA, QC & Testing

Тестирование, обеспечение качества и контроль качества

Большинство людей смущаются, когда дело доходит до определения различий между обеспечением качества, контролем качества и тестированием. Хотя они взаимосвязаны и в некоторой степени они могут рассматриваться как одни и те же виды деятельности, но существуют отличительные моменты, которые выделяют их. В следующей таблице перечислены пункты, которые различают QA, QC и Testing.

Гарантия качества	Контроль качества	тестирование
QA включает в себя действия, которые обеспечивают реализацию процессов, процедур и стандартов в контексте проверки разработанного программного обеспечения и предполагаемых требований.	Он включает в себя действия, которые обеспечивают проверку разработанного программного обеспечения в отношении задокументированных (или не в некоторых случаях) требований.	Он включает в себя действия, которые обеспечивают выявление ошибок / ошибок / дефектов в программном обеспечении.
Ориентирован на процессы и процедуры, а не на проведение реальных испытаний в системе.	Ориентирован на фактическое тестирование, выполняя программное обеспечение с целью выявления ошибок / дефектов посредством реализации процедур и процессов.	Ориентирован на фактическое тестирование.
Процессно-ориентированные мероприятия.	Товарно-ориентированная деятельность.	Товарно-ориентированная деятельность.
Профилактические мероприятия.	Это корректирующий процесс.	Это профилактический процесс.
Это подмножество жизненного цикла тестирования программного обеспечения (STLC).	КК можно рассматривать как подмножество обеспечения качества.	Тестирование является подмножеством контроля качества.

Аудит и Инспекция

Аудит – это систематический процесс, позволяющий определить, как в действительности проводится процесс тестирования в организации или команде. Как правило, это независимая проверка процессов, участвующих в процессе тестирования программного обеспечения. Согласно IEEE, это обзор задокументированных процессов, которые организации внедряют и выполняют. Типы аудита включают Аудит соответствия требованиям законодательства, Внутренний аудит и Системный аудит.

Инспекция – это формальный метод, который включает в себя формальные или неформальные технические проверки любого артефакта путем выявления любой ошибки или пробела. Согласно IEEE94, инспекция – это формальная методика оценки, в которой требования к программному обеспечению, проекты или коды детально изучаются лицом или группой, кроме автора, для выявления ошибок, нарушений стандартов разработки и других проблем.

Официальные инспекционные собрания могут включать в себя следующие процессы: планирование, обзорная подготовка, инспекционная встреча, доработка и контроль.

Тестирование и отладка

Тестирование – включает в себя выявление ошибок / ошибок / дефектов в программном обеспечении без их исправления. Обычно в выявлении ошибок участвуют профессионалы с опытом обеспечения качества. Тестирование проводится на этапе тестирования.

Отладка – включает в себя выявление, изоляцию и устранение проблем / ошибок. Разработчики, которые пишут программное обеспечение, проводят отладку при обнаружении ошибки в коде. Отладка является частью тестирования White Box или модульного тестирования. Отладка может быть выполнена на этапе разработки во время проведения модульного тестирования или на этапах при исправлении обнаруженных ошибок.

Тестирование программного обеспечения – Стандарты ИСО

Многие организации по всему миру разрабатывают и внедряют различные стандарты для улучшения требований к качеству своего программного обеспечения. В этой главе кратко описаны некоторые из широко используемых стандартов, связанных с обеспечением качества и тестированием.

ISO / IEC 9126

Этот стандарт касается следующих аспектов для определения качества программного приложения –

• Качественная модель
• Внешние показатели
• Внутренние показатели
• Метрики качества в использовании

Этот стандарт представляет некоторый набор атрибутов качества для любого программного обеспечения, такого как –

• функциональность
• надежность
• Юзабилити
• КПД
• Ремонтопригодность
• портативность

Вышеупомянутые атрибуты качества далее подразделяются на подфакторы, которые вы можете изучить, когда изучите стандарт подробно.

ИСО / МЭК 9241-11

Часть 11 этого стандарта касается того, в какой степени продукт может использоваться указанными пользователями для достижения указанных целей с помощью Эффективности, Эффективности и Удовлетворенности в указанном контексте использования.

В этом стандарте предложена структура, которая описывает компоненты юзабилити и отношения между ними. В этом стандарте удобство использования рассматривается с точки зрения производительности и удовлетворенности пользователей. В соответствии с ISO 9241-11, удобство использования зависит от контекста использования, и уровень удобства будет меняться при изменении контекста.

ИСО / МЭК 25000: 2005

ИСО / МЭК 25000: 2005 широко известен как стандарт, в котором приведены рекомендации по требованиям и оценке качества программного обеспечения (SQuaRE). Этот стандарт помогает в организации и совершенствовании процесса, связанного с требованиями к качеству программного обеспечения и их оценками. В действительности ISO-25000 заменяет два старых стандарта ISO, то есть ISO-9126 и ISO-14598.

SQuaRE состоит из следующих частей:

• ISO 2500n – Отдел управления качеством
• ISO 2501n – Отдел качественных моделей
• ISO 2502n – Отдел измерения качества
• ISO 2503n – Отдел требований к качеству
• ISO 2504n – Отдел оценки качества

Основное содержание SQuaRE –

• Термины и определения
• Эталонные модели
• Общее руководство
• Руководства по индивидуальному разделению
• Стандарт, относящийся к разработке требований (то есть процесс спецификации, планирования, измерения и оценки)

ISO / IEC 12119

Этот стандарт касается пакетов программного обеспечения, доставляемых клиенту. Это не фокусируется или не касается процесса производства клиентов. Основное содержание относится к следующим пунктам –

• Набор требований к программным пакетам.
• Инструкция по тестированию поставляемого программного пакета на соответствие указанным требованиям.

Разнообразный

Некоторые из других стандартов, связанных с процессами обеспечения качества и тестирования, упомянуты ниже –

Sr.No	Стандарт и описание
1	IEEE 829 Стандарт для формата документов, используемых на разных этапах тестирования программного обеспечения.
2	IEEE 1061 Методология для установления требований к качеству, определения, реализации, анализа и валидации процесса и продукта метрик качества программного обеспечения.
3	IEEE 1059 Руководство по проверке и проверке программного обеспечения.
4	IEEE 1008 Стандарт для модульного тестирования.
5	IEEE 1012 Стандарт для проверки и подтверждения программного обеспечения.
6	IEEE 1028 Стандарт для проверок программного обеспечения.
7	IEEE 1044 Стандарт для классификации программных аномалий.
8	IEEE 1044-1 Руководство по классификации программных аномалий.
9	IEEE 830 Руководство по разработке спецификаций системных требований.
10	IEEE 730 Стандарт для планов обеспечения качества программного обеспечения.
11	IEEE 1061 Стандарт для метрик и методологии качества программного обеспечения.
12	IEEE 12207 Стандарт для процессов жизненного цикла программного обеспечения и данных жизненного цикла.
13	BS 7925-1 Словарь терминов, используемых при тестировании программного обеспечения.
14	BS 7925-2 Стандарт для тестирования программных компонентов.

IEEE 829

Стандарт для формата документов, используемых на разных этапах тестирования программного обеспечения.

IEEE 1061

Методология для установления требований к качеству, определения, реализации, анализа и валидации процесса и продукта метрик качества программного обеспечения.

IEEE 1059

Руководство по проверке и проверке программного обеспечения.

IEEE 1008

Стандарт для модульного тестирования.

IEEE 1012

Стандарт для проверки и подтверждения программного обеспечения.

IEEE 1028

Стандарт для проверок программного обеспечения.

IEEE 1044

Стандарт для классификации программных аномалий.

IEEE 1044-1

Руководство по классификации программных аномалий.

IEEE 830

Руководство по разработке спецификаций системных требований.

IEEE 730

Стандарт для планов обеспечения качества программного обеспечения.

IEEE 1061

Стандарт для метрик и методологии качества программного обеспечения.

IEEE 12207

Стандарт для процессов жизненного цикла программного обеспечения и данных жизненного цикла.

BS 7925-1

Словарь терминов, используемых при тестировании программного обеспечения.

BS 7925-2

Стандарт для тестирования программных компонентов.

Тестирование программного обеспечения – Типы тестирования

В этом разделе описываются различные типы тестирования, которые могут использоваться для тестирования программного обеспечения во время SDLC.

Ручное тестирование

Ручное тестирование включает в себя тестирование программного обеспечения вручную, то есть без использования какого-либо автоматизированного инструмента или какого-либо сценария. В этом типе тестер берет на себя роль конечного пользователя и тестирует программное обеспечение, чтобы выявить любое непредвиденное поведение или ошибку. Существуют различные этапы ручного тестирования, такие как модульное тестирование, интеграционное тестирование, тестирование системы и приемочное тестирование пользователя.

Тестировщики используют планы тестирования, тестовые наборы или сценарии тестирования для тестирования программного обеспечения, чтобы обеспечить полноту тестирования. Ручное тестирование также включает в себя предварительное тестирование, поскольку тестировщики исследуют программное обеспечение для выявления ошибок в нем.

Автоматизация тестирования

Автоматическое тестирование, также известное как Test Automation, – это когда тестировщик пишет сценарии и использует другое программное обеспечение для тестирования продукта. Этот процесс включает в себя автоматизацию ручного процесса. Автоматизированное тестирование используется для повторного запуска тестовых сценариев, которые выполнялись вручную, быстро и многократно.

Помимо регрессионного тестирования, автоматизированное тестирование также используется для тестирования приложения с точки зрения нагрузки, производительности и стресса. Это увеличивает охват тестированием, повышает точность и экономит время и деньги по сравнению с ручным тестированием.

Что автоматизировать?

Невозможно автоматизировать все в программном обеспечении. Области, в которых пользователь может совершать транзакции, такие как форма входа в систему или формы регистрации, любая область, где большое количество пользователей может одновременно получить доступ к программному обеспечению, должна быть автоматизирована.

Кроме того, все элементы графического интерфейса, соединения с базами данных, проверки полей и т. Д. Могут быть эффективно протестированы путем автоматизации ручного процесса.

Когда автоматизировать?

Автоматизация тестирования должна использоваться с учетом следующих аспектов программного обеспечения –

• Крупные и важные проекты
• Проекты, которые требуют частого тестирования одних и тех же областей
• Требования не часто меняются
• Доступ к приложению для загрузки и производительности со многими виртуальными пользователями
• Стабильное программное обеспечение в отношении ручного тестирования
• Наличие времени

Как автоматизировать?

Автоматизация осуществляется с помощью вспомогательного компьютерного языка, такого как сценарии VB и автоматизированное программное приложение. Существует множество инструментов, которые можно использовать для написания сценариев автоматизации. Прежде чем упоминать инструменты, давайте определим процесс, который можно использовать для автоматизации процесса тестирования.

• Определение областей в программном обеспечении для автоматизации
• Выбор подходящего инструмента для автоматизации тестирования
• Написание тестовых скриптов
• Разработка тестовых костюмов
• Выполнение скриптов
• Создать отчеты о результатах
• Определите любую потенциальную ошибку или проблемы с производительностью

Инструменты тестирования программного обеспечения

Следующие инструменты могут быть использованы для автоматизации тестирования –

• HP Quick Test Professional
• Селен
• IBM Rational Functional Tester
• SilkTest
• TestComplete
• Тестирование везде
• WinRunner
• LoadRunner
• Visual Studio Test Professional
• Watir

Тестирование программного обеспечения – Методы

Существуют разные методы тестирования программного обеспечения. В этой главе кратко описаны доступные методы.

Тестирование черного ящика

Техника тестирования, не имеющая каких-либо знаний о внутренней работе приложения, называется «черным ящиком». Тестер не обращает внимания на архитектуру системы и не имеет доступа к исходному коду. Как правило, при выполнении теста черного ящика тестер взаимодействует с пользовательским интерфейсом системы, предоставляя входные данные и анализируя выходные данные, не зная, как и где обрабатываются входные данные.

В следующей таблице перечислены преимущества и недостатки тестирования черного ящика.

преимущества	Недостатки
Хорошо подходит и эффективен для больших сегментов кода.	Ограниченный охват, поскольку фактически выполняется только выбранное количество тестовых сценариев.
Код доступа не требуется.	Неэффективное тестирование из-за того, что тестер имеет только ограниченные знания о приложении.
Четко отделяет точку зрения пользователя от точки зрения разработчика через четко определенные роли.	Слепое покрытие, поскольку тестер не может ориентироваться на определенные сегменты кода или области, подверженные ошибкам.
Большое количество тестировщиков средней квалификации могут тестировать приложение без знания реализации, языка программирования или операционных систем.	Тестовые случаи сложно спроектировать.

Тестирование белого ящика

Тестирование белого ящика – это детальное исследование внутренней логики и структуры кода. Тестирование белого ящика также называется тестированием стекла или тестированием открытого ящика . Чтобы выполнить тестирование « белого ящика» приложения, тестировщик должен знать внутреннюю работу кода.

Тестировщик должен заглянуть в исходный код и выяснить, какой блок / блок кода ведет себя неадекватно.

В следующей таблице перечислены преимущества и недостатки тестирования белого ящика.

преимущества	Недостатки
Поскольку тестировщик знает исходный код, становится очень легко определить, какой тип данных может помочь в эффективном тестировании приложения.	В связи с тем, что для тестирования белого ящика требуется опытный тестировщик, затраты увеличиваются.
Это помогает в оптимизации кода.	Иногда невозможно заглянуть в каждый уголок и найти скрытые ошибки, которые могут создать проблемы, так как многие пути не пройдут проверку.
Дополнительные строки кода могут быть удалены, что может привести к скрытым дефектам.	Сложно проводить тестирование белого ящика, так как для этого требуются специализированные инструменты, такие как анализаторы кода и средства отладки.
Благодаря знаниям тестера о коде максимальный охват достигается при написании тестового сценария.

Тестирование серой коробки

Тестирование «серого ящика» – это метод тестирования приложения с ограниченными знаниями о внутренней работе приложения. В тестировании программного обеспечения фраза «чем больше вы знаете, тем лучше несет большой вес при тестировании приложения».

Владение доменом системы всегда дает тестеру преимущество над человеком с ограниченными знаниями в предметной области. В отличие от тестирования «черного ящика», когда тестировщик проверяет только пользовательский интерфейс приложения; при тестировании в виде серого ящика тестер имеет доступ к проектной документации и базе данных. Обладая этими знаниями, тестировщик может подготовить лучшие тестовые данные и тестовые сценарии при составлении плана тестирования.

преимущества	Недостатки
Предлагает комбинированные преимущества тестирования «черного ящика» и «белого ящика», где это возможно.	Поскольку доступ к исходному коду недоступен, возможность просмотра кода и покрытия тестами ограничена.
Тестеры «серого ящика» не полагаются на исходный код; вместо этого они полагаются на определение интерфейса и функциональные спецификации.	Тесты могут быть избыточными, если разработчик программного обеспечения уже выполнил тестовый пример.
На основании доступной ограниченной информации тестировщик «серого ящика» может разработать отличные сценарии тестирования, особенно в отношении протоколов связи и обработки типов данных.	Тестирование каждого возможного входного потока нереально, потому что это займет неоправданное количество времени; поэтому многие пути к программам останутся непроверенными.
Тест проводится с точки зрения пользователя, а не дизайнера.

Сравнение методов тестирования

В следующей таблице перечислены пункты, которые различают тестирование черного ящика, тестирование серого ящика и тестирование белого ящика.

Тестирование черного ящика	Тестирование серой коробки	Тестирование белого ящика
Внутренняя работа приложения не должна быть известна.	Тестер имеет ограниченные знания о внутренней работе приложения.	Тестер обладает полным знанием внутренней работы приложения.
Также известный как закрытое тестирование, тестирование на основе данных или функциональное тестирование.	Также известный как полупрозрачное тестирование, поскольку тестер имеет ограниченные знания о внутренностях приложения.	Также известна как тестирование с использованием прозрачных блоков, структурное тестирование или тестирование на основе кода.
Выполняется конечными пользователями, а также тестерами и разработчиками.	Выполняется конечными пользователями, а также тестерами и разработчиками.	Обычно это делается тестерами и разработчиками.
Тестирование основано на внешних ожиданиях. Внутреннее поведение приложения неизвестно.	Тестирование проводится на основе высокоуровневых диаграмм базы данных и диаграмм потоков данных.	Внутренняя работа полностью известна, и тестировщик может разработать тестовые данные соответственно.
Это исчерпывающий и наименее трудоемкий процесс.	Частично трудоемкий и исчерпывающий.	Самый исчерпывающий и трудоемкий тип тестирования.
Не подходит для тестирования алгоритмов.	Не подходит для тестирования алгоритмов.	Подходит для тестирования алгоритмов.
Это может быть сделано только методом проб и ошибок.	Домены данных и внутренние границы могут быть проверены, если они известны.	Домены данных и внутренние границы могут быть лучше проверены.

Тестирование программного обеспечения – Уровни

В процессе тестирования существуют разные уровни. В этой главе дается краткое описание этих уровней.

Уровни тестирования включают различные методологии, которые можно использовать при проведении тестирования программного обеспечения. Основные уровни тестирования программного обеспечения –

• Функциональное тестирование

• Нефункциональное тестирование

Функциональное тестирование

Нефункциональное тестирование

Функциональное тестирование

Это тип «черного ящика», основанный на спецификациях программного обеспечения, которое должно быть протестировано. Приложение проверяется путем предоставления входных данных, а затем проверяются результаты, которые должны соответствовать функциональности, для которой оно было предназначено. Функциональное тестирование программного обеспечения проводится в полной интегрированной системе для оценки соответствия системы ее установленным требованиям.

При тестировании приложения на функциональность необходимо выполнить пять шагов.

меры	Описание
я	Определение функциональности, для которой предназначенное приложение предназначено.
II	Создание тестовых данных на основе спецификаций приложения.
III	Вывод основан на данных испытаний и спецификациях приложения.
IV	Написание тестовых сценариев и выполнение тестовых случаев.
В	Сравнение фактических и ожидаемых результатов на основе выполненных тестовых случаев.

Эффективная практика тестирования приведет к тому, что вышеуказанные шаги будут применены к политикам тестирования каждой организации, и, следовательно, обеспечит соблюдение строжайших стандартов в отношении качества программного обеспечения.

Модульное тестирование

Этот тип тестирования выполняется разработчиками до того, как установка будет передана группе тестирования для формального выполнения тестовых случаев. Модульное тестирование выполняется соответствующими разработчиками на отдельных единицах исходного кода назначенных областей. Разработчики используют тестовые данные, которые отличаются от тестовых данных группы обеспечения качества.

Цель модульного тестирования состоит в том, чтобы изолировать каждую часть программы и показать, что отдельные части являются правильными с точки зрения требований и функциональности.

Ограничения юнит-тестирования

Тестирование не может поймать каждую ошибку в приложении. Невозможно оценить каждый путь выполнения в каждом программном приложении. То же самое в случае модульного тестирования.

Существует ограничение на количество сценариев и тестовых данных, которые разработчик может использовать для проверки исходного кода. После исчерпания всех опций, нет другого выбора, кроме как прекратить модульное тестирование и объединить сегмент кода с другими модулями.

Интеграционное тестирование

Интеграционное тестирование определяется как тестирование объединенных частей приложения для определения их правильного функционирования. Интеграционное тестирование может выполняться двумя способами: интеграционное тестирование снизу вверх и интеграционное тестирование сверху вниз.

Sr.No.	Метод тестирования интеграции
1	Восходящая интеграция Это тестирование начинается с модульного тестирования, за которым следуют тесты прогрессивно более высокого уровня комбинаций модулей, называемых модулями или сборками.
2	Интеграция сверху вниз В этом тестировании модули высшего уровня тестируются в первую очередь, а затем постепенно тестируются модули более низкого уровня.

Восходящая интеграция

Это тестирование начинается с модульного тестирования, за которым следуют тесты прогрессивно более высокого уровня комбинаций модулей, называемых модулями или сборками.

Интеграция сверху вниз

В этом тестировании модули высшего уровня тестируются в первую очередь, а затем постепенно тестируются модули более низкого уровня.

В комплексной среде разработки программного обеспечения обычно сначала выполняется восходящее тестирование, а затем – нисходящее. Процесс завершается несколькими тестами всего приложения, предпочтительно в сценариях, разработанных для имитации реальных ситуаций.

Тестирование системы

Системное тестирование тестирует систему в целом. Как только все компоненты интегрированы, приложение в целом подвергается строгой проверке на соответствие указанным стандартам качества. Этот тип тестирования выполняется специализированной командой тестирования.

Системное тестирование важно по следующим причинам:

• Системное тестирование – это первый шаг в жизненном цикле разработки программного обеспечения, когда приложение тестируется в целом.

• Приложение тщательно протестировано, чтобы убедиться, что оно соответствует функциональным и техническим характеристикам.

• Приложение тестируется в среде, очень близкой к производственной среде, в которой оно будет развернуто.

• Системное тестирование позволяет нам тестировать, проверять и проверять как бизнес-требования, так и архитектуру приложения.

Системное тестирование – это первый шаг в жизненном цикле разработки программного обеспечения, когда приложение тестируется в целом.

Приложение тщательно протестировано, чтобы убедиться, что оно соответствует функциональным и техническим характеристикам.

Приложение тестируется в среде, очень близкой к производственной среде, в которой оно будет развернуто.

Системное тестирование позволяет нам тестировать, проверять и проверять как бизнес-требования, так и архитектуру приложения.

Регрессионное тестирование

Всякий раз, когда вносятся изменения в программное приложение, вполне возможно, что это изменение затронуло другие области приложения. Регрессионное тестирование проводится для проверки того, что исправленная ошибка не привела к нарушению других функций или бизнес-правил. Целью регрессионного тестирования является обеспечение того, чтобы изменение, такое как исправление ошибки, не привело к обнаружению другой ошибки в приложении.

Регрессионное тестирование важно по следующим причинам:

• Минимизируйте пробелы в тестировании, когда необходимо протестировать приложение с внесенными изменениями.

• Тестирование новых изменений, чтобы убедиться, что сделанные изменения не повлияли ни на одну другую область приложения.

• Смягчает риски, когда регрессионное тестирование выполняется в приложении.

• Тестовое покрытие увеличивается без ущерба для сроков.

• Увеличьте скорость для продвижения продукта.

Минимизируйте пробелы в тестировании, когда необходимо протестировать приложение с внесенными изменениями.

Тестирование новых изменений, чтобы убедиться, что сделанные изменения не повлияли ни на одну другую область приложения.

Смягчает риски, когда регрессионное тестирование выполняется в приложении.

Тестовое покрытие увеличивается без ущерба для сроков.

Увеличьте скорость для продвижения продукта.

Приемочное тестирование

Это, пожалуй, самый важный тип тестирования, так как он проводится группой обеспечения качества, которая будет оценивать, соответствует ли приложение предполагаемым спецификациям и удовлетворяет ли требование клиента. Команда QA будет иметь набор предварительно написанных сценариев и тестовых случаев, которые будут использоваться для тестирования приложения.

Будет поделено больше идей о приложении и может быть проведено больше тестов, чтобы оценить его точность и причины, по которым проект был инициирован. Приемочные тесты предназначены не только для выявления простых орфографических ошибок, косметических ошибок или пробелов в интерфейсе, но и для выявления любых ошибок в приложении, которые приведут к сбоям системы или серьезным ошибкам в приложении.

Выполняя приемочные тесты для приложения, команда тестирования снизит производительность приложения. Существуют также юридические и договорные требования для принятия системы.

Альфа-тестирование

Этот тест является первым этапом тестирования и будет проводиться среди команд (разработчиков и команд QA). Модульное тестирование, интеграционное тестирование и тестирование системы в сочетании друг с другом называется альфа-тестированием. На этом этапе в приложении будут проверены следующие аспекты:

• Орфографические ошибки

• Неработающие ссылки

• Облачно

• Приложение будет протестировано на машинах с самой низкой спецификацией для тестирования времени загрузки и любых проблем с задержкой.

Орфографические ошибки

Неработающие ссылки

Облачно

Приложение будет протестировано на машинах с самой низкой спецификацией для тестирования времени загрузки и любых проблем с задержкой.

Бета-тестирование

Этот тест выполняется после того, как альфа-тестирование было успешно выполнено. В бета-тестировании образец целевой аудитории тестирует приложение. Бета-тестирование также известно как предварительное тестирование . Бета-тестовые версии программного обеспечения идеально распространяются среди широкой аудитории в Интернете, частично для того, чтобы дать программе «реальный» тест, а частично для предварительного просмотра следующего выпуска. На этом этапе аудитория будет тестировать следующее:

• Пользователи установят, запустят приложение и отправят свои отзывы команде проекта.

• Типографские ошибки, запутывание потока приложений и даже сбои.

• Получив обратную связь, команда проекта может решить проблемы перед выпуском программного обеспечения для реальных пользователей.

• Чем больше проблем, которые вы решите, решают реальные проблемы пользователей, тем выше будет качество вашего приложения.

• Наличие более качественного приложения при его публикации широкой публике повысит удовлетворенность клиентов.

Пользователи установят, запустят приложение и отправят свои отзывы команде проекта.

Типографские ошибки, запутывание потока приложений и даже сбои.

Получив обратную связь, команда проекта может решить проблемы перед выпуском программного обеспечения для реальных пользователей.

Чем больше проблем, которые вы решите, решают реальные проблемы пользователей, тем выше будет качество вашего приложения.

Наличие более качественного приложения при его публикации широкой публике повысит удовлетворенность клиентов.

Нефункциональное тестирование

Этот раздел основан на тестировании приложения по его нефункциональным атрибутам. Нефункциональное тестирование включает тестирование программного обеспечения на основе требований, которые являются нефункциональными по своей природе, но важны, такие как производительность, безопасность, пользовательский интерфейс и т. Д.

Некоторые из важных и часто используемых нефункциональных типов тестирования обсуждаются ниже.

Тестирование производительности

Он в основном используется для выявления узких мест или проблем с производительностью, а не для выявления ошибок в программном обеспечении. Существуют различные причины, которые способствуют снижению производительности программного обеспечения –

• Сетевая задержка

• Обработка на стороне клиента

• Обработка транзакций базы данных

• Балансировка нагрузки между серверами

• Рендеринг данных

Сетевая задержка

Обработка на стороне клиента

Обработка транзакций базы данных

Балансировка нагрузки между серверами

Рендеринг данных

Тестирование производительности считается одним из важных и обязательных типов тестирования с точки зрения следующих аспектов:

• Скорость (т.е. время отклика, рендеринг и доступ к данным)

• Вместимость

• стабильность

• Масштабируемость

Скорость (т.е. время отклика, рендеринг и доступ к данным)

Вместимость

стабильность

Масштабируемость

Тестирование производительности может быть качественным или количественным и может быть разделено на различные подтипы, такие как нагрузочное тестирование и стресс-тестирование .

Нагрузочное тестирование

Это процесс тестирования поведения программного обеспечения путем применения максимальной нагрузки с точки зрения доступа к программному обеспечению и манипулирования большими входными данными. Это можно сделать как в нормальных условиях, так и в условиях пиковой нагрузки. Этот тип тестирования определяет максимальную емкость программного обеспечения и его поведение в пиковое время.

В большинстве случаев нагрузочное тестирование выполняется с помощью автоматизированных инструментов, таких как Load Runner, AppLoader, IBM Rational Performance Tester, Apache JMeter, Silk Performer, Visual Studio Load Test и т. Д.

Виртуальные пользователи (VUsers) определяются в инструменте автоматического тестирования, и сценарий выполняется для проверки нагрузочного тестирования программного обеспечения. Количество пользователей может быть увеличено или уменьшено одновременно или постепенно в зависимости от требований.

Стресс-тестирование

Стресс-тестирование включает тестирование поведения программного обеспечения в ненормальных условиях. Например, это может включать удаление некоторых ресурсов или применение нагрузки, превышающей фактический предел нагрузки.

Целью стресс-тестирования является тестирование программного обеспечения путем приложения нагрузки к системе и использования ресурсов, используемых программным обеспечением для определения критической точки. Это тестирование может быть выполнено путем тестирования различных сценариев, таких как –

• Завершение или перезапуск сетевых портов случайным образом

• Включение или выключение базы данных

• Запуск различных процессов, которые потребляют ресурсы, такие как процессор, память, сервер и т. Д.

Завершение или перезапуск сетевых портов случайным образом

Включение или выключение базы данных

Запуск различных процессов, которые потребляют ресурсы, такие как процессор, память, сервер и т. Д.

Юзабилити-тестирование

Юзабилити-тестирование – это метод «черного ящика», который используется для выявления любых ошибок и улучшений в программном обеспечении путем наблюдения за пользователями через их использование и работу.

Согласно Нильсену, юзабилити можно определить с точки зрения пяти факторов: эффективности использования, способности к обучению, способности к памяти, ошибок / безопасности и удовлетворенности. По его словам, удобство использования продукта будет хорошим, а система пригодна для использования, если она обладает вышеуказанными факторами.

Найджел Беван и Маклеод считают, что удобство использования является требованием к качеству, которое можно измерить как результат взаимодействия с компьютерной системой. Это требование может быть выполнено, и конечный пользователь будет удовлетворен, если намеченные цели будут эффективно достигнуты с использованием надлежащих ресурсов.

Молич в 2000 году заявил, что удобная для пользователя система должна выполнять следующие пять целей: легко изучать, легко запомнить, эффективно использовать, удовлетворительно и легко понять.

В дополнение к различным определениям юзабилити существуют некоторые стандарты и модели и методы качества, которые определяют юзабилити в форме атрибутов и податрибутов, таких как ISO-9126, ISO-9241-11, ISO-13407 и IEEE std. 610,12 и т. Д.

Пользовательский интерфейс против юзабилити-тестирования

Тестирование пользовательского интерфейса включает тестирование графического интерфейса пользователя программного обеспечения. Тестирование пользовательского интерфейса гарантирует, что графический интерфейс работает в соответствии с требованиями и протестирован с точки зрения цвета, выравнивания, размера и других свойств.

С другой стороны, юзабилити-тестирование обеспечивает хороший и удобный графический интерфейс, который легко обрабатывается. Тестирование пользовательского интерфейса может рассматриваться как часть тестирования юзабилити.

Тестирование безопасности

Тестирование безопасности включает в себя тестирование программного обеспечения с целью выявления любых недостатков и пробелов с точки зрения безопасности и уязвимости. Ниже перечислены основные аспекты, которые должно обеспечить тестирование безопасности:

• конфиденциальность

• целостность

• Аутентификация

• Доступность

• авторизация

• Неотрекаемость

• Программное обеспечение защищено от известных и неизвестных уязвимостей

• Данные программного обеспечения в безопасности

• Программное обеспечение соответствует всем правилам безопасности

• Проверка и проверка ввода

• Атаки SQL-вставки

• Недостатки впрыска

• Вопросы управления сессиями

• Межсайтовые скриптовые атаки

• Уязвимости переполнения буфера

• Атаки с обходом каталогов

конфиденциальность

целостность

Аутентификация

Доступность

авторизация

Неотрекаемость

Программное обеспечение защищено от известных и неизвестных уязвимостей

Данные программного обеспечения в безопасности

Программное обеспечение соответствует всем правилам безопасности

Проверка и проверка ввода

Атаки SQL-вставки

Недостатки впрыска

Вопросы управления сессиями

Межсайтовые скриптовые атаки

Уязвимости переполнения буфера

Атаки с обходом каталогов

Тестирование переносимости

Тестирование переносимости включает в себя тестирование программного обеспечения с целью обеспечения его повторного использования и возможности его переноса из другого программного обеспечения. Ниже приведены стратегии, которые можно использовать для тестирования переносимости.

• Перенос установленного программного обеспечения с одного компьютера на другой.

• Сборка исполняемого файла (.exe) для запуска программного обеспечения на разных платформах.

Перенос установленного программного обеспечения с одного компьютера на другой.

Сборка исполняемого файла (.exe) для запуска программного обеспечения на разных платформах.

Тестирование переносимости можно рассматривать как одну из составных частей тестирования системы, поскольку этот тип тестирования включает общее тестирование программного обеспечения с точки зрения его использования в различных средах. Компьютерное оборудование, операционные системы и браузеры находятся в центре внимания тестирования переносимости. Некоторые предварительные условия для тестирования переносимости следующие:

• Программное обеспечение должно быть разработано и закодировано с учетом требований переносимости.

• Модульное тестирование было выполнено на связанных компонентах.

• Интеграционное тестирование выполнено.

• Тестовая среда была создана.

Программное обеспечение должно быть разработано и закодировано с учетом требований переносимости.

Модульное тестирование было выполнено на связанных компонентах.

Интеграционное тестирование выполнено.

Тестовая среда была создана.

Тестирование программного обеспечения – Документация

Документация по тестированию включает в себя документацию об артефактах, которые должны быть разработаны до или во время тестирования Программного обеспечения.

Документация по тестированию программного обеспечения помогает оценить необходимые усилия по тестированию, охват тестированием, отслеживание / отслеживание требований и т. Д. В этом разделе описаны некоторые из наиболее часто используемых документированных артефактов, связанных с тестированием программного обеспечения, например:

• План испытаний
• Тестовый сценарий
• Прецедент
• Матрица прослеживаемости

План испытаний

План тестирования описывает стратегию, которая будет использоваться для тестирования приложения, ресурсы, которые будут использоваться, среду тестирования, в которой будет выполняться тестирование, а также ограничения тестирования и график действий по тестированию. Обычно руководитель группы обеспечения качества несет ответственность за составление плана тестирования.

План тестирования включает в себя следующее –

• Введение в документ плана испытаний
• Допущения при тестировании приложения
• Список тестовых случаев, включенных в тестирование приложения
• Список возможностей для тестирования
• Какой подход использовать при тестировании программного обеспечения?
• Список результатов, которые должны быть проверены
• Ресурсы, выделенные для тестирования приложения
• Любые риски, связанные с процессом тестирования
• График выполнения задач и этапов

Тестовый сценарий

Это однострочный оператор, который уведомляет, какая область в приложении будет проверена. Сценарии тестирования используются, чтобы гарантировать, что все технологические процессы тестируются от начала до конца. В конкретной области приложения может быть от одного тестового сценария до нескольких сотен сценариев в зависимости от масштаба и сложности приложения.

Термины «тестовый сценарий» и «тестовые случаи» используются взаимозаменяемо, однако тестовый сценарий состоит из нескольких этапов, тогда как тестовый пример состоит из одного этапа. С этой точки зрения тестовые сценарии являются тестовыми примерами, но они включают в себя несколько тестовых случаев и последовательность их выполнения. Кроме того, каждый тест зависит от результатов предыдущего теста.

Прецедент

Тестовые случаи включают набор шагов, условий и входных данных, которые можно использовать при выполнении задач тестирования. Основная цель этой деятельности заключается в том, чтобы убедиться, что программное обеспечение прошло или не прошло с точки зрения его функциональности и других аспектов. Существует много типов тестовых примеров, таких как функциональные, отрицательные, с ошибками, логические тестовые примеры, физические тестовые примеры, тестовые примеры пользовательского интерфейса и т. Д.

Кроме того, тестовые случаи написаны для отслеживания охвата тестирования программного обеспечения. Как правило, нет никаких формальных шаблонов, которые можно использовать во время написания тестового примера. Тем не менее, следующие компоненты всегда доступны и включены в каждый тестовый пример –

• Идентификатор теста
• Модуль продукта
• Версия продукта
• Лист регистраций изменений
• Цель
• Предположения
• Предпосылки
• меры
• Ожидаемый результат
• Фактический результат
• Постусловий

Многие тестовые случаи могут быть получены из одного тестового сценария. Кроме того, иногда для одного программного обеспечения написано несколько тестовых случаев, которые в совокупности известны как наборы тестов.

Матрица прослеживаемости

Матрица отслеживания (также известная как матрица отслеживания требований – RTM) – это таблица, которая используется для отслеживания требований в течение жизненного цикла разработки программного обеспечения. Он может использоваться для прямой трассировки (например, от требований к дизайну или кодированию) или назад (то есть от кодирования к требованиям). Существует множество пользовательских шаблонов для RTM.

Каждое требование в документе RTM связано со связанным с ним контрольным примером, так что тестирование может быть выполнено в соответствии с упомянутыми требованиями. Кроме того, идентификатор ошибки также включен и связан с соответствующими требованиями и контрольным примером. Основные цели для этой матрицы –

• Убедитесь, что программное обеспечение разработано в соответствии с указанными требованиями.
• Помогает найти основную причину любой ошибки.
• Помогает в отслеживании разработанных документов на разных этапах SDLC.

Тестирование программного обеспечения – методы оценки

Оценка усилий, необходимых для тестирования, является одной из основных и важных задач в SDLC. Правильная оценка помогает в тестировании программного обеспечения с максимальным охватом. В этом разделе описываются некоторые методы, которые могут быть полезны при оценке усилий, необходимых для тестирования.

Функциональный точечный анализ

Этот метод основан на анализе функциональных требований пользователей программного обеспечения со следующими категориями –

• Выходы
• расспросы
• входные
• Внутренние файлы
• Внешние файлы

Анализ тестовых точек

Этот процесс оценки используется для анализа функциональных точек для черного ящика или приемочного тестирования. Основными элементами этого метода являются: размер, производительность, стратегия, взаимодействие, сложность и однородность.

Метод Марк-II

Это метод оценки, используемый для анализа и измерения оценки на основе функционального представления конечного пользователя. Процедура для метода Mark-II заключается в следующем –

• Определить точку зрения
• Цель и тип подсчета
• Определить границу счета
• Определите логические транзакции
• Определить и классифицировать типы объектов данных
• Подсчитать типы элементов входных данных
• Подсчитайте функциональный размер

Разнообразный

Вы можете использовать другие популярные методы оценки, такие как –

Тестирование компьютера: комплектующие и программы.

Хороший владелец компьютера, это как хороший владелец авто: не просто использует по назначению, но и пытается хоть немного разобраться, какие модули для чего предназначены. Не нужно быть специалистом, чтобы разобраться в признаках элементарных проблем, которые возникают в процессе использования. А для этого можно всего лишь освоить тестирование компьютера с помощью функциональных, но простых в обращении программ.

В последних версиях Windows имеется целый ряд полезных утилит, о которых некоторые и не догадываются или не имеют представления, зачем они нужны.

• Общая информация и тесты из Монитора ресурсов
• Диагностика оперативной памяти
• Читаем Журнал событий
• Проверяем видео и звук
• Все драйверы системы

Тестирование компьютера: Монитор ресурсов и производительности

Название говорит само за себя. Чтобы автоматически запустить утилиту, нажмите Win + R  и введите команду

perfmon /report

Процесс сбора данных о системе начнётся немедленно. Отчёт будет содержать огромное количество информации, которая на первый взгляд будет казаться чисто статистической. Первое, что вас наверняка заинтересует, это вкладка Предупреждение, содержащая ошибки текущего сеанса Windows. Это окно дублирует неисправности, например, диспетчера устройств, однако тут же, в отличие от первого, даёт простейшие советы, что можно по этому поводу предпринять:

Плюсом к тому являются дополнительные ссылки в каждом из пунктов, в которых новичку можно запутаться, что не мешает им нести много полезностей. Так, вкладка Обзор ресурсов содержит цветовую индикацию загруженности процессора, сетевого адаптера и планок ОЗУ. Зелёный – нормально, жёлтый – присмотритесь, красный – у вас проблемы:

Вобщем, описать утилиту полностью – бесполезно. Запустите команду и пробегитесь по вкладкам не спеша. Будете знать, куда вернуться, ежели что…

Тестирование компьютера: Диагностика оперативной памяти

А вы думали, что это прерогатива сервис-менов? Теперь это можете сделать и вы. Это произойдёт не в текущем сеансе – это просто невозможно – а при перезагрузке, или следующем включении компьютера. Утилита находится по пути:

Пуск – Панель управления – Администрирование – Средство проверки памяти Windows

Тест запустится в текстовом Стандартном режиме. Настройки можно будет изменить, и по окончании теста, если ошибки будут выявлены, система предложит варианты исправления и даже может указать на неисправный модуль.

Тестирование компьютера: Журнал событий Windows

Ещё одно мощное средство диагностики, точнее, средство чтения ошибок Windows, это журнал событий. Для того, чтобы правильно работать с этой чрезвычайно полезной программой, вам следует прочитать отдельно выделенную под эту тему статью Журнал событий Windows.

Этот журнал, если вкратце, позволит составить общую картину запускаемых приложений в сеансах Windows с указанием на точное время запуска и завершения программ, возможных неисправностей и даже отказов системы с указанием их причин. На неисправный модуль он, журнал, не укажет, но выводы можно будет сделать. Именно сюда идёт пользователь за причиной появления синего экрана смерти, внезапного отключения компьютера и т.д. По сути, это уже не тестирование компьютера , а его «чёрный ящик».

Тестирование компьютера: проблемы с воспроизведением видео и звука?

Следующее средство диагностики сопровождает нас в Windows уже долгое время. Это пресловутый DirectX – это технология, придуманная разработчиками Microsoft для описания всего спектра инструментов работы с API (application programming interfaces — интерфейс прикладных программ) программ, которые работают с видео и звуком. Так, начиная с Windows 98 мы знакомы с DirectPlay, отвечающей за звуки, видео — DirectShow и графикой — Direct3D.

Вобщем, посмотреть на результаты проверки Windows установленных  видео-звуковых настроек можно прямо сейчас одной командой:

dxdiag.exe

Система проведёт опрос всех устройств, которые задействованы в процессе воспроизведения видео и звука и выдаст окно с несколькими вкладками, в которых будет дано соответствующее резюме.

Тестирование компьютера: Все драйверы Windows

Хотите посмотреть на них всем списком? Легко. Откройте командную консоль и наберите команду:

driverquery

Здесь вы можете полюбоваться на подробную информацию об установленных драйверах в системе. Там же вы можете проверить актуальность драйверов по дате установки или обновления. Однако не пугайтесь, если обнаружите даты 5-7-ми летней давности: вашей системе этих драйверов для некоторых устройств-мастодонтов (например, кард-ридер или привод оптических дисков) будет предостаточно, а иногда и дата не отражает в себе проделанные с ним изменения^

Однако, есть возможность проверить, какой из драйверов тормозит систему и нуждается в обновлении. Для этого нам придётся воспользоваться парочкой бесплатных утилит, которые с лёгкостью обнаружат битые драйвера устройств. Про это у меня подробно записано в статье Системные прерывания: перегрузка процессора. Прочтите на досуге.

На этом всё, тестирование компьютера от сторонних разработчиков рассмотрим в другой раз.
Успехов

Фундаментальная теория тестирования

В тестировании нет четких определений, как в физике, математике, которые при перефразировании становятся абсолютно неверными. Поэтому важно понимать процессы и подходы. В данной статье разберем основные определения теории тестирования.

Перейдем к основным понятиям

Тестирование программного обеспечения (Software Testing) — проверка соответствия реальных и ожидаемых результатов поведения программы, проводимая на конечном наборе тестов, выбранном определённым образом.

Цель тестирования — проверка соответствия ПО предъявляемым требованиям, обеспечение уверенности в качестве ПО, поиск очевидных ошибок в программном обеспечении, которые должны быть выявлены до того, как их обнаружат пользователи программы.

Для чего проводится тестирование ПО?

• Для проверки соответствия требованиям.
• Для обнаружение проблем на более ранних этапах разработки и предотвращение повышения стоимости продукта.
• Обнаружение вариантов использования, которые не были предусмотрены при разработке. А также взгляд на продукт со стороны пользователя.
• Повышение лояльности к компании и продукту, т.к. любой обнаруженный дефект негативно влияет на доверие пользователей.

Принципы тестирования

• Принцип 1 — Тестирование демонстрирует наличие дефектов (Testing shows presence of defects).
  Тестирование только снижает вероятность наличия дефектов, которые находятся в программном обеспечении, но не гарантирует их отсутствия.
• Принцип 2 — Исчерпывающее тестирование невозможно (Exhaustive testing is impossible).
  Полное тестирование с использованием всех входных комбинаций данных, результатов и предусловий физически невыполнимо (исключение — тривиальные случаи).
• Принцип 3 — Раннее тестирование (Early testing).
  Следует начинать тестирование на ранних стадиях жизненного цикла разработки ПО, чтобы найти дефекты как можно раньше.
• Принцип 4 — Скопление дефектов (Defects clustering).
  Большая часть дефектов находится в ограниченном количестве модулей.
• Принцип 5 — Парадокс пестицида (Pesticide paradox).
  Если повторять те же тестовые сценарии снова и снова, в какой-то момент этот набор тестов перестанет выявлять новые дефекты.
• Принцип 6 — Тестирование зависит от контекста (Testing is context depending). Тестирование проводится по-разному в зависимости от контекста. Например, программное обеспечение, в котором критически важна безопасность, тестируется иначе, чем новостной портал.
• Принцип 7 — Заблуждение об отсутствии ошибок (Absence-of-errors fallacy). Отсутствие найденных дефектов при тестировании не всегда означает готовность продукта к релизу. Система должна быть удобна пользователю в использовании и удовлетворять его ожиданиям и потребностям.

Обеспечение качества (QA — Quality Assurance) и контроль качества (QC — Quality Control) — эти термины похожи на взаимозаменяемые, но разница между обеспечением качества и контролем качества все-таки есть, хоть на практике процессы и имеют некоторую схожесть.

QC (Quality Control) — Контроль качества продукта — анализ результатов тестирования и качества новых версий выпускаемого продукта.

К задачам контроля качества относятся:

• проверка готовности ПО к релизу;
• проверка соответствия требований и качества данного проекта.

QA (Quality Assurance) — Обеспечение качества продукта — изучение возможностей по изменению и улучшению процесса разработки, улучшению коммуникаций в команде, где тестирование является только одним из аспектов обеспечения качества.

К задачам обеспечения качества относятся:

• проверка технических характеристик и требований к ПО;
• оценка рисков;
• планирование задач для улучшения качества продукции;
• подготовка документации, тестового окружения и данных;
• тестирование;
• анализ результатов тестирования, а также составление отчетов и других документов.

Верификация и валидация — два понятия тесно связаны с процессами тестирования и обеспечения качества. К сожалению, их часто путают, хотя отличия между ними достаточно существенны.

Верификация (verification) — это процесс оценки системы, чтобы понять, удовлетворяют ли результаты текущего этапа разработки условиям, которые были сформулированы в его начале.

Валидация (validation) — это определение соответствия разрабатываемого ПО ожиданиям и потребностям пользователя, его требованиям к системе.

Пример: когда разрабатывали аэробус А310, то надо было сделать так, чтобы закрылки вставали в положение «торможение», когда шасси коснулись земли. Запрограммировали так, что когда шасси начинают крутиться, то закрылки ставим в положение «торможение». Но вот во время испытаний в Варшаве самолет выкатился за пределы полосы, так как была мокрая поверхность. Он проскользил, только потом был крутящий момент и они, закрылки, открылись. С точки зрения «верификации» — программа сработала, с точки зрения «валидации» — нет. Поэтому код изменили так, чтобы в момент изменения давления в шинах открывались закрылки.

Документацию, которая используется на проектах по разработке ПО, можно условно разделить на две группы:

1. Проектная документация — включает в себя всё, что относится к проекту в целом.
2. Продуктовая документация — часть проектной документации, выделяемая отдельно, которая относится непосредственно к разрабатываемому приложению или системе.

Этапы тестирования:

1. Анализ продукта
2. Работа с требованиями
3. Разработка стратегии тестирования и планирование процедур контроля качества
4. Создание тестовой документации
5. Тестирование прототипа
6. Основное тестирование
7. Стабилизация
8. Эксплуатация

Стадии разработки ПО — этапы, которые проходят команды разработчиков ПО, прежде чем программа станет доступной для широкого круга пользователей.

Программный продукт проходит следующие стадии:

1. анализ требований к проекту;
2. проектирование;
3. реализация;
4. тестирование продукта;
5. внедрение и поддержка.

Требования

Требования — это спецификация (описание) того, что должно быть реализовано.
Требования описывают то, что необходимо реализовать, без детализации технической стороны решения.

Атрибуты требований:

1. Корректность — точное описание разрабатываемого функционала.
2. Проверяемость — формулировка требований таким образом, чтобы можно было выставить однозначный вердикт, выполнено все в соответствии с требованиями или нет.
3. Полнота — в требовании должна содержаться вся необходимая для реализации функциональности информация.
4. Недвусмысленность — требование должно содержать однозначные формулировки.
5. Непротиворечивость — требование не должно содержать внутренних противоречий и противоречий другим требованиям и документам.
6. Приоритетность — у каждого требования должен быть приоритет(количественная оценка степени значимости требования). Этот атрибут позволит грамотно управлять ресурсами на проекте.
7. Атомарность — требование нельзя разбить на отдельные части без потери деталей.
8. Модифицируемость — в каждое требование можно внести изменение.
9. Прослеживаемость — каждое требование должно иметь уникальный идентификатор, по которому на него можно сослаться.

Дефект (bug) — отклонение фактического результата от ожидаемого.

Отчёт о дефекте (bug report) — документ, который содержит отчет о любом недостатке в компоненте или системе, который потенциально может привести компонент или систему к невозможности выполнить требуемую функцию.

Атрибуты отчета о дефекте:

1. Уникальный идентификатор (ID) — присваивается автоматически системой при создании баг-репорта.
2. Тема (краткое описание, Summary) — кратко сформулированный смысл дефекта, отвечающий на вопросы: Что? Где? Когда(при каких условиях)?
3. Подробное описание (Description) — более широкое описание дефекта (указывается опционально).
4. Шаги для воспроизведения (Steps To Reproduce) — описание четкой последовательности действий, которая привела к выявлению дефекта. В шагах воспроизведения должен быть описан каждый шаг, вплоть до конкретных вводимых значений, если они играют роль в воспроизведении дефекта.
5. Фактический результат (Actual result) — описывается поведение системы на момент обнаружения дефекта в ней. чаще всего, содержит краткое описание некорректного поведения(может совпадать с темой отчета о дефекте).
6. Ожидаемый результат (Expected result) — описание того, как именно должна работать система в соответствии с документацией.
7. Вложения (Attachments) — скриншоты, видео или лог-файлы.
8. Серьёзность дефекта (важность, Severity) — характеризует влияние дефекта на работоспособность приложения.
9. Приоритет дефекта (срочность, Priority) — указывает на очерёдность выполнения задачи или устранения дефекта.
10. Статус (Status) — определяет текущее состояние дефекта. Статусы дефектов могут быть разными в разных баг-трекинговых системах.
11. Окружение (Environment) – окружение, на котором воспроизвелся баг.

Жизненный цикл бага

Severity vs Priority

Серьёзность (severity) показывает степень ущерба, который наносится проекту существованием дефекта. Severity выставляется тестировщиком.

Градация Серьезности дефекта (Severity):

• Блокирующий (S1 – Blocker)
  тестирование значительной части функциональности вообще недоступно. Блокирующая ошибка, приводящая приложение в нерабочее состояние, в результате которого дальнейшая работа с тестируемой системой или ее ключевыми функциями становится невозможна.
• Критический (S2 – Critical)
  критическая ошибка, неправильно работающая ключевая бизнес-логика, дыра в системе безопасности, проблема, приведшая к временному падению сервера или приводящая в нерабочее состояние некоторую часть системы, то есть не работает важная часть одной какой-либо функции либо не работает значительная часть, но имеется workaround (обходной путь/другие входные точки), позволяющий продолжить тестирование.
• Значительный (S3 – Major)
  не работает важная часть одной какой-либо функции/бизнес-логики, но при выполнении специфических условий, либо есть workaround, позволяющий продолжить ее тестирование либо не работает не очень значительная часть какой-либо функции. Также относится к дефектам с высокими visibility – обычно не сильно влияющие на функциональность дефекты дизайна, которые, однако, сразу бросаются в глаза.
• Незначительный (S4 – Minor)
  часто ошибки GUI, которые не влияют на функциональность, но портят юзабилити или внешний вид. Также незначительные функциональные дефекты, либо которые воспроизводятся на определенном устройстве.
• Тривиальный (S5 – Trivial)
  почти всегда дефекты на GUI — опечатки в тексте, несоответствие шрифта и оттенка и т.п., либо плохо воспроизводимая ошибка, не касающаяся бизнес-логики, проблема сторонних библиотек или сервисов, проблема, не оказывающая никакого влияния на общее качество продукта.

Срочность (priority) показывает, как быстро дефект должен быть устранён. Priority выставляется менеджером, тимлидом или заказчиком

Градация Приоритета дефекта (Priority):

• P1 Высокий (High)
  Критическая для проекта ошибка. Должна быть исправлена как можно быстрее.
• P2 Средний (Medium)
  Не критичная для проекта ошибка, однако требует обязательного решения.
• P3 Низкий (Low)
  Наличие данной ошибки не является критичным и не требует срочного решения. Может быть исправлена, когда у команды появится время на ее устранение.

Существует шесть базовых типов задач:

• Эпик (epic) — большая задача, на решение которой команде нужно несколько спринтов.
• Требование (requirement ) — задача, содержащая в себе описание реализации той или иной фичи.
• История (story) — часть большой задачи (эпика), которую команда может решить за 1 спринт.
• Задача (task) — техническая задача, которую делает один из членов команды.
• Под-задача (sub-task) — часть истории / задачи, которая описывает минимальный объем работы члена команды.
• Баг (bug) — задача, которая описывает ошибку в системе.

Тестовые среды

• Среда разработки (Development Env) – за данную среду отвечают разработчики, в ней они пишут код, проводят отладку, исправляют ошибки
• Среда тестирования (Test Env) – среда, в которой работают тестировщики (проверяют функционал, проводят smoke и регрессионные тесты, воспроизводят.
• Интеграционная среда (Integration Env) – среда, в которой проводят тестирование взаимодействующих друг с другом модулей, систем, продуктов.
• Предпрод (Preprod Env) – среда, которая максимально приближена к продакшену. Здесь проводится заключительное тестирование функционала.
• Продакшн среда (Production Env) – среда, в которой работают пользователи.

Основные фазы тестирования

• Pre-Alpha: прототип, в котором всё ещё присутствует много ошибок и наверняка неполный функционал. Необходим для ознакомления с будущими возможностями программ.
• Alpha: является ранней версией программного продукта, тестирование которой проводится внутри фирмы-разработчика.
• Beta: практически готовый продукт, который разработан в первую очередь для тестирования конечными пользователями.
• Release Candidate (RC): возможные ошибки в каждой из фичей уже устранены и разработчики выпускают версию на которой проводится регрессионное тестирование.
• Release: финальная версия программы, которая готова к использованию.

Основные виды тестирования ПО

Вид тестирования — это совокупность активностей, направленных на тестирование заданных характеристик системы или её части, основанная на конкретных целях.

1. Классификация по запуску кода на исполнение:
   • Статическое тестирование — процесс тестирования, который проводится для верификации практически любого артефакта разработки: программного кода компонент, требований, системных спецификаций, функциональных спецификаций, документов проектирования и архитектуры программных систем и их компонентов.
   • Динамическое тестирование — тестирование проводится на работающей системе, не может быть осуществлено без запуска программного кода приложения.

2. Классификация по доступу к коду и архитектуре:
   • Тестирование белого ящика — метод тестирования ПО, который предполагает полный доступ к коду проекта.
   • Тестирование серого ящика — метод тестирования ПО, который предполагает частичный доступ к коду проекта (комбинация White Box и Black Box методов).
   • Тестирование чёрного ящика — метод тестирования ПО, который не предполагает доступа (полного или частичного) к системе. Основывается на работе исключительно с внешним интерфейсом тестируемой системы.

3. Классификация по уровню детализации приложения:
   • Модульное тестирование — проводится для тестирования какого-либо одного логически выделенного и изолированного элемента (модуля) системы в коде. Проводится самими разработчиками, так как предполагает полный доступ к коду.
   • Интеграционное тестирование — тестирование, направленное на проверку корректности взаимодействия нескольких модулей, объединенных в единое целое.
   • Системное тестирование — процесс тестирования системы, на котором проводится не только функциональное тестирование, но и оценка характеристик качества системы — ее устойчивости, надежности, безопасности и производительности.
   • Приёмочное тестирование — проверяет соответствие системы потребностям, требованиям и бизнес-процессам пользователя.

4. Классификация по степени автоматизации:
   • Ручное тестирование.
   • Автоматизированное тестирование.

5. Классификация по принципам работы с приложением
   • Позитивное тестирование — тестирование, при котором используются только корректные данные.
   • Негативное тестирование — тестирование приложения, при котором используются некорректные данные и выполняются некорректные операции.

6. Классификация по уровню функционального тестирования:
   • Дымовое тестирование (smoke test) — тестирование, выполняемое на новой сборке, с целью подтверждения того, что программное обеспечение стартует и выполняет основные для бизнеса функции.
   • Тестирование критического пути (critical path) — направлено для проверки функциональности, используемой обычными пользователями во время их повседневной деятельности.
   • Расширенное тестирование (extended) — направлено на исследование всей заявленной в требованиях функциональности.

7. Классификация в зависимости от исполнителей:
   • Альфа-тестирование — является ранней версией программного продукта. Может выполняться внутри организации-разработчика с возможным частичным привлечением конечных пользователей.
   • Бета-тестирование — программное обеспечение, выпускаемое для ограниченного количества пользователей. Главная цель — получить отзывы клиентов о продукте и внести соответствующие изменения.

8. Классификация в зависимости от целей тестирования:
   • Функциональное тестирование (functional testing) — направлено на проверку корректности работы функциональности приложения.
   • Нефункциональное тестирование (non-functional testing) — тестирование атрибутов компонента или системы, не относящихся к функциональности.
     1. Тестирование производительности (performance testing) — определение стабильности и потребления ресурсов в условиях различных сценариев использования и нагрузок.
     2. Нагрузочное тестирование (load testing) — определение или сбор показателей производительности и времени отклика программно-технической системы или устройства в ответ на внешний запрос с целью установления соответствия требованиям, предъявляемым к данной системе (устройству).
     3. Тестирование масштабируемости (scalability testing) — тестирование, которое измеряет производительность сети или системы, когда количество пользовательских запросов увеличивается или уменьшается.
     4. Объёмное тестирование (volume testing) — это тип тестирования программного обеспечения, которое проводится для тестирования программного приложения с определенным объемом данных.
     5. Стрессовое тестирование (stress testing) — тип тестирования направленный для проверки, как система обращается с нарастающей нагрузкой (количеством одновременных пользователей).
     6. Инсталляционное тестирование (installation testing) — тестирование, направленное на проверку успешной установки и настройки, обновления или удаления приложения.
     7. Тестирование интерфейса (GUI/UI testing) — проверка требований к пользовательскому интерфейсу.
     8. Тестирование удобства использования (usability testing) — это метод тестирования, направленный на установление степени удобства использования, понятности и привлекательности для пользователей разрабатываемого продукта в контексте заданных условий.
     9. Тестирование локализации (localization testing) — проверка адаптации программного обеспечения для определенной аудитории в соответствии с ее культурными особенностями.
     10. Тестирование безопасности (security testing) — это стратегия тестирования, используемая для проверки безопасности системы, а также для анализа рисков, связанных с обеспечением целостного подхода к защите приложения, атак хакеров, вирусов, несанкционированного доступа к конфиденциальным данным.
     11. Тестирование надёжности (reliability testing) — один из видов нефункционального тестирования ПО, целью которого является проверка работоспособности приложения при длительном тестировании с ожидаемым уровнем нагрузки.
     12. Регрессионное тестирование (regression testing) — тестирование уже проверенной ранее функциональности после внесения изменений в код приложения, для уверенности в том, что эти изменения не внесли ошибки в областях, которые не подверглись изменениям.
     13. Повторное/подтверждающее тестирование (re-testing/confirmation testing) — тестирование, во время которого исполняются тестовые сценарии, выявившие ошибки во время последнего запуска, для подтверждения успешности исправления этих ошибок.

Тест-дизайн — это этап тестирования ПО, на котором проектируются и создаются тестовые случаи (тест-кейсы).

Техники тест-дизайна

Автор книги «A Practitioner’s Guide to Software Test Design», Lee Copeland, выделяет следующие техники тест-дизайна:

1. Тестирование на основе классов эквивалентности (equivalence partitioning) — это техника, основанная на методе чёрного ящика, при которой мы разделяем функционал (часто диапазон возможных вводимых значений) на группы эквивалентных по своему влиянию на систему значений.
2. Техника анализа граничных значений (boundary value testing) — это техника проверки поведения продукта на крайних (граничных) значениях входных данных.
3. Попарное тестирование (pairwise testing) — это техника формирования наборов тестовых данных из полного набора входных данных в системе, которая позволяет существенно сократить количество тест-кейсов.
4. Тестирование на основе состояний и переходов (State-Transition Testing) — применяется для фиксирования требований и описания дизайна приложения.
5. Таблицы принятия решений (Decision Table Testing) — техника тестирования, основанная на методе чёрного ящика, которая применяется для систем со сложной логикой.
6. Доменный анализ (Domain Analysis Testing) — это техника основана на разбиении диапазона возможных значений переменной на поддиапазоны, с последующим выбором одного или нескольких значений из каждого домена для тестирования.
7. Сценарий использования (Use Case Testing) — Use Case описывает сценарий взаимодействия двух и более участников (как правило — пользователя и системы).

Методы тестирования

Тестирование белого ящика — метод тестирования ПО, который предполагает, что внутренняя структура/устройство/реализация системы известны тестировщику.

Согласно ISTQB, тестирование белого ящика — это:

• тестирование, основанное на анализе внутренней структуры компонента или системы;
• тест-дизайн, основанный на технике белого ящика — процедура написания или выбора тест-кейсов на основе анализа внутреннего устройства системы или компонента.
• Почему «белый ящик»? Тестируемая программа для тестировщика — прозрачный ящик, содержимое которого он прекрасно видит.

Тестирование серого ящика — метод тестирования ПО, который предполагает комбинацию White Box и Black Box подходов. То есть, внутреннее устройство программы нам известно лишь частично.

Тестирование чёрного ящика — также известное как тестирование, основанное на спецификации или тестирование поведения — техника тестирования, основанная на работе исключительно с внешними интерфейсами тестируемой системы.

Согласно ISTQB, тестирование черного ящика — это:

• тестирование, как функциональное, так и нефункциональное, не предполагающее знания внутреннего устройства компонента или системы;
• тест-дизайн, основанный на технике черного ящика — процедура написания или выбора тест-кейсов на основе анализа функциональной или нефункциональной спецификации компонента или системы без знания ее внутреннего устройства.

Тестовая документация

Тест план (Test Plan) — это документ, который описывает весь объем работ по тестированию, начиная с описания объекта, стратегии, расписания, критериев начала и окончания тестирования, до необходимого в процессе работы оборудования, специальных знаний, а также оценки рисков.

Тест план должен отвечать на следующие вопросы:

• Что необходимо протестировать?
• Как будет проводиться тестирование?
• Когда будет проводиться тестирование?
• Критерии начала тестирования.
• Критерии окончания тестирования.

Основные пункты тест плана:

1. Идентификатор тест плана (Test plan identifier);
2. Введение (Introduction);
3. Объект тестирования (Test items);
4. Функции, которые будут протестированы (Features to be tested;)
5. Функции, которые не будут протестированы (Features not to be tested);
6. Тестовые подходы (Approach);
7. Критерии прохождения тестирования (Item pass/fail criteria);
8. Критерии приостановления и возобновления тестирования (Suspension criteria and resumption requirements);
9. Результаты тестирования (Test deliverables);
10. Задачи тестирования (Testing tasks);
11. Ресурсы системы (Environmental needs);
12. Обязанности (Responsibilities);
13. Роли и ответственность (Staffing and training needs);
14. Расписание (Schedule);
15. Оценка рисков (Risks and contingencies);
16. Согласования (Approvals).

Чек-лист (check list) — это документ, который описывает что должно быть протестировано. Чек-лист может быть абсолютно разного уровня детализации.

Чаще всего чек-лист содержит только действия, без ожидаемого результата. Чек-лист менее формализован.

Тестовый сценарий (test case) — это артефакт, описывающий совокупность шагов, конкретных условий и параметров, необходимых для проверки реализации тестируемой функции или её части.

Атрибуты тест кейса:

• Предусловия (PreConditions) — список действий, которые приводят систему к состоянию пригодному для проведения основной проверки. Либо список условий, выполнение которых говорит о том, что система находится в пригодном для проведения основного теста состояния.
• Шаги (Steps) — список действий, переводящих систему из одного состояния в другое, для получения результата, на основании которого можно сделать вывод о удовлетворении реализации, поставленным требованиям.
• Ожидаемый результат (Expected result) — что по факту должны получить.

Резюме

Старайтесь понять определения, а не зазубривать. Если хотите узнать больше про тестирование, то можете почитать Библию QA. А если возникнет вопрос, всегда можете задать его нам в телеграм-канале @qa_chillout.

О чем речь? Тестирование программного обеспечения – это необходимый процесс в ходе разработки, во время которого выявляются все проблемы в работе софта. Какими бы классными не были программисты, ошибки будут всегда, поэтому необходима регулярная проверка.

Каким бывает? Тестирование бывает разных видов: автоматическое и ручное, функциональное и нефункциональное, с доступом к исходному коду и без него. В любом случае важно придерживаться определенных правил, чтобы продукт был проверен от и до.

Необходимость тестирования программного обеспечения

Перечислим классические программные ошибки:

• Пользователь вбивает в поле ответ на вопрос и жмет клавишу Далее программа завершает работу, а информация не сохраняется. То же самое происходит и при следующей попытке.
• Пользователь играет в шутер. Вдруг персонажи начинают странно двигаться, подергиваться и т.д. Сначала программа попросту не реагирует на нажатие клавиш, а потом и вовсе выдаёт «Game over».
• Пользователь заходит в личный кабинет интернет-магазина и нажимает «Оплатить». Однако его перебрасывает на главную страницу. Кроме того, в аккаунт приходится заново входить.

При этом не существует безошибочных программ, которые всегда выдают лишь нужные результаты. Разработчики, как правило, допускают некоторые ошибки в коде, что впоследствии усложняет пользователю процесс взаимодействия с приложением. В некоторых случаях дефекты несущественны и малозаметны, но встречаются и такие недочёты, из-за которых программа вообще не может работать.

Перед тем как человек начнет пользоваться новой версией компьютерной программы, сайта или мобильного приложения, продукт должен быть проверен инженерами-тестировщиками. Они отыскивают слабые места в коде, из-за которых программа начинает работать неправильно. Для этого тестировщики создают различные ситуации, при которых возможно возникновение ошибок.

Формы тестирования программного обеспечения

Выделяют два вида тестирования программного обеспечения: ручное и автоматическое. В первом случае человек либо самостоятельно проверяет функциональность программы, либо делает это с помощью специального ПО и API с использованием некоторого набора инструментов.

Скачать файл

Ручной метод является наиболее сложным, так как специалисту необходимо настраивать среду и проводить тесты. Плюс ко всему, нельзя забывать о человеческом факторе: тестировщик может ошибиться или пропустить ту или иную стадию тестового скрипта.

В случае автоматического тестирования все мероприятия выполняет машина, работающая по определенному скрипту. Эти тесты отличаются друг от друга по уровню сложности: от проверки одного метода в классе до обеспечения условий, в которых выполнение последовательности сложных операций в пользовательском интерфейсе приводит к одним и тем же результатам.

Данный способ намного стабильнее и точнее, чем ручной. Но стоит учитывать, что эффективность автоматического тестирования зависит от правильности тестовых скриптов.

Автоматическое тестирование представляет собой важнейший элемент беспрерывной интеграции и бесперебойной поставки. Кроме того, это хороший метод масштабирования процесса контроля качества по мере добавления новых функций в программу. При этом выполнять ручное глубокое тестирование все же полезно.

Виды тестирования ПО

Существует несколько видов тестирования программного обеспечения. Поговорим о каждом из них более подробно.

Функциональное и нефункциональное

Функциональное тестирование — это проверка функций программы. Специалист нажимает на всевозможные клавиши и пытается вести себя необычно, дабы обнаружить недочеты проекта.

Как правило, тестируются только готовые функции, которые уже должны правильно работать. Однако объектами проверки могут стать и «неожидаемые» функций и варианты поведения приложения.

Нефункциональное тестирование представляет собой проверку производительности, надежности и отзывчивости приложения, а также ее соответствия нормам безопасности.

Статическое и динамическое

Статическая проверка выполняется с выключенной программой. Специалисты открывают документацию приложения, анализируют указанные в ней функции, а затем изучают код для оценки качества реализации.

Динамическое тестирование выполняется после статического. В этом случае необходимо включить программу и на практике узнать, насколько работоспособными являются ее функции.

Обе эти стадии являются необходимыми.

Прочие разновидности тестирования

Можно выделить и некоторые другие типы проверки. Каждая, даже самая маленькая, задача может быть выделена как отдельная разновидность. Однако мы приведем список только самых распространённых вариантов:

• Нагрузочное. Речь идёт о тестировании программы в условиях высоких нагрузок, которые могут быть больше, чем планировали разработчики. Эти тесты обязательны для онлайн-сервисов, которые должны правильно работать даже при наличии большого числа посетителей на пиковой или регулярной основе (онлайн-магазины во время распродаж, новостные ресурсы при резонансных событиях и т.д.).
• Тестирование UX. В этом случае специалист сосредотачивается на пользовательском опыте. Тестировщику необходимо поставить себя на место клиента. На основе составленных им замёток в процессе взаимодействия с приложением будут вноситься соответствующие изменения.
• Конфигурационное. Это проверка совместимости программы с аппаратным обеспечением и прочими software-элементами (различными версиями OS и процессоров). Конфигурационное тестирование необходимо для межплатформенных программ и в процессе перехода поставщика платформы на принципиально новую аппаратную базу (яркий пример — появление ноутбуков с чипами М1 от Apple).

Тестирование «белого ящика» и «чёрного ящика»

При проверке программного и аппаратного обеспечения термины «тестирование белого ящика» и «тестирование чёрного ящика» указывают на то, есть ли у разработчика тестов доступ к исходному коду программы (если нет, то проверка выполняется посредством пользовательского интерфейса или прикладного программного интерфейса, предоставленного тестируемым модулем).

Тестирование белого/прозрачного ящика (от английского white-box testing) подразумевает, что у разработчика теста есть доступ к исходному коду приложения и он имеет возможность писать код, связанный с библиотеками тестируемого ПО. Такое положение дел часто встречается при юнит-тестировании (англ. unit testing). В этом случае проверке подвергаются лишь определенные элементы системы.

Благодаря такому тестированию выявляется функциональность и стабильность тех или иных частей программы. В процессе проверки белого ящика применяются метрики покрытия кода.

Тестирование черного ящика имеет смысл в том случае, если специалист может взаимодействовать с программным обеспечением через интерфейсы, доступные для заказчика или пользователя, либо через внешние интерфейсы, которые дают возможность другому компьютеру или другому процессу подключиться к системе для тестирования.

К примеру, тестирующий модуль виртуально нажимает на клавиши или на кнопки мыши в проверяемом приложении посредством механизма взаимодействия процессов. Эти операции должны приводить к такому же результату, что и реальные нажатия.

Чаще всего такое тестирование выполняется с применением спецификаций или иных документов, в которых указаны требования к системе. Критерий покрытия формируются из покрытия структуры входных данных, покрытия требований и покрытия модели (при проверке на базе моделей).

Понятия «альфа-тестирование» и «бета-тестирование» связаны с этапом до выпуска продукта, объёмом тестирующего сообщества и ограничениями по способам проверки. Тестирование «белого ящика» и «чёрного ящика» относятся к методам, которыми пользуется специалист.

Бета-тестирование ограничивается техникой чёрного ящика (однако постоянная часть тестировщиков, как правило, продолжает проверку белого ящика одновременно с бета-тестированием). Исходя из этого, понятие бета-тестирования описывает этап реализации программного продукта (ближе к выпуску, чем «альфа») или определенную команду тестировщиков и процесс, выполняемый этой командой.

Таким образом, тестировщик может проводить мероприятия по тестированию белого ящика даже после того, как программа перейдет на этап «бета». Однако это возможно в том случае, если специалист не является частью «бета-тестирования» (группы/процесса).

Место тестирования в процессе создания ПО

Если вовремя приступить к тестированию, то можно уменьшить расходы и сроки, необходимые для исправления ошибок. При этом в жизненном цикле разработки ПО (SDLC) проверка может начинаться со стадии сбора требований и продолжаться до развертывания программного обеспечения.

Многое зависит и от принятой модели развития. К примеру, модель «Водопад» предполагает, что формальное тестирование выполняется на этапе тестирования. Если же используется инкрементальная модель, то проверка осуществляется в конце каждого приращения/итерации и вся программа тестируется на конечном этапе.

Тестирование программного обеспечения выполняется в различных формах на каждой стадии SDLC:

• На стадии сбора требований тестированием является проверка этих требований.
• На стадии проектирования тестированием является проверка проекта для повышения качества дизайна.
• После написания кода тестированием считается итоговая проверка.

Этапы тестирования программного обеспечения

Анализ тестирования

На этой стадии выполняется анализ функциональных и нефункциональных требований. К примеру, бизнес-требований, функциональной документации, документа технической спецификации и так далее.

При сборе требований необходимо учесть мнение клиентов. Это нужно для того, чтобы определить реальные и предполагаемые результаты тестирования, которые чаще всего являются нефункциональными. Например, удобство пользования, масштабируемость, тестируемость, производительность и безопасность.

Если выявляются требования, которые нельзя проверить в связи с теми или иными ограничениями системы и среды тестирования, то о них нужно уведомить бизнес-команду.

На данной стадии тестировщики рассматривают и анализируют требования, а также формируют соответствующие тесты. Кроме того, они определяют приоритеты для проверки — членов команды.

В список требований к среде тестирования входят требования к аппаратному и программному обеспечению. На их основе нужно будет выполнять проверку ПО. Одновременно с этим начинаются планирование и разработка программного обеспечения.

Планирование и подготовка теста

На этой стадии разрабатываются план тестирования, тестовый набор, данные теста. Кроме того, выполняется подготовка среды тестирования.

План тестирования — важнейший документ, который нужно составить в первую очередь. В нем указываются цели, объём, характеристики, проверяемые и непроверяемые функции, разновидности проверок, которые будут производиться, роли и обязанности группы тестирования, критерии входа и выхода, а также предположения.

Параллельно с этим специалисты подготавливают тестовые наборы и тестовые данные.

Поговорим о нескольких важных моментах более подробно. Тестовый пример представляет собой документ, в котором указываются этапы, которые следует реализовать для тестирования любой функциональности с предполагаемым и реальным результатом. Если реальный результат противоречит предполагаемому, то открывается ошибка. Для каждого отдельно взятого требования формируются положительные и отрицательные тестовые примеры.

Это делается с помощью матрицы прослеживаемости требований (RTM) — документа, который сравнивает требования с тестовыми примерами. Нужно это для того, чтобы удостовериться в полноценном выполнении проверки.

Каждый действительный и недействительный набор тестовых данных необходимо подготовить для всех тестовых случаев. Кроме того, нужно составить документ с тестовыми данными, которые создаются с помощью определенных алгоритмов и инструментов. В процесс подготовки тестового набора входят несколько стадий: его разработка, выбор, оценка, расстановка приоритетов и т.д.

Эрик Д. Свайн создал метод генерации тестовых случаев, в котором применяются соответствующие диаграммы последовательности. Данный способ позволяет выявить ограничения для конкретных артефактов. Техники генерации тестовых наборов имеют смысл при необходимости выявления синхронизации и зависимости вариантов использования и сообщений, взаимодействия объектов и недочетов функционирования.

Подготовка тестовой среды — крайне важная стадия. После написания фрагмента кода его необходимо проверить с помощью инструмента управления конфигурацией. Далее подготавливается тестовая сборка.

Выполнение теста

На данной стадии специалисты выполняют ПО с учетом контрольных примеров. При выявлении несоответствий между реальными и предполагаемыми результатами тестировщик открывает ошибки и передаёт их разработчикам.

Закрытие теста

На этой немаловажной стадии составляются отчёты о тестировании, которые свидетельствуют о том, что вся система, интеграция, приемочное тестирование пользователя выполнены. Кроме того, в документах указывается, что было сформировано решение, все требования проверены и нет критической ошибки, ожидающей исправления или перепроверки.

Все тестовые артефакты просматриваются менеджером. После этого специалисты приступают к выпуску ПО. Выполняется анализ первопричин для последующего проведения мозгового штурма касательно удачных и неудачных моментов, а также зон роста. На данный момент сформировано множество инструментов и техник анализа первопричин, которые послужили базой для многочисленных исследований.

Документация для тестирования ПО

Тест план (Test Plan) представляет собой документ, в котором указываются все необходимые для тестирования мероприятия. В нем описываются объект, стратегии, расписания, критерии начала и завершения проверки, указывается требуемое оборудование и специальные знания, а также выполняется оценка рисков.

В данном документе должны иметься ответы на нижеперечисленные вопросы:

• Что нужно протестировать?
• Каким образом должно осуществляться тестирование?
• Когда будет выполняться проверка?
• Каковы критерии начала тестирования?
• Каковы критерии завершения тестирования.

Важнейшие разделы:

• Идентификатор тест плана (Test plan identifier).
• Введение (Introduction).
• Объект тестирования (Test items).
• Функции, которые следует проверить(Features to be tested).
• Функции, которые не нужно проверять (Features not to be tested).
• Тестовые подходы (Approach).
• Критерии прохождения тестирования (Item pass/fail criteria).
• Критерии приостановления и возобновления тестирования (Suspension criteria and resumption requirements).
• Результаты тестирования (Test deliverables).
• Задачи тестирования (Testing tasks).
• Ресурсы системы (Environmental needs).
• Обязанности (Responsibilities).
• Роли и ответственность (Staffing and training needs).
• Расписание (Schedule).
• Оценка рисков (Risks and contingencies).
• Согласования (Approvals).

Нельзя не упомянуть чек-лист (check list). В данном документе указываются объекты, которые необходимо протестировать. При этом чек-листы могут различаться по степени детализации.

Как правило, документ включает в себя лишь операции, которые нужно выполнить, а не предполагаемые результаты.

Тестовый сценарий (test case) представляет собой артефакт, в котором описывается комплекс мероприятий, определенных условий и параметров, требуемых для проверки реализации тестируемой функции или её элемента.

Перечислим составные части тест кейса:

• Предусловия (PreConditions). Это перечень операций, которые необходимы для приведения системы к пригодному для выполнения основного теста состоянию. Иногда под PreConditions подразумевается набор условий, реализация которых указывает на то, что система пригодна для проведения основного теста.
• Шаги (Steps). Речь идет о перечне операций, с помощью которых одно состояние системы сменяется другим. Это нужно для того, чтобы получить результат, с помощью которого можно будет сделать вывод об удовлетворении реализации поставленным требованиям.
• Ожидаемый результат (Expected result). Это то, что необходимо получить в конечном итоге.

Правила качественного тестирования ПО

Перечислим правила, которым нужно следовать для эффективного выполнения проверки:

• Не стоит пренебрегать ручным тестированием. Автоматические проверки помогут отыскать лишь те ошибки, которые предусмотрены в скрипте тестирования. С помощью ручных методов можно найти непредсказуемые дефекты.
• Следует писать тестовые примеры на простом языке или псевдокоде вместе с вашим кодом. В противном случае новым специалистам и менеджерам придётся тратить много времени на синтаксический анализ сценария проверки.
• Необходимо применять только контролируемые изолированные испытательные среды во избежание влияния извне. Если вы будете пользоваться ПК или открытым облаком, то на тесты могут повлиять посторонние факторы. Это скажется на производительности и результате.
• Нужно выбирать конкретные метрики, которые подвергаются количественной оценке. Показатели должны описывать лишь один атрибут и строиться из чисел, дабы упростить процесс формирования отчетов. Это относится как к спецификациям, так и к тестовым случаям.
• Стоит провести тестирование до того, как вы приступите к проверке качества. Благодаря такому подходу вы распределите рабочую нагрузку тестирования по всему процессу и снизите потери времени на исправление ошибок в центральном компоненте.
• Не забывайте про пошаговые тесты. Разработайте подусловия в своих тестах. Это позволит выявить места, в которых приложение не проходит проверку.
• Лучше обеспечить как можно большее тестовое покрытие. Если вы проверите все варианты применения программы, то продукт будет готов к самым разным входам и средам.

Навыки и качества специалиста по тестированию программного обеспечения

Система тестирования программного обеспечения не будет правильно работать, если у специалиста отсутствуют определенные личностные качества. Рассмотрим необходимые для данной работы характеристики:

• Усидчивость и настойчивость. Специалист должен быть достаточно терпеливым, чтобы длительное время выполнять поиск ошибок. Профессионал своего дела знает, что не существует безошибочных приложений. Если в программе не было найдено никаких дефектов, то это указывает на низкое качество тестирования.
• Критическое мышление, способность работать с информацией.
• Умение подмечать даже самые, на первый взгляд, незначительные детали. Тестировщику необходимо проверять все возможные сценарии.
• Коммуникабельность и навыки командной работы. Специалисту нужно будет общаться с разработчиками, дизайнерами, бизнес-аналитиками, представителями заказчика.
• Самоконтроль. Разработчики далеко не всегда настроены на исправление дефектов, поэтому тестировщикам приходится по нескольку раз повторять, что была найдена ошибка. Таким образом, специалист должен сочетать в себе настойчивость и дипломатичность.
• Ответственность и педантичность. Благодаря этим качествам тестировщик будет пытаться довести свою работу до конца.
• Способность грамотно формулировать свои мысли. Это позволит разработать качественный план и тест-кейс. При обнаружении дефекта специалисту необходимо донести до разработчиков все нюансы его появления.
• Желание оттачивать свои навыки. Специалист должен быть нацелен на обучение новым техникам тестирования. Для этого ему нужно работать с соответствующей литературой, ездить на конференции, семинары, проходить курсы и т.д.

Профессионал должен знать:

• основы тестирования, его разновидности и техники;
• способы разработки тест-кейсов, тест-планов;
• языки запросов SQL, базы данных;
• языки программирования;
• системы контроля версий: Git, CVS ипр.

Плюс ко всему, специалист должен уметь работать с инструментами ручного и автоматического тестирования, к которым относятся:

• Системы для разработки тест-кейсов и обнаружения ошибок.
• Файловые менеджеры, текстовые и XML-редакторы.
• Генераторы тестовых данных итак далее.

Чтобы автоматизировать проверки, можно пользоваться системами тестирования веб-приложений, программами для функционального и нагрузочного тестирования.

При этом необходимо знание английского языка. Без этого будет трудно понимать и составлять техническую документацию.

Лучшие курсы по специальности тестировщика ПО

• Инженер по тестированию PRO

Данный курс по тестированию программного обеспечения рассчитан на три года. Он актуален для людей, которые планируют стать специалистами с твердыми знаниями. Вы освоите технологическую базу, сможете определиться с профилем, получите навыки ручного и автоматизированного тестирования, узнаете о нюансах каждого из направлений и сможете отыскать работу.

• Инженер по ручному тестированию

Прохождение программы позволит определиться со специализацией, освоить базовые навыки, сформировать портфолио из проектов и устроиться на работу. Если вы будете усидчивы, то сможете начать зарабатывать уже через полгода после начала обучения.

• Инженер по тестированию Мастер

Программа рассчитана на 2 года. Актуальна для людей, которые хотят получить твердые знания и быть уверенными в результате. Участники улучшат знание основ тестирования программного обеспечения, определятся со специализацией, научатся ручному и автоматизированному тестированию и устроятся на подходящую работу.

• Инженер по тестированию

Программа рассчитана на 1 год. Участники получат теоретическую базу, смогут определиться со специализацией, найдут работу или откроют свое дело в сфере ИТ. При этом трудоустройство возможно уже через полгода после начала обучения.

• Инженер по автоматизированному тестированию

В процессе прохождения программы, состоящей из одного года обучения и трех месяцев технологической специализации, участники получат необходимую теоретическую базу, смогут определиться с профилем, научатся применять техники ручного и автоматизированного тестирования.

• Специалист по тестированию

Данная программа отличается высочайшей интенсивностью. Подойдет для людей, желающих в кратчайшие сроки получить навыки. Освоив специальность ручного тестировщика, вы сможете трудоустроиться уже через полгода после начала обучения.

7 книг о тестировании программного обеспечения

• Р. Калбертсон, К. Браун, Г. Кобб «Быстрое тестирование»

Благодаря этой книге многие неопытные тестировщики смогли разобраться с нюансами профессии. Вы сможете понять, как лучше создавать тесты, прогнозировать ошибки, формировать итоговые отчеты.

• С. Круг «Не заставляйте меня думать»

В книге объясняется, как проверять мобильные приложения и веб-сайты по критерию удобства пользования. Текстовую информацию дополняют исчерпывающие иллюстрации. Данное практическое руководство изобилует яркими пояснениями.

• А.Купер «Психбольница в руках пациента»

Отличная литература, в которой объясняется, каким образом можно улучшить юзабилити программ посредством проектирования. Изучение данной книги поможет не только тестировщикам, но и программистам, аналитикам, руководителям многопрофильных команд.

• Дж. Арбон, Дж. Каролло, Дж. Уиттакер «Как тестируют в Google»

Авторы делают упор на процессах отладки программ в известной во всем мире организации. При этом изложенные в книге правила могут применяться для любых проектов.

• Э. Дастин, Д. Рэшка, Дж. Пол. «Автоматизированное тестирование программного обеспечения»

В пособии описываются различные детали процесса автоматического тестирования. Книга освещает тему увеличения скорости тестовых процедур на web-серверах. При этом авторы объясняют различные нюансы проектирования, разработки и выполнения тестов.

• Станислав Куликов «Тестирование программного обеспечения. Базовый курс»

Известный автор в мире IT сформировал пособие, в котором неопытные тестировщики смогут найти примеры всевозможных техник, подсказки в формате чек-листов, перечни тест-кейсов. Кроме того, вы сможете ознакомиться с важнейшими элементами работы в данной сфере – требованиями, планированием, отчетностью.

• С. Слукин «Введение в тестирование программного обеспечения»

Очень информативная книга, с помощью которой вы сможете улучшить навыки работы с объектно-ориентированным ПО. В этом курсе указаны тестовые требования, изложены практические примеры, планы и образцы отчетов.

Главной целью тестирования программного обеспечения является нахождение ошибок. Благодаря этому потребитель сможет получить качественный продукт, который будет быстро работать и отвечать всем современным требованиям. Следовательно, тестировщик должен уметь вставать на место рядового пользователя. Именно такой подход позволит добиться высокого результата и закрыть все потребности клиентов.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Технологии компьютерного тестирования

Сегодня применения информационно-коммуникационных технологий в образовательном процессе  широко используется и охватывает все вопросы, связанные с организацией не только учебного процесса, но и организацией  контроля его результативности.

Многообразие задач диагностики обусловливает  значительное количество методов диагностики. Часть методов не поддается алгоритмизации и, как следствие, реализации в форме компьютерной программы, которая могла бы провести диагностику в автоматизированном режиме.  Однако, некоторые методы (в частности, тестирование) это позволяют сделать, поскольку изначально имеют характер технологии. Именно возможность автоматизации процедур опроса и оценки ответов учащегося позволяет применять тестовые технологии в отсутствии педагога и даже дистанционно. Компьютерное тестирование обладает целым рядом  достоинств, которых нет в традиционном  тестировании. А именно, высвобождение времени педагога от многочасовой проверки бумажных вариантов, так же, тестируемый имеет возможность сразу после тестирования увидеть свои результаты.

Компьютерное тестирование основывается на представлениях классической теории, оно обладает целым рядом специфических особенностей в части разработки тестов и их применении.

Преимущества компьютерного тестирования

Все те достоинства бланковой  тестовой формы контроля успешности обучения, безусловно, в полной мере относятся и к компьютерной форме тестирования (технологичность, оперативность, объективность оценки). Вместе с тем, применение технологий компьютерного тестирования  не были бы  педагогически оправданным, если бы они просто повторяли «безмашинные» (бланковые). Компьютерные тесты предоставляют пользователю (в первую очередь, педагогу) принципиально новые возможности, которые и определяют целесообразность использования ТКТ.

Важнейшими из них являются:

— автоматизация процедуры опроса, что обеспечивает возможность осуществления тестирования без непосредственного участия учителя; частным проявлением данного качества следует считать возможность организации самоконтроля обучаемых и дистанционного (удаленного) контроля;

— расширение сферы использования тестовых технологий за счет того, что в задания могут быть включены мультимедиа-объекты (звук, статическая и динамическая графика, видео) – это открывает принципиально новые возможности применения тестирования для оценки успешности освоения языковых дисциплин,

— расширение спектра ответных действий тестируемого – помимо «отметить» и «написать» в бланковом тестировании (в компьютерном они реализуются с клавиатуры), дополнительно появляются манипуляции с мы-шью: отметить щелчком, указать область, переместить объект по экрану это открывает принципиально новые возможности конструирования заданий (например, построение конечного изображения на экране из отдельных заготовок);

— оперативность оценивания ответа и вывод итога непосредственно по завершении тестирования;

— возможность автоматизированной обработки результатов с целью формирования выходных форм результативности, а также оценки качества теста, что избавляет учителя от необходимости осуществления расчетных алгоритмов;

— более высокая защищенность измерительных материалов, поскольку используется не вариантный (принятый в бланковом тестировании) подход

к построению индивидуального теста, что приводит к возможности заимствования ответов между учащимися , а фасетный который позволяет сгенерировать, практически, неограниченное число индивидуальных вариантов;

— возможность индивидуализации текущего контроля за счет использования настраиваемой оценочной шкалы и адаптивных алгоритмов тестирования.

 Задачи и функции компьютерного тестирования

Основные задачи современных систем компьютерного тестирования :

Создание и хранение тестовых заданий

-обрабатывать исходный авторский материал;

-вносить необходимые изменения и дополнения;

— назначить и поддерживать реквизиты тестовых заданий;

— выполнять автоматизированную компоновку тестов;

— проводить анализ результатов тестирования;

— хранить и передавать информацию.

Для эффективного решения задачи создания и хранения тестовых зада-

ний в системе компьютерного тестирования должны быть реализованы сле-

дующие базовые функции:

1) Работа с разными типами тестовых заданий:

— с множественным выбором;

— с множественным ответом;

— с дополнением;

— со свободным ответом;

-на установление соответствия;

-на выявление последовательности.

2) Назначение весовых коэффициентов заданиям и ответам.

3) Проверка орфографии, поиск по ключевым словам и реквизитам.

4) Использование в тестовых заданиях форматированного текста, графики,

звука, видеофрагментов, активных программных элементов.

5) Подготовка шаблонов, импорт/экспорт содержимого тестовых заданий.

6) Архивация и восстановление необходимой информации.

Общие требования к системам КТ

Исходя из функций и сервисов, которые должна предоставлять система компьютерного тестирования учителю и учащимся, можно сформулировать ряд общих требований к ним.

1. Комплексность – система должна обеспечивать весь цикл тестирования –

разработка теста, предъявление его учащемуся, прием и оценивание его ответов, сбор и анализ статистической информации.

2. Надежность в работе – невосприимчивость к попыткам некорректного

ввода ответов (например, предполагается числовой ответ, а вводится буква) и другим несанкционированным действиям сдающего; сохранение промежуточных результатов (ответов) с возможностью возобновления процедуры после нештатного ее прерывания; устойчивость функционирования в локальной или глобальной сети.

3. Производительность – возможность параллельного обслуживания многих

сдающих, быстрое оценивание результата сдачи, оперативность передачи данных (заданий, результатов) в сетевых режимах использования, малое время отклика серверных приложений, малое время обработки конечных результатов.

4. Масштабируемость – возможности использования СКТ на отдельных компьютерах, в локальных сетях и, возможно, в глобальной сети.

5. Защищенность – обеспечение невозможности доступа сдающих к эталон-

ным ответам, учащихся и посторонних лиц – к общим результатам тести-

рования.

6. Мультимедийность – возможность встраивания в тестовые задания муль

тимедийных объектов, а также разнообразие анализаторов ответов сдающего (клавиатура, мышь).

7. Полнота типов тестовых заданий – обязательная поддержка пяти основ-

ных типов тестовых заданий (открытого типа и закрытого: одиночный и

множественный выбор, соответствие, установление последовательности).

8. Поддержка фасетирования тестовых заданий.

9. Простота эксплуатации для преподавателя и учащегося – стандартный

современный интерфейс, четкое и эффективное разделение на функциональные подсистемы, ориентация на стандарты в информационной индустрии, единый стиль оформления программ, документация для каждой

группы пользователей, прозрачный смысл настраиваемых параметром, наглядная и удобная для педагога форма представления итогов тестирования

(включая оценку качества теста).

Классификация систем КТ

В соответствии с описанными выше требованиями к системам компьютерного тестирования их классификацию можно строить по различным основаниям.  

По назначению

1) самоконтроль учащихся в процессе обучения;

2) подготовка к сдаче итоговых экзаменов;

3) апробация тестовых материалов.

По возможности использования мультимедийных объектов

— без поддержки мультимедиа (алфавитно-цифровые);

-с поддержкой статической графики (в стандартных графических форматах);

— с поддержкой звуковых фрагментов;

— с поддержкой анимации (например, flash или gif);

— с поддержкой видео.

По сетевому решению

—  Автономные компьютеры без выхода в Интернет.

-Автономные компьютеры, среди которых один имеет выход в Интернет.

носители информации, резко увеличивая временные и трудовые затраты.

-Автономные компьютеры, каждый из которых имеет выход в Интернет.

Анализ имеющихся (доступных) систем КТ

Рассмотрим сервисы, которые позволяют создавать, редактировать и

проводить тестирование. Все эти сервисы с русскоязычным интерфейсом и

имеют большие коллекции разнообразных тестов, которые также может использовать учитель или учащийся в своей деятельности.

Наиболее доступные сервисы:

1) Сервис «БанкТестов.РУ».

2) Сервис «Мастер-тест».

3) Портал «Твой тест».

4) Mr. Tester.

5) iGiveTest.

6) RuTester.Net.

7) Online Test Pad.

Учитывая возможности данных сервисов и сайтов, рассмотрим  рекомендации, которые могут быть полезны учителям .

Сравнительный анализ Online-сервисов показывает, что наилучшим вариантом для создания и проведения тестирования в учебных заведениях являются сервисы «Мастер-тест» и «Online Test Pad», так как в них наиболее

полно реализован набор функций, необходимый для создания, проведения и

интерпретации результатов тестирования.

Бесплатный доступ к ресурсам и функциям сайта;

— поддержка разнотипных заданий;

— отсутствие регистрации для прохождения теста (как следствие экономия

времени на заполнение окна регистрации);

-наличие помощника по созданию тестов, в том числе видео-уроков;

— реализация мультимедийных элементов (изображений, видео, звуковых

файлов, форматированный текст и др.);

-высокий уровень секретности.

Обработка результатов КТ

В классическом тестировании нахождение итога осуществляется за два

шага:

1) проверка результатов выполнения каждого задания

2) суммирование результатов по всем заданиям, определение конечного балла. Эти же шаги можно выделить и при компьютерном тестировании, хотя в их реализации появляется определенная специфика.

Методика проведения компьютерного тестирования

В организации и проведении компьютерного тестирования можно вы-

делить ряд действий, которые должны быть осуществлены учителем:

-технологическая проверка;

-обеспечение готовности учащихся;

— помощь учащимся в процессе тестирования;

— обработка результатов тестирования.

Подготовка технологий может состоять в установке банка заданий и опросника на сервер локальной сети учебного класса, проверки совместимости

форматов предъявляемых в тесте объектов с операционной системой компьютеров (рабочих станций), проверке устойчивости и скорости работы программы при параллельном обслуживании многих пользователей. Безусловным и обязательным должно быть пробное тестирование, проведенное самим учителем. Цель этого этапа – исключить возможные технические причины, которые могут привести к «зависаниям» системы в процессе опроса, выходу из системы без сохранения промежуточных результатов , неполного предъявления учащемуся всей информации тестового задания В готовности учащегося к компьютерному тестированию можно выделить две составляющие:

— психологическая, которая состоит в положительном отношении учащегося к компьютерному тестированию как форме контроля, интерес к ней и желание испробовать на себе, отсутствие боязни и иных негативных эмоций;

— процессуальная, состоящая в знании порядка собственных действий при

тестировании, начиная с регистрации, понимании предлагаемого экранного интерфейса, свободном владении приемами ввода информации при выполнении тестовых заданий различной формы (работа с клавиатурой, манипуляции мышью).

Подготовка учащихся обеспечивается разъяснениями преподавателя

содержания и структуры теста, электронными тренажерами и курсами обучения основным приемам работы за компьютером, необходимым для выполнения типовых тестовых заданий. Однако наиболее эффективным в плане подготовки учащихся следует признать проведение репетиционного тестирования в обстановке максимально приближенной к сдаче реального компьютерного теста.

Следует заметить также, что такая всеобъемлющая подготовка необходима, как правило, при первом знакомстве учащихся с тестовой системой. Если преподаватель достаточно часто применяет компьютерную форму тестирования, например, при проведении текущего контроля, психологические и процессуальные проблемы не возникают.

Помощь учащимся в процессе тестирования осуществляется индивидуально и может состоять только в процессуальной консультации (каким образом ввести ответ? почему не отрабатывается какой-то элемент интерфейса? и

т.п.). Никой помощи, связанной с содержательными аспектами задания и его

трактовкой, оказываться не может даже в том случае, если задание будет

сформулировано не вполне корректно. В последнем случае преподаватель

может сделать соответствующую поправку при выведении итогового результата тестирования.

Обработка результатов компьютерного тестирования, состоит в оценке результатов учащегося, а также выявлении качественных характеристик отдельных тестовых заданий и теста в целом. Безусловно, необходимые для

этого операции преподаватель производит не «вручную», а с применением

компьютерной техники. При этом можно выделить два основных варианта:

 блок (модуль) обработки входит в СТС – в этом случае обработка результатов и их перенос в базу результатов производится автоматически в соответствии с начальными настройками .

 СТС обеспечивает лишь экспорт результатов (матрицы тестирования) в

какую-либо систему обработки числовых данных, например, Excel.

Первый вариант, безусловно, предпочтительнее для учителя-пользователя. Однако во многих системах выявление статистических характеристик качества теста не предусмотрено, что затрудняет его корректировку.

Во втором случае преподаватель должен сам ввести алгоритмы обработки, но при этом он получает возможность выявить именно те характеристики, которые ему требуются, и, что очень важно, произвести моделирование исправленного теста.

Представленные возможности ИКТ позволяют сделать вывод о педагогической целесообразности и дидактической значимости использования их средств при реализации системно-деятельностного подхода не только для формирования (развития), но и для диагностики уровня сформированности (развития) всех основных компонентов УУД обучающихся, а диагностические задания можно рассматривать как совокупность целенаправленных дидактических заданий, способствующих созданию учителем дополнительного диагностического фона.

Итоговый диагностический вывод об уровнях сформированности УУД

обучающихся может быть сделан только на основе сопоставления результатов освоения материала нескольких учебных дисциплин. Поэтому использование электронных таблиц (google-таблиц) позволит учительскому коллективу сопоставить результаты диагностики уровня сформированности УУД в разных учебных дисциплинах и настроить автоматический вывод итогового диагностического суждения для каждого отдельного ученика.

Список литературы:

1. Методика использования информационно-коммуникационых

технологий в учебном процессе. ./  под ред. Б.Е. Стариченко, М.Ю. Мамонтова, А.В. Слепухин. – Екатеринбург, 2014г.

1. https://www.rki.today/2018/09/5.html