Особенности статистической оценки качества теста диагностики индивидуального прогресса учащихся общеобразовательной школы

История возникновения и использования теста как диагностического метода а, точнее сказать, ее предыстория уходит вглубь веков. Имеются сведения, что уже с III тысячелетия до н.э. в странах Древнего Востока (Египет, Вавилон, Индия, Китай) использовались системы конкурсных испытаний интеллектуального характера, предназначенные для отбора персонала на правительственные должности.

Временем возникновения теста как общенаучного диагностического метода считается конец XIX века, когда для изучения индивидуальных различий начинают применяться различные способы измерения. Так английский психолог Ф. Гальтон, воспользовавшись работами бельгийского статиста А. Кетле, разработал метод статического сравнения двух рядов переменных и ввёл индекс совместного отношения, названный коэффициентом корреляции. Важным вкладом Гальтона в развитие теории тестов было определение трёх основных принципов: применение серии одинаковых испытаний к большому количеству испытуемых; статистическая обработка результатов; выделение эталонов оценки . Все современные тесты построены на основе статистической теории измерений, а идея эталона оценки лежит в основе определения тестов как стандартизированного инструмента.

Актуальность. В последние годы в образовательную систему настойчиво внедряются педагогические тесты. Цели их использования разнообразны: текущий и итоговый контроль знаний, обучение, конкурсный отбор в вузы, диагностика способностей, централизованное тестирование и др. Как при создании, так и при статистической обработке результатов тестов, необходим статистический анализ для решения двух видов задач:

определение качества заданий;

определение информации о тестируемых.

В дипломной работе мы будем подробно обсуждать статистический анализ, направленный на определение качества заданий.

В настоящее время актуальна задача разработки тестов, которые отслеживают процесс становления компетентности учащихся, то есть ориентированные на диагностику становления способов, а не на актуальные достижения. Один из таких тестов разработан в течение последних лет - тест диагностики индивидуального прогресса (ИП). Авторы этого теста определяют индивидуальный прогресс, как «комплексную положительную динамику личных ресурсов, включающую линейные и уровневые приращения способностей мышления и понимания». Специфика таких тестов заключается в том, что они используют задания разного типа и сложности. В тесте диагностики ИП присутствует трехуровневая система заданий. Задания теста направлены на определение уровня мышления и понимания в предмете.

В силу специфической структуры этих тестов и особенности ситуации тестирования (тест проводится несколько раз через определенный промежуток времени) возникают трудности в применении классических и статистических методов оценки качества теста.

Методы статистической обработки зависят от структуры теста [8]. Поэтому при серьезном изменении структуры теста необходимо изучать возможности применения известных методов и разрабатывать «новые» для его обработки.

Таким образом, возникает проблема, которая заключается в том, что при создании теста нового типа появляются трудности при статистической обработке, которые заключаются в нехватке методов.

Цель дипломной работы: разработать методы статистической обработки теста диагностики ИП для определения качества заданий.

Объект: классические методы статистической обработки качества теста.

Предмет: возможности применения методов или возможности их трансформации для статистической обработки качества теста в новой ситуации (тест нового типа).

Для достижения поставленной цели были выделены следующие основные задачи:

Изучить методы статистики, для того чтобы разобраться, как они применяются для статистической обработки теста;

Проанализировать методы статистической обработки, которые использовали авторы теста диагностики ИП;

Выделить условия применения классических методов статистической обработки качества теста, для того чтобы проанализировать их соответствие характеристикам для теста диагностики ИП;

Разработать методику применения методов для теста диагностики ИП.

При решении указанных задач у нас возникла следующая проблема: анализ методов обработки, которые использовали авторы теста диагностики ИП, показал, что характеристика трудность задания является недостаточной, для того чтобы выявить уровень задания.

Гипотеза: модифицированную формулу нахождения дифференцирующей способности [14, стр.192] можно применять для подтверждения уровня задания теста диагностики ИП.

Работа состоит из введения, трех глав, заключения, списка литературы (25 наименований) и двух приложений.

В первой главе анализируется понятие педагогического теста, определяется его структура и этапы создания. При создании теста большое внимание уделяется качеству тестовых заданий. Для этого используются статистические методы оценки, которые заключаются в расчете таких характеристик как валидность, надежность, дифференцирующая способность (дискриминативность). Существуют различные подходы к описанию и расчету этих характеристик. Все они основаны на статистической теории измерения.

Во второй главе дипломной работы описываются основные понятия статистики, которые мы использовали при анализе методов обработки педагогического теста. К ним относятся: случайная величина; среднее значение; дисперсия; среднее квадратическое отклонение; стандартная ошибка измерения; коэффициент корреляции.

Также были выделены первичные и вторичные статистические показатели, с помощью которых вычисляются основные характеристики статистической обработки: валидность, надежность, дискриминативность. К первичным относятся те показатели, которые используются в различных статистических методах оценки качества теста (например, средний тестовый балл группы). Вторичные показатели – те, которые вычисляются с помощью первичных (например, дисперсия тестовых результатов). Нами были рассмотрены и проанализированы известные методы обработки заданий, которые применяются в современной тестологии (2 метода нахождения валидности, 4 метода нахождения надежности, 5 методов нахождения дифференцирующей способности).

Третья глава полностью посвящена разработке методов статистической обработки теста диагностики ИП для определения качества заданий. Выделяется специфика теста диагностики ИП, которая заключается в том, что задания теста имеют разные уровни сложности. Рассматриваются проанализированные методы статистической обработки, возможности их применения для обработки теста диагностики ИП. Из всех проанализированных методов статистической оценки качества заданий во второй главе, с учетом интерпретации результатов, нами были выделены: один метод нахождения валидности – вычисление коэффициента корреляции по формуле Пирсона; один метод нахождения надежности - вычисление коэффициента надежности теста формулой Кюдера-Ричардсона; и один метод нахождения дискриминативности, который вычисляет индекс дискриминации. Анализ формулы нахождения дискриминативности [14, стр.192] показал, что с учетом интерпретации результатов, ее можно применять для подтверждения уровня заданий теста диагностики ИП.

Таким образом, была разработана методика использования методов, которые применимы для обработки теста диагностики ИП, а также выделен дополнительный критерий для подтверждения уровня заданий.

Практическая часть заключалась в применении разработанных методов при обработке результатов теста диагностики ИП по двум срезам, а также в подтверждении уровня заданий по выделенному дополнительному критерию.

В заключении описываются основные результаты работы, а также результаты обработки заданий. Результаты обработки показали, что выделенные нами новые методы «работают» и выделенный дополнительный критерий, действительно, подтверждает уровень задания. Таким образом, наша гипотеза о том, что модифицированную формулу нахождения дифференцирующей способности [14, стр.192] можно применять для подтверждения уровня задания теста диагностики ИП, подтвердилась на практике.

• Понятие педагогического теста
• Структура педагогического теста
• Этапы создания педагогического теста
• Основные понятия статистики, используемые в тестологии
• Методы статистической оценки качества теста
• Методы оценки надежности
• Методы оценки дифференцирующей способности
• Общая характеристика и специфика теста диагностики индивидуального прогресса
• Анализ статистических методов, используемых при разработке теста диагностики индивидуального прогресса
• Изучение возможностей применения классических статистических методов для оценки качества заданий теста диагностики индивидуального прогресса
• Анализ результатов статистической обработки заданий теста диагностики индивидуального прогресса

Педагогическая техника, ее компоненты
Педагогическая техника — это комплекс умений, позволяющих преподавателю видеть, слышать и чувствовать своих воспитанников. Выдающийся педагог А.С. Макаренко писал: «Воспитатель должен уметь организовывать, ходить, шутить, быть веселым, сердитым… себя так вести, чтобы каждое движение его воспитывало ...

Возрастные и индивидуальные особенности школьников юношеского возраста
Воспитание и обучение в семье и школе направлено на то, чтобы новые поколения, усваивая общественно-исторический опыт, вместе с тем были подготовлены к объективно сложившимся требованиям, которые общество на его современном этапе и с учетом перспективы предъявляет к своим членам. Эти требования охв ...

Методика решения алгоритмических задач
Задачи в начальном курсе информатики представлены в виде сюжетов. Каждая из них, вообще говоря, может быть решена без компьютера, хотя практически у всех тем, объединяющих задачи, есть необходимое программное обеспечение. Задания, предложенные в рабочих тетрадях А.В. Горячева, развивают у детей спо ...