Облако тегов:

2е блюдо (1) альбом (14) анимация (1) биссероплетение (10) блокнот (3) браузер (2) бумага (13) видео (1) вирус (1) витражи (1) выпечка (1) вязание (43) гадание (3) глина (1) декор (2) делаем (4) диски (2) е-версии (1) журналы/газеты (1) закон РФ (2) запуск (1) зубочистки (1) интересно (1) картинки (1) квиллинг (4) квилтинг (4) классно (13) команды (1) композиция (1) конвертор (2) коробочка (17) кружево (1) крючок (7) кукла (3) кулинария (1) кусудама (3) лепим (1) литература (1) лого (1) манга (1) мультиварка (2) нитка (1) новый год (2) носки (17) обучение (1) оптимизация (1) оригами (2) основы (4) открытка (13) папье-маше (1) ПД (2) пейзаж (1) переплет (2) перплет (2) платье (1) плетение (1) ПО (4) поделка (7) поделки (5) принтер (1) программирование (3) Р/м (1) рельеф (1) салаты (1) сингл (1) скачать (2) скорость интернета (1) спицехранилище (1) ссылки (1) сумка (7) тапочки (10) терминал (2) хлеб (1) холодный фарфор (2) цветок (2) цветы (7) шитьё (5) шрифт (1) шрифты (1) шьем (2) эволюция (1) autoit (1) bat (1) BellyDance (1) CD (4) scrapbooking (48) ubuntu (5) unix (1) windows (1)

1 марта 2015 г.

А.А.Проскурнин ИНТЕЛЛЕКТУАЛЬНЫЫ СИСТЕМЫ ТЕСТИРОВАНИЯ И КОНТРОЛЯ ЗНАНИЙ

(c) А.А.Проскурнин ИНТЕЛЛЕКТУАЛЬНЫЫ СИСТЕМЫ ТЕСТИРОВАНИЯ И КОНТРОЛЯ ЗНАНИЙ

На сегодняшний день в России, как и во всем мире, стремительно развиваются информационные технологии, в том числе в сфере обучения и контроля знаний. На фоне информатизации системы образования, распространения дистанционного обучения, развития технологий управления персоналом актуальной является задача разработки автоматизированных информационных систем, позволяющих объективно и быстро оценивать знания, умения и навыки обучаемых. Достижения теории педагогических измерений выдвигают на первый план использование в компьютерных системах педагогических тестов, что было реализовано в эксперименте по проведению единого государственного экзамена. В то же время сейчас активно развивается концепция интеллектуального тестирования и контроля знаний, которая предполагает «интеллектуализацию» процесса тестирования за счет использования определенных математических моделей и алгоритмов, технологий искусственного интеллекта, имитации взаимодействия преподавателя и обучаемого.


В данной работе сделан обзор источников, отражающих некоторые концепции, модели и методы, применяемые для создания интеллектуальных систем тестирования и контроля знаний. Исходя из вышесказанного, обзор разделен на две части, первая из которых посвящена теории и практике педагогических измерений, а вторая – непосредственно системам интеллектуального тестирования.

Теория и практика создания и применения педагогических тестов

Челышкова М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие. – М.: Логос, 2002. – 432 с.: ил.

Освещаются теоретические основы, методы конструирования и практические вопросы создания и использования гомогенных педагогических тестов. Раскрываются роль и функции педагогического контроля в учебном процессе. Даются основы теории педагогических измерений.

Анализируются содержание тестов и формы их представления. Видное место отводится статистическому обоснованию качества теста. В приложениях приводятся инструктивно-методические материалы и математические формулы, используемые в ходе создания тестов и шкалирования результатов тестируемых.

Для слушателей учреждений дополнительного образования, обучающихся по образовательной программе в области педагогических измерений с дополнительной квалификацией «Тестолог». Представляет интерес для учителей общеобразовательных школ, преподавателей высших и других профессиональных учебных заведений, а также для студентов педагогических направлений и специальностей.

Михеев О.В. Математические модели стандартизованных педагогических тестов. // Материалы международной конференции-выставки «Информационные технологии в образовании». - Москва, 2003. -http://www.ito.su/2003/VI/VI-0-2047.html

В докладе представлены результаты работы по анализу и систематизации математических моделей современной теории тестов, как параметрических, так и непараметрических. Представлена классификация моделей, анализ их достоинств и недостатков. Результаты работы используются в автоматизированном тестировании по курсу «Сетевые технологии» на кафедре «Компьютерные системы и сети» МГТУ им. Баумана.

Раднер Л. Вопросы, которые нужно задать, оценивая качество теста. // Конспект руководства «Standards for Educational and Psychological Testing». - http://courier.com.ru/scores/questions.htm

В основу этой статьи положены «Стандарты образовательного и психологического тестирования», разработанные Американской ассоциацией исследований в области образования (American Educational Research Association), Американской психологической ассоциацией (American Psychological Association) и Национальным советом по измерениям в сфере образования (National Council on Measurement in Education). Эти стандарты – основа для всесторонней оценки качества тестов. В данной статье выделены основные требования к качеству тестов, которые применимы в большинстве случаев. Сформулирован ряд вопросов, которые должны помочь пользователю составить свое мнение о конкретном тесте.

Васильев В.И., Глухов В.В., Тягунова Т.Н. Культура компьютерного тестирования. Ч. 5. Оптимальная оценка уровня учебных достижений тестируемых. М.: МГУП, 2002. 75 с.

В книге рассматриваются основы оптимального оценивания уровня учебных достижений эмпирических объектов.

Изложение базируется на теории оценки и различения статистических гипотез. Исследуются основные виды распределения вероятностей оценок уровня учебных достижений: биномиальный и нормальный. На их основе сформированы основные алгоритмы оценок параметров достижений тестируемых и алгоритмы их классификации. Последние являются оптимальными, т. к. базируются на критериях, обеспечивающих или минимальную ошибку принятия решения при фиксированной выборке (критерии Байеса, Неймана-Пирсона, минимакса), или минимальную выборку наблюдений при заданных ошибках принятия решений (критерий Вальда). Все алгоритмы реализованы в программной среде MathCAD , их работа проиллюстрирована на численных примерах.

Книга предназначена для тестологов и специалистов, использующих методы прикладного статистического анализа.

Колпаков А.В., Колпакова А.В., Захаров А.А. Численный метод получения логитов из сырого балла. // Саратовский технический университет. - http://kolsarat.chat.ru/stat.htm

В статье предлагается практический метод получения логитов (тестового балла) из сырого (первичного) балла для однопараметрической модели Раша. Приводится краткое описание алгоритма и готовая подпрограмма, реализующая его.

Хапров В.С., Дударь З.В. Применение методики создания теста в компьютерных системах дистанционного обучения. // Материалы международной научно-методической конференции «Образование и виртуальность». - Ялта: ХНУРЭ, 2002. - http://virt.kture.kharkov.ua/2002/papers/7_02.pdf

Статья посвящена проблеме контроля качества усвоения знаний в системах дистанционного обучения. Целью исследования является разработка рекомендаций по разработке теста и интерпретации результатов тестирования знаний. Эта цель достигнута успешным решением ряда задач: выбор тестовых заданий, оценка надежности теста, оценка валидности теста с помощью независимого внешнего критерия, оценка точности и надежности результатов тестирования. Была разработана программная система, реализующая предложенную методику и алгоритмы.

Шкиль А.С., Чумаченко С.В., Напрасник С.В. Методика оценивания в компьютерной системе тестирования знаний. // Материалы международной научно-методической конференции «Образование и виртуальность». - Ялта: ХНУРЭ, 2002. - http://virt.kture.kharkov.ua/2002/papers/7_05.pdf

Рассматривается проблема оценки знаний в системе обучения и тестирования. Разработанная система использует в одном сеансе тестирования определенное количество вопросов с альтернативными вариантами ответов. Предлагается формула вычисления границ интервалов шкалы оценивания в зависимости от количества вопросов в сеансе тестирования, количества альтернатив в каждом вопросе и диапазона шкалы оценивания. В предложенной формуле учитывается фактор случайного выбора ответов.

Евсеев В.В., Алёхина С.В., Евсеева И.В. Выбор релевантного алгоритма оценивания знаний обучаемых в системе дистанционного обучения. // Материалы международной научно-методической конференции «Образование и виртуальность». - Ялта: ХНУРЭ, 2003. - http://virt.kture.kharkov.ua/2003/papers/7_06.pdf

Рассматриваются основные направления теории тестирования. Предлагается математический аппарат для выбора релевантного метода отбора тестовых заданий, использующий теорию оптимизации. Разработан адаптивный алгоритм формирования тестов.

2. Интеллектуальные системы тестирования и контроля знаний

2.1. Проблема «интеллектуализации» компьютерного тестирования

Рудинский И.Д. Принципы интеллектуального автоматизированного тестирования знаний. // Материалы международной конференции-выставки «Информационные технологии в образовании». - Москва, 2001. - http://www.bitpro.ru/ito/2001/ito/VI/VI-0-16.html

Рассматриваются и анализируются проблемы современных автоматизированных систем тестирования. Предлагается подход к организации тестирования, связанный с применением методов интеллектуальных вычислений и инженерии знаний. Формулируются принципы интеллектуального тестирования, положенные в основу нового класса программных систем контроля и оценивания знаний.

Рудинский И.Д. Интеллектуальная система контроля знаний – новый подход к автоматизации педагогического тестирования. // Тезисы докладов международной научно-методической конференции «Новые информационные технологии в университетском образовании». - Новосибирск, 2001. -http://www.stu.ru/konf2001/files/9/3.zip

Анализируются недостатки современных подходов к автоматизированному тестированию. Предложен новый подход к разработке систем тестирования, использующий методы и модели, развиваемые в рамках теории искусственного интеллекта и инженерии знаний. Сформулированы основные принципы построения автоматизированных систем контроля знаний нового поколения.

2.2. Системы адаптивного тестирования

Шмелев А.Г., Бельцер А.И., Ларионов А.Г., Серебряков А.Г. Адаптивное тестирование знаний в системе «ТЕЛЕТЕСТИНГ». // Тезисы докладов Всероссийской научно-практической конференции «Информационные технологии в образовании». - Москва, 2000. - http://sitim.sitc.ru/teletest/info/tezadap.htm

В тезисах освещается впервые реализованный в системе «Телетестинг» (в масштабах массового компьютерного тестирования) адаптивный алгоритм предъявления тестовых заданий, учитывающий правильность ответов испытуемого в ходе сеанса тестирования. Кроме этого описывается и такая дополнительная инновация, как обработка данных с помощью двухсторонних FTP-сеансов связи.

Печенежский Н.А., Маслов А.А. Модель системы компьютеризированного адаптивного тестирования. // Материалы международной научно-методической конференции «Образование и виртуальность». - Ялта: ХНУРЭ, 2002. - http://virt.kture.kharkov.ua/2002/papers/7_06.pdf

Большинство существующих систем компьютерного тестирования являются статическими по своей природе, в смысле структуры тестовых вопросов в батарее, поэтому предлагаемые в них тесты не являются индивидуализированными для экзаменуемого. В этой статье рассматривается модель компьютеризированного адаптивного тестирования, основанная на IRT , и обсуждаются ее преимущества и ограничения. Затем представлена идея интеграции методологии проектирования экспертных систем и IRT -модели.

Малкина О.И., Сошников Д.В. Создание интерактивных систем адаптивного тестирования в среде Интернет с использованием технологий искусственного интеллекта. // Международная студенческая школа-семинар «Новые информационные технологии». - http://nit.itsoft.ru/cgi-bin/article?id=89

Рассматривается методика создания интерактивной системы адаптивного тестирования в среде Интернет, основанная на использовании технологий искусственного интеллекта и экспертных систем. Характеристики экспертной системы гарантируют быстрый и эффективныйспособ построения базы знаний, отражающей знания преподавателя-эксперта для оценки обучаемого. Процесс тестирования в этом случае будет представлять собой управляемую логическим выводом консультацию, в которой вопросы экспертной системы будут представлять собой тестирующие задания. Описанная система тестирования реализована в виде отдельного Интернет-ресурса, а также используется в МАИ на кафедре Вычислительной математики и программирования для компьютерного тестирования студентов по курсам «Информатика» и «Логическое программирование».

Протасов А.С. Создание интеллектуальных средств адаптивного тестирования. // Материалы международной конференции-выставки «Информационные технологии в образовании». - Москва, 2003. -http://www.ito.su/2003/VII/VII-0-2057.html

В данной статье рассматриваются вопросы эффективного контроля знаний и умений слушателей курсов в Воронежском региональном центре интернет-образования с использованием системы тестирования, построенной на современных клиент-серверных технологиях.

Пуголовок К.Н. Мультиагентный модуль распознавания уровня знаний студента. // Материалы международной научно-методической конференции «Образование и виртуальность». - Ялта: ЯИМ, 2001. - http://virt.kture.kharkov.ua/2001/book/9_03.pdf

Основным вопросом данной статьи является определение уровня знаний студента. Полученная модель может быть использована в системах дистанционного обучения для адаптации процесса обучения к начальным знаниям студента. Эта подсистема помогает выбрать тот список предметов, который необходим студенту для получения знаний по выбранному курсу. Модуль использует компьютерные адаптивные тесты в качестве базовой модели реализации тестов.

Попов Д.И. Подсистема адаптивного тестирования среды дистанционного обучения. // Материалы международной конференции-выставки «Информационные технологии в образовании». - Москва, 2002. -http://www.ito.su/2002/VI/VI-0-1009.html

В докладе, на примере действующей среды дистанционного обучения, рассматриваются принципы проектирования и создания интеллектуальных систем дистанционного обучения и адаптивного тестирования, приводится модульная структура и назначение основных компонентов типовой подсистемы адаптивного тестирования.

Астанин С.В., Жуковская Н.К., Попов Д.И. Особенности информационно-образовательной среды «KnowledgeCT».

Статья посвящена описанию открытой информационно-образовательной среды «KnowledgeCT», реализующей сетевую технологию обучения в Центре дистанционного образования Таганрогского радиотехнического университета. Рассматривается функционирование различных модулей образовательной среды: модуля мониторинга процесса обучения, обучающих экспертных систем, игровых обучающих программ, модулей промежуточного и адаптивного тестирования.

Крайтор Д.В. Инструментальный комплекс программ для создания обучающих систем на основе интеграции адаптивных технологий. // Материалы международной конференции-выставки «Информационные технологии в образовании». - Москва, 2002. - http://ito.edu.ru/2002/II/4/II-4-220.html

В докладе рассмотрено авторское инструментальное средство для создания адаптивных обучающих систем. Базируется данная разработка на интеграции трех основных технологий: адаптивной гипермедиа, адаптивного тестирования и адаптивных пользовательских интерфейсов.

2.3. Системы тестирования с анализом ответов на естественном языке

Ерохин А.Л., Захаров И.П., Никитенко А.Н. Программа дистанционного тестирования знаний на основе алгоритма смыслового конструирования. // Материалы международной научно-методической конференции «Образование и виртуальность». - Ялта: ЯИМ, 2001. -http://virt.kture.kharkov.ua/2001/book/5_09.pdf

Рассматриваются вопросы создания систем дистанционного тестирования знаний на основе алгоритма смыслового конструирования. Дается классификация тестовых заданий и предлагается проводить тестирование не только выбором правильного варианта ответа, а с возможностью его самостоятельного смыслового конструирования. Для оценки знаний программа тестирования использует принципы лингвистического процессора.

Черепанова Ю.Ю. Тестирование теоретических знаний на основе применения тезауруса семантических полей для построения концептуальных моделей текста ответа обучаемого на естественном языке. // Материалы международной научно-методической конференции «Образование и виртуальность». - Ялта: ЯИМ, 2001. - http://virt.kture.kharkov.ua/2001/book/5_07.pdf

В данной работе исследуется проблема повышения эффективности тестированиятеоретических знаний. В статье приведен анализ существующих методов тестирования и предложен один из возможных методов, основанный на построении и анализе концептуальных моделей ответов с использованием тезауруса семантических полей, что позволяет повысить эффективность тестирования за счет уменьшения трудозатрат автора. Предложена структура тезауруса и методы его автоматизированного построения, которые позволяют облегчить адаптацию системы контроля знаний.

Всеволодский С.Н., Гаврилов А.В. Архитектура интеллектуальной системы тестирования знаний с анализом ответов на естественном языке. // Международная конференция ИСТ-2003 "Информационные системы и технологии", Новосибирск, 2003. - Т.3, C. 114-115.

Актуальной проблемой совершенствования систем тестирования является использование методов искусственного интеллекта для анализа открытого ответа. В докладе предлагаются принципы построения и архитектура системы "ЭСКИЗ-2", основанной на методах инженерии знаний, и предназначенной для построения и использования учебных тестов.

2.4. Системы тестирования с использованием нечеткой логики

Михаль О.Ф. Интеллектуальная система дистанционного тестирования знаний на локально-параллельных нечетких алгоритмах. // Материалы международной научно-методической конференции «Образование и виртуальность». - Ялта: ЯИМ, 2001. - http://virt.kture kharkov.ua/2001/book/5_08.pdf

Проанализированы возможности использования локально-параллельных алгоритмов нечеткой логики для создания систем дистанционного тестирования знаний. Предлагается архитектура сетевого варианта реализации системы.

Рудинский И.Д., Соловей Е.В. О реализации экспертных технологий, алгоритмов прямого тестирования и модели нечеткого оценивания в интегрированной автоматизированной системе контроля знаний. // Материалы международной конференции-выставки «Информационные технологии в образовании». - Москва, 2003. - http://www.ito.su/2003/VI/VI-0-2187.html

Рассматривается архитектура и функционирование интегрированной автоматизированной системы контроля знаний, позволяющей проводить тестирование обучаемых с применением средств дистанционной коллегиальной подготовки тестовых заданий наиболее квалифицированными экспертами, оригинальной модели нечеткого оценивания знаний и алгоритмов прямого тестирования.

2.5. Экспертные системы анализа знаний

Андреев А.Б., Усачев Ю.Е. Разработка интеллектуальных средств обучения. // Материалы Всероссийской научно-методической конференции «Телематика 2002». - Санкт-Петербург, 2002.

Рассматривается метод создания интеллектуальной надстройки электронного учебника, реализующей функции анализа существующих у студента знаний и автоматического генерирования сценария обучения. Для анализа знаний обучающегося используется специализированная экспертная система, которая позволяет определить упорядоченную совокупность известных и неизвестных ему понятий ("фотография знаний") и вычислить общую оценку знаний.

Русаков С.В., Перескокова О. И., Шестакова Л.В. «Интеллектуальный» генератор тестов. // Материалы международной конференции-выставки «Информационные технологии в образовании». - Москва, 1998. - http://www.ito.su/1998/2/rusakov2.html

Представленный программный продукт является по сути экспертной системой и позволяет генерировать тесты с заданным характеристиками, а так же анализировать результаты тестовых испытаний. По результатам тестовых испытаний подсчитывается процент усвоения каждого элемента системы знаний, который должен быть усвоен учащимся по окончании изучения материала данной предметной области, и процент усвоения всего курса (темы), как для отдельного ученика, так и средние характеристики для всей группы.

Комментариев нет:

Отправить комментарий