В.С. Аванесов (Москва)


СОЗДАНИЕ НОВЫХ ВЕРСИЙ ТЕСТОВ ПО РУССКОМУ ЯЗЫКУ КАК ИНОСТРАННОМУ


Форма определяется как способ связи организации, упорядочения и существования содержания в общей композиции тестовых заданий(1). Сложность проблемы состоит в противоречии между теоретическим и практическим мышлением относительно формы. Большинству практиков тестового процесса форма заданий кажется знакомой и вполне понятной. А потому они не видят здесь никаких проблем. Соответственно, практики не считают нужным что-то менять в формах, учиться формотворчеству и методике разработки новых тестовых заданий. Из-за такой позиции практика тестирования начинает деградировать.

(1)Аванесов В.С. Форма тестовых заданий. С.8. М.: Центр тестирования, 2005.- 155с.

Если практики видят в форме привычное средство создания теста, то теоретики обращают внимание на достоинства и недостатки существующих форм, на поиск дополнительных возможностей автоматизации тестового процесса, а также на поиск таких форм, которые позволяют проверить знания полнее, глубже, точнее, быстрее и объективнее. Вот почему исследование формы становится важной частью теории педагогических измерений.

Теоретическое мышление отношение практиков к форме находит ограниченным и вредным, тормозящим развитие тестовой культуры. Потому что от качества формы зависит понимание содержания заданий, технологичность тестового процесса, точность и эффективность измерений. Малейшее нарушение требования формы часто делает задание непонятным. Например, при нечетких инструкциях испытуемые не знают, как им надо отвечать на задания. Нарушение требований формы является также одним из самых распространенных источников погрешностей педагогического измерения. Можно выразиться ещё более определенно: пока преподаватели не овладеют методикой формообразования, нет надежд на появление качественных тестов. Например, результаты тестирования посредством самых распространенных заданий с выбором одного правильного ответа из 3-5 предлагаемых на выбор ответов, подвержены известным искажениям – тем большим, чем меньше число ответов в каждом задании. В таких заданиях, наряду с одним правильным ответом, есть несколько неправильных, но правдоподобных. Последние называют дистракторами (от англ. to distract – отвлекать); число дистракторов обычно колеблется от одного до 4.

В заданиях с выбором одного правильного ответа из трёх вероятность угадывания равна 1/3, что приводит к тому, что одна треть всех заданий может быть решена не за счет знаний учебного материала, а за счет ответов наугад. В тесте, состоящем, скажем, из тридцати заданий таких «правильных» ответов может оказаться около десяти, за что педагоги могут выставить привычные три балла. Но это ошибочная практика. Не случайно студентам и школьникам нравятся задания с тремя ответами, где всегда есть реальная возможность угадывания. Именно таких заданий с тремя и четырьмя ответами особенно много в пособиях по русскому и иностранным языкам, а также по русскому языку, как иностранному.

Феномен угадывания правильных ответов в теории педагогических измерений исследовался неоднократно; он рассматривается как источник погрешностей измерения – тем больший, чем больше доля угадываемых правильных ответов. Для коррекции тестовых баллов испытуемых используется формула
Xci = Xi - Wi/(k-1)
где Xci - скорректированный на догадку тестовый балл испытуемого. Отсю-да и смысл индекса: с от англ. corrected, символ i обозначает номер испытуемого;
Xi - тестовый балл испытуемого i, без коррекции;
Wi - число ошибочных ответов, у того же испытуемого.

Эта формула используется при предположении, что испытуемый не знает правильный ответ ни на одно задание, и по всему тесту пытается отвечать наугад. В ней наиболее вероятное число ответов, которое можно угадать, ничего не зная, вычитается из набираемой суммы баллов.

Если взять, для примера, тест, состоящий из 30 заданий с четырьмя ответами, то в случае 20 правильных и 10 неправильных ответов получим Xci = 20 - 10/(4-1) = 16,6, или округленно, 17 баллов. Из структуры данной формулы видно, что с увеличением количества правильных ответов число вычитаемых на догадку баллов в заданиях с четырьмя ответами заметно уменьшается. Из чего видно, что хорошо подготовленных испытуемых коррекция баллов на догадку не должна беспокоить.

Немногим лучше дела обстоят в заданиях с выбором одного правильного ответа из пяти ответов. Такие задания широко применяются во всех российских и зарубежных центрах тестирования. При выборе из пяти ответов могут быть угаданы правильные ответы примерно в пятой части от общего числа заданий. В итоге испытуемые получают баллы, которые они не заслужили. Это и есть одна из самых распространенных форм искажения тестовых результатов за счет устарелой и несовершенной формы заданий.

Если задания с выбором одного из 4-5 ответов применяются в так называемом «едином государственном экзамене (далее ЕГЭ)», и при этом государство не проводит никакой коррекции результатов на догадку, то оно само становится инициатором и проводником методов, содержащих явные источники погрешностей измерения. Подобная ситуация возможна только в одном случае – если чиновники перестают бояться научной критики и при этом полагают, что в тестовом деле они знают больше, чем специалисты. Однако подлинные специалисты считают подобное положение дел недопустимым, последствия же такой практики – отрицательными как для личности, так и для государства.

Не случайно в западных странах государственные органы управления образованием не занимаются тестированием. Там это проблема не государственная, а общественно-профессиональная; это сфера деятельности общественных ассоциаций преподавателей по различным учебным дисциплинам и профессиональных тестовых служб, независимых от государства. Посредством тестов орган управления образованием не может проверять результаты собственной деятельности.

Специалистами по ЕГЭ с целью преодоления феномена угадывания принято решение использовать задания открытой формы, где угадывания почти нет. Ответы по таким заданиям в ЕГЭ оцениваются в два раза выше; в предположении, что задания открытой формы труднее для испытуемых, чем задания с выбором одного правильного ответа из 4-5 ответов. Надо ли убеждать авторов таких решений в простых истинах: трудность заданий зависит, главным образом, не от формы, а от содержания заданий! Не случайно даже в ЕГЭ ряд заданий с выбором оказывается труднее заданий открытой формы. Из этого видно, что принятая в ЕГЭ система оценивания порождает ещё один источник погрешностей измерения.

Ошибки оценивания в этих частях столь велики, что по некоторым дисциплинам результаты испытуемых не коррелируют, положительно, с результатами испытуемых по первой части «А», а иногда связаны и отрицательно. Вопрос - можно ли складывать полученные по частям баллы в общую оценку за ЕГЭ, и если можно, то каковы научные основания? Здесь скрывается третий источник ошибок измерения, вызванный неверным толкованием тестовых форм и их возможностей, ошибками сложения баллов, не обладающих свойством аддитивности.

Для проведения массовых исследований задания открытой форме не годятся в силу их нетехнологичности. Ведь не случайно настоящие тестовые службы в массовых обследованиях используют только задания с выбором, используя далее автоматизированную считку результатов с бланков посредством оптических сканеров очень высокой производительности, от 5 до 50 тысяч бланков в час. Хороший пример успешного применения такой техники даёт тестовая служба Республики Казахстан.

Что же можно сделать для улучшения практики тестирования? На этот вопрос можно дать несколько ответов. Во-первых, надо скорее менять формы тестовых заданий. Вместо заданий с выбором одного правильного ответа из 3-5 ответов надо переходить (где это оправданно) к заданиям с выбором нескольких правильных ответов. Посмотрим на некоторые примеры:

1. IRREGULAR VERBS
1) start 6) read 11) wear
2) swim 7) think 12) print
3) speak 8) complete 13) obtain
4) look 9) begin 14) finish
5) run 10) jump 15) draw

2. «О» ПИШЕТСЯ В CЛОВОСОЧЕТАНИЯХ

1) упл…тнить сроки
2) обн…жить пороки
3) р…птать на судьбу
3) прил…скать собаку
4) отк…заться от услуг
5) опр…вдать поступок
6) угр…жать расправой
7) в…пиющий произвол
8) раск…лить сковороду
9) усл…жнить обстановку

К таким заданиям даётся инструкция: Вашему вниманию предлагаются задания, в которых могут быть один, два, три и большее число правильных ответов. Обведите кружком номера всех правильных ответов!

Преимущество таких заданий – в технологичности, что позволяет, при правильной организации тестового процесса исключить элементы субъективности оценивания и коррупции. Кроме того, испытуемые не знают точное число правильных ответов, что делает такие задания труднее. Помимо повышения трудности и технологичности, задания данного варианта позволяют проверить знания полнее, глубже и точнее. В таких заданиях испытуемые могут получить от нуля до трёх баллов, что повышает вариацию данных и, как следствие, точность измерения.

Во-вторых, помимо заданий с выбором нескольких правильных ответов можно предложить использовать сдвоенные задания:

3. ЧТО ВЫ ЧИТАЕТЕ, МИЛОРД? – СПРОСИЛ (А)
1) Офелия5) Лаэрт
2) Полоний6) Горацио
3) Клавдий7) Гертруда
4) Гамлет8) Фортинбрас

«СЛОВА, СЛОВА, СЛОВА» - последовал ответ
1) Офелии5) Лаэрта
2) Полония6) Гамлета
3) Клавдия7) Гертруды
4) Горацио8) Фортинбраса

За правильный ответ в каждом из сдвоенных заданий испытуемый получает по одному баллу. Таким образом, за такие задания оценки могут варьироваться от двух до нуля. Это обстоятельство так же благотворно отражается на повышении точности измерения.

В-третьих, для создания параллельных вариантов теста полезно применять так называемые фасеты. Все элементы одного фасета считаются одинаково трудными по содержанию. Каждому испытуемому компьютерная программа подбирает один вариант из фасета:

Краткость есть душа ума
Порвалась дней связующая нить
Весь мир – тюрьма!
Какого обаянья ум погиб!
Всех слушай, но беседуй редко с кем
Я пал (а), чтоб встать!

СКАЗАЛ (А)
1) Гамлет6) Лаэрт
2) Офелия6) Актер
3) Полоний7) Горацио
4) Клавдий8) Гертруда
5) Фортинбрас10) Розенкранц

В-четвертых, надо внедрять в учебную практику тематические задания в тестовой форме и текстовые задания. Теория таких заданий рассмотрена в работах автора этой статьи(2). Тематическим заданиям предшествует обычная инструкция: Вашему вниманию предлагаются задания, в которых может быть один, два, три и большее число правильных ответов. Обведите кружком номера всех правильных ответов:

(2) Аванесов В.С. См. книги: «Композиция тестовых заданий». М. Центр тестирования, 2002. –239с. «Форма тестовых заданий». – М., Центр тестирования, 2005, 155с.

Посмотрим пример из текста по русскому языку, как иностранному(3).

(3) Источник: Андрюшина Н.П., Макова М.Н. Пращук Н.И. Тренировочные тесты по русскому языку как иностранному. Базовый уровень. М.: МГУ, 2003,. С.80-82.

После рождения двух сыновей я решил больше не курить. И потом всю жизнь благодарил их за это. Я научился делать много разных хороших и нужных дел. Например, хорошо готовить, мыть посуду, петь детские песни и экономить деньги. Много играл с сыновьями, поэтому стал сильным, спортивным человеком. Мальчики росли и научились играть в хоккей и футбол. Я тоже стал играть в футбол и интересоваться футбольными командами и матчами. И теперь я знаю, какие самые лучшие команды в мире. Научился ремонтировать окна, мебель, одежду и обувь. Дети пошли в школу, и я вспомнил математику, рисование, английский язык, литературу, и русскую, и зарубежную. Потом мы купили детям компьютер. Я научился работать на нём, чтобы помогать моим сыновьям. Стал хорошим программистом.

Когда мальчикам купили скрипку и пианино, я стал понимать классическую музыку и узнавать музыку разных композиторов. А недавно купил много учебников и словарей, чтобы отвечать на разные "почему?" уже моим внукам. Мне кажется, что я становлюсь умнее, потому что дети и внуки очень любят спрашивать: "'Почему?", "Когда?", "Где?".

ЗАДАНИЯ В ТЕСТОВОЙ ФОРМЕ К УЧЕБНОМУ ТЕКСТУ
Вашему вниманию предлагаются задания, в которых могут быть один, два, три и большее число правильных ответов. Обвести кружком номера всех правильных ответов:

1. АВТОР БЛАГОДАРИТ
1) друзей
2) свою жену
3) сыновей
4) родственников
5) жену и сыновей
6) жену и родственников

2. АВТОР БРОСИЛ КУРИТЬ, ПОТОМУ ЧТО
1) начал заниматься спортом
2) жена давно просила его об этом
3) у него родились сыновья
4) посоветовали друзья
5) стал понимать, что курение вредно
6) попросили сыновья
7) ему надоело отравлять себя

3. ОН СТАЛ СИЛЬНЫМ ЧЕЛОВЕКОМ, ПОТОМУ ЧТО
1) много тренировался
2) хорошо готовил пищу
3) больше не курил
4) много играл с детьми
5) проводил много времени на свежем воздухе
6) каждый день играл в баскетбол
7) много занимался волейболом

4. АВТОР НАЧАЛ ИГРАТЬ В
1) футбол
2) хоккей
3) футбол и хоккей

4. ОН ХОРОШО УЗНАЛ КОМПЬЮТЕР, ПОТОМУ ЧТО
1) изучал компьютер в школе
2) работает в компьютерной фирме
3) купил сыновьям компьютер
4) захотел стать программистом
5) имеет инженерное образование
6) ему нравится компьютер
7) компьютер помогает зарабатывать ему на жизнь

5. АВТОР НАУЧИЛСЯ РЕМОНТИРОВАТЬ
1) двери
2) окна
3) мебель
4) одежду
5) обувь
6) компьютер
7) радиоприёмник

При изучении русского и других языков большую пользу приносят так называемые текстовые задания. Например, на занятиях даются фрагменты из учебников по различным дисциплинам. Затем из таких фрагментов опускают ключевые слова. Те, кто внимательно изучил текст, смогут, восполнить пропущенные слова. Остальным придётся читать текст, и изучать его заново – до тех пор, пока текст не будет усвоен. Посмотрим пример:

ОЛИВЕР ХЕВИСАЙД(4)

«Оливер Хевисайд был выдающимся ученым. Он жил в период с 1850 по - 1920 годы. Современниками он не был признан.

Его можно назвать создателем формулы, известной сейчас как формула Эйнштейна. Операцию интегрирования О.Хевисайд сделал сводимой к делению на комплексное число.

Он подсчитал меру излучения движущегося электрона, предсказал наличие в верхних слоях атмосферы ионизированного слоя, отражающего радиоволны».

(4) Источник: Грес П.В. Математика для гуманитариев. – М.: Логос, 2003. –120 с. Переработано.

Из этого фрагмента делается текст с пропусками ключевых слов. Эти слова нумеруются, превращаясь, таким образом, в номера заданий.

ОЛИВЕР ХЕВИСАЙД
Оливер Хевисайд был _______ (1) учёным. Он жил в период с 1850 по ___ (2) годы. Современниками он был ______ (3)
1) признан
2) не признан
Его можно назвать создателем формулы, известной сейчас как формула _________ (4). Операцию интегрирования О.Хевисайд сделал сводимой к делению на _________ (5) число. Он подсчитал меру излучения движущегося _________ (6), предсказал наличие в верхних слоях атмосферы ионизированного слоя, отражаю-щего ___________ (7)….

За каждое правильно восстановленное слово испытуемый получает один балл. В каждом тексте можно требовать восполнения всех (100%) пропущенных ключевых слов. И только после этого разрешать переход к компьютерной проработке других учебных текстов. Можно использовать и несколько смягчённые требования. Решения о критериях успешности принимает сам педагог или кафедра. Хотя данный текст переработан преимущественно в задания открытой формы, желательно использовать все четыре формы, особенно с выбором нескольких правильных ответов. Текстовые задания могут представляться в любой форме. Предпочтительна первая форма, с выбором нескольких правильных ответов.

Подведём итог. В данной статье форма тестовых заданий рассматривалась как ключевая проблема теории педагогических измерений. От правильного выбора тестовых форм зависит точность выражения содержания теста и качество тестовых оценок. Образовавшийся в практике застой с применением только формы с выбором одного правильного ответа из 3-4 дистракторов подменяет педагогический принцип контроля принципом угадывания. Что неизбежно приведет к росту критики и дискредитации тестового метода. Хотя тесты в этом случае не при чём; виноваты те, кто остановились в своём развитии и в развитии тестовой культуры. Для предотвращения нежелательных последствий в данной статье предлагается быстрее перейти к применению в практике заданий с выбором нескольких правильных ответов, сдвоенных заданий, тематических и текстовых заданий. Представленные формы позволяют проверять различные виды знаний, делать контроль интереснее и качественным.