Н.П. Андрюшина
Москва, МГУ им. М.В. Ломоносова


СОЗДАНИЕ НОВЫХ ВЕРСИЙ ТЕСТОВ ПО РУССКОМУ ЯЗЫКУ КАК ИНОСТРАННОМУ


Российская система тестирования по русскому языку как иностранному (РКИ) разработана около 10 лет назад. Она создавалась на основе опыта преподавания русского языка иностранцам в российских вузах. Естественно, пока недостаточно разработаны многие ее составляющие как теоретического, так и практического плана, поэтому так необходима сейчас аналитическая работа в тестировании по РКИ.

В настоящее время тестирование широко используется и в сфере сертификационного измерения уровня владения языком, и в учебном процессе. Практика тестирования иностранных граждан и апробация тестов, проводящаяся в вузах на протяжении последних лет, позволила выявить как достоинства использующихся форм тестового контроля, так и их недостатки.

К их положительным сторонам относится максимальная объективность, технологичность и экономичность. Использование тестовой формы контроля позволяет значительно активизировать учебный процесс. Однако все эти факторы вряд ли могут «работать» без должного уровня валидности тестов, без данных статистической обработки и, следовательно, без банка стандартизированных заданий. Перечисленные недостатки, к сожалению, присущи тестам, используемым в Российской системе тестирования.

Во многих публикациях, посвященных обсуждению тестов по РКИ, можно встретить формулировки «стандартизированный тест», «стандартизированные задания», но не будем забывать, что слово «стандартизированный» является термином, а термин не может использоваться произвольно; «звание» «стандартизированный» можно получить только по результатам статистической обработки. Автору этих строк приходилось слышать утверждения, что опубликованные тесты можно считать стандартизированными, поскольку они прошли апробацию. Да, типовые (опубликованные) тесты прошли первичную апробацию, но результаты этой апробации статистически не обрабатывались (1) и не анализировались, поэтому можно утверждать, что тестовые задания в тестах по РКИ до сих пор не стандартизированы. Для устранения данного недостатка в Центре тестирования МГУ им. М.В. Ломоносова (ЦМО) была проведена статистическая обработка результатов тестирования нескольких вариантов субтестов по лексике-грамматике, чтению, аудированию Элементарного, Базового и Первого уровней. Анализ данных, полученных в результате обработки, показал, что по крайней мере 1/3 тестовых заданий (в некоторых субтестах и больше) следует заменить. Эта работа уже началась, и по ее окончании планируется издание нового варианта тестов (в ближайшее время будет издан тест Первого сертификационного уровня).

(1) Во всяком случае никаких публикаций в соответст-вующих изданиях не было, а об апробации закрытых вариантов тестов вообще никто не упоминает.

Использование тестов, в которые внесены изменения, учитывающие данные статистики, несомненно, даст новый материал для наблюдений и совершенствования сертификационного тестирования. Только после работы с такими тестами можно будет говорить о том, что в Российской системе тестирования используются стандартизированные тесты по РКИ.

Следующим шагом на пути развития системы тестирования должно стать конструирование новых версий тестов. В отличие от вариантов теста, которые должны повторять структуру, содержание и формы типового теста, версии представляют собой тесты, объем, структура, форма заданий которых может существенно отличаться от типовых. При этом новая версия теста должна быть валидной и оставаться в тех рамках уровня владения языком, которые определены стандартом. Создание новых версий – сложный многоаспектный процесс. Это и корректировка объема теста в целом, и уточнение структуры отдельных субтестов, и поиски оптимальных форм тестовых заданий, и анализ эффективности применяемых критериев оценки выполнения тестов. При разработке новой версии необходимо тщательно проанализировать все факты, полученные в ходе апробации и статистической обработки тестов первой версии, учесть выявленные недостатки. Разработчики новой версии должны обосновать тот объем существенных изменений, который, очевидно, будет предложен.

Необходимо учитывать, что по многим вопросам содержания, объема и оформления тестов продолжаются дискуссии. В качестве примера рассмотрим несколько вопросов, относящихся к различным аспектам и требующих анализа и обсуждения. Один из них касается проблемы корректировки объема. Это вопрос о целесообразности включения в субтесты по лексике проверки понимания предлогов. Было высказано мнение, что такие задания не нужны, так как предлоги не имеют собственного значения. Можно ли будет говорить о валидности тестов по лексике, если из соответствующего субтеста будут удалены задания, проверяющие понимание предлогов?

На первый взгляд, если брать официальное определение предлогов, действительно, «предлоги – это служебные слова, выражающие синтаксическую зависимость существительного (или местоимения-существительного) от других слов в составе словосочетания» [4, с. 311]. При этом в разделе «Предлоги» в Академической грамматике вовсе нет утверждения, что предлоги не обладают собственной семантикой, просто предлоги рассматриваются с чисто формальной точки зрения.

Более развернутое определение можно найти у А.Н. Гвоздева: «Предлоги – служебные слова, выражающие совместное с формами косвенных падежей зависимое положение существительного (местоимения, числительного) от тех или иных слов предложения; они осуществляют синтаксическую связь между членами предложения и служат для выражения разнообразных отношений к предметам в широком понимании со стороны действий, других предметов, признаков» [3, с. 415]. У этого же автора можно встретить утверждение, что «большая часть предлогов-наречий выражает чисто пространственные отношения» (мимо, около, вдоль и т.д.), а первичные предлоги характеризуются «широтой и абстрактностью значения». Таким образом, А.Н. Гвоздев явно признает наличие у предлогов собственной семантики, хоть и выражаемой в сочетании с другими частями речи.

Еще более определенно и подробно пишет о значениях предлогов В.В. Виноградов: «В русском языке предлоги в большей своей части еще не вполне утратили лексическую отдельность», «…значения предлогов в русском языке гораздо конкретнее, чем во французском» [2, с. 53]. В.В. Виноградов приводит слова К.С. Аксакова: «Значение предлогов измеряется обыкновенно падежами,… между тем как значение лежит в самих предлогах… требуемый падеж является здесь не совсем прирожденной собственностью предлога, но есть следствие его значения», «предлог имеет значение в самом себе, и из этого значения можем мы вывести возможность употребления его с тем или другим падежом».

Практика преподавания РКИ подтверждает правоту В.В. Виноградова и К.С. Аксакова. Трудности, возникающие у иностранцев при изучении русского языка, помогают лучше увидеть элементы, отличающие систему русского языка от других индоевропейских языков. В частности, специфика русского языка как иностранного проявляется и при обучении иностранцев правильному употреблению предлогов.

Употребление предлогов представляет для иностранных граждан серьезную трудность: проходит длительный этап освоения материала, прежде чем они усваивают то, что для носителя кажется очевидным (можно заметить, что даже носители языка делают ошибки при употреблении предлогов, например, некоторые тележурналисты часто неправильно употребляют сочетание о том – «указали о том», «утверждают о том» и др.). Способность выполнить то или иное тестовое задание показывает, насколько успешно человек справляется с этой трудностью.

Преподаватели РКИ знают, что даже на 2-м уровне иностранцы путают употребление предлогов в и на (ср.: учиться на факультете – учиться в факультете, поступить в университет – поступить на университет и т.д.). Об ошибках такого рода пишут, в частности, Л.П. Клобукова и И.Н. Афанасьева, анализируя результаты сертификационного тестирования в Германии [5, с. 180]. При этом трудность представляет именно лексический аспект, падежные формы после предлога испытуемые могут употребить правильно. Точно также путают они и употребление предлогов после и через и ряд других предлогов, т.е. невозможно игнорировать тот факт, что иностранцы испытывают затруднения при выборе нужного предлога. В связи с этим проверка понимания предложной семантики представляется необходимой, ибо в тесте то, что представляет трудность, должно подвергаться особенно тщательному контролю.

С одной стороны, следует проверять предложное управление, поскольку никто не сомневается, что в тестах по грамматике следует проверять употребление падежных форм. В подтверждение этого положения можно привести слова А.Н. Гвоздева: «Близость функций предлога к падежам существительных особенно ясна из того, что отношения, выражаемые в одних языках падежными формами, в других выражаются предлогами; например, форме родительного падежа в русском языке нередко соответствуют во французском конструкции с de, в английском – of…» [3] (то есть можно заложить в тесты еще и проверку возможной интерференции!). С другой стороны, необходимо проверять и понимание собственного значения предлогов.

Таким образом, предлоги могут являться объектами контроля в основном с двух точек зрения: а) проверяется их семантика, б) проверяется их управление. Однако возможен и еще один, третий аспект проверки. Дело в том, что в русском языке есть предлоги «слабые» (определение В.В. Виноградова), обозначающие чисто грамматические падежные отношения, например, те же в, на, хотя «в русском языке ни один предлог не достиг той грамматической абстрактности, какая свойственна слабым предлогам английского или французского языков» [2, с. 532]. По мнению В.В. Виноградова, при усвоении литературного языка система употребления таких абстрактных предлогов представляет особые трудности. Следовательно, надо обращать особое внимание на усвоение того, какой именно предлог должен употребляться в том или ином неразложимом словосочетании. А поскольку предлоги являются, хоть и служебной, но все-таки частью речи, проверку их функционирования в 1 и 3-ем аспектах логично проводить в лексической части теста, а проверку управления – в грамматической.

Итак, умение правильно употреблять предлоги является составной частью языковой компетенции иностранцев, следовательно, сокращение объема теста за счет удаления заданий на проверку понимания предлогов неизбежно снизит валидность теста по РКИ. (Как видим, решение вопроса о заданиях на проверку понимания предлогов связано не только с проблемой объема теста, но и с проблемами валидности теста, его содержания).

Возникает вопрос, а нужно ли вообще стремиться к сокращению объема тестов, если известно, что больший объем заданий обеспечивает более точное измерение? Но, во-первых, испытуемые не могут работать бесконечно долго, во-вторых, использование чрезмерно больших тестов будет экономически невыгодным. Таким образом, при разработке тестов следует учитывать как минимум три фактора: психо-физические возможности тестируемых, приемлемый уровень экономичности, достаточную степень точности измерения. Сконструировать тест, удовлетворяющий всем этим требованиям, – задача не из легких, ее можно решить, только выделив в языковом материале основные единицы того или иного уровня, т.е. инвариантные элементы.(2)

(2) См об этом: Андрюшина Н.П. Тестирование по русскому языку как иностранному: форма и содержание. – В сб. Х конгресс МАПРЯЛ. Русское слово в мировой культуре. Методика преподавания русского языка: традиции и перспективы. Том II. – Санкт-Петербург, 2003.

Исследование данной проблемы надо проводить уже при создании новых версий. Первым этапом этой работы стала апробация новых форм тестовых заданий(3), которая ведется в Центре тестирования МГУ им. М.В. Ломоносова (ЦМО) на протяжении последних лет. Результаты апробации помогут разработчикам в поисках оптимальной величины объема теста и обеспечения его валидности.

(3) В основном это задания открытой формы с кратко конструируемым ответом.

Из группы вопросов, которые относятся к проблеме уточнения структуры тестов и субтестов, рассмотрим вопрос о гомогенности субтеста «Лексика. Грамматика». При разработке первой версии тестов априори утверждалось, что этот субтест является гомогенным. Однако практика и статистическая обработка результатов его выполнения показали, что целесообразнее рассматривать данный субтест как гетерогенный. Поэтому нельзя задания на проверку понимания лексики помещать вперемешку с заданиями на проверку грамматического материала. Предлагаемое изменение «статуса» субтеста в целом не изменит внешнего оформления теста, порядок работы испытуемых с заданиями также останется прежним. Изменится лишь процедура статистической обработки результатов выполнения субтеста и выстраивания заданий согласно коэффициенту трудности. Это будет способствовать получению более адекватного представления об уровне владения языком иностранными гражданами.

При разработке новой версии тестов следовало бы также проанализировать и вопрос о введении раздела по проверке фонетических навыков. Это может быть или отдельный субтест, или часть какого-либо субтеста, например, говорения. Во многих вузах создаются тесты (точнее, задания в тестовой форме) по фонетике, предназначенные для промежуточного учебного контроля. Например, предлагались задания на различение глухих и звонких согласных, твердости-мягкости, интонационных конструкций и т.д. К сожалению, опыт использования этих тестов не обобщался и не анализировался. Между тем десятилетняя практика тестирования подтверждает мнение, что фонетическая сторона речи пока слабо проверяется и учитывается при оценке языковой компетенции иностранцев. Так, в тестах Элементарного, Базового и Первого уровней фонетический аспект ответа испытуемого учитывается в листах экспертной оценки фактически номинально.

Единственным заданием, специально предназначенным для проверки владения интонационными средствами русского языка, является задание 3 (позиции 9-12) в субтесте «Говорение» в тесте Второго сертификационного уровня (общее владение) [7]. Целью задания, по замыслу разработчиков, является проверка способности тестируемого «достигать определенных коммуникативных целей ритмико-интонационными средствами». В этом задании предлагается «воспроизвести реплики с интонацией, соответствующей намерению, которое предложено в задании». К примеру, одну из фраз испытуемый должен прочитать, выразив восхищение: «Как звучит рояль/ Просто прелесть». По всей вероятности, данную фразу следовало прочитать с ИК-5, но основная масса тестируемых была незнакома со словом «прелесть», поэтому их усилия были направлены на то, чтобы правильно прочитать это слово (к тому же далеко не все люди наделены артистическим даром настолько, чтобы в стрессовой ситуации тестирования «выражать» те или иные чувства). В результате 90% испытуемых читало слово с неправильным ударением (еще одно подтверждение необходимости лексического минимума: составители тестов должны использовать в заданиях лексику, подлежащую обязательному освоению) и забывало о нужной интонации. Данное задание «не работает», так как его смогла выполнить лишь небольшая часть иностранцев. Следовательно, необходимо искать другие способы проверки фонетических навыков, особенно актуальна эта задача для высоких уровней владения русским языком.

С вопросами структурной организации тестов тесно связаны вопросы их содержания. Эта мысль подтверждается приведенным выше примером проверки фонетических навыков, а также необходимостью ввести в тесты новые объекты проверки. Одним из таких объектов может стать понимание субъективного (или модусного) смысла, выражаемого наречиями, междометиями, предлогами. Согласно исследованиям специалистов, «средства выражения этих смыслов не универсальны для разных языков, а национально специфичны» [6, с. 305]. Именно специфичные для русского языка способы выражения смысла и должны проверяться в процессе тестирования, в первую очередь (так как перечисленные части речи представляют периферийную зону языка) – в субтестах по говорению на высоких уровнях владения языком.

В ходе предлагаемого контроля можно, кстати, проверить и понимание смыслов, выражаемых интонационными средствами. Например, сравните предложения:

             1
(1) Я правда должен сейчас уйти.

6
(2) Я, правда, должен сейчас уйти ...

3
(3) Я правда должен сейчас уйти? (4)

(4)Идея данного примера принадлежит Ф.И. Панкову.

В приведенных случаях слово ‘правда’ имеет разные функции и значения и должно звучать с разными интонациями. Проверять их понимание можно не только в субтестах по говорению, но и субтестах по аудированию. Существует и другой речевой материал, который можно предложить в качестве объектов контроля в тестировании по РКИ.

Еще одна задача, требующая решения, – анализ формы тестовых заданий. В настоящее время в тестах всех уровней используются задания закрытой формы в основном с выбором одного ответа из 2-4 вариантов. Главный недостаток этих заданий – высокая вероятность угадывания правильного ответа. Задания с выбором двух или нескольких правильных ответов не используются. Исключением является только один случай – несколько заданий субтеста «Лексика. Грамматика» в Типовом тесте Первого уровня. Результаты выполнения этих заданий показали, что работа с ними вызывала затруднение у большой части тестируемых, то есть вероятность угадывания в этих заданиях значительно ниже (возможно, задания этого типа следует предварять отдельной, более подробной инструкцией). По мнению В.С. Аванесова, задания этого типа обеспечивают более точное измерение [1, с. 56]. Особенно эффективным было бы использование данного типа заданий в тестах 2, 3 и 4-го уровней, именно на этих уровнях они могли бы нести высокую функциональную нагрузку при проверке, например, синонимии, фразеологизмов и т.д. (надо признать, что в целом задания используемых сейчас тестов 2-4 уровней отличаются однообразием формы, что ухудшает их качество).

Наиболее достоверное измерение уровня владения русским языком могут обеспечить задания открытой формы, т.е. задания, в которых готовые варианты ответа не даются. В мировой практике тестирования задания данной формы получают все большее признание. В них фактически исключена возможность угадывания. В силу этого при апробации заданий данной формы в Центре тестирования МГУ (ЦМО) процент правильного выполнения таких заданий оказался намного ниже, чем процент выполнения заданий других форм. Следовательно, введение заданий открытой формы неизбежно повлечет снижение числа испытуемых, успешно выполнивших тест (читай: ухудшение показателей). В этой ситуации разработчики системы тестирования поставлены перед выбором: ввести в систему более совершенный инструмент измерения знаний или предпочесть некачественное измерение в угоду сиюминутным требованиям рынка. Выход видится в том, чтобы найти оптимальное сочетание заданий различных форм, что поможет обеспечить адекватное определение уровня владения русским языком.

Для иллюстрации вопросов, относящихся к проблеме оценивания результатов тестирования, можно рассмотреть оценку заданий, имеющих различные формы. Например, в субтесте «Лексика. Грамматика» задания с выбором одного правильного ответа могли бы оцениваться ниже, чем задания открытой формы, задания с выбором нескольких правильных ответов могут «стоить» дороже, нежели задания с выбором одного ответа, но ниже, чем задания открытой формы. При решении данного вопроса необходимо проанализировать названные типы заданий с учетом их коэффициента трудности. Введение в новых версиях тестов дифференцированных оценок повысит точность измерения.

Еще один из вопросов того же круга проблем (его, кстати, часто задают слушатели на семинарах по лингводидактическому тестированию): следует или не следует при оценке письменных работ на 1-4 сертификационных уровнях учитывать знаки препинания. В настоящее время этот момент никак не прописан в методических рекомендациях, при проверке письменных работ оставляется без внимания не только отсутствие запятых и точек, но и игнорирование испытуемыми заглавных букв, правил переноса, орфографические ошибки. Между тем иностранцы в процессе обучения должны овладевать и этими языковыми реалиями, особенно на высоких уровнях владения языком. В новых версиях тестов можно было бы оговорить «стоимость» запятых перед придаточными предложениями на Первом уровне (например, снимать 0,5 балла за пропуск 5 запятых), на Втором уровне эту «стоимость» увеличить и ввести дополнительно «стоимость» запятых при выделении причастных и деепричастных оборотов. На Третьем уровне можно ввести оценку за запятые при вводных словах и т.п. Аналогичным образом можно установить и «стоимость» орфографических ошибок. На Третьем и Четвертом сертификационных уровнях было бы логичным ввести «наказание» за неправильные переносы. Разумеется, речь идет лишь о постановке вопроса, о возможных способах подхода к решению поставленной задачи, само же решение предстоит еще обсуждать и апробировать.

В критериях оценки результатов письменных работ и субтеста по говорению должна также найти отражение и степень владения лексикой, соответствующей определенному уровню. Недопустимо, когда, отвечая фразами, по сложности и лексическому наполнению не выходящими за рамки Первого уровня, тестируемый может получить Сертификат Второго уровня.

Нуждается в уточнении и алгоритм процедуры тестирования, и ряд других вопросов. Все они будут рассмотрены на семинаре для разработчиков тестовых материалов по русскому языку как иностранному. Пока же заметим, что изменения, которые должны быть внесены при разработке новых версий, касаются не только содержания самих тестов. Если ввести дифференцированную оценку выполнения заданий по лексике, грамматике, чтению и аудированию, а также уточнить критерии оценки выполнения заданий по письму и говорению, то нужно будет обновить и листы экспертизы, и методические рекомендации, и программы семинаров по подготовке тестеров, и лингводидактические описания.

Итак, при разработке новых версий тестов различных уровней неизбежно потребуется решить ряд важнейших теоретических и практических вопросов. Некоторые из них до сих пор не сформулированы, но многие уже осознаны и частично описаны. В этом случае после обсуждения появятся и способы их решения, которые должны найти практическое применение при создании новых версий тестов.

ЛИТЕРАТУРА

  1. Аванесов В.С. Форма тестовых заданий. – М., Центр тестирования, 2005.
  2. Виноградов В.В. Русский язык (грамматическое учение о слове). – М., Высшая школа, 1972.
  3. Гвоздев А.Н. Современный русский литературный язык. Т.I.
  4. Грамматика современного русского литературного языка. – М., Наука, 1970.
  5. Клобукова Л.П., Афанасьева И.Н. Анализ результатов сертификационного тестирования как основа совершенствования учебного процесса. – в сб. Язык, литература, культура. Вып.1, М., 2005, с. 180.
  6. Панков Ф.И. Части речи в русской речи (к проблеме описания категориальных классов слов в функционально-коммуникативной грамматике). – в сб. Х конгресс МАПРЯЛ «Русское слово в мировой культуре», т. III. – СПб, 2003, с.305.
  7. Типовой тест по русскому языку как иностранному. II сертификационный уровень. Общее владение. – СПб, Златоуст, 1999.