МИР РУССКОГО СЛОВА И РУССКОЕ СЛОВО В МИРЕ
XI конгресс МАПРЯЛ, том 6(2), Heron Press, София, 2007

КОНТРОЛЬ УСТНОЙ РЕЧИ ПРИ ТЕСТИРОВАНИИ ПО РУССКОМУ ЯЗЫКУ КАК ИНОСТРАННОМУ

Н.П. Андрюшина

Московский государственный университет им. М.В. Ломоносова, Россия

E-mail: msu-andrushina@yandex.ru

Abstract. Oral speech test control forms are analysed, repering to the Russian testing system "Russian as foreign". Dipperent test results criteria are discussed. New criterie of oral speech valuation are proposed.

Ключевые слова: тестирование, русский язык как иностранный, уровень владе­ния, критерии, параметры оценки.

При определении уровня владения любым иностранным языком важнейшей со­ставляющей является контроль устной речи. При проверке умения владеть устной речью измеряется степень коммуникативной компетенции иностранных граждан, в которую входят языковая, социолингвистическая, прагматическая, лингвострановедческая компетенции.

В Российской системе тестирования по русскому языку как иностранному (РКИ), в которой выделяется шесть уровней владения языком (элементарный, базовый, первый, второй, третий, четвертый),1 эти компетенции, изменение их объема в зависимости от уровня до сих пор не описаны ни в Стандартах (Требованиях), ни в исследовательских работах. Конечно, проверка этих объектов в тестовых материалах имплицитно присутствует, но четкого представления об их объеме не сформировано, и за 10 лет функционирования Российской системы эти материалы сколь-нибудь серьезному анализу не подвергались.2 Между тем успешность дальнейшего развития системы без такого анализа становится проблематичной.

1Эти уровни можно соотнести с уровнями Al, A2, B1, B2, C1, C2 Европейской системы уровней владения иностранными языками.
2Начало теоретическому осмыслению практики тестирования и конструирования тестовых материалов по РКИ было положено на научно-практических конференциях, прошедших на базе Центра тестирования иностранных граждан по русскому языку МГУ им. М.В. Ломоносова (ЦМО) в 2003 и 2005 гг.

Так как конечная цель обучения языку (или изучения языка) - выработка уме­ний вести (продуцировать) неподготовленную речь в объеме, соответствующем тому или иному уровню владения языком, в системе тестирования для каждого уровня был определен минимально необходимый перечень интенций, ситуаций и тем общения. На нижних уровнях владения он представлен в виде ограниченного списка, на более высоких уровнях этот перечень значительно расширяется, на са­мом высоком (четвёртом) должен быть практически неограниченным. Стандарты (Требования) элементарного, базового и первого уровней дают довольно четкое представление об интенциях, ситуациях и темах общения. Особенно полно они перечислены и описаны в Программе первого уровня [Андрюшина и др. 2002].

Конечно, было бы полезно провести некоторую аналитическую работу по сопо­ставлению содержания этих перечней с потребностями тех иностранцев, которые пользуются языком в реальных ситуациях общения. Такого анализа не прово­дилось, но можно с уверенностью предположить, что некоторая корректировка весьма желательна.

Например, на базовом уровне при перечислении ситуаций, в которых иностран­ные граждане должны уметь реализовывать свои коммуникативные намерения, не упоминаются гостиница, вокзал, аэропорт. Эти ситуации вводятся только в Требо­ваниях первого уровня. Однако уже на базовом уровне лексическая и грамматиче­ская компетенция вполне позволяет иностранным гражданам решать несложные коммуникативные задачи в упомянутых ситуациях. К тому же им приходится решать эти задачи в реальной жизни, о чем часто говорят иностранцы при обсуж­дении содержания обучения. К примеру, они могут узнать, когда пойдет тот или иной поезд, где стоит нужный автобус и т.д.

Перечни тем, содержащихся в Требованиях и Программе I уровня, довольно существенно расходятся, и дело здесь не только в разнице формулировок. Так в Программе отсутствуют раздел «Образ жизни», темы «Регионы России», «При­рода и человек», «Проблемы современного города», «Жизнь в городе и деревне», помещенные в Требованиях [Требования... 2006: 8].

В Стандартах более высоких уровней владения русским языком как иностранным (это 2, 3, 4 уровни) хорошо структурированы и подробно перечислены интенции, которые должны уметь реализовывать иностранные граждане, но ситуации и сферы общения даны в самом общем виде. При этом некоторые моменты все же нуждаются в уточнении. Например, в Стандарте второго уровня в разделе оценочных приводятся интенции "осуждать" и "порицать", которые, по сути, являются синонимами. Точно так же интенция "возражать" есть не что иное, как "выражать несогласие", поэтому можно оставить в списке только одну из них. То же самое можно сказать и об интенциях "равнодушие", "безразличие" [Государственный... 1999: 8, 9].3

3 Следует заметить, что в процессе тестирования приведенные в Стандартах всех уровней интенции и ситуации общения в полном объеме практически не используются, тестеры предпочитают строго придерживаться типовых тестов и 2-3 закрытых вариантов тестовых заданий. Это приводит к "засвечиванию" контрольных материалов и недостоверной оценке ответов. Но это уже другой вопрос - о практике тестирования.

Даже эти отдельные факты говорят о необходимости корректировки многих компонентов системы тестирования, ориентированных на контроль устной речи. В числе таких компонентов можно назвать форму тестовых заданий, содержание заданий, критерии оценки, параметры оценки, перечень объектов контроля и т.д. Рассмотрим некоторые из них.

В тестовых материалах по говорению от уровня к уровню усложняются требования к речевым умениям (очень желательна выработка более обоснованного и четкого описания уровней сформированности речевого умения). Соответственно, должны изменяться и формы заданий, критерии и параметры оценки, что и наблюдается в тестовых материалах. При разработке заданий в тестовой форме авторы, несомненно, учитывали, что а) устная речь может быть диалогической и монологической, б) устная речь может быть подготовленной и неподготовленной, в) общение в процессе продуцирования высказывания может быть контактным и дистантным (телефон, магнитофон).4

4 В опубликованных типовых тестах первой версии на всех перечисленных уровнях задания по говорению предъявляются только в устной форме, хотя можно использовать карточки, рисунки и т.д. Поскольку бланковая форма тестирования в настоящее время отсутствует, в данной работе она не рассматривается, хотя стоит отметить, что ее использование в ряде случаев является весьма перспективным. О степени надежности задания, проверяющего фонологическую компетенцию, см. [Андрюшина 2005: 16].

A. Так, на элементарном, базовом и первом уровнях тест по говорению четко делится на 2 части - монологическую и диалогическую. На остальных уровнях тестовые задания, проверяющие умение вести монологическую и диалогическую речь, следуют вперемешку. Оптимальный вариант порядка предъявления монологических и диалогических заданий не выявлялся и не обсуждался. Конечно, это не самая большая проблема, стоящая перед разработчиками системы тестирова­ния, но, как известно, в тестовой форме контроля пустяков не бывает. Скорее всего, частая смена формы заданий отвлекает тестируемого, мешает ему сосредоточиться.

Б. При проверке диалогической речи на элементарном, базовом и первом уров­нях испытуемые должны продемонстрировать умение продуцировать неподготов­ленные высказывания. Например, испытуемый должен ответить на несколько во­просов тестера. Монологическая же речь является подготовленной. На втором, третьем и четвертом уровнях увеличивается количество заданий, задания преду­сматривают проверку как подготовленной диалогической речи, так и неподготов­ленной. Например, на втором уровне испытуемому дается время на подготовку диалога-расспроса. На этих уровнях большее внимание уделяется умению вести неподготовленный диалог. Монологические высказывания на 2-4 уровнях явля­ются также подготовленными.

Таким образом, можно заметить, что по мере повышения уровня владения язы­ком усложняются формы заданий и требования к речевому умению иностранцев. Эту мысль подтверждает и сравнение перечней интенций, ситуаций и тем обще­ния, приведенных в Стандартах данных уровней (хотя, как упоминалось выше, содержание ряда положений Стандартов требует уточнения).

B. Наконец, следует отметить, что общение в процессе тестирования на первых трех уровнях является только контактным, хотя и присутствуют задания, требу­ющие имитации телефонного разговора. На 2, 3 и 4-ом уровнях при выполнении части заданий испытуемым предлагается работать с магнитофоном. Такую форму выполнения задания вряд ли можно считать дистантной, поскольку тестирующий присутствует тут же и непосредственно проводит следующие задания. Ситуация создается в значительной степени искусственная. Столь надуманное усложнение алгоритма тестового контроля и работы самого испытуемого представляется излишним. К тому же при рассмотрении временных характеристик заданий этого рода возникают вопросы: сколько слов, сколько фраз, с какой скоростью должны говорить испытуемые в определенные паузы? О минимально достаточном объеме высказывания в Методических рекомендациях не упоминается.

Итак, в настоящее время в Российской системе тестирования при контроле устной речи на различных уровнях владения русским языком используются сле­дующие формы тестовых заданий:

·        ответ на вопрос тестера (т.е. проверяется умение дать ответную реплику в соответствии с ситуацией);

·        инициативная реплика испытуемого в определенной ситуации (проверяется умение быть инициатором диалога);

·        монологическое высказывание репродуктивного характера;

·        монологическое высказывание репродуктивно-продуктивного характера;

·        монологическое высказывание продуктивного характера на предложенную тему;

·        участие в диалоге/полилоге бытового, социально-культурного и официально-делового характера (в ограниченном объеме);

·        ведение диалога-расспроса;

·        построение монологического высказывания с опорой на видеоряд;

·        построение монологического высказывания социально-культурного харак­тера;

·        реализация адекватных интонационных средств при чтении предъявленных фраз;

·        инициирование диалога-беседы официально-делового характера;

·        участие в неподготовленной беседе дискуссионного характера.

На первый взгляд, все эти задания в целом дают возможность в той или иной степени определить уровень лингвистической, социолингвистической и прагмати­ческой компетенций. Однако было бы интересно проанализировать, насколько валидны данные задания, то есть насколько адекватно они позволяют измерить уровень коммуникативной компетенции иностранных граждан. Например, при кон­троле лингвистической компетенции тестеры должны оценить выбор языковых средств: фонетико-интонационные, лексические, морфологические, синтаксиче­ские. В частности, при проверке владения фонетико-интонационными средствами русского языка следует учитывать сформированность произносительных навы­ков, владение ударением, ритмикой слова, основными интонационными конструк­циями, соблюдение слитности произношения слов в синтагме. При контроле лек­сики надо учесть знание семантики слов, объем используемой при выполнении заданий лексики, семантическую сочетаемость слов. При экспертизе грамматиче­ской стороны речевого продукта надо принимать во внимание владение правилами словоизменения, глагольное управление, выбор модели предложения адекватный замыслу и т.д. Чтобы оценить качество процесса говорения, необходимо учиты­вать также темпоральные характеристики.

Далеко не все из перечисленного нашло свое отражение в листах экспертной оценки элементарного, базового, первого уровней и рейтерских таблицах 2-4 уров­ней. Например, начиная с первого уровня, хотя бы в часть заданий можно ввести такой критерий оценки, как «соответствие лексическому минимуму». И если лек­сический запас испытуемого на 90% не выходит за рамки предыдущего, более низкого уровня, это должно влиять на результат тестирования.

Для измерения лингвистической компетенции в экспертных листах элемен­тарного, базового и первого уровней выделяется три критерия: «коммуникатив­но значимые ошибки», «коммуникативно незначимые лексико-грамматические ошибки» и «грубые нарушения фонетико-интонационных норм», т.е. фонетическая компетенция на этих уровнях оценивается отдельно от лексико-грамматической. Иная картина наблюдается на 2-3 уровнях владения языком. Здесь фонетическая компетенция оценивается лишь в двух заданиях - в задании 3 (позиции 9-12), где выделен критерий «владение интонационными средствами», и в задании 4 (позиция 13), где в разделе «Языковые средства» критерий сформулирован следующим образом: «6. Соответствие использованных лексико-грамматических, фонетиче­ских и интонационных средств нормам современного русского языка» [Тесты... 1999:85]. В последнем случае фонетическая компетенция не отделена от лексико-грамматической, хотя именно на высоких уровнях владения языком значимость фонетической компетенции возрастает. На этих уровнях можно было бы использо­вать, например, критерий «синтагматическое членение» или «владение ритмикой». И, конечно, в одной графе оценки не должно совмещаться несколько критериев, характеризующих такие различные объекты контроля, как грамматика и фонети­ка.

Рассмотрение только некоторых критериев оценки лингвистической компетен­ции показало, как много вопросов вызывают существующие способы оценки уме­ния иностранных граждан продуцировать устные высказывания. А ведь задачами проверки приведенных выше заданий являются также соответствие содержания высказывания его цели, информативность высказывания, его логико-смысловая структура, степень достижения цели, полнота и точность воспроизведения инфор­мации (на элементарном, базовом, первом уровнях - развернутость высказывания, скорость говорения) и т.д.

Полное перечисление и детальная характеристика всех объектов оценки уров­ня коммуникативной компетенции в силу ограниченности формата не является предметом обсуждения данной статьи. Важно осознать, что такая работа необхо­дима при дальнейшем развитии системы тестирования по РКИ. Иными словами, для обоснованного оценивания результатов тестирования требуется как можно быстрее разработать подробный перечень всех объектов контроля устной речи, распределив их согласно тому или иному уровню владения языком (можно при этом установить и корреляцию с европейской системой уровней владения ино­странными языками). Затем надо соотнести данный перечень с определенными критериями оценки, критерии, в свою очередь, должны получить соответству­ющую разбалловку. Весь этот материал необходимо включить в пособие для тестологов, которое в идеале будет выполнять роль справочника при конструи­ровании новых тестовых материалов. Создание такого справочника означало бы, что Российская система тестирования по РКИ вступила на новый этап своего раз­вития. Методических рекомендаций, которые помещены в Типовых тестах, явно недостаточно, к тому же, как показывают приведенные примеры, они нуждаются в значительной доработке. Пока же такое описание не создано, вряд ли можно утверждать, что перечисленные выше задания дают возможность адекватно из­мерить уровень сформированности коммуникативной компетенции иностранных граждан.

При анализе принципов оценивания устного речевого продукта помимо вопроса о критериях оценки неизбежно возникает вопрос о параметрах измерения. В тесто­вых заданиях по говорению подход к оценке одного и того же аспекта на разных уровнях может быть принципиально разным. Причем не всегда эта разница явля­ется обоснованной. Для примера, можно рассмотреть параметры оценки лингви­стической компетенции.

В тестах по говорению элементарного, базового и первого уровней лексико-грамматические ошибки, не нарушающие коммуникацию, оцениваются в -0,5 бал­ла, а ошибки, нарушающие коммуникацию, оцениваются в -1 или -2 балла, количество минус-баллов не ограничено. Таким образом, при очень большом коли­честве ошибок (т.е. при очень низком уровне грамматической, лексической и се­мантической компетенции) испытуемый может получить неудовлетворительный результат. Фонетическая компетенция, являющаяся компонентом лингвистиче­ской, имеет более «скромные» параметры: в целом за низкий уровень владения фонетической компетенцией количество минус-баллов может составить не более 3-4% от общего количества баллов.

В тестах более высоких уровней основное внимание уделяется контролю содержательно-смыслового аспекта. Так, в тесте по говорению второго уровня лингвистическая компетенция в чистом виде проверяется частично в 1-ом задании (позиции 1-4), когда испытуемый должен продемонстрировать знание синонимии или антонимии, ее максимальная оценка - 8 баллов (общая стоимость всех заданий - 145 баллов). То есть в этом задании объектом проверки является лексическая компетенция. В 5-ом задании (позиция 14), где объектом контроля является вла­дение нормами речевого этикета, проверяется скорее социолингвистическая ком­петенция (умение представиться, выразить приветствие, признательность, проща­ние), причем этот объект проверки оценивается дважды - отдельно приветствие и прощание - и получает максимальную оценку 10 баллов. Если же учесть указа­ние, содержащееся в Методических рекомендациях, на то, что надо принимать во внимание и основные нормы речевого этикета [Тесты... 1999: 85-86], то данный объект оценивается в задании 5 раз.

Интересна ситуация, которую можно наблюдать в задании 4 (позиция 13). Как уже упоминалось, в рейтерской таблице к данному заданию лингвистическая ком­петенция выделена в качестве объекта проверки в разделе «Языковые средства» (максимальная оценка 5 баллов). Но помимо этого раздела авторы предлагают учитывать лингвистическую компетенцию при оценке других объектов контроля: так, в графе «содержательный компонент» (полнота описания, точность описа­ния) рекомендуется учитывать владение нормами русского языка. Та же картина наблюдается в графе «интенция» (умение выразить предположение, обосновать предположение), т.е. лингвистическая компетенция в этом задании должна быть оценена еще 4 раза.

Во всех остальных заданиях оценка лингвистической компетенции проводится имплицитно: ее следует измерять (иногда с помощью неясного критерия «неко­торые ошибки») вкупе с другими объектами контроля, такими как умение «вы­сказать мнение», «выразить оценочное суждение» и т.д. Таким образом, лингви­стическая компетенция оценивается в каждом задании многократно и формально ее «стоимость» может достигать более 80% (!) стоимости всего теста по говоре­нию.

Столь высокий показатель заведомо неработоспособен, поэтому в реальной практике эксперты предпочитают рассматривать в первую очередь содержатель­ный момент, снижая оценку за лексико-грамматические ошибки на 1-2 балла и редко обращая внимание на измерение фонетической компетенции. В «чистом» же виде стоимость лингвистической компетенции - 25 баллов, что составляет примерно 17% общей стоимости теста по говорению. Таким образом, на 2, 3 и 4 уровнях владения при контроле говорения можно получить положительный ре­зультат даже при очень низком уровне лингвистической компетенции.

В процессе тестирования осуществляется также контроль социокультурной компетенции иностранных граждан, поскольку задания, проверяющие умение продуцировать устную речь, позволяют учитывать личность собеседника. Например, испытуемые должны вести разговор то с администратором гостиницы, то с врачом, то со знакомым или другом и др. На первом уровне они должны уметь рассказать о России, ее культуре, истории, системе образования и т.д. Однако проверка данной компетенции весьма незначительна по своему объему. Не выявлено, какие эле­менты этой компетенции должны быть обязательными при определении уровня владения русским языком. Это еще предстоит сделать разработчикам системы тестирования.

Проверка прагматической компетенции проводится в основном на 2-4 уровнях. К примеру, претенденты на получение сертификата 2-3 уровней должны уметь начать и поддержать разговор, уметь воздействовать на собеседника, адаптиро­ваться к речевой ситуации. В то же время в процессе тестирования на 2-3 уровнях часто выявляется, что иностранцы редко демонстрируют способность вести не­принужденную беседу с носителями языка, почти не используют «стандартных фраз, позволяющих выиграть время для обдумывания высказывания» [Общеев­ропейские... 2003: 123], практически не чувствуют оттенков настроения героев фильмов, неадекватно понимают их коммуникативные намерения, испытывают затруднения при выражении своих мыслей (особенно при участии в неподготов­ленном диалоге). При этом отсутствие в речи испытуемых перечисленных объ­ектов проверки несущественно влияет на итоговую оценку. Это говорит о слабой проработанности параметров оценивания ответов тестируемых, их неспособности к адекватному измерению уровня владения языком.

Перечисленные выше задания по говорению и система их оценивания резуль­татов их выполнения на протяжении 10 лет используются без надлежащей кор­ректировки, необходимость в которой, казалось бы, никем не оспаривается. Пер­вым шагом на пути дальнейшего развития Российской системы тестирования по РКИ было бы создание справочника, содержащего максимально полный перечень объектов контроля устной речи. Модификацию системы контроля устной речи как с точки зрения формы тестовых заданий, так и с точки зрения критериев и параметров оценивания результатов следует проводить только после всесторон­него анализа предыдущей практики тестирования, с учетом накопленного опыта и наблюдений. Их анализ дает богатый материал для последующего развития Российской системы тестирования по русскому языку как иностранному.

 

ЛИТЕРАТУРА

 

Андрюшина Н.П. Объекты контроля в тестах по русскому языку как иностранному. - В сб. Русский язык как иностранный. Проблемы изучения, преподавания, оценки в свете общеевропейских компетенций владения иностранным языком. М.: МАКС Пресс, 2005.

Андрюшина Н.П., Битехтина Г.А. и др. Программа по русскому языку как иностранному. I сертификационный уровень. Общее владение, изд. 2-е. М.-СПб.: Златоуст, 2002.

Государственный образовательный стандарт по русскому языку как иностранному. II сер­тификационный уровень. Общее владение. М.-СПб.: Златоуст, 1999.

Общеевропейские компетенции владения иностранным языком: изучение, обучение, оценка. Страсбург, 2003.

Тесты по русскому языку как иностранному. II сертификационный уровень. Общее владе­ние. М.-СПб.: Златоуст, 1999.

Требования по русскому языку как иностранному. I сертификационный уровень. Общее владе­ние. М.-СПб.: Златоуст, 2006.