14.07.2020

Ошибка в демоверсии ЕГЭ-2013 по английскому языку

Сегодня решил развлечься – выполнить демонстрационный вариант ЕГЭ-2013 по английскому языку. Ошибкам в тренировочных тестах ФИПИ я уже давно не удивляюсь, но чтобы в демоверсии… это что-то новенькое.

Ошибка касается блока заданий по “аудированию” (очень, кстати странное словечко, которого нет в русском языке). Мало того, что там надо из потока устной речи на слух выуживать ключевую информацию, так она еще и не выуживается. Составители тестов, имеющие в руках печатный текст, сами не смогли его понять. Чего ж они хотят от бедных выпускников?

Для тех, кто владеет английским, привожу вещественные доказательства “преступной халатности” ФИПИ:

Демонстрационный вариант ЕГЭ 2013 г. Английский язык.

Задание A4

Выбрать один из трех ответов

The tourist wants to see Windsor Great Park on a separate day.

1) True 2) False 3) Not stated

Текст, в котором содержится необходимая информация (аудио):

Receptionist: (перечисляет, что можно посмотреть в Виндзоре, кроме королевского замка) “… One more thing absolutely worth seeing is Windsor Great Park and Smith’s Lawn”.

Tourist: “Is it possible to combine all these things into one day’s tour?”

Ответ ФИПИ: (2) – false (неверно). Правильный ответ: (3) – not stated (в тексте не сказано).

Нигде ни до, ни после приведенного фрагмента турист не говорит, что он хочет посвятить отдельный день осмотру Виндзорского парка (этот парк в его речи вообще не фигурирует)! Он лишь спрашивает, можно ли успеть увидеть все многочисленные достопримечательности Виндзора за один день. И затем выслушивает ответ, что можно за один день получить общее представление, но лучше разбить тур на несколько дней. Никаких умозаключений о том, чего хочет (wants) турист относительно осмотра парка, сделать нельзя, поскольку при поиске ответа необходимо опираться только на текст. Явная ошибка.

***

Самое интересное, что теперь множество учителей и репетиторов ломают голову, как бы им растолковать своим ученикам, почему мудрый и непогрешимый осьминог ФИПИ выбрал именно эти ответы. И ведь находят аргументы, наверное. Вот бы их послушать…

Comments welcome.

P.S. Написав этот пост, я направил в ФИПИ письмо, в котором сказал, что предполагаю некоторые проблемы с демоверсией. Признаюсь, что был приятно удивлен, когда довольно быстро получил ответ от самой Марии Вербицкой – председателя Федеральной комиссии разработчиков КИМ по иностранным языкам. Не утаю от гражданского общества фрагмент переписки.



Мария Вербицкая, доктор филологических наук, профессор МГУ, председатель  ФКР ЕГЭ по иностранным языкам:

Благодарю Вас за интерес к работе специалистов ФИПИ. Отвечаю по существу Ваших вопросов.

Задание A4

Выбрать один из трех ответов

The tourist wants to see Windsor Great Park on a separate day.

1) True 2) False 3) Not stated

Текст, в котором содержится необходимая информация (аудио):

Receptionist: (перечисляет, что можно посмотреть в Виндзоре, кроме королевского замка) “… One more thing absolutely worth seeing is Windsor Great Park and Smith’s Lawn”.

Tourist: “Is it possible to combine all these things into one day’s tour?”

Вопрос туриста совершенно недвусмысленно говорит о его намерении осмотреть все достопримечательности Виндзора в один день. Если бы ему в ответ сказали, что это невозможно, могли бы появиться сомнения относительно намерений туриста, но ему подтвердили, что это возможно (хотя большинство туристов и предпочитает провести в Виндзоре больше времени).

Таким образом, ответ ФИПИ (false) – правильный ответ, т.к. турист НЕ высказывает желания осмотреть Винздорский парк в отдельный день, он хочет осмотреть ВСЕ в ОДИН день.

(…)

Надеюсь, Вас удовлетворит этот официальный ответ, однако не могу не добавить замечания лично от себя в духе и стиле Вашего блога.

Не могу не поздравить Вас с успешным выполнением заданий ЕГЭ по английскому языку. 98 баллов – прекрасный результат, позволяющий Вам претендовать на поступление в хороший  языковой вуз, в котором Вы бы узнали, что «аудирование» – это специальный термин, который обозначает восприятие звучащей речи.

Отучившись в хорошем языковом вузе, Вы бы также узнали, что стандартизированный тест (каковым является ЕГЭ) проходит определенные стадии разработки и апробации, правильность ответов на его задания имеет статистическое подтверждение. Тестология – это точная наука.


Петр Чернов, руководитель проекта Rus-Exam.ru:

(…)

А4

То что вопрос “Is it possible to combine all these things into one day’s tour?” выражает намерение, – это лишь предположение. С таким же успехом можно предположить, что клиент, напротив, скептически относится к этой идее, развивая дискуссию с агентом. И он находит подтверждение своему скептицизму (агент старается продать тур с ночевкой). Думаю, главный вопрос, который волнует экзаменуемого, – насколько буквально нужно понимать слова “Not stated”. Если понимать их буквально, то в данном случае турист, безусловно, ничего не заявляет (кроме того, что он закажет тур), а лишь задает вопрос.

Это мне напомнило одно из тренировочных заданий по аудированию («Универсальные материалы для подготовки учащихся». Вербицкая, Соловьева). Идет диалог туриста и таксиста, из которого ясно, что в момент разговора 4 часа, до музея ехать 20 минут, а закрывается музей в 6 часов. Задание звучит так: “The passenger will arrive at the museum before it closes”. Верно / Неверно / В тексте не сказано. Я, конечно, подсчитал, что он приедет в музей за 1.40 до закрытия, но выбираю «в тексте не сказано», потому что… В ТЕКСТЕ НЕ СКАЗАНО! Однако в предлагаемых Вами ответах значится «Верно». Но почему?!

I’m sure we both understand the difference between words “stated” and “implied”, don’t we? <Уверен, мы оба понимаем разницу значений слов “заявлено” и “подразумевается/предполагается”> Не даром, например, в тесте Listening Comprehension TOEFL подчеркивается: “Answer all the questions on the basis of what is STATED or IMPLIED by the speakers you hear” <Ответьте на все вопросы, основываясь на том, что сказано или подразумевается говорящими, которых вы слышите>. Не думаю, что это какие-то придирки с моей стороны. Ведь при аудировании, насколько я понимаю, нужно точно отвечать на вопрос, улавливая нюансы формулировки задания. Stated значит stated.

Аудирование

Я понимаю, что слово «аудирование» широко используется в учительско-методическом жаргоне. Но не вижу причин над этим не поиронизировать немного. Причины:

1) Такого слова нет в русском языке.
2) Audition – единственное, что можно с ним соотнести в английском. Но это слово означает совсем другое: прослушивание. При этом экзаменуемый не слушает, а говорит (это его прослушивают).
3) В русском языке аудио – это звук. Следовательно аудирование – это «звучание», а не «слушанье».
4) В английской традиции аналогичный тест называется иначе: listening comprehension. Так что и кальку в «аудировании» увидеть нельзя.
5) Есть прекрасная возможность не засорять русский язык сомнительным заимствованием: сказать, например, «понимание устной речи».

(…) Кстати, за ЕГЭ по английскому я получил не 98, а всего 95 баллов. Возможно, в этом сезоне соберусь пересдать, чтобы улучшить этот позорный результат:) Правда, поступать в языковой вуз я не планирую. В 1993 г. я уже окончил филфак МГУ, позже 5 лет прожил в США, временами работал переводчиком и репетитором и поэтому теперь предпочитаю не поступать в вуз, а учить других. Хотя, учиться, конечно, никогда не поздно.


Мария Вербицкая:

Рада, что Вы умеете признавать свои оплошности – это в отношении А10. Огорчена, что Вы склонны видеть только то, что готовы (или хотите) видеть. В моем ответе Вы совершенно пропустили краткие пояснения по поводу тестологии как отдельной отрасли (если не науки), имеющей свои методы подтверждения валидности и надежности тестовых заданий. Я охотно верю, что Вы прекрасно владеете английским языком (кстати, не учились ли Вы у меня в конце 80-начале 90 на филфаке МГУ?), но что Вы знаете о математической обработке результатов тестирования? Если задание включено в демо, это означает, что результаты его выполнения значительным числом испытуемых однозначно подтверждают правильность заданного разработчиками ответа. Не вдаваясь в математические подробности (которые я понимаю только потому, что имею второе высшее финансовое образование с математическим компонентом), на любительском уровне можно объяснить так: если экзаменуемые с высоким уровнем владения языком, хорошо выполняющие другие задания повышенной сложности, выбирают ответ, заданный разработчиками как правильный, значит, он действительно правильный. Для этой процедуры существуют свои математические формулы, строящиеся на различных корреляциях.

В жизни случается и по-другому, ведь разработчики – не волшебники, они только учатся, особенно если принять во внимание, что наше тестирование за 10 лет прошло путь, на который Западу понадобилось более 100 лет. Так вот, если слабые экзаменуемые, которые допускают много ошибок в базовых заданиях, выбирают ответ, заданный разработчиками как правильный, а сильные выбирают другой ответ, то это сигнал некачественного задания (и оно не может попасть в демо). Бывает так, что первичная статистика показывает, что 2 ответа в заданиях множественного выбора (MCQ) выбираются примерно одинаковым (причем обязательно значительным) числом экзаменуемых и это тоже сигнал опасности. В годы эксперимента бывало, что еще на этапе верификации, до объявления результатов, в заданиях множественного выбора (MCQ) складывалась именно такая картина и тогда оба эти ответа признавались правильными и засчитывались выпускникам (они даже не подозревали о той работе, которая проводилась, чтобы не нарушить их права). Конечно, разработчики писали объяснительные и получали выговора – и учились на своих ошибках.

Второе – из Вашего письма ясно, что Вы не СЛУШАЛИ текст для аудирования (извините, я буду использовать устоявшуюся профессиональную терминологию – I’m sure we both understand the difference between the terms “терминология” and “жаргон”), а ЧИТАЛИ его. Это ошибка. Если Вы хотите профессионально оценить задание на восприятие звучащей речи, Вы должны сами его услышать. Кстати, тогда у Вас и мысли бы не возникло о том, что «клиент, напротив, скептически относится к этой идее, развивая дискуссию с агентом». Интонационное оформление высказывания исключает такую интерпретацию.

Третье – не надо понимать условные обозначение ответов True – False – Not stated буквально. Абсолютно во всех толковых пособиях по ЕГЭ объясняется, что True означает соответствие информации, содержащейся в тексте; False – противоречие этой информации (например, в тексте сказано, что подарили синий шарф, а в ответе предлагается «Ему подарили красный шарф»). Not stated означает, что в тексте ВООБЩЕ НИЧЕГО НЕ СКАЗАНО по этому вопросу, информация отсутствует. Речь идет не СЛОВАХ, а о СМЫСЛЕ. Чем выше уровень сложности заданий, тем более они ориентированы на импликацию, а не на экспликацию, на улавливание связей между отдельными «битами» информации. Так что, увы! – stated значит «в тексте есть информация по этому поводу» – и она ЕСТЬ! И про таксиста, и в остальных заданиях такого рода.

Вы приводите нам в укор инструкцию к Listening Comprehension TOEFL. Советую внимательно прочитать инструкцию к заданию ЕГЭ: Определите, какие из приведённых утверждений А1–А7 соответствуют содержанию текста (1 – True), какие не соответствуют (2 – False) и о чём в тексте не сказано, то есть на основании текста нельзя дать ни положительный, ни отрицательный ответ (3 – Not stated). В обсуждаемых нами случаях вполне можно дать ответ на основании текста.


Петр Чернов:

– Признаюсь, что идея оценки качества теста на основе «математической демократии» меня очень пугает. Если, например, в задании сказано: определите, сказано ли в тексте то-то и то-то. В тексте это не сказано, но 99% отличников отвечают, что да, сказано, попавшись в умело расставленную ловушку. Я что же, должен из солидарности с ними согласиться, что 2 х 2 = 5? И вообще, всегда ли право большинство? Нет, я свои скромные изыскания на тему КИМов не сравниваю с исследованиями Джордано Бруно, конечно (надеюсь, в моем случае до аутодафе не дойдет:) ).

Знаете, у меня давно зреет другая демократическая идея (причем я ее скоро реализую): перевести на русский язык задания ЕГЭ по английскому аудированию и выложить ролик на U-Tube, чтобы люди попытались его выполнить в реальном времени. Уверен, что ошибок будет много. И это при том, что тест будет выполняться на родном языке. А потом можно будет подумать и обсудить, являются ли эти тесты проверкой знания языка или чего-то другого – скоростного чтения, памяти, быстроты реакции, логического мышления, умения справляться со стрессовой ситуацией и т.д. Вторая задумка – наоборот, перевести задание на английский и заслать тесты по аудированию в какие-то ведущие британские или американские университеты с просьбой об экспертизе (опять же с учетом предлагаемого хронометража). Правда, вторую идею, возможно, Вы уже претворили в жизнь? Если да, было бы интересно узнать ответ наших иностранных коллег-филологов.

– Я не знаю, почему Вы думаете, что я не слушал текст, а читал. Я выполнил задания по аудио-записи, причем намеренно усложнил себе задачу. Если на реальном ЕГЭ есть возможность ознакомиться с заданием сразу после вскрытия конверта до включения записи, то я в данном случае не дал себе подобной роскоши, начав читать только в момент включения звука. И разумеется, не ставил его на паузу. Если просто читать текст, то теряется весь смысл! Конечно, есть учителя и репетиторы, которые учат детей тому, что сами не могут сделать, но я не из их числа. Ведь сложность не в тексте, а в психологическом прессинге, не так ли? Скорее я как раз прочитал текст после выполнения задания не очень внимательно.

Больше всего меня огорчили, признаюсь, вот эти Ваши слова: «не надо понимать условные обозначение ответов True – False – Not stated буквально». Этими словами Вы, на мой взгляд, открываете ящик Пандоры, поскольку каждый теперь волен будет толковать текст как ему заблагорассудится, а критерий оценки правильности ответа окажется полностью размытым. Разве не нюансы смысла должен оценивать экзаменуемый? И разве такая оценка не требует однозначных границ всех дефиниций, на которых построено задание? Кроме того, это сакральное знание (о возможности вольной интерпретации формулировки задания), насколько я понял, доступно лишь тем благоразумным выпускникам, которые пошли в магазин и заплатили деньги за издания ФИПИ, в которых этот момент разъясняется. Кстати, формулировку задания я прочитал («…о чём в тексте не сказано, то есть на основании текста нельзя дать ни положительный, ни отрицательный ответ (3 – Not stated)»). Не увидел в ней ничего, что могло бы изменить мое мнения, что в задании А4 демо версии ЕГЭ-2013 содержится ошибка.

Разве не проще избавить несчастных детей от таких капканов в аудировании? Чтобы stated означало то, что оно реально означает. Нет, правда, жалко их. Сидят такие несчастные девочки, весь год готовились, в ин-яз мечтают поступить. А Вы им: «Ничего не знаем, так решило большинство. У нас всё по науке». С этим аудированием, знаете ли, и так проблем хватает. Например, с качеством звука. У меня на ЕГЭ, например, кроме дребезжания в динамиках вообще трудно было что-то разобрать. Причем мужчина, который проводил экзамен назло на полную громкость врубил, когда при проверке звука я сказал, что с задней парты вообще ничего не слышу. Короче, форменное издевательство, а не аудирование. Это, конечно, исключение. Я знаю, что обычно все проходит в нормальной доброжелательной обстановке. И к содержанию КИМов это уже не имеет отношения.


Мария Вербицкая:

Почитайте новый ФГОС старшей школы по иностранным языкам и посмотрите мою презентацию с вопросами к его разработчикам на сайте ФИПИ (материалы конференции ФИПИ в окт 2012 г.). У Вас появится гораздо более интересный объект для анализа и критики.

Петр Чернов

Петр Чернов

Руководитель проекта Rus-Exam.ru

Посмотреть все записи автора Петр Чернов →

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *