Тесты по информатике. Послесловие
От редакции
В № 42, 43, 44/99 мы опубликовали варианты тестов, входящих в сборник "Оценка качества подготовки выпускников основной школы по информатике". Редакция считает необходимым явно обозначить свою позицию по отношению к этой публикации.
Во-первых, мы стремимся познакомить с данными тестами наших читателей, поскольку они входят в указанный сборник, являющийся официальным изданием Министерства образования (и не исключено, что именно эти материалы будут использовать региональные органы образования для проведения различных контрольных мероприятий).
Во-вторых, мы считаем, что уровень данных тестов столь низок, что использовать их в существующем виде категорически недопустимо (маловероятно, что изменения, которые, возможно, будут внесены в тесты при подготовке книжного варианта сборника, существенно изменят ситуацию). Более всего огорчает то, что тесты эти существуют в различных редакциях уже не первый год (см., например, № 1, 41/98). За это время к ним было высказано множество критических замечаний, но внесенные поправки носили исключительно косметический характер. Общий уровень тестов, к сожалению, не изменился.
Мы попросили кратко прокомментировать данные тесты ведущего российского специалиста в области тестирования, доктора психологических наук, научного руководителя центра тестирования МГУ "Гуманитарные технологии" Александра Георгиевича Шмелева
Замечания к тестам по информатике, вошедшим в сборник "Оценка качества полготовки выпускников основной школы по информатике"
А.Г.Шмелев
Крайне неудачные тесты по информатике, подвергавшиеся уже не раз справедливой критической оценке, внесли свой вклад в то, что информатика "вылетела" из состава вступительных экзаменов в большинстве вузов. А жаль, ведь при грамотном подходе именно тесты по информатике максимально помогли бы раскрыть уровень развития способности учащихся к выполнению таких операций содержательно-логического мышления, которые не могут раскрыть тесты по математике (в силу сложившегося крайне консервативного формалистического подхода к преподаванию этой дисциплины в школе).
Не стали исключением в ряду неудачных тестов, увы, и данные. Конечно, было бы неправильно сказать, что в этих тестах нет "ни одного живого места" и их нужно выкинуть целиком. Нет, немало тестовых заданий можно считать вполне добротными, но наличие большого количества неудачных заданий и общий крен в сторону формализма (оценки внешних признаков знания, но не реального операционального мышления) делают эти тесты в целом малопригодными для тех целей, на какие они претендуют.
Оставим в стороне содержательно-тематическую концепцию, ибо она задана, очевидно, не авторами тестов, а нынешними стандартами в области информатики, сконцентрируем замечания на ошибках в тестовой технологии
Мало заданий
24 задания — это примерно в 2 раза меньше, чем требуется. Основания — известные и измеренные многократно за рубежом и в нашей стране коэффициенты надежности для тестов достижений. Эти коэффициенты не достигают приемлемых значений (0,9 и выше) при тестах с таким малым количеством заданий. Особенно если эти тесты содержат задания по такой новой, "неустоявшейся" и стремительно развивающейся дисциплине, как информатика, где еще не накоплена даже минимальная культура тестирования, нет банка хороших заданий и т.п.
Некорректные формулировки заданийи ответов, не дающие явного преимущества какому-либо одному ответу
Например, строго говоря, и биты, и байты, и килобайты являются "единицами измерения количества информации", а вопрос номер 2 в первом варианте следовало бы задавать про "единицу минимального объема", а не единицу вообще. Другой пример: в задании 9 (вариант 2) совсем не очевидно, что менее правильным является ответ 1, ибо в правилах техники безопасности элементы алгоритма (предписания, сопряженные с условиями) также могут встречаться, как и в инструкции по пользованию банкоматом. Хотя вообще-то здесь правильный ответ отыскивается совершенно формально: ученик может никогда не видеть ни одного банкомата, но знать, что слово "инструкция" ближе всего к слову "алгоритм" (формально-ассоциативный поиск правильного ответа). Еще один "впечатляющий" пример — вопрос 24 в варианте 3. Приведем его:
Гиперссылки на web-странице могут обеспечить переход...
1) на любую web-страницу любого сервера Интернета
2) на любую web-страницу в пределах данного домена
3) на любую web-страницу в пределах данного сервера
4) в пределах данной web-страницы
Совершенно очевидно, что авторы теста правильным вариантом считают первый. Но не менее очевидно, что три оставшихся также верны. Таким образом, все четыре ответа являются верными.
Неоптимальный уровень трудности
Есть задания, которые (по нашему опыту) должны выполнять 95% школьников, изучавших информатику. Следовательно, эти задания — просто балласт, они не несут с собой никакой информации, и это уже смахивает на обычную учительскую "выводиловку" (когда надо повысить процент успеваемости, в данном случае — средний процент правильных ответов по тесту). Например, и ежу должно быть понятно, что магнитные диски надо прежде всего защищать от магнитных полей, а не от "атмосферного давления" (задание б, вариант 3).
Формальные признаки правильного ответа
Когда правильный ответ является просто более развернутой формулировкой, то школьнику не надо быть семи пядей, чтобы выбрать именно его. Например, правильное определение гипертекста оказывается просто более развернутым, длинным, чем дистракторы (отвлекающие ответы} в задании 24 (вариант 1).
Явно неправдоподобные дистракторы, не соответствующие элементарному здравому смыслу, никак не связанному со знаниями в области информатики
Таких примеров на основании данных тестов можно привести великое множество. Например, в задании 22 (вариант 1) и так понятно, что модем не должен передавать 2 странички текста за 1 час или за 1 день, ибо это делает практически бессмысленным его использование. Выбор при этом сужается в лучшем случае до двух альтернатив. И тогда вероятность случайного угадывания правильного ответа доходит до 50%, что уже недопустимо. Ну кто даст исполнителю Черепашка такие команды — "линейный", "программа", "алгоритм"? (Таким образом, все дистракторы в этом задании являются формально неправдоподобными, и не остается просто ничего другого, как выбрать правильный ответ — "вперед".)
Бессодержательные задания
Согласитесь, если мы будем спрашивать, какого цвета обложка у школьного учебника информатики, то правильный ответ не гарантирует нам, что школьник открывал этот учебник. Пример подобного задания: "Количество кодировок русского алфавита..." (задание 14, вариант 1). Мало-мальский здравый смысл подсказывает: "называй больше, не ошибешься". Кстати, кто их вообще смог подсчитать? И кто установит, какую из них считать "общепринятой"? И вообще: что из того, если школьник знает, что кодировок существует много? Ведь знание различных марок автомобиля ничего не говорит о глубине познания в автоделе, а только "слегка коррелирует" с этими познаниями. Другой "блестящий" пример абсолютно бессодержательного задания — про 24-скоростной CD-ROM: элементарное чувство языка должно помочь человеку, ничего не знающему про то, что такое CD-ROM, найти правильный ответ, который выглядит просто откровенной подсказкой ("имеет в 24 раза большую скорость вращения диска, чем одно скоростной CD-ROM"). Такое задание можно было бы сформулировать про 24-скоростную мясорубку, автомобиль, синхрофазотрон, "шпагоглотатель" и т.п.
Наш опыт проведения в прошлом году конкурса авторов тестовых заданий (в котором приняли участие 212 авторов и авторских коллективов из 127 городов страны, в том числе свыше 30 по информатике) показал: если по всем предметам наши учителя и методисты составляют задания просто плохо, то по информатике — из рук вон плохо. Недаром конвергентная валидность (согласованная достоверность) между данными организуемого нами "Телетестинга" и централизованного тестирования самая низкая именно по информатике (коэффициент линейной корреляции стандартизованных баллов — только 0,47; для сравнения: по физике — 0,77). Хотя авторы тестов по информатике из МПГУ в последние годы и подтянулись.
Объективная причина нынешних проблем с информатикой понятна и вызвана, очевидно, тем, что низкая компьютерная вооруженность наших школ, а также отсутствие общепринятой и общедоступной для всех методики и программы заставляет авторов тестов составлять псевдотесты, искусственно поднимающие балл школьной оценки и не дающие никакой реальной картины уровня обучения предмету.