Анонимный вопрос
апрель 2016.
154

Почему тесты на знания считаются эффективными, если там можно просто угадать?

Ответить
Ответить
Комментировать
0
Подписаться
3
2 ответа
Поделиться
АВТОР ВОПРОСА ОДОБРИЛ ЭТОТ ОТВЕТ

Тесты эффективны по соотношению цена/качество. Они  дёшевы, поэтому получили такое распространение в армии, откуда, как и многие другие технологии, однажды проникли и в гражданскую жизнь. В армии (американской) через тесты прогоняют десятки тысяч солдат.

Главный плюс - дешевизна. Но не единственный. Второй плюс - проверка ответов не требует знаний от проверяющего. В СССР на занятиях по военному делу наши ответы проверял восьмидесятилетний генерал, у которого была металлическая пластинка с дырочками в местах, соответствующих правильным ответам. А мы зачерняли правильные ответы кружочками. Генерал просто подсчитывал количество зачернённых кружочков, которые можно было разглядеть в дырочках. Вместо него можно было бы поставить сержанта, не говорящего на том же языке, что студенты, и он проверял бы эти тесты с тем же успехом.

Третий плюс - объективность. Я не могу поставить плохую оценку студенту, который мне просто несимпатичен. Например, студент приходил на занятия, и мешал, отвлекая половину группы рассказами о том, почём и при каких обстоятельствах продал-таки свой старый автомобиль. Я хотел бы ему отомстить, но тесты не дают мне такой возможности.

Четвёртый - отсутствие спонтанных, нерегулярных решений экзаменатора. Одна девушка поставила меня в тупик на экзамене своим остроумием. Она не знала по предмету ничего, но её ответы были такими неопределёнными и неуязвимыми, что требовалось задавать новые и новые дополнительные вопросы. Проще было поставить ей отличную оценку и отпустить с миром.

Наконец, тесты часто становятся широко известны, в том числе и идиотские тесты, которые тестируют только уровень запоминания рассуждений конкретного преподавателя, а не уровень знания предмета. Это тоже плюс, поскольку это вынуждает преподавателя сочинять тесты, которые измеряют именно знание предметов.

Но никто не утверждает, что тесты измеряют знания точно. По крайней мере сейчас. С помощью тестов легко отсеять двоечников, но очень сложно отличить "четвёрку" от "пятёрки".

Предположим, вопросы формулируются в закрытой форме и на каждый даётся пять ответов. Если ответы выбраны более или менее правдоподобно, то вероятность угадать ответ = 1/5. (Честнее будет сказать, что ответы должны быть выбраны идеально, иначе вероятность будет ближе к 1/3 или даже 1/2).

Вероятность, что вы успешно выберете 10 ответов на 10 вопросов составляет (1/5)^10 = 10^(-7).

Если бы удавалось придумывать много (хотя бы 5) равно правдоподобных ответов на каждый вопрос, и ответы на различные вопросы не зависели друг от друга, то для оценки уровня знаний требовалось бы не так уж много тестов.

На практике всё не так легко. Если использовать простую батарею тестов, то потребуется несколько сотен (порядка 500 вопросов), чтобы точно определить уровень знаний. Поскольку это неосуществимо, тесты должны быть адаптивными, а новые вопросы - зависеть от предыдущих вопросов экзаменуемого. Здесь мы уже уходим в область искусственного интеллекта. Поэтому на практике пока тесты остаются грубым инструментом. Но дешёвым.

9

Хороший ответ.

Я бы, наверное, отдельно акцентировал внимание на снижение роли человеческого фактора в тестах, что в условиях массовой проверки знаний делает её более объективной. Безусловно, и в тестах он тоже имеет вес, в частности, на стадии подготовки и формулировки вопросов, а также определения критериев оценки открытых вопросов и общего подсчёта. В этой части их можно и нужно критиковать, но если система более или менее отлажена, на мой взгляд, она даёт более объективные первичные результаты, чем индивидуальная проверка каждого экзаменуемого в письменной или устной форме. Просто одно должно дополнять другое.

+2
Ответить
Прокомментировать

Итак, задача из теории вероятности. Дано: тест на 10 вопросов, по четыре ответа, из которых один верный. Тест считается пройденным, если вы правильно ответили на 8 вопросов из 10. Какова вероятность, что вы случайно сдадите тест?
Вероятность такого счастья будет намного меньше 1%.
Так что тесты не так плохи для оценки знаний. Если к ним добавить лимит времени, чтобы у сдающего не было времени на подсказки и на поиск информации в сети, то будет совсем хорошо.
Конечно, не все можно проверить тестами, но предварительно оценить уровень знаний очень даже можно.

Николай Кульбакаотвечает на ваши вопросы в своейПрямой линии
2
Прокомментировать
Ответить