Во дворе стоит машина,
Под машиной Ванька.
Все бы было хорошо...
Если бы домкрат не сломался
(с) Народное творчество
Вы наверняка знаете шутку про то, что самая распространенная оценка в ВУЗе — это «хрен с тобой, зачет». Студенты явно не тянут, но постоянно ходят на пересдачи и нудят «ну постаааавьте». В конце концов преподавателю надоедает и получается «хрен с тобой, зачет». Важный нюанс состоит в том, что такая оценка возможна только на устных экзаменах, где есть живой экзаменатор, который просто сжалится и поставит, либо которому дадут взятку и он поставит. А вот при сдаче тестов с автоматическим подсчетом баллов никакого «хрен с тобой, зачет» не бывает — компьютер никого не жалеет и купюр в зачетках не берет — будет или «зачет» или «не зачет».
Вы также, наверное, знаете, что все студенты-медики за время своего обучения три раза сдают национальные тесты КРОК (соответственно КРОК 1, КРОК 2 и КРОК 3). Поскольку это тесты, то они должны более-менее объективно и независимо от левой пятки экзаменатора, показывать уровень знаний.
А теперь я вам интересную вещь скажу: оказалось, что для всех тестов КРОК ярко проявляет феномен «хрен с тобой зачета»! Более того, статистический анализ этого феномена, опубликованный в исследовании VoxUkraine и Киевской Школы Экономики, совершенно недвусмысленно показывает наличие массовой коррупции в медицинских вузах и массовую подтасовку результатов итоговых квалификационных тестов! Прикольно, правда? Давайте разберемся чуть подробнее.
Когда множество студентов сдает один и тот же тест можно построить статистическое распределение количества правильных ответов. Оно будет заключено в диапазоне от нуля до 100% и оно будет иметь вид немного кособокой кривой с максимумом, который соответствует наиболее часто получаемой оценке. Если в среднем все студенты решают правильно 60% заданий, то распределение оценок будет иметь максимум на 60% и плавно спадать в обе стороны. Слово «плавно» тут ключевое — если процесс тестирования честный и непредвзятый, все студенты в равных условиях, а результаты никак не подтасовывают, то нет никаких причин чтобы в каком-то месте кривой вдруг возникал выброс или провал. Кому интересно почему — читайте абзац ниже, а если не хотите нудною математику то пропускайте и поверьте умным людям, что так и есть.
В теории вероятностей есть фундаментальный принцип — центральная предельная теорема. По-простому она формулируется так: если взять множество независимых друг от друга случайных событий то их сумма будет распределена согласно нормальному распределению. Статистическое распределение для каждого события в отдельности может быть сколь угодно косым и кривым, но просуммировав большое количество таких событий мы все равно получим гладкую колоколообразную кривую. Теперь подойдем чуть ближе к студенческим тестам. В самом простом случае набор баллов студентами моделируется биномиальным распределением — это распределение количества правильных ответов на серию вопросов типа «да/нет» если вероятность правильного ответа на любой из вопросов одинакова и равна некой величине p, а вероятность ошибиться, соответственно, равна 1-p. Такую серию называют еще процессом Бернулли. Так вот, центральная предельная теорема гласит, что при большом числе вопросов дискретное биномиальное распределение переходит в гладкое нормальное распределение (математики, не убивайте — я сильно огрубляю и упрощаю). Обращаю внимание: в гладкое распределение без всяких выбросов! В реальных тестах модель будет более сложной чем процесс Бернулли. В частности, вероятности правильных ответов на разные вопросы будут разными т.к. их сложность не одинакова, но важно, что в пределе большого числа вопросов оно все равно будет гладким.
Так вот, типичная кривая результатов КРОКа выглядит вот так.
Разным цветом тут закрашены части ниже и выше проходного балла. Обратите внимание, что при подходе снизу к проходному баллу на кривой возникает внезапный провал, а сразу после него возникает здоровенный аномальный пик. Это при том, что чуть дальше от заветной границы зачета никаких подобных выбрыков на кривой нет. Подобная картинка наблюдается в разной мере на результатах всех КРОКов за все годы, которые исследовались! Каждый год проходная граница была немного разной, но предательский пик всегда возникал в точности над ней, а не где-то в другом месте.
Подобная аномалия на границе проходного балла — это и есть тот самый феномен «хрен с тобой зачета». Он вполне ожидаем для очных устных экзаменов, но тут у нас тесты! Единственное объяснение этому феномену очень не понравиться ректорам медицинских ВУЗов: результаты тестов КРОК де-факто подтасованы. Студентам, которые не дотягивают до проходного балла, искусственным образом натягивают оценку до «хрен с тобой, зачет». Происходит это за счет пересдач проваленных тестов: «коли під час перескладання іспиту студент отримує бал, що є вищим за мінімальний поріг, то результат зараховується на рівні мінімального прохідного балу» — такая норма записана в положении о лицензионных тестах. Там же записана другая прикольная норма: «Центр тестування має право проводити перескладання ліцензійних іспитів... використовувати різні варіанти тестів, у тому числі сформовані з буклетів попередніх років». Т.е. пересдача происходит по заданиям, ответы на которые уже известны!
Дальше — больше. Если бы все объяснялось только пересдачами, то провал в подпороговых значениях должен быть равен по величине напороговому пику (общее число сдающих — константа). Но в разные годы он то больше, то равен, то меньше без какой-либо системы. Т.е. дело не только в пересдачах, но еще и в каких-то скрытых нюансах подсчета баллов компьютерными программами теста оценивания. Очень симтоматично, что центр оценивания не предоставил никаких данных по методике расчета распределений — явно есть что-то, что не хотят показывать. Например, возможность ручной корректировки результата в базах.
Совершенно непонятно и то, почему пересдавать идут только те, кто недобрал всего 1-2 балла. Т.е. если у студента 58, то он всегда пересдает (прямо под порогом образуется провал), а если 48 — то никогда не пересдает (кривая в диапазоне 0-57 идет совершенно нормально и ее огибающая линия плавно и без всякого рывка переходит в огибающую в диапазоне 60+). Это какая-то дичь. Если бы все, кто не добрал до зачета, могли свободно и на равных условиях пересдать тест, то вся левая часть от 0 до 59 была бы немного просажена вниз, но этого нет. Выходит, что доступ к пересдаче получают только те, кто набрал 58-59? Или им эти баллы тупо дорисовывают на каком-то этапе обработки статистики?
Так или иначе, но очень большая величина «хренстобойзачетного» пика в некоторые годы говорит о том, что таких пересдающих бывает очень много. Все эти люди сначала провалили квалификационный экзамен, а потом были допущены до его пересдачи на тестах с уже известными ответами. Они не имеют необходимых знаний, чтобы стать врачами, но их героически тянут за уши и таки дают им дипломы. Вы хотели бы попасть к такому врачу? Я как-то не очень.
Такое натягивание совы на глобус — следствие шкурной финансовой заинтересованности университетов в студентах-контрактниках, даже самых тупых и необучаемых. Контрактника нельзя отчислить т.к. это эквивалентно отказу от живых денег. Поэтому его будут мурыжить с пересдачами, будут выдавать ему протухшие тесты с заранее известными ответами, даже будут писать тесты за него за дополнительную мзду пока он не получит свой «хрен с тобой зачет». Особенно это относится к зарубежным студентам — никто и никогда не отчислит иностранца, приносящего в кассу валюту. Престиж ВУЗа и профессиональная этика — ничто, бабло — все.
Констатацией факта, как вы понимаете, дело не закончится. У МОЗа наполеоновские планы по реформированию этого уютного гадюшника. В частности уже с этого года все студенты будут сдавать международный экзамен по основам медицины IFOM, где никаких пересдач с известными ответами нет. Сами КРОКи тоже планируется переделать — сделать задания более сложными и качественными, а процедуру пересдачи с известными ответами убрать.
Вот такой забавный случай использования математики в борьбе с коррупцией и злоупотреблениями.
Если
вы хотите увидеть материал на какую-то
конкретную тему, то вы можете поучаствовать
в его создании. Перечислите небольшую
сумму (сколько не жалко) на карточку
ПриватБанка 5168742223114541 и напишите мне в
личные сообщения какая тема вас
интересует. А можете просто таким образом
сказать спасибо автору.
