Последние дни все не на шутку взбудоражены данными образовательного теста PISA, который в этом году впервые проводился в Украине. Этот тест оценивает знания 15-летних школьников в чтении, математике и естественных науках. Полученные результаты потом сводятся вместе по всем странам участникам.

К удивлению многих, оказалось, что украинские школьники на фоне общемировых трендов находятся где-то ближе к плинтусу. Собственно, учителя и ученые знали об этом уже давным-давно, просто в коллективном бессознательном до сих пор очень силен миф о том, что наше школьное образование чуть ли не лучшее в мире. Может оно таким и было 30 лет назад, но это давно в прошлом. Сейчас мы находимся на уровне стран «второго мира» с устойчивой тенденцией к скатыванию в третий.

Про тенденции и рефлексию по их поводу лучше почитайте у Антона Сененко, а я хочу поговорить о другом.

Одним из самых интересных графиков в результатах PISA является вот этот.

На нем на горизонтальной оси показаны расходы на одного ученика на весь период его школьного обучения в долларах, а по вертикальной — результаты разных стран в тестах на чтение.

На графике проведена некая аппроксимирующая линия, показывающая тренд повышения качества образования с ростом затрат на него. Если страна выше линии, то вложение денег эффективно, если ниже — не эффективно. В Украине, вроде бы, расходование средств даже очень эффективно — мы значительно выше линии. У нас весьма хреновые результаты, но и денег мы тратим очень мало, так что вроде как выглядит пристойно.

На самом деле, нифига подобного!

Первая проблема этого графика в том, что показаны только официальные расходы на образование, бюджет, говоря по-простому. А у нас, как всем известно, огромные средства тратятся во-первых на репетиторов, а во-вторых на поборы, взятки, подарки и «благотворительные взносы» в школах. Общая сумма этих неучтенных тут расходов, по разным оценкам, сопоставима с бюджетным финансированием школьного образования. Т.е. расходы надо помножить на два и точка для Украины уедет далеко вправо и уйдет из «очень эффективной» зоны.

Во-вторых сама методика анализа на этом графике совершенно кривая. Четко видно, что три страны — Катар, Бруней и Люксембург — очень сильно выбиваются из общего тренда. Они тратят просто несусветно много, но имеют при этом очень плохие результаты. В Катаре и Брунее это не удивительно. Это малюсенькие нефтяные автократии, где деньгами можно обклеивать стены, а образование в основном религиозное. Очевидно, что их надо из анализа выкидывать т.к. больше в выборке подобных стран просто нет. Что случилось с Люксембургом — непонятно, но его тоже надо исключать из анализа как явный outlier — выбивающееся из тренда значение, которое в статистике следует изымать из выборки.

Далее, мы четко видим, что даже на глаз страны групирруются в два «облака» точек — одно внизу слева (страны третьего мира) и одно выше справа (благополучные страны). Очевидно, что считать общий тренд по ним несколько тупо.

Я решил посчитать по-человечески. Во-первых я провел кластерный анализ — процедуру, позволяющую объективно разбить все страны на компактные кластеры. Кому интересны детали — делался аггломеративный кластерный анализ с объединением типа "ward" на нормированных по обеим осям данных и метрикой по эвклидовому расстоянию.

Вот что получилось:

Четко видно, что все страны распались на три кластера:

• Красный — бедные страны третьего мира, вкладывающие в образование очень мало и получающие очень плохие результаты. Среди них есть тренд к увеличению качества с ростом расходов (красная линия, коэффициент корреляции 0.38).
• Зеленый — страны второго мира и «переходные» страны, в основном восточная Европа и пост-совок, в том числе и Украина. Вложения тут такие же мизерные, как и в первой группе, но результаты намного выше, а тренда к увеличению качества с ростом расходов нет вообще. Наоборот, есть негативная корреляция (зеленая линия), но ее значение статистически не значимо.
• Черный — богатые страны первого мира. И расходы и результаты существенно выше, чем в первых группах. Тут тренд к увеличению качества с ростом расходов выражен намного меньше, чем в бедных странах (черная линия, коэффициент корреляции 0.19). Также среди этих стран заметен самый большой разброс результатов при сравнимых расходах.

Мораль:

1. Украина принадлежит к специфической и четко очерченной группе стран, в которых не прослеживается явной зависимости качества образования от расходов на него. Сами расходы мизерны и находятся на уровне худших стран третьего мира, но результаты школьников намного лучше, чем там. Такая же ситуация в России, Белоруси, Греции, Турции, Словакии, Хорватии. Почему так получается — надо анализировать отдельно. Скорее всего, дело в неправильной методике подсчета расходов из-за большой доли «серых» поборов в школах и репетиторов. Официально государство тратит на уровне Панамы или Иордании, но реальные расходы намного больше из-за дополнительного вклада родителей. Кроме того, большую роль может играть очень высокая общая коррумпированность, из-за которой средства на образование оседают в карманах чиновников и не доходят непосредственно до учеников. В таких условиях сколько денег не выделяй — все равно ничего не меняется, кроме машин и дач у бюрократов от образования.
2. В развитых странах зависимость качества образования от расходов очень слабая. Основную роль, очевидно, играют другие факторы — учебные программы, подготовка учителей и престиж их профессии, высокий социальный статус образованных людей и т.п.
3. В совсем бедных странах зависимость качества от расходов выражена лучше всего. Видимо, играет роль то, что по сравнению с нулем любое минимальное вложение уже приносит ощутимые результаты.

В любом случае надо очень осмотрительно интерпретировать данные PISA, наивный анализ «в лоб» будет показывать очевидную фигню, вроде высочайшей эффективности расходования средств на образование в Украине.