После 2022 года Россия вышла из международных исследований, в которых участвовала несколько десятилетий — например, из PISA и Всемирного исследования ценностей. Рассказываем, что можно было из них узнать

Что можно узнать о российских школьниках из исследований образования

В России самая большая доля школьников, чьи родители часто занимались с ними до школы: читали книги и обсуждали прочитанное, играли в слова, пели песни. В среднем по стране таких учеников 67%, в Москве — 70%. Среднее значение по миру — 42%. Дети, с которыми часто занимались до школы, к концу начальных классов показывают лучшие результаты, чем те, с кем занимались иногда или не занимались вообще. А вот репутацию самой читающей страны Россия не подтверждает: доля четвероклассников, которые заявляют, что очень любят читать, ниже среднего по миру. 

Все это мы знаем благодаря международным исследованиям качества образования — PISA (Programme for International Student Assessment, программа по оценке образовательных достижений учащихся), TIMSS (Trends in Mathematics and Science Study, исследование качества школьного математического и естественнонаучного образования) и PIRLS (Progress in International Reading Literacy Study, исследование качества чтения и понимания текста). Они проводятся в десятках стран по всему миру и уже более двадцати лет пытаются ответить на вопросы, почему в одних странах школьное обучение дает лучшие результаты, чем в других, и что влияет на успеваемость отдельных учеников в каждой стране.

В PISA участвуют  подростки от 15 до 16 лет, тест охватывает математику, чтение и естественные науки. TIMSS исследует качество естественно-научного и математического образования, ученики проходят тест в 4-м и 8-м классах. Такая методика позволяет понять, как меняются учебные успехи школьников при переходе из начальной в среднюю школу. PIRLS оценивает способность школьников читать, искать информацию в тексте и делать выводы на основе прочитанного. Его проходят только четвероклассники. 

Прежде всего тесты исследуют функциональную грамотность школьников, то есть не знание конкретных фактов, а умение применять и сопоставлять изученное по разным предметам, искать информацию в тексте заданий, строить предположения, проверять их, делать выводы и объяснять свои решения. 

Лидирующие позиции в тестах PISA в последние годы занимают азиатские страны: Сингапур, китайский специальный район Макао, Тайвань, Япония, Южная Корея. Из европейский стран в последние годы сильнее всего выступает Эстония. Результаты России на общем фоне выглядят средне. В 2018 году — в последней волне, где страна принимала участие, — она заняла 30-е место из 78 по математике и чтению и 33-е — по естественным наукам. 

В то же время, по результатам тестов TIMSS и PIRLS российские школьники регулярно входят в число лидеров — но в них в основном участвуют ученики помладше. В 2019 году ученики 4-го класса заняли 6-е место по математике и 3-е — по естественным наукам в рейтинге TIMSS, восьмиклассники — 5-е и 6-е места соответственно. В рейтинге PIRLS российские четвероклассники выступают еще успешнее: первое место в 2006 и 2016 годах, второе — в 2011-м, третье — в 2021 году. А московские школьники, чьи результаты оцениваются отдельно, и вовсе с 2016 года занимают первое место по чтению и пониманию текстов.

Такой разрыв между результатами российских школьников в разных тестах объясняется разным содержанием. В TIMSS сделан упор на знания по предметам, именно такие задания более привычны российским школьникам. PISA в большей степени проверяет способность школьников применять теоретические знания в конкретных жизненных ситуациях, которые выходят за рамки стандартных учебных задач.

Помимо самих тестов родители, школьники и учителя заполняют анкеты со множеством вопросов по разным темам: от пола и возраста ученика до уровня образования родителей, удовлетворенности жизнью, опыта школьной травли, отношения к науке и даже времени, которое школьники тратят на домашнее задание. Также после каждого раунда организаторы TIMSS и PIRLS публикуют «энциклопедию» — сборник статей, которые описывают систему образования в каждой стране-участнице. Энциклопедии и анкеты позволяют понять, как условия жизни школьников, их отношение к учебе и личностные качества влияют на успехи в учебе, как это влияние меняется со временем и чем отличается образование в разных странах.

Россия участвовала в исследованиях образования с 1990-х, но после февраля 2022 сотрудничество прекратилось

Россия участвовала во всех трех исследованиях начиная с их первых волн в конце 1990-х — начале 2000-х. В 2022 году Организация экономического сотрудничества, которая проводит PISA, приостановила участие России в исследовании, последний раунд тестов прошел без нее. Тогда Рособрнадзор уверял, что в TIMSS и PIRLS, которые проводит Международная ассоциация по оценке учебных достижений, страна продолжит участвовать. Однако уже через год и это сотрудничество было остановлено по инициативе российской стороны «в связи с многосторонними санкциями в отношении РФ».

Исключение России из международных проектов — значимая потеря для российских исследователей образования, уверена профессор Института образования ВШЭ Ирина Абанкина. «Исследования (PISA, TIMSS, PIRLS) дают ориентиры в развитии качества образования и дают возможность понять, насколько сегодня в мире развиты аналитические способности, умение вычислять, умение делать логические выводы. Эти тесты оценивают функциональную грамотность, и сопоставление с другими странами очень важно. У нас аналогичных разработок такой же глубины нет, мы в основном проводим сопоставление достижений по отдельным предметам», — отмечает эксперт. 

Найти данные о качестве образования в России вообще не самая простая задача. Нет даже статистики о средних баллах по Единому государственному экзамену за несколько лет в разрезе регионов. Информацию о результатах ЕГЭ можно найти только в отдельных пресс-релизах и выступлениях чиновников. Поэтому оценить, например, стали ли российские школьники хуже справляться с задачами по математике или менее грамотно писать, не используя данные PISA, TIMSS и PIRLS, довольно сложно. 

Рособрнадзор предложил перейти на российский аналог международного исследования — «Оценку по модели PISA», которое Россия проводит с 2019 года. Как подчеркивает ведомство, «все задания построены на концептуальных рамках исследования PISA», поэтому российскую оценку можно будет привязать к единой международной шкале. Организаторы заявляют и о преимуществах отечественного исследования: его можно проводить «по запросу», не дожидаясь очередного международного раунда, и добавлять дополнительные блоки. Например, оценивать способность школьников совместно находить решение проблем.

«Оценка по модели PISA» действительно приближена к международному формату исследований, но ее нельзя использовать, чтобы полноценно сравнить результаты российских и иностранных школьников. Дело в том, что каждый раунд программа исследования немного меняется, а полные варианты заданий международного PISA не публикуются. 

«Очень трудно сделать полный аналог и считать, что достижения в баллах будут сопоставимыми. Учитывая опыт наших экспертов, можно сделать аналоги, но ориентируясь на прошлые программы, мы будем сравнивать с прошлым. Мы не знаем, на что будет ориентирован PISA в будущем году, это знают только те, кто участвует в разработке заданий», — объясняет Ирина Абанкина. С ней согласна и Галина Ковалева: после выхода России из исследования оценивать качество российского образования в сравнении с другими странами и обмениваться опытом с коллегами из других стран станет сложнее.

В России исследования имели и практическое значение — влияли на школьное образование в стране. «Самый главный пример — изменение учебников, в первую очередь по математике. В них включили задачи на основе реальных жизненных ситуаций: на расчет кредита или повышения заработной платы. Это уже не просто задачи с правильным ответом в конце учебника, это задания, где нужно сравнивать выгоды и риски, и главное, что оценивается, — обоснованность и аргументированность принятых решений. В целом ЕГЭ сейчас меняется в сторону PISA-ориентированных заданий», — рассказала профессор Института образования НИУ ВШЭ Ирина Абанкина. Еще одним решением, на которое повлияли результаты исследований, стало появление курса финансовой грамотности в школах. 

Что говорят о россиянах сравнительные исследования ценностей

Еще одно направление, в котором межстрановые сопоставления играют важную роль — исследования ценностей. Наиболее авторитетное из них — Всемирное исследование ценностей — показывает, как менялись ценности жителей десятков стран последние 40 лет.

Россия успела принять участие в пяти волнах исследования — с 1990 года. Последняя волна с ее участием прошла в 2017-2022 годах. За это время произошло немало изменений: россияне стали больше ценить друзей и свободное время, уже не так старательно воспитывают в детях трудолюбие, бережливость и послушание, зато больше заботятся об их религиозности (и сами стали внимательнее относиться к религии). А вот ответы на вопрос о важности семьи почти не изменились: 78% респондентов как в начале 1990-х, так и в 2017-2022 отметили, что семья для них очень важна. 

Еще россияне стали больше беспокоиться из-за того, что мигранты могут занять рабочие места, но намного спокойнее относятся к  уходу от налогов. Чуть терпимее стали к однополым парам, хотя 60% все равно считают такие отношения неприемлемыми. Стали спокойнее относиться к разводам, зато выросло число тех, кто ни в какой ситуации не может оправдать аборт.

Всемирное исследование ценностей было запущено в 1981 году американским социологом и политологом Рональдом Инглхартом. Проект начинался как европейский, но за 40 лет охватил около 120 стран, в которых проживает 94,5% населения Земли. Опросник исследования состоит из 290 вопросов, которые оценивают отношение респондента к религии, миграции, семейным и гендерным вопросам, политике и экономике, коррупции, науке и другим темам.

Инглхарт и его коллега Кристиан Вельцель предложили визуализировать средние значения для каждой страны, отметив ее положение по двум осям. 

• По горизонтали: от ценностей выживания (стремление к безопасности, покорность, низкая оценка прав человека) слева до ценностей самовыражения (признание значимости прав человека и равенства мужчин и женщин, стремление к развитию и успеху) справа. 
• По вертикали: от секулярно-рациональных (низкая роль религии, предпочтение светского государства, преобладание личного над общественным) сверху до традиционных ценностей (семья, религия, социальный конформизм, принятие власти) внизу.

На такой диаграмме хорошо выделяются культурно-географические регионы, хотя есть и страны-исключения. Авторы диаграммы утверждают, что по мере увеличения личной безопасности и благосостояния, а также смены поколений страны движутся к постматериалистическим ценностям (самовыражения, прав человека, религиозной, этнической и сексуальной толерантности).

На примере России видно, как после распада СССР и последующего кризиса на первое место вышли ценности выживания, а стремление к самовыражению отошло на второй план. Также в период восстановления экономики (1999-2008) россияне отошли от секулярно-рациональных ценностей и стали больше тяготеть к традиционным. Например, от важности индивидуального к ведущей роли религии или семьи. После 2008 года усилилось стремление россиян к самовыражению (движение слева направо), но тяготение к традиционным ценностям сохраняется до сих пор. 

Еще одно исследование ценностей — Европейское социальное исследование (ESS) — изучает отношения, убеждения и модели поведения людей в европейских странах, а также в Турции и Израиле. Опросник состоит из базового модуля, который не меняется и позволяет следить за динамикой основных показателей, и двух сменных, которые посвящены отдельным темам, например отношению к старению, миграции или доверию правоохранительным органам. За счет сменных модулей исследование охватывает больший спектр вопросов, при этом не перегружает респондентов излишне длинной анкетой.

Россия участвует в проекте с 2006 года, его результаты многое говорят о состоянии российского общества. Например, половина россиян в 2018-2019 годах считали, что у таких людей, как они, нет возможности влиять на политику. Вместе с Болгарией Россия занимает первое место по этому показателю среди 31 страны-участницы. При этом 13% респондентов имеют опыт подписания петиций или открытых писем, а 7% участвовали в разрешенных демонстрациях.

Богатство для россиян важнее, чем для жителей других стран, им хочется, чтобы их уважали, при этом прислушиваться к мнению других и помогать окружающим им не очень нравится. 

Кроме того, последние данные исследования показывают, что россияне хуже жителей других стран-участниц оценивают свое здоровье — на 2,6 по 5-балльной шкале, где 1 — очень хорошее, а 5 — очень плохое. Удовлетворенность жизнью в России одна из самых низких среди исследуемых стран — 5,8 по такой же «перевернутой» 10-балльной шкале. 

В 2022 году организаторы исследований ценностей разорвали отношения с Россией

Начало военных действий в Украине сильно осложнило зарубежное сотрудничество, российские исследователи больше не могут напрямую обмениваться опытом с зарубежными коллегами. Ассоциация Всемирного исследования ценностей попросила уйти из исполнительного комитета российского исследователя Эдуарда Понарина. Организация базируется в Стокгольме и, по словам Понарина, скандинавские страны очень жестко восприняли членство российского ученого. 

Весной 2022 года и от Европейского социального исследования пришло уведомление, что организация больше не будет поддерживать официальные связи с Россией.

«Такой разрыв отношений был очень болезненным для исследователей, работающих над организацией проекта в России. Российские участники проекта были очень активны в работе международных групп, очень уважаемы, могли влиять на подготовку всего проекта, учитывать специфику российского общества и российской правовой системы при составлении вопросов», — рассказала Анна Андреенкова, руководитель российского ESS. 

Однако исследования ценностей — намного более открытые и децентрализованные проекты, чем исследования образования PISA, TIMSS и PIRLS. Тесты находятся в открытом доступе: например, ESS публикует вопросы сменных модулей на несколько раундов вперед, поэтому каждая страна может проводить исследование самостоятельно.

Сейчас российская команда Всемирного исследования ценностей планирует собирать данные для следующей волны. По словам Эдуарда Понарина, исследование будут проводить вне зависимости от того, получится сделать его частью международного проекта или нет. Российские социологи в любом случае смогут сопоставлять полученные результаты с другими странами, так как данные для всех стран открыто публикуются на сайте проекта. Однако зарубежным исследователям использовать российские данные будет сложнее: придется искать на российском сайте и, возможно, переводить с русского языка.

По Европейскому социальному исследованию работа тоже продолжается, для пользователей данных принципиальных изменений не произошло. «Данные публикуются на российском сайте в формате, сравнимом с международным (скоро будет новый сайт проекта), но сотрудничество осталось только неформальное», — пояснила Анна Андреенкова.

Исследования ценностей изучают более фундаментальные вопросы, чем исследования образования, и представляют в большей степени академический интерес. Например, с помощью данных Всемирного исследования ценностей ученые обнаружили, что доверие в обществе связано с экономическими показателями страны — чем выше одно, тем выше другое. Авторы другой работы использовали данные WVS, чтобы доказать, что чем больше социальный капитал человека — отношения с семьей, друзьями, коллегами, соседями, — тем лучше его объективные показатели здоровья и субъективное самочувствие. 

Однако результаты таких исследований могут иметь и практические последствия. «Мне известно, что результаты исследования [WVS] использует Всемирный банк и аналитический отдел британского журнала Economist. Оттуда они с большой вероятностью попадают и к людям, принимающим решения», — рассказал профессор департамента социологии НИУ ВШЭ в Санкт-Петербурге Эдуард Понарин.

Почему сложно заменить международные исследования

Исследования образования и ценностей проводились в России несколько десятилетий. Во Всемирном исследовании ценностей и TIMSS страна участвовала с 1990-х, в PISA, PIRLS и Европейском социальном исследовании — с начала 2000-х. Поэтому эти данные позволяют не только сравнить Россию с другими странами, но и понять, что изменилось в обществе и системе образования за это время. 

Как рассказала заведующая Центром оценки качества образования Галина Ковалева, на протяжении многих лет занимавшая должность национального координатора PISA, PIRLS и TIMSS, международные исследования важны для России по трем причинам: 

• дают объективную картину. Международные организации контролируют качество проведения исследования; кроме того, они не заинтересованы в том, чтобы искусственно улучшать показатели — а в случаях, когда тесты проводятся организациями внутри страны (например, школами в случае образования) и влияют на их отчетность, такой риск есть;  
• помогают оценить влияние разных факторов. Пример из сферы образования: благодаря международным исследованиям можно оценить, как школьники с похожими характеристиками учатся по разным образовательным системам; 
• позволяют специалистам обмениваться опытом с коллегами из разных стран и повышать свою квалификацию. 

Найти межстрановые сравнения с участием России все еще можно у многих международных организаций, в первую очередь — ООН. Но такие базы данных устроены иначе: обычно каждая страна передает данные своей госстатистики. Сопоставлять их между собой можно только условно. 

Например, в России в статистику убийств попадают только те случаи, когда у преступника было намерение убить. Если человек погиб в результате пьяной драки, потому что избивавший не рассчитал силу, такой случай не считается убийством. Во многих других юрисдикциях это не так. Поэтому сравнивать уровень убийств, анализируя данные Управления ООН по наркотикам и преступности, можно лишь с оговорками. 

Другой пример — смертность от туберкулеза. ВОЗ, основываясь на данных, которые предоставляет Россия, исключил ее из списка стран с высоким бременем туберкулеза. Но эти данные, вероятно, искажены: после того, как президент России подписал указ о необходимости снизить смертность от туберкулеза, все случаи, когда у умершего был и ВИЧ, и туберкулез (таких довольно много, поскольку это сопутствующие заболевания) стали записывать в смерти от ВИЧ. Узнать, насколько реально снизилась смертность от туберкулеза, и сравнить ее с другими странами практически невозможно. 

Главное преимущество международных исследований — единая и неизменная методология для разных стран. Она позволяет сравнивать результаты каждого раунда исследований, находить общие тенденции и изучать динамику отдельных стран-участниц. 

Информации, которую собирают эти проекты, не найти в других источниках. Можно сопоставлять между собой исследования на похожие темы, проведенные разными авторами в разных странах, но такое сравнение, как и в случае с госстатистикой, имеет множество ограничений. 

Автор: Алена Манузина
Инфографика: Татьяна Цвирова, Екатерина Буркова