Рейтинги и ранжирования как инструмент политики: политические аспекты экономической  политики отчетности в высшем образовании[1]

Джамиль Салми и Эленуш Сароян

Основная цель статьи – исследование роли и пригодности механизмов информирования общественности, таких как рейтинги и подобные им инструменты классификации, которые все больше сводятся к измерению и сравнению деятельности высших учебных заведений. В статье представлена  типология рейтинговых инструментов общественной отчетности, обсуждаемый с точки зрения политических аспектов  феномен рейтинговой деятельности, оценка ее сильных и слабых сторон и, в заключение, некоторые рекомендации для политиков, высших учебных заведений и общественности в целом.

Введение

В 1963 г преподаватели и администрация Калифорнийского университета в Беркли яростно запротестовали, когда радикальная газета студентов кампуса «Cal Reporter» решила опубликовать студенческие оценки курсов и преподавателей[2]. Несмотря на начальное сопротивление, студенческие оценки постепенно стали неотъемлемой частью механизма отчетности  для многих университетов не только в США, но и в растущем числе стран по всему миру.  На сегодняшний день существуют даже вебсайты, где любой студент может дать оценку своему преподавателю[3]. В большинстве случаев на протяжении последних двадцати лет университеты, традиционно существовавшие в значительной степени автономно, сталкиваются с необходимостью большей отчетности в своей деятельности и использовании государственных ресурсов. Потребность в увеличении отчетности высших учебных заведений возникла не только у студентов, но и у других заинтересованных сторон, как например, правительств, обеспокоенных растущими расходами, работодателей, заинтересованных в квалифицированных специалистах, а также общественности в целом, желающей получить  информацию о качестве образования и перспективах рынка труда.

Периодические обзоры, внешняя экспертная оценка, аккредитация, проверка, аудит, выполненные контракты, основанные на предварительно установленных показателях, сопоставительная и исследовательская оценка – наиболее распространенные формы отчетности. Одни из них инициированы самими заведениями, другие – навязаны вузам извне финансовыми органами, агентствами по надзору за обеспечением качества, комитетами при ректоратах, а также в целом заинтересованным сообществом. Один из недавних примеров - международные рейтинги в виде ранжирований. С этой точки зрения, существует не менее 30 заслуживающих внимания рейтингов, предлагающих классификацию от обширных рейтингов национальных университетов, например, Maclean’s и US News and World Report, до всеобъемлющих международных рейтингов, таких как Times Higher Education Supplement (THES) – Приложения о высшем образовании британской газеты Times – и рейтинг Шанхайского университета (SJTU). Существуют также особые исследовательские (рейтинги Новой Зеландии и Великобритании) и даже  такие уникальные рейтинги, как, например, рейтинги самых сплоченных или наиболее политически активных кампусов, не говоря уже о существующих во всем мире многочисленных рейтингах профессиональных школ и программ MBA и других.

Ранжирования, которые также относятся к вузовским рейтингам и табелям, составляются с использованием объективных и/или субъективных данных, полученных от учебных заведений или опубликованных в открытой печати. Эта информация превращается в «мерило качества» и становится объектом сравнения относительно конкурентов. Объект главным образом состоит из высших учебных заведений, обычно университетов. Тем не менее, иногда рейтинг фокусируется на специальных предметных областях или программах, действующих во всех вузах.

Ряд показателей, используемых в ранжировании, направлен на оценку того, как устроена система (входные переменные), как она функционирует, ее внутреннюю эффективность (параметры процесса) и продуктивность и влияние системы (выходные переменные) относительно деятельности других университетов и программ[4]. Разного рода информационные и другие агентства, проводящие сравнительные рейтинги, определяют различные уровни значения для переменных, участвующих в сравнении. Это наиболее ярко проявляется при определении веса, соответствующего показателю.

Некоторые рейтинги составляются внутри категории «университет», предоставляя учебным заведениям с различными предназначениями и ориентацией равные возможности для участия в рейтинге[5]. Остальные включают в себя все вузы и к тому же сравнивают скорее специальные программы, чем учреждение в целом. Распространение ранжирований и попытки сотавления рейтингов не остаются незамеченными заинтересованной аудиторией и редко принимаются благосклонно. Такие рейтинги часто отвергаются своими же собственными критиками как не соответствующие действительности, переполненные информацией и изъянами в методологии. По этой причине они бойкотируются некоторыми университетами, недовольными такими результатами, а также используются политическими противниками в качестве удобного способа покритиковать правительство. Единственное, чего они не делают, – это не оставляют людей равнодушными. Став частью растущей экономики, даже в развивающихся странах, ранжирования, их точность, релевантность и полезность превратились в предмет озабоченности. Настолько ли они непригодны в качестве меры качества в высшем образовании, что следует вообще отказаться от них? Можно ли их адаптировать таким образом, чтобы они начали отвечать информационным потребностям развивающихся стран? Находят ли они полезное применение для государственной политики, отчетности и информирования потребителей?

Для того чтобы ответить на эти вопросы,  данное исследование рассматривает ранжирования и подобные им инструменты классификации высших учебных заведених, уделяя особое внимание роли и пригодности этих инструментов  как механизмов информирования общественности и как меры качества образования, предлагаемого вузами своим студентам.  В начале статьи делается аналитический обзор ранжирований, их ценности и недостатков в методологии, а также обзор полемики, связанной с  этой инициативой. Данная предпосылка дает начало дискуссии о достоинствах показателей, используемых в ранжированиях как единица измерения качества. В заключительной части статьи  исследуются последствия ранжирований в виде таблиц для национальной политики и деятельности учебных заведений в развивающихся и развитых странах.

Типология ранжирования и механизмы отчетности

Происхождение

В недавнем всеобъемлющем обзоре ранжирований в 2006 г. Usher и  Savino прослеживают происхождение традиции сравнения университетов, проводимых СМИ,   до 1981 г.  и  Боба Морса (Bob Morse) из US Media News Report. Тем не менее, традиции составления рейтингов вузов средствами массовой информации берут свое начало примерно на три десятилетия раньше при участии Чесли Мэнли (Chesly Manly) из Chicago Tribune. Первое же ранжирование  высших учебных заведений академическими кругами или образовательными организациями произошло еще раньше,  в конце прошлого столетия. Таблица 1, основанная частично на статье Stuart (1995), иллюстрирует эволюцию в данном роде деятельности с 1870 по 1982 гг., когда он завоевал популярность и стал таким, как сейчас.

Таблица 1

Интересно отметить, что вначале академическое ранжирование вузов было одним из немногих видов оценки для определения эффективности учреждения. Другие методы включали в себя аккредитацию, опросы, самоанализ, исследования выпускников и оценку студенческих достижений и мнения (Pace and Wallace, 1954; Stuit, 1960). Также стоит отметить важность репутации как меры качества, экспертной оценки как надежного источника и механизма сбора информации, на которой основывается рейтинг. Например, не позже чем в 1959 г. методология Кенистона включала в себя опросы 25 заведующих кафедрами высших учебных заведений – членов Ассоциации американских университетов – для определения сильнейших кафедр в соответствующих областях,  оценивая качество кандидатских диссертаций и качество образования на факультете как основополагающих критериев (Stuit, 1960).

Модели роста

Как бы то ни было, история систематического использования ранжирований как широко распространенный феномен насчитывает меньше чем одно десятилетие.  Одиннадцать из 19 ранжирований, включенных в доклад Usher и Savino (2006) появились в 2000 г. Исключения в этом списке, имеющие более длинную  историю, -  рейтинг журнала US News and World Report, канадских университетов журнала  Maclean’, польского университета Perspektywy / Rzeczpospolita Uniwersytet, британский рейтинг The Times Good University Guide, и рейтинг китайского Института управления  Гуандон (Guagdong Institute of Management Science). Было бы неправильным связывать распространение ранжирований с неким массовым явлением или беспрецедентным ростом количества поступающих в вузы по всему миру. К тому же, поток иностранных негосударственных и дистанционных поставщиков образовательных услуг, тенденция к интернационализации высшего образования и в соответствии с этим возросшие требования заинтересованных сторон к  увеличению степени отчетности, прозрачности и эффективности высшего образования способствовали тому, что появилось больше стимулов для измерения качества образования. В качестве одной из причин распространения рейтингов их составители  выдвинули даже возможность увеличения рентабельности.

Другой способ взглянуть на  модели роста ранжирований – это рассмотреть  их распространенность по регионам.  Таблица 2 иллюстрирует их расположение и, более того,  дает информацию о типе учебного заведения каждой страны, проводящего рейтинг. Очевидно, что большинство ранжирований составляются и публикуются газетами и журналами (например, Канады, Франции, Великобритании и США). Тем не менее, инициаторами составления рейтингов могут выступать также правительственные органы, такие как Министерство высшего образования или Совет по распределению субсидий университетам (например, в Нидерландах, Пакистане, Таиланде, Новой Зеландии, Великобритании), независимые организации (в Германии и Испании), университеты или профессиональные организации (рейтинг Шанхайского университета) или органы аккредитации (например, в Аргентине).

Таблица 2

Эта таблица показывает, что распространение этого явления происходит неравномерно по странам и регионам. На Ближнем Востоке и в Северной Африке, Центральной Азии и странах Африки к югу от Сахары (за исключением Нигерии)  ранжирования пока не составляются. Напротив, они в большей степени преобладают в развитых странах.

Результаты рейтингов в форме таблиц варьируются в зависимости от того, кто их проводит. В первом примере они могут оказать влияние на общественное мнение, как и в случае с рейтингами журналов. В некоторых случаях рейтинги считаются ступенькой  к аккредитации, как в случае с Пакистаном и Аргентиной. В конечном счете, рейтинги  по результатам исследовательской деятельности, как это принято в Великобритании и Новой Зеландии, оказывают прямое влияние на государственные финансовые потоки в соответствующие вузы.

Отличительные особенности ранжирований

Широкая полемика по типологии и критический анализ методологических недочетов в ранжированиях содержится  в ряде недавно опубликованных обзорных статей (см. например, Bowden, 2000; Brooks, 2005; Dill and Soo, 2005; Liu and Liu, 2005; Provan and Abercromby, 2000; Usher and Savino, 2006; Yonezawa, Nakatsui and Kobayashi, 2002).

Данные обзоры предлагают актуальный взгляд на концептуальные и теоретические основы ранжирований, конкретизируют показатели оценки качества, и предлагают критическую оценку используемой методологии и ее недостатков. Ниже выделены наиболее показательные моменты из данных статей.

Ранжирования имеют несколько общих отличительных черт. Во-первых, они включают набор показателей или групп показателей для оценки качества. Наиболее упрощенная классификация категорий показателей включает общие показатели вводимых ресурсов, производственные (параметры процесса) и  показатели отдачи. Usher  и Savino (2006) предлагают более развернутую структуру показателей по семи группам категорий: начальные характеристики (например, поступающие в вуз на какую-либо специальность студенты, общая средняя оценка по аттестату, критерии выбора и т.д.), ресурсы для обучения (например, ресурсы вуза, финансовые и материальные ресурсы, имеющиеся в распоряжении преподавательского состава и студентов, характер финансирования вуза и т.д.), преподавательские ресурсы (например, квалификация преподавательского состава, соотношение к количеству студентов, распределение нагрузки, занятия со студентами и т.д.), финальные результаты (уровень занятости, количество успешных попыток поступления в магистратуру, степень удовлетворенности работой и т.д.), исследования (публикации, премии и награды, цитирование – ссылки на авторов, импакт-фактор – среднее число цитирований статей научного журнала, исследовательские ресурсы, кафедры, возникшие в результате научно-исследовательской работы, число полученных патентов и т.д.) и репутация (например, с разных точек зрения, включая экспертов, администрацию вузов, и работодателей). Ранжирования с наилучшей репутацией обычно включают в себя множество единиц измерения для каждого аспекта.

Вторая черта ранжирований заключается в том, что каждому набору или группе показателей соответствует полученное в соответствии с весом количество баллов.  Оценка варьируется по ранжированию и скорее отражает  точку зрения составителя, нежели содержит теоретическое обоснование.  В данном случае существует общее единодушие относительно случайности и субъективности, и это является фундаментальным недостатком методологии ранжирований (Brooks, 2005; Provan and Abercromby, 2000). На случайный характер этого явления был пролит свет, когда было замечено, что оценки и сама формула ранжирования могут меняться из года в год, как это произошло с журналом The Times  с 1992 по 1997 гг. (Bowden, 2000).

Clarke (2002) выявила четыре типа изменений, произошедших в опубликованных US News рейтингах профессиональных магистратур, а также базовых гуманитарных колледжей в течение шести лет. Она обнаружила, что повсеместно 85% изменений относится к весу, определению или методологии, чем к добавлению или устранению показателей. Она также обнаружила, что наименьшая часть изменений затронула рейтинги, относящиеся к преддипломному  обучению (бакалавриату), по сравнению с профессиональными магистерскими программами, и в одних профессиональных рейтингах (например, юриспруденции)  изменения проявились более ярко, нежели в других (например, медицине). В среднем, в ее работе рассмотрено от шести до восьми изменений формулы в шести публикациях рейтингов US News, и наибольшее количество поправок сконцентрировано на небольшом числе показателей. Clarke (2002) пришла к заключению, что представленные изменения в формуле каждого рейтинга делают невозможным сравнение деятельности вузов в течение нескольких лет. Это связано с тем, что формула ранжирования, лежащая в основе сравнения, менялась из года в год. Тем не менее, сопоставление было возможно только при учете той части показателей, которые в течение этого времени оставались неизменными.

Третья отличительная черта относится к объекту сравнения, которым может быть учебное заведение или отдельная программа (например, MBA). Международные ранжирования рассматривают учебное заведение как объект для  сравнения, невзирая на размер или тип вуза. На национальном уровне некоторые ранжирования делят высшие учебные заведения по категориям.  Например, канадский журнал Maclean’s  располагает вузы по трем категориям: медицинские/докторские, общеобразовательные и основные базовые[6]. Сравнение вузов разного предназначения и возможностей было расценено как методологически неверное и непригодное (Eccles, 2002), несерьезное в глазах общественности предприятие. Такая практика неумышленно ставит в невыгодное положение  небольшие вузы, и те из их, где не проводятся  интенсивные исследования, имеют меньше шансов на получение высокого балла по показателям, оценивающим исследования и репутацию (Brooks, 2005).

Четвертая отличительная черта  - значительная степень доверия ранжирований к экспертной оценке в подаче информации. Научным  экспертам и администрации,  как и работодателям, предлагается расположить вузы в соответствии с собственным мнением о репутации учебного заведения или программы. Даже когда составитель ранжирования THES 2005 объявил о неизменности  процесса оценки, оно вызвало у других критику по ряду пунктов: как запутанное (ставящее в тупик), из-за  гало-эффекта (Cartter, 1966; Diamond and Graham, 2000), как субъективное из-за отсутствия общей схемы подачи справочной информации по качеству для критиков (Brooks, 2005), как неточное по причине отсутствия   ознакомления критиков с программами, которые их просили оценить (Brooks and Junn, 2002). В ранжированиях используются также другие виды информации, куда входят опросы, опубликованная для свободного доступа  правительственная информация, индексы цитируемости, информация от бюро патентов и таких уважаемых организаций, как Нобелевская академия (Шведская академия имени Нобеля).

В совокупности обладая всеми этими отличительными чертами и характеристиками, ранжирования имеют важное сходство с другими подходами к вузовской оценке, такими как аккредитация. Многие показатели, с помощью которых исследуются ресурсы вузов, например, данные по факультетам и студентам, процент выполненных работ и отношение числа окончивших вуз к числу поступивших, являются общими для обоих подходов. Аналогично, общим признаком для них будет сильная зависимость от экспертной оценки. 

Такие действия, как ранжирование и процедура аккредитации, имеют между собой существенные различия. Тем не менее, в процессе аккредитации обычно особое внимание уделяется программам и  системе оценки (критериям) деятельности учреждений, а не выраженным, абсолютным стандартам и критериям. С другой стороны, в ранжированиях деятельность сама по себе имеет относительную важность, поскольку вуза или программы сравниваются друг с другом на основе набора критериев и в результате располагаются в соответствующем порядке. Аккредитация и вузовские рейтинги/ранжирования также имеют различия в степени важности, которая придается репутации и результативной исследовательской работе.

«От любви до ненависти один шаг»[7]

Пока ясно одно: рейтинги не оставляют равнодушными ни учебные заведения, ни заинтересованную аудиторию. Если студенты с нетерпением ждут их публикации, то университетские администрации часто встречают их с содроганием. Международные рейтинги несут в себе гордость и раздражение. Пресса и политические партии активно используют их как орудие против правительства. Существует множество примеров во всем мире, когда правительства и университеты реагировали словом и делом на силу вузовских рейтингов.

К примеру, в сентябре 2005 г, после того как последнее ранжирование, опубликованное Times Higher Education Supplement, показало два лучших университета Малайзии  опустившимися почти на 100 мест в сравнении с предыдущим годом, лидер оппозиции обратился в Королевский комитет по расследованиям, несмотря на тот факт, что внезапное падение было частично вызвано изменениями в методологии ранжирования[8].

Иногда вокруг ранжирований и рейтингов возникает жаркая полемика, ведущая  даже к бойкотам или судебным процессам. Например, в начале 1990-х гг., группа  активных студентов Стэнфордского университета сформировала  коалицию по бойкотированию журнала U.S. News (“Forget U.S. News Coalition”). Попытка убедить университеты и колледжи присоединиться к бойкоту рейтинга, опубликованного в журнале US News and World Report, была неудачной. В 1997 г. ректор Алма Колледж в Центральном Мичигане провел опрос более 150 членов руководства университетов и колледжей, чтобы узнать их мнение о рейтингах журнала US News and Report, также неудачно пытаясь призвать их присоединиться к бойкоту рейтинга.

После того как журнал Asiaweek опубликовал свои первые рейтинги университетов Азиатско-Тихоокеанского региона в 1997 и 1998 гг., 35 университетов отказались от участия в опросе в 1999 г. Более половины из них были из Японии и Китая. Бойкот привел к фактическому прекращению инициативы. Журнал Asiaweek  приписал  такую негативную реакцию частью тому, что многие вузы были оскорблены из-за своего низкого рейтинга, и частью политическим мотивам, поскольку некоторые университеты из Китая были расстроены участием в рейтинге Тайваньских университетов. Интересно, что Токийский университет, занимавший каждый раз первое место, также решил не участвовать в рейтинге в 1999 г. Как объяснил его ректор, Hasumi Shigehiko, «качество нашего образования и исследований  не может быть сравнимо с другими вузами» (Provan and Abercromby, 2000, pp. 6 – 7).

В марте 2004 г. два университета из Новой Зеландии обратились к правительству с просьбой (она была удовлетворена) о недопущении публикации международного рейтинга, в котором их место по сравнению с британскими и австралийскими конкурентами оказалось ниже. Ректоры были обеспокоены тем, что рейтинги негативно повлияют на их способность привлекать иностранных студентов, обучающихся на платной основе. В конечном счете, правительство разрешило опубликовать только рейтинги национальных высших учебных заведений,  без сравнения их с зарубежными конкурентами. Рейтинги были сфокусированы на исследовательской деятельности 5 570 исследователей из 22 вузов Новой Зеландии (Cohen, 2004).

Результаты рейтингов часто признаются не относящимися к делу либо ошибочными. Во многих случаях (если не в большинстве)  критика исходит от вузов, недовольных своим положением в рейтингах. Ирония состоит в том, что университеты с хорошими результатами используют рейтинги в качестве своей рекламы. В особенности это касается тех, кто пытается привлечь иностранных студентов. Если же университеты решили не участвовать в рейтингах, последствия этого решения не всегда бывают отрицательными или пагубными для них. Показательным в этом отношении является опыт Рид Колледжа в США.  После отказа передать на рассмотрение свои данные журналу U.S. News and World Report, он обнаружил себя  на одной из самых низких позиций рейтинга  колледжей страны, основанного на оценке собранного журналом материала. Тем не менее, число его абитуриентов с момента проведения рейтинга не только значительно увеличилось, но даже обнаружилось, что учащиеся с высоким баллом по отборочному тесту (SAT – теста на проверку академических способностей) подали заявление и были приняты. На сегодняшний день Рид Колледж считается одним из лучших и наиболее избирательным гуманитарным колледжем в США[9].

А кто же победители?

«Для любой волнующей человека проблемы всегда легко найти решение - простое, достижимое и ошибочное.». (Генри Луис Менкен)

Является ли ранжирование  справедливой игрой с объективными правилами для всех вузов? Для того чтобы понять, что это не так, стоит лишь тщательнее взглянуть на сотню лучших вузов по двум международным рейтингам, проведенным в 2005 г. Есть несколько общих черт, объединяющих университеты с высоким рейтингом, что порождает серьезные сомнения в аргументированности и обоснованности международных ранжирований.

Первая общая черта состоит в том, что успешные по обеим ранжированиям вузы находятся в странах, где английский язык является либо официальным, либо языком, на котором ведется преподавание.  В международном рейтинге SJTU 2005 г. 68 из Top 100 университетов находятся в англоязычных странах (53 в США, 11 в Великобритании, 4 в Канаде). Аналогичным образом, в мировом рейтинге 2005г. THES  60 из Top 100 университетов расположены в англоязычных странах (31 в США, 13 в Великобритании, 12 в Австралии, 3 в Канаде и 1 в Новой Зеландии). Более того, дополнительно 11 вузов в Top 100 предлагают, по меньшей мере, несколько  своих программ магистратуры на английском (Дания, Финляндия, Израиль, Нидерланды, Норвегия, Швеция и Швейцария). И страны, перечисленные ранее, наряду с вузами Индии, Сингапура и Гонконга предлагающие обучение в магистратуре на английском, причислены к дополнительным 16 вузам в Top 100 по рейтингу THES.

Второй общей чертой является то, что большинство вузов, ранжированных в Top 100 по обоим международным рейтингам, расположены в странах, где проводятся национальные рейтинги высших учебных заведений, таких как США, Великобритания, Канада, Австралия, Япония и Китай (см. Таблицу 3). Было бы разумно прийти к выводу, что осведомленность в рейтингах и хорошо развитая способность к сбору и подаче данных может помочь подняться на самый верх в международных ранжированиях[10].

Таблица 3

Университеты Северной Америки и Европы вместе составили 92 % из Top 100 вузов по рейтингам SJTU. При одновременном взгляде на таблицы 2 и 3 можно обнаружить сильные региональные различия, и, в частности, отсутствие в некоторых регионах национальных рейтингов. Возможно, это не просто совпадение, что нет ни одного университета, попавшего в Top 200  вузов по THES или в Top 500 вузов по SJTU, из стран и регионов, где не существует собственной традиции составления рейтингов национальных вузов. Третья общая черта, которую стоит упомянуть, касается исследовательских возможностей вуза, выраженных в фондах для ведения научно-исследовательской работы, целевом капитале, а также прямых и косвенных государственных инвестициях в высшее образование и затратах на научные исследования и разработки. Например, канадские университеты, находящиеся на высоких позициях в международных рейтингах, являются также лучшими по результатам исследований (согласно статистическим данным по Канаде и Профессиональной ассоциации университетских служащих Канады - CAUBO, на что ссылается канадская Ассоциация преподавателей университетов (CAUT), 2006 г.)[11].    Аналогично, страны, где средства, выделяемые на научные исследования и разработки, вузам составляют большую долю в общих расходах на научные исследования и разработки по стране, располагают лучшими возможностями и находятся в лучшем положении  для успешной конкуренции в международных рейтингах[12]. Также ясно, что международные рейтинги благоволят вузам с высокой интенсивностью исследовательской работы ценой исключения отличных учебных заведений, которые предлагают главным образом базовый курс обучения (бакалавриат), и даже тех, что классифицируются как общеобразовательные, несмотря на  всестороннюю научно-исследовательскую деятельность и широкий диапазон программ последипломного обучения (магистратуры). Три лучших университета в категории «общеобразовательные» по рейтингу журнала Maclean’s в 2005 г. в сравнении со своим положением по рейтингам THES и SJTU подтверждают эту невыгодную ситуацию.

Таблица 4

Похожим образом такая оценочная деятельность ставит в привилегированное положение частные элитные учебные заведения. «Университет Осаки может считаться лучшим государственным учреждением, поскольку на протяжении почти тридцати лет работал над своим престижем и достиг успехов в своей деятельности. Даже при этом, для него было бы практически невозможно подняться  в рейтинге выше  Токийского университета или Университета Киото» (Yonezawa и др., 2002, стр. 381). Страны, где вузы финансируются в большей степени из частных фондов, также выделяются в международных рейтингах. К ним относится Австралия (52 % частного финансирования), Япония (около 51 %), США (около 45%), Канада (около 42%)  и Великобритания (около 28%) (статистика Организации экономического сотрудничества и развития, 2005 г.).

 Выделенные выше моменты порождают серьезные сомнения  относительно того, является ли воздействие ранжирований на национальную и международную политику обоснованным, находясь в зависимости от оценки, полученной страной или вузом в национальных или международных рейтингах. К примеру, если большинство вузов, находящихся на верхних позициях рейтингов, из англоязычных стран, является ли необходимым для каждого учебного заведения, желающего поднять свой рейтинг, рассмотреть возможность введения английского языка как языка преподавания, несмотря на  сильное желание укрепить свою национальную идентичность, как  в случае с Малайзией? Следует ли национальным правительствам увеличить инвестиции в высшее образование и расходы на научные исследования и разработки, если они хотят видеть свое высшие учебные заведения на более высоких позициях в рейтингах? Если интернационализация является важным элементом для ранжирований, следует ли правительствам поддерживать программы по увеличению мобильности студентов и преподавателей (программы по обмену преподавателями и студентами), такие как ERASMUS MONDUS, Canada-US-Europe Mobility и Программы увеличения мобильности НАФТА? Стоит ли всем странам проводить национальные рейтинги в целях подготовки своих университетов к этому на международной арене?  Следует ли побуждать вузы к увеличению числа статей дохода и стремлению приватизировать свои источники финансирования для того, чтобы обеспечить себе необходимые ресурсы для усовершенствования своей  деятельности, как у более успешных соседей по рейтингу?

Измеряют ли ранжирования качество?  

«Все знают, что существуют левые руководители и летучие рыбы, но никто их не видел». Мишель Одиар (Michel Audiart)

Взаимосвязь между показателями, используемыми в ранжированиях, и показателями качества образования остается  по ряду причин иллюзорной. Наиболее важно то, что не существует общепринятого устоявшегося определения качества, которое подходило бы всем вузам, независимо от их предназначения и типа. За немногим исключением (например, рейтинги Maclean’s, US News and World Report) ранжирования рассматривают все университеты одинаково. Turner (2005) утверждал, что при отсутствии обоих абсолютных стандартов эффективности и возможности провести различия между затратами (входными параметрами), производством (параметрами процесса) и отдачей (выходными параметрами) ранжирования ограничиваются сравнением разнородных, отличных друг от друга параметров. 

Другой причиной является то, что связь между типичным рядом категорий показателей, используемых в ранжированиях, мало оправдана с точки зрения теории и практики. Например, связь репутации, продуктивности исследовательской работы по факультетам и студенческого опыта и результатов с качеством. Pike (2004), к примеру, обнаружил, что данные Национального опроса студенческой лояльности  (National Survey of Student Engagement) не  имеют тесной взаимосвязи   с рейтингами US News,  а скорее указывают на то, что на мнения студентов о своем образовательном опыте влияют  другие производственные факторы, отличные от тех, которыми измеряются характеристики вуза в рейтинге.

Более того, методология, используемая для  итогового общего подсчета баллов, основана на показателях, имеющих совершенно разные шкалы измерения, теоретически несостоятельна, чрезмерно упрощена и «выражаясь математическими терминами, недоказуема» (Turner, 2005, p. 355). На таблице 5 в левой колонке  изложены категории показателей по классификации Usher и Savino (2006)  и эмпирическое обоснование показателя как меры качества, подобранное из имеющейся литературы  в правой колонке. Курсивом выделены эмпирические исследования, не подтверждающие использование показателя как меры качества.

Таблица 5

Кроме того, существуют сомнения по поводу выбора ряда показателей и их обоснованности и достоверности, а также  полноты  для оценки качества (Brooks, 2006; Clarke, 2002; Dill and Soo, 2005).

«Авторы «рейтинговых систем» полагают, что каждый показатель является рациональным мерилом качества, и тогда соответствующим образом подсчитанные и взвешенные показатели составляют убедительное, целостное "определение" качества». Что показывают  в данном случае результаты, заключается в том, что, вероятно, показатели в большинстве своем являются  побочными проявлениями некой основной черты, не подлежащей измерению» (скрытого неизвестного обстоятельства, которым может быть возраст заведения, размеры факультетов, расходы на одного студента)» (Usher and Savino, 2006, стр. 32-33).

В конечном счете, полученные данные часто противоречат тому, что ранжирования пытаются измерить тем же способом. В сравнительном исследовании Dill и Soo (2005) учитывали четыре аспекта, а именно – входные переменные, параметры процесса, выходные переменные и переменные репутации – для того, чтобы установить  степень конвергенции (т.е. абстрактно представленного качества) между пятью ранжированиями, выбранными для исследования[13]. Они пришли к выводу, что конвергенция  между пятью ранжированиями в целом найдена, поскольку все они включали в себя более или менее сходные входные данные (например, факультеты, студентов, финансовые ресурсы и возможности). Расхождения в параметрах процесса и выходных данных не повлияли на выводы. Тем не менее, в более позднем сравнительном исследовании Usher и Savino (2006) докладывают о найденных ими противоречиях. Рассмотрев показатели, используемые в 19 ранжированиях, они доказывают, что конвергенции в том виде, в каком осмысляется качество  составителями рейтингов, не существует. Они объединяют различия в полученных данных с последними сведениями  по их большему образцу (19 ранжирований)  и более широкому ряду категорий показателей, на основе которых были сделаны сравнения (7 групп показателей).

В другом смысле противоречивыми являются результаты рейтинга по разным таблицам. При взгляде на Top 50  учреждений по рейтингам THES и SJTU, можно отметить, что только 42% из них появляются в обоих списках: только один вуз занял одинаковое положение; 24 % вузов заняли места с точностью примерно в пять позиций; 8% – в пределах десяти; и 22 % были отдалены от своего места больше чем на десять позиций. При сравнении рейтингов, присужденных канадским университетам по системе THES и Maclean’s в 2005 г., результаты были идентичны только для двух лучших вузов. При сравнении рейтингов Maclean’s и  SJTU только один университет занял одно и то же положение, на шестой позиции. В целом, рейтинги имели сходство до восьмой позиции, а далее полностью расходились между собой.

Сравнение результатов аккредитации и рейтингов в странах, где можно получить доступные данные для этой цели, тоже многое бы разъяснило. В Южной Африке, например, ежедневная газета The Financial Mail составила и опубликовала рейтинг программ MBA за несколько лет. В 2005 г. Комитет управления по аккредитации высшего образования провел оценку всех программ MBA в Южной Африке и в результате закрыл треть действующих программ, включая две иностранные. Треть программ получило только условную аккредитацию. Интересно отметить, что соответствие между рейтингами и результатами аккредитации незначительное. Фактически, среди получивших самых высокий рейтинг MBA оказалось довольно много программ, прекративших свою работу. После этого случая The Financial Mail подвергла изменениям свою методологию и поменяла относительный вес показателей.

Можно ли использовать рейтинги конструктивно?

Как можно объяснить страсть к университетским рейтингам, несмотря на тот факт, что они имеют множество концептуальных и методологических ограничений? Какой совет следует дать правительствам, высшим учебным заведениям и общественности в целом, чтобы информация, представленная в рейтингах, воспринималась конструктивно и с некоторой долей критики?

На правительственном уровне: рейтинги как представители механизма обеспечения качества 

В странах, где не существует установленного механизма оценки или аккредитации, рейтинги можно эффективно использовать для контроля и улучшения качества, как это модно видеть на примерах Германии и Пакистана. В 1990 г., после падения Берлинской стены, группе ученых из Западногерманского Совета по науке было дано задание оценить своих коллег из Восточногерманских университетов. По мере выполнения своей миссии они обнаружили, что из-за отсутствия традиции оценки в Западногерманских университетах им придется создать собственную методологию, что они и сделали.

Позже, с 1998 г., составление рейтингов – при участии Центра развития высшего образования (Centrum fьr Hochschulenentwicklung), независимого агентства политических исследований, совместно с германской Службой академического обмена (Deutscher Akademischer Austausch Dienst) и ее информационным партнером – газетой Die Zeit - стало первой всеобъемлющей системой, обеспечившей целую панораму качественных показателей, в Германии, федерации, где основная ответственность за надзор  и финансирование университетов принадлежит землям. В результате опросов собираются данные из 132 университетов и 148 технических институтов (Fachhochschulen), и более 210 000 студентов и около 21 000 преподавателей принимают в них участие[14]. Вместо того чтобы рассчитывать общий рейтинг, основанный на взвешенных показателях, как  это происходит у THES и SJTU, CHE представляет детализированные данные опросов тысяч преподавателей и студентов как данные независимой, третьей стороны, рассматривая при этом университеты и технические институты раздельно. Для того чтобы облегчить использование информации, обобщающей собранные данные, рейтинги СНЕ предусматривают пять основных категорий показателей наряду с субгруппами. Сюда включаются:

-     Теоретические академические исследования и обучение (электронное обучение – с использованием электронных технологий, контакты между студентами, контакты между преподавателями и студентами, предлагаемые курсы, организация учебного процесса, практическая поддержка в течение семестра, консультирование, оценка преподавания);

-     Ресурсы, включающие оборудование и капитал (компьютерное оборудование, аудитории, библиотечные ресурсы, автоматизированные рабочие места);

-     Рынок труда и планирование карьеры (программы, связанные с рынком труда);

-     Суммарное мнение студентов и преподавателей (суммарная оценка, исследовательская репутация, рекомендации преподавателей, внутренняя информация); (‘professors' (insider) tip’; )

-     Исследования (докторские, международные публикации, другие публикации, финансирование третьей стороной и) (, third party funding; and )

-     Место учебы и высшее учебное заведение (спортзалы, низкая арендная плата/прожиточный минимум, расположение небольших колледжей, соревнования между университетами).

Любой, кто хочет ознакомиться с этими данными (публикуемыми немецкой газетой Die Zeit  и т.о. доступными в режиме он-лайн по адресу www.daad.de), может увидеть положение каждого университета или даже отдельной учебной дисциплины, по одному показателю или по группе показателей[15]. Читатели могут даже составить собственный рейтинг, основанный на показателях, наиболее подходящих по их мнению. Метод, разработанный СНЕ, обладает дополнительным преимуществом - избегает необъективности, связанной с подачей информации самими университетами. Недавно австрийские и швейцарские университеты недавно присоединились к этой деятельности, приняв необходимость постоянного сравнения с германскими университетами, за исключением высших медицинских учебных заведений Австрии, которые приняли участие в рейтинге, но отказались от  публикации своих результатов.

В Пакистане, после того как специальная национальная комиссия, учрежденная в 2000 г., представила неутешительный диагноз ситуации  в высшем образовании в стране – один из самых низких коэффициентов зачисления в мире (3 %), плохое качество, недостаток финансирования, правительством была запущена широкомасштабная реформа, которую возглавила вновь созданная Комиссия по высшему образованию (НЕС). Несмотря на радикальные изменения в управлении и финансовые обязательства (выборность руководителей университетов, создание попечительских советов, увеличение финансирования, введение формулы финансирования и т.д.), реформаторы также стоят перед необходимостью создания агентства по аккредитации для надзора и улучшения качества как в государственных, так и частных университетах Пакистана. Но осознав, что на эффективную аккредитацию большого количества программ уйдет несколько лет, НЕС приняла решение о проведении рейтингов как ускоренного метода оценки качества действующих вузов[16].

Рейтинг университетов в Пакистане был разработан по непосредственному заданию, полученному НЕС в 2002 г. для оценки университетов в известном смысле, что  способствовало бы быстрому и всестороннему развитию  всей системы высшего образования и особенно укреплению положения страны в мировой экономике[17]. Используя метод сравнения затраты-результат национальных учебных заведений, Пакистан основал механизм для достижения полезного преимущества и инвестирования в развитие вузов, чего не существовало до сих пор. Пять основных критериев, которые НЕС использует в своих рейтингах, аналогичны рейтинговым показателям, применяющимся в других странах. Распределение показателей:

1) преподавательский состав (25%),

2) результаты исследований (25%),

3) студенты (20%),

4) ресурсы и возможности, которыми располагает вуз (15%),

5) финансирование (15%).

Тот факт, что эти рейтинги больше учитывают результаты исследований и квалификации преподавателей, в обход других показателей, таких как качество подготовки новоиспеченных студентов и инфраструктура кампусов, можно сделать предположение о полном усвоении Пакистаном западного образца университета. А весовое распределение показателей определенно гарантирует продолжение дебатов о его значимости для развития системы высшего образования в Пакистане на сегодняшний день.

Консультативный комитет  по надзору за рейтинговой деятельностью, куда вошли руководители НЕС и представители университетов, принял решение о том, какие результаты будут опубликованы, а какие нет. Под нажимом одного из ведущих ректоров, чей университет (государственный) получил очень низкий рейтинг, комитет согласился не публиковать результаты. Вместо этого НЕС поделилась информацией, полученной в результате оценочного испытания, с каждым университетом, отмечая  его позицию по каждому критерию рейтинга. К примеру, Университету Х сообщили, что по отношению преподавателей с докторской степенью к общему количеству преподавателей, он оказался в самой нижней квартили (четверти таблицы) по сравнению с остальными университетами Пакистана.

Несмотря на всеобщий протест против публикации результатов рейтингов, этот опыт выявил, по меньшей мере, два положительных момента. Он заставил университеты более серьезно подходить к процессу сбора данных. Увидев результаты первого рейтинга, большинство представителей университетов отвергли их, аргументируя это тем, что поданные данные были явно ошибочными. Но когда было доказано, что данные были в точности те, что представлены соответствующим университетом, значимость сбора и совместного использования точной информации стала очевидной. Оказалось, что во второй раз сбор информации привел к появлению гораздо более надежного блока данных.

Эти рейтинги позволили правительству, впервые за всю историю Пакистана, вступить в конструктивный  диалог с университетами о качестве образования  на основе совместно разработанного инструментария. Не будучи совершенным, как впрочем и рейтинги НЕС, обсуждение специфических факторов, так или иначе относящихся к качеству преподавания и обучения, стало важной первой ступенькой  в развитии культуры качества в системе высшего образования Пакистана. Следует также отметить, что некоторые из этих критериев, включенных в расчет рейтингов, такие как соотношение кандидатов наук к общему количеству преподавателей, являются  частью новой формулы финансирования, которая используется для распределения бюджета среди государственных университетов.

Необходимо подчеркнуть, что правительства не смогут ожидать от университетов и других высших учебных заведений работы по улучшению качества и релевантности программ до тех пор, пока они не будут располагать достаточной автономией для разработки серьезного учебного плана и педагогических реформ по их собственной инициативе. Также существенным является доступ к дополнительным ресурсам для поддержки реформ, включая возможности для финансирования найма лучших преподавателей и исследователей на национальном и международном уровне.  В случае с Пакистаном, к примеру, Комиссия по высшему образованию (НЕС) установила несколько финансовых кредитных планов (several financial windows) для того, чтобы помочь университетам, желающим улучшить качество своих программ.

Использование рейтингов высшими учебными заведениями: Рейтинги как инструмент сопоставительной оценки

Несмотря на противоречивый характер рейтингов, часть университетов испытывают постоянное желание оценивать свое положение на международной арене в виде позиции в порядковой таблице.  В 2000 г. ректор Университета Торонто высказался о том, что он «испытал облегчение и удовлетворенность тем, что мы снова оказались на первом месте среди исследовательских университетов Канады» (The Bulletin, цитировано Provan и Abercromby, 2000, стр. 4). Университеты в развивающихся странах одинаково страстно желают превратиться в университеты "международного класса", как правило, ставя своей целью получить признание среди лучших университетов  по международным рейтингам.

Рейтинги все чаще используются вузами как ориентир для постановки  конечной цели, как это иллюстрирует следующий пример. Университет города Клемсона – вуз, имеющий земельный надел в Южной Каролине, – традиционно специализировавшийся на сельском хозяйстве и машиностроении, за последние годы претерпел радикальную трансформацию. Взяв за основу углубленный анализ трансформации штата Южная Каролина в один из ведущих автомобильных регионов в США, Университет Клемсона вступил в стратегическое партнерство с BMW с целью перепрофилировать себя в первый университет, специализирующийся на исследованиях и подготовке специалистов в области автомобилестроения и мотоспорта. В этом заявлении  о новом видении особо упомянута цель превращения в один из двадцати лучших  государственных университетов (по рейтингу US News and World Report),  уже поднявшись с 74 места, которое занимал университет четыре года назад, до  34 в 2005 г (Przirembel, 2005).

Marc (2004) исследовал влияние рейтингов журнала U.S. News and World Report на разные переменные и пришел к заключению, что даже, несмотря на их различное воздействие на государственные и частные учебные заведения, «приемы во многие учебные заведения подвержены влиянию рейтингов». Две последующие выдержки из протокола собраний ученого совета и совета управляющих двух канадских университетов хорошо иллюстрируют, до какой степени рейтинги считаются важными и способы, с помощью которых высшие научные круги пытаются реагировать на них.

Приложение 1

Если рейтинги пытаются дать ретроспективный анализ деятельности университетов, ставящий целью воплощение институциональных и национальных замыслов, тогда можно считать, что они  оказывают положительное влияние в плане улучшения ситуации. Например, в таких странах, как Япония, пришли к выводу, что национальные рейтинги приносят пользу, вынуждая к систематическому сбору данных и их сопоставительной оценке, а также ведут к реализации важных реформ  в направлении улучшении качества (Yonezawa, и др., 2002).

Как показывает соответствующие суммы баллов  по разным показателям, вузы могут занимать сильные позиции в разных областях, даже несмотря на то, что  их итоговый рейтинг говорит о другом.

В разных научных дисциплинах существуют свои лидеры. Ученые рассматривают Гарвард как стоящий на голову выше других в гуманитарных науках, медицине и общественных науках, но Кембридж лидирует в естественных науках и МТИ (Массачусетский технологический институт) в технических. Такая разность результатов подчеркивает, насколько различаются университеты в своем предназначении и сильных сторонах, что делает сложным их сравнение. Нет никакого основания думать, что университет с высоким рейтингом по нашей таблице лучше, чем любой на более низкой позиции (Times Higher Education Supplement University Rankings, 2005, стр. 2).

Существенный риск полагаться на результаты рейтинга  предполагает процесс ранжирования, превращенный в самоцель, вместо того, чтобы служить мерилом прогресса по направлению к качеству. Плюсом для академических институтов  было бы активное участие в определении показателей, служащих истинной мерой качества образования. Ведь ученые, в конце концов, располагают компетенцией  и  технологиями для того, чтобы делать заключения, основанные на фактах. Сформулировав точные и подходящие показатели качества преподавания, они сделают решительный шаг на пути к достижению образованности во всех областях академической деятельности, включая исследование, преподавание и обучение (Boyer, 1990). В этом смысле вузы также играют роль: им необходимо взять на себя роль лидера во взаимодействии со СМИ, правительствами и другими органами, проводящими рейтинги, дабы быть уверенными, что видение качества в рейтингах является обоснованным как теоретически, так и эмпирически, всеобъемлющим и  общим для всех заинтересованных сторон.

Внутри университетов, кафедр и академических подразделений лучше всего определяются эксперты из коллег, которых можно выбрать для проведения оценки своей деятельности. Если вузы хотят, чтобы их высокое качество было признано, они должны быть в состоянии обеспечить ресурсы для своих подразделений, чтобы дать им возможность провести сравнительную оценку с их сильнейшими конкурентами. Будучи твердыми в своем предназначении, честными в своей деятельности и прозрачными в способе использования своих ресурсов, вузы, как и академические подразделения, могут намного более эффективно предоставлять то, что популярные СМИ выставляют путем широкого распространения порядковых таблиц.

Если общественность оказывает давление

Часто критикуемая за использование рейтингов как уловки для повышения продаж,  пресса, тем не менее, играет по-настоящему образовательную роль, делая важную информацию доступной для общественности. Это иллюстрирует опыт аккредитации в Колумбии. Колумбия была первой страной Южной Америки, установившей в середине 1990-х гг. систему аккредитации, однако число программ, подвергнутых проверке новым органом аккредитации, оставалось в первые несколько лет относительно низким, поскольку закон об аккредитации сделал этот процесс добровольным и наиболее престижные университеты, государственные или частные, не принуждались к участию в нем. Тем не менее, начиная с 2000 г., после того как  главная газета страны El Tiempo начала публиковать дважды в год полный список программ, получивших аккредитацию, чтобы помочь студентам сделать выбор среди различных предложений, университеты все больше начали ощущать необходимость присоединиться к процессу аккредитации, когда студенты продемонстрировали явное предпочтение аккредитованным программам.

Одним из принципиальных достоинств рейтингов является то, что они побуждают общественность к дискуссии о критических проблемах, затрагивающих систему высшего образования, которые часто игнорируются либо из-за недостаточно широкой перспективы, либо из нежелания ставить под вопрос установленную практику или чьи-либо законные интересы. Хорошим примером тому является полемика, начатая во Франции, когда рейтинги Шанхайского университета были впервые опубликованы. После того, как было обнаружено, что лучший университет Франции занял 65 место, ежедневная газета Le Monde выпустила статью от 24 января 2004 г. под заголовком «Большие страдания французских университетов». Что удивительно, ни один из ректоров университетов или профсоюзных лидеров, дававших интервью, не критиковал ни принцип расчета, ни методологию рейтинга SJTU. Вместо этого они сфокусировались на проблемах, с которыми столкнулись их вузы, в особенности недостатке бюджетного финансирования как одной из причин упадка университетской системы во Франции.

Несколькими месяцами позже один из ведущих специалистов страны в сфере экономического образования Franзois Orivel написал очень разумную статью, где проанализировал причины низкой конкурентоспособности французских университетов на международной арене (Orivel, 2004). Одним из принципиальных установленных факторов  является тот факт, что французским университетам не разрешается делать отбор наиболее сильных по уровню знаний студентов. Уникальной особенностью системы высшего образования во Франции является ее дуальная структура, которая разделяет Высшие школы (Grandes Ecoles), набирающие лучших студентов по очень высокому  национальному конкурсу, и университеты с автоматическим доступом после окончания средней школы. Так как Высшие школы действуют как преимущественно элитные профессиональные школы, которые ведут очень небольшое количество исследований, большинство докторантов в исследовательских университетах не происходят из наиболее сильных по уровню знаний групп студентов,  в отличие от практики, принятой в более успешных университетских системах США, Великобритании или Японии. Другой важный фактор – абсолютное отсутствие конкуренции между университетами. Все университеты равны по условиям бюджетного финансирования и распределению персонала. В результате существует очень мало головных центров с высокой концентрацией лучших исследователей.

Другой интересный пример из Бразилии, где в середине 1990-х гг. министр образования представил оценочный тест, призванный сравнить качество  базовых программ обучения (бакалавриата) в университетах. Его можно охарактеризовать как рейтинговую деятельность в том смысле, что университетские программы располагались в зависимости от среднего балла, определяемого от количества участвующих в программе студентов. Даже несмотря на то, что Provгo был добровольным и не подсчитывал средние баллы выпускников, он был встречен вначале  с большим сопротивлением и неприязнью. Студенты неохотно выполняли тест, и университеты сами не стремились побуждать своих студентов к участию, особенно, после того как первые туры выявили, что некоторые из лучших государственных университетов получили меньшее количество баллов, чем ожидалось, в то время как  некоторые студенты из менее известных частных университетов показали хорошие результаты. Но со временем Provгo был принят, и все больше работодателей  просили соискателей предоставить результаты по этому тесту, что стало мощным стимулом для участия студентов в тесте[18]. Аналогично, в Нигерии, после того как Совет по распределению субсидий среди университетов приступил к оценке программ профессионального обучения, работодатели начали восстанавливать доверие к местным университетам и приглашать на работу выпускников технических программ с наивысшим рейтингом.

Заключение: на пути к будущему

«Я подошел к диалогу о рейтингах с большой долей скептицизма по поводу их способности служить эффективными показателями качества учреждений. Но  думаю, справедливости ради следует отметить, в большой степени неуместно говорить о том, что так или иначе колледжи и университеты соглашаются с результатами различных рейтинговых систем и ранжирований. Определенно ясно, что рейтинговые системы не прекратят свое существование. В результате я пришел к выводу, что важно изучить все, что касается работы рейтинговых систем, и обеспечить рабочий механизм для тех, кто проводит рейтинги таким образом, чтобы они могли усовершенствовать и укрепить свою методологию» (Merisotis, 2006)[19].

Кажется, мир помешался на рейтингах во всех профессиональных сферах. Страны ранжируются в своей деятельности во всевозможных областях, от Олимпийских игр до качества жизни. Был даже составлен рейтинг из произведений Моцарта, когда мир отмечал 250 лет со дня его рождения. Тогда неудивительно, что в нынешнем высшем образовании, которое отличается возросшей международной конкуренцией за студентов, количество ранжирований университетов  за последние годы резко возросл. Это связано с тем, что правительства и общественность в целом больше чем когда-либо озабочены соответствующей деятельностью учреждений высшего образования и извлекают наилучшую воспринимаемую полезность как потребители образовательных услуг. Как редкость, престиж и желание получить доступ к «самому лучшему» все чаще определяют цену товаров (машин, дамских сумочек и «ливайсов»), также и потребители образовательных услуг ищут показатели, повышающие цену знаниям и дающие доступ к самому лучшему в высшем образовании.

Многие аналитики считают рейтинги  по странам бессмысленными из-за огромной разницы в основных характеристиках систем высшего образования и соответствующей им социальной и культурной среды. Источники финансирования, модели управления, степень управленческой автономии, различия в предназначении вузов, наличие проверенных данных и возможность влиять на статистику являются важными аспектами, которые способствуют колебаниям и поддерживают их жалобы на бессмысленность этой деятельности.

Несмотря на свой противоречивый характер и методологические недостатки, рейтинги университетов стали широко распространенными и едва ли перестанут существовать. Возможными реакциями на этот быстро распространяющийся феномен могут быть игнорирование, отрицание или бойкот любой формы оценочной деятельности. Другая, менее радикальная позиция выражает стремление к  анализу и пониманию значения и ограничений оценочной деятельности. Из недавнего международного опыта ранжирований, рассматриваемого в данной статье, можно извлечь ряд уроков, которые могут помочь политикам, институциональным лидерам и общественности принимать более взвешенные (осведомленные) решения  относительно пользы рейтинговых механизмов. На основе дискуссии, представленной ранее, следующие общие рекомендации могут помочь вуза, правительствам, студентам и их родителям, а также общественности в целом извлечь пользу из рейтинговой деятельности, как и задумывалось в самом начале.

Рекомендации

-     Следует иметь ясное представление о том, что действительно может быть измерено рейтингом. Несмотря на неопределенность вокруг структуры качества, организаций, правительственных органов или СМИ, которые проводят рейтинги вузов, следует ясно осознавать их определение качества. Им следует также подробно излагать, что измеряется или не измеряется их рейтингом, цель ранжирования и аудиторию, для которой предназначена эта информация. Обоснованность, надежность и полнота выбранных показателей могут быть лучше раскрыты в свете данной информации и принятого во внимание масштаба академической деятельности (например, преподавание, исследования и т.д.), а также типов учреждений, подвергнутых оценке. К тому же,  им следует сделать сырой материал, на котором основана оценка, широко доступным, а процесс расчета рейтинга прозрачным,  таким образом, чтобы обеспечивалась независимость выводимого ими рейтинга.

-     Лучше всего использовать  несколько показателей и разные единицы измерения, чем единичное, взвешенное  ранжирование. Определение качества в контексте высшего образования предполагает, что студентам дается возможность реализовать свои стремления и оправдать ожидания общества, а также соответствовать требованиям правительства, деловых и промышленных кругов и стандартов, установленных профессиональными ассоциациями (Gola, 2003). Ранжирования должны использовать широкий диапазон показателей, уделяя большое значение исходным показателям и показателям отдачи, чтобы обеспечить учет  в оценке всех единиц измерения качества. Несколько наборов показателей дадут в итоге несколько результатов вернее, чем один всеобщий результат,  таким образом, выставив на свет сильные и слабые стороны.  Несоответствие между результатами рейтингов  в разных ранжированиях и отсутствие значительной разницы  между учреждениями, несмотря на занимаемое ими место по отношению друг другу,  дает возможность предположить, что расположение целых заведений по рангу бессмысленно. Более разумным представляется ранжирование заведений по группам/ программам, как это было проделано с использованием немецкого метода или  метода Australian Star, где  определялись  места каждого вуза по отдельным показателям (Clarke, 2000a).

-     Стоит сравнивать похожие между собой программы или вузы. По причине своих методологических ограничений рейтинги тем больше имеют смысл, чем меньше объект сравнения. Таким образом, более предпочтительным представляется ранжирование программ, а не вузов. Если же абсолютно необходимо составить рейтинг вузов, нужно сравнивать между собой похожие учреждения. Это означает, что недостаточно просто убедиться  в сходстве их названий  (университетов с университетами,  муниципальных колледжей с муниципальными колледжами), а стоит быть уверенными в сходстве их  по назначению, организации и программам, например, исследовательских университетов с исследовательскими университетами, педагогических колледжей с педагогическими колледжами и т.д.

-     На уровне вузов рейтинги следует использовать в целях стратегического планирования и улучшения качества. Высшие учебные заведения, просматривающие  детальные результаты рейтингов для сравнительной оценки, будь то рейтинги внутри страны, по странам или в динамике по времени,  могут использовать их информацию для  стратегического мышления и планирования. Таким способом можно найти свои слабые и сильные стороны и определить свои действия по исправлению ситуации. Важный для понимания момент заключается в том, что отдельным университетам не нужно страдать по поводу своего рейтинга самого по себе или ставить целью подняться на определенное место в рейтинге. Скорее, им  надо  держать в поле зрения отдельные показатели для того, чтобы лучше понять, какие факторы определяют их деятельность, и работать над улучшением качества преподавания, обучения и исследований, как это и должно быть.

-     На правительственном уровне рейтинги следует использовать для развития культуры качества. В странах, где пока не существует прочно установившейся системы оценки и/или аккредитации,  рейтинги нужно использовать как часть механизма оценки качества. В конечном счете, важно усвоить устойчивую методологию, основанную на принципах, описанных в предыдущих параграфах.  Включение высших учебных заведений в процесс создания методологии имеет большое значении для создания духа ответственности  и общности целей. После того как в Нигерии в 1999 г. были введены рейтинги высших учебных заведений, они не встретили большого сопротивления, потому что Комиссия по распределению субсидий среди университетов, ответственная за проведение оценки, дала университетам возможность критиковать и изменять критерии, вызвавшие их несогласие.

-     Рейтинги следует использовать как инструмент информирования студентов, их семей и работодателей, а также средство поддержания общественной дискуссии. Рейтинги, основанные на множестве показателей, а не единственной взвешенной единице измерения, могут стать источником полезной информации для будущих студентов и работодателей при поиске выпускников с подходящей профессиональной и научной квалификацией. Считаясь скорее первичным мерилом качества и/или соответствия, рейтинги  должны быть дополнены информацией по аккредитации и данными результатов обзора ситуации рынка труда, собранными через опросы работодателей и исследователей. В заключение, результаты ранжирований также могут служить для оживления национальных дебатов о долговременных стратегических приоритетах и политике, проводимой по отношению к высшему образованию, как это показывает пример Франции.

Список литературы

“College and University Rankings”. Retrieved on 5 April 2006, from Wikipedia at http://en.wikipedia.org/wiki/University_rankings.

Bowden, R. “Fantasy Higher Education: University and College League Tables”. Quality in Higher Education 6 (1), 2000, pp. 41-60.

Boyer, Ernest L. Scholarship Reconsidered: Priorities of the Professoriate. Princeton: The Carnegie Foundation for the Advancement of Teaching, 1990.

Brooks, R. L. “Measuring University Quality”. Review of Higher Education 29, (1), 2005, pp. 1-22.

Brooks, R. L. and Junn, J. (2002). How Well Can Reputations Be Measured? Analysis of 1992-1993 NRC Data. Association of American Universities' Assessing Quality of University Education and Research Project (unpublished manuscript).

Cartter, A.M. An Assessment of Quality in Graduate Education. Washington, DC: American Council on Education, 1966.

Clarke, M. “Some Guidelines for Academic Quality Rankings”. Higher Education in Europe 27 (4), 2002, pp. 443-459.

Clarke, M. (July 2005). “Quality Assessment Lessons from Australia and New Zealand”. Higher Education in Europe, 30 (2), pp. 183-198.

Cohen, D. (2004). “New Zealand Releases Controversial University Rankings”. The Chronicle of Higher Education (7 May 2004). Retrieved on 10 May 2006 from http://chronicle.com/weekly/v50/i35/35a04202.htm.

De Miguel, J.M., Vaquera, E. and Sanchez, J. “Spanish Universities and the Ranking 2005 Initiative”. Higher Education in Europe, 30 (2), July 2005, pp. 199-216.

Diamond, N. and Graham, H. D. “How Should We Rate Research Universities?” Change, 32, July/August 2000, pp. 20-33.

Dill, D. and Soo, M. “Academic Quality, League Tables, and Public Policy: A Cross-national Analysis of University Ranking Systems”. Higher Education, 49, 2005, pp. 495-533.

Eccles, C. “The Use of University Rankings in the United Kingdom”. Higher Education in Europe 27 (4), 2002, pp. 423–432.

Economist (The) (6 June 2002). “Coming to A University Near You (MBA Rankings-Latin America)”.

Ehrenberg, R.G. Tuition Rising: Why College Costs so Much. Cambridge: Harvard University Press, 2002b.

Goddard, A, Thomson, A. and Wojtas, O. “How did you perform?” Times Higher Education Supplement, 3, December 1999, p. 4.

Gola, M. Premises to accreditation: A minimum set of accreditation requirements in accreditation models in higher education experiences and perspectives in ENQA. Workshops Reports 3, European Network for Quality Assurance in Higher Education, Helsinki, 2003, pp. 25-31.

Gormley, W.T. Jr. and Weimer, D.L. Organizational Report Cards. Cambridge: Harvard University Press, 1999.

Graunke, S. and Woosley, S. “An Exploration of the Factors that Affect the Academic Success of College Sophomores”. College Student Journal (June 2005).

Guarino, C., Ridgeway, G., Chun, M. and Buddin, R. “Latent Variable Analysis: A New Approach to University Ranking”. Higher Education in Europe, 30 (2), 2005, pp.147-165.

Higher Education Funding Council for England (HEFCE) (1999). Performance Indicators in Higher Education: First Report of the Performance Indicators Steering Group (PISG). Report 99/11, Higher Education Funding Council for England. Available at http://www.hefce.ac.uk/pubs/hefce/1999/99%5F11.htm

Higher Education Funding Council for England (HEFCE) (2003). Performance Indicators in Higher Education: 2000–2001 and 2001–2002. Report 2003/59, Higher Education Funding Council for England. Available at http://www.hefce.ac.uk/learning/perfind/ 2003/default.asp

Jobbins, D. “Moving to a Global Stage: A Media View”. Higher Education in Europe, 30 (2), 2005, pp. 137-145.

Liu, N.C. and Liu, L. “University Rankings in China”. Higher Education in Europe, 30 (2), July 2005, pp. 217-228.

Liu, N.C., and Cheng, Y. “The Academic Ranking of World Universities”. Higher Education in Europe, 30 (2), 2005, pp. 127-136.

Orivel, F. “Pourquoi les universitйs franзaises sont-elles si mal classйes dans les palmarиs internationaux?” [Why French Universities Are so Poorly Ranked in International League Tables?]. Dijon: Notes de l’IREDU, May 2004.

Pike, G. R. “Measuring Quality: A Comparison of U.S. News Rankings and NSSE Benchmarks”. Research in Higher Education 45(2), March 2004, pp. 193-208.

Print M. and Hattie J. “Measuring Quality in University: An Approach to Weighting Research Productivity”. Higher Education. 33, 1997, pp. 453-469.

Provan, D. and Abercromby, K. “University League Tables and Rankings: A Critical Analysis”. CHEMS Paper No. 30 (December 2000).

Przirembel, Chris. A Presentation at the MIT Conference on Local Innovation Systems, Cambridge, Massachusetts, 13 December 2005.

Ramsden, P. Learning to Lead in Higher Education. London: Routledge, 1999.

Rocki, M. “Polish Rankings: Some Mathematical Aspects”. Higher Education in Europe 30 (2), July 2005, pp. 173-182.

Statistics Canada and Canadian Association of University Business Officers (Caubo). (2003, 2004). “University Research Income 2003-2004”. In: The Canadian Association of University Teachers (CAUT), Almanac of Post-Secondary Education 2006, p. 46.

Stuart, D. “Reputational Rankings: Background and Development”. New Directions for Institutional Research, 88, 1995.

Tight, M. “Do League Tables Contribute to the Development of a Quality Culture? Football and Higher Education Compared”. Higher Education Quarterly 54 (1), 2000, pp. 22–42.

Turner, D.R. “Benchmarking in Universities: League Tables Revisited”. Oxford Review of Education 31(3), September 2005, pp. 353-371.

Usher, A. and Savino, M. “A World of Difference: A Global Survey of University League Tables”. Canadian Education Report Series. Toronto: Education Policy Institute, January 2006.

Van Dyke, N. “Twenty Years of University Report Cards”. Higher Education in Europe, 30 (2), 2005, pp. 103-126.

Wenr (September/October 2003). Nigeria: NUC releases 2003 university rankings. Retrieved on 3 April 2006, from http://www.wes.org/ewenr/03Sept/Africa.htm

Winston, G.C. and Zimmerman, D.J. (2003). “Peer Effects in Higher Education”. NBER Working Paper 9501: http://www.nber.org/papers/w9501.

Yonezawa, T., Nakatsui, I. and Kobayashi, T. “University Rankings in Japan”. Higher Education in Europe, 27(4), 2002, pp. 373-382.