Рейтинги и ранжирования в высшем образовании: опыт применения сравнительного анализа

 

 Ролан Пруль

 

Задача статьи – внести вклад в полемику по поводу идеи сравнительного анализа и составления рейтингов ВУЗов путём освоения критического подхода к методологии ранжирования с точки зрения применения сравнительного анализа по отношению к университетам. Отсутствие чёткой схемы проведения сравнений в процессе составления рейтингов, по мнению автора, является одной из основных проблем, возникающих при применении системы ранжирования на всех уровнях – региональном, национальном, международном. Опыт проведения сопоставительного анализа 10 ведущих исследовательских университетов Канады на уровне факультетов должен способствовать пересмотру принятой в мировой практике системы ранжирования и обозначить возможные пути её реконструкции в некоторых, наиболее важных аспектах.

 

 

Введение

 

Потребовалось почти 40 лет на то, чтобы университеты приняли концепции, методологию и материально-техническую базу оценочного процесса. Некоторые из них быстро получили признание и стали частью университетской культуры. Больше времени, начиная с 1985 г., потребовалось, чтобы внедрить на практике показатели производительности, стратегическое планирование, сравнительный анализ и ранжирование, идеи конкуренции и соревновательности, которые, казалось бы, противоречат самому духу университета.

Составление рейтингов, особенно когда дело касается университетов мирового класса, остаётся более противоречивым, чем прочие виды оценки, и сегодня широко дискутируется на самых высоких уровнях. Оценка различных типологий, применяемых при проведении сопоставительных оценочных испытаний, проводится с различных подходов. Задача данной статьи – принять участие в дебатах, демонстрируя критическое восприятие методологии ранжирования с точки зрения применения сравнительного анализа по отношению к университетам.

Чтобы использовать возможности, которые система сравнительного сопоставления ВУЗов может позаимствовать из практики оценки конкурентоспособности предприятий, а также успешно  прогнозировать возможные пути реконструкции данной системы, поставим перед собой две цели:

1.      Представить опыт проведения сопоставительного анализа 10 исследовательских университетов Канады на уровне подразделений/факультетов

2.      Пересмотреть мировую систему составления рейтингов университетов.

 

 

Опыт ранжирования 10 университетов Канады

 

Объединение 10 канадских университетов, проводящих активные исследования, семь лет назад запустило программу обмена данными под названием «Программа ‘Группы Десяти’ по обмену данными» (G10[1] Data Exchange Program, 2005), преследуя цели: обмен передовым опытом каждого из  институтов и содействие каждому участвующему в программе учреждению в выработке собственной стратегии.

В этих условиях одна из подпрограмм, названная «Инструкции и финансовые данные для факультетов» выполняла задачу сравнительного анализа десяти институтов по чисто академическим показателям на уровне кафедр: 35 кафедр подверглись анализу по 21 критерию и были сопоставлены  с учётом избранных индикаторов и контекстуальных особенностей.

Рамки применения сравнительного анализа

Исследование предполагало прохождение нескольких этапов, результаты которых необходимо было проверить и обработать, что входило в обязанности  «Межвузовской Группы G10, ответственной за сбор информации по факультетам».

i. Подготовительная ступень, которую должно пройти  любое сравнительное оценочное исследование - идентификация и отбор объектов изучения, была в полной мере реализована самой природой программы обмена данными, построенной на базе партнёрства десяти ведущих исследовательских университетов.

ii.Должен был быть проведён отбор релевантных переменных и строгая установка определений. Эта процедура требует всестороннего обсуждения и двух отдельных операций, позволяющих определиться с выбором показателей и провести пробное тестирование, чтобы убедиться в методологической состоятельности исследования. Была отобрана 21 переменная. Согласованы определения для каждой из них.

iii. Был предложен, обсужден и принят комплекс из 10 показателей и коэффициентов, отображающих производительность и стратегию.

iv. Группе также необходимо было выявить пригодные для сравнения подразделения/факультеты/программы. Весомый вклад в определение сопоставимых подразделений, предметных областей и программ внесло использование The CIP Code. Список подразделений и программ, предложенных, по меньшей мере, пятью из десяти университетов, был распространён среди институтов, вовлечённых в исследование. Каждый институт должен был заявить о своём выборе тех дисциплинарных отраслей, за изучение которых он возьмёт на себя ответственность. Каждому университету был выслан для выполнения пробный образец анализа подразделения.

v. Образцы, представляющие все принятые в разработку подразделения, а также показатели, по которым должны отчитываться исследующие их институты, были разосланы кураторам в каждом из институтов. По мере поступления отчётов, общий куратор составил сводный комплекс показателей и провёл предварительный анализ. Причиной выявленных расхождений и аномалий стали либо недостоверные сведения, либо достоверные данные, но требующие пояснения обстоятельств их получения. Было решено, что будет проведена третья стадия исследования, дополняющая  его сведениями о положении каждого из институтов путём определения его экономического профиля. Были выделены четыре возможных профиля.

vi.После завершения сбора информации, университет за университетом, факультет за факультетом, после анализа показателей и  составления общей картины, совокупный отчёт был отправлен кураторам каждого из институтов для утверждения полученных данных.  Сравнение данных, полученных институтами,  между собой, а также  набора выявленных показателей  и экономических условий, в которых работают институты, явилось очень полезным, так как позволило быстро обнаруживать отклонения. Далее каждый из показателей был представлен в виде графика.

vii.Итоговый отчёт, содержащий 8 разделов, отразил данные по каждому из показателей и профилей для внутреннего предназначения и использования.

Особенности применения сравнительного оценочного анализа

Крайне важно, что данные, полученные с помощью сравнительного оценочного анализа, были не просто получены, но и применены. Осуществление сравнительного оценочного анализа рождает надежду, что полученные материалы лягут в основу действий, решений, ощутимых результатов, включая:

- Оказание поддержки в виде периодического исследования и оценки научных подразделений, где применяется внутренний и внешний сравнительный оценочный анализ, наряду с экспертными проверками;

- Выявление проблемных зон, сильных и слабых сторон и составление планов по улучшению качества;

- Сбор информации по бюджетным запросам, перераспределение ресурсов, для лучшего удовлетворения нужд и ожиданий подразделения, а также обоснование необходимости финансовых инвестиций;

- Обеспечение финансирования со стороны администрации университета или внешних источников;

- Обеспечение прироста добавочной производительности, включая отслеживание прогресса в целом, процента выпускников, улучшения качества учебного процесса, баланса между количеством студентов и выпускников, наличия ассистентов преподавателей, повышение результативности научных изысканий;

- Помощь факультетам в стратегическом и оперативном планировании, а также стратегическом позиционировании;

- Определение областей, требующих проведения дальнейших исследований и сравнительного оценочного анализа;

- Гарантия предоставления необходимой внешней и внутренней отчётности.

Необходимость переустройства мировой системы ранжирования ВУЗов

Значительное количество университетов уже включили в свои стратегические планы (Bryson, 1995)  и  мероприятия по формированию и поддержанию своего бренда (Knapp, 2000; Maret, 2005) так называемые стандарты составления рейтингов ARWU и THES. Требуется подробное обсуждение этого факта для выяснения целей ранжирования, а также перехода от  одностороннего и изоморфного взгляда на университеты к комплексу критериев, который наилучшим образом соответствует стратегическим целям каждого из направлений (Bellon 2005). Затем необходимо задать себе несколько вопросов, которые уже были подняты и обсуждены Европейским Центром  высшего образования под патронажем ЮНЕСКО (UNESCO-CEPES, 2002) и Шанхайским Университетом (2005): какой должна быть цель ранжирования университетов мирового класса и какие показатели успешности, процедуры и этические соображения должны быть включены в концептуальные рамки или классификацию, предназначенные для ранжирования ВУЗов (Kee, 2005)? Существуют предварительные наработки, которые могут способствовать разрешению многих спорных вопросов и выработке новой парадигмы (UNESCO-CEPES, 2004; Altbach, 2004; Niland, 2005; IREG, 2006).

Типология ранжирования может быть пересмотрена с различных ракурсов. Прежде чем занимать жесткую позицию и критиковать существующую систему составления рейтингов образовательных учреждений, необходимо выработать созидательный подход для поиска инновационных сценариев и  новых путей ранжирования сквозь призму сопоставительного анализа. Принимая во внимание, что ранжирование в основе своей есть сравнительное действие, сопоставительный анализ мог бы пролить новый свет на этот процесс и способствовать созданию новых парадигм.

За исключением Центра развития высшего образования (СНЕ), методы сопоставительного анализа редко применялись в процессе составления рейтингов университетов.  Ланг и Жа (Lang and Zha, 2004) справедливо подчёркивают, что «ранжирование и составление рейтингов является наиболее очевидным и доступным проявлением сопоставительного анализа» (стр. 1). Что же назвать ранжированием, если не результаты процесса оценочного сравнения, стандартизованные, взвешенные и расположенные  в порядке рейтинга (Vlăsceanu, Grünberg, and Pârlea, 2004)? Таким образом, сопоставительный анализ должен быть признан необходимым и конструктивным действием в процессе ранжирования. Отсутствие строгой методологии сравнительного анализа в процессе составления рейтингов является одной из основных проблем систем и процедур ранжирования на всех уровнях – региональном, национальном и международном.

 

 

Назначение ранжирования: сотрудничество или конкуренция?

 

В основном, системы ранжирования  и типология сравнительного анализа различаются по назначению и целевой аудитории, что поднимает вопрос эпистемологии. Каким целям должно служить университетское сообщество?  На какую аудиторию должны быть ориентированы составляемые списки ведущих ВУЗов?

С внешней позиции сравнительного анализа, ранжирование университетов, как оно проводится сейчас – на глобальном, национальном и даже региональном уровнях, –- чуждо идее оценочного сравнения, для которого свойственен дух сотрудничества и стремление к улучшению работы университетов путём обмена информацией, внедрения «передового опыта» во имя повышения качества (Alstete, 1996), а также для мониторинга организационных процессов, который даёт сведения, необходимые для принятия университетом стратегических решений (Stewart and Carpenter-Hubin, 2000). Цель составления списков ведущих университетов, напротив, состоит в том, чтобы выделить «класс мировых лидеров» или «двухсот (пятисот) передовых исследовательских институтов» (что, между прочим, никогда не должно использоваться как синоним «университетов мирового класса»), которые занимают определенные «места в соревновании» или завоёвывают то или иное количество «звёзд». Списки лидирующих университетов, составленные на основе только итогового количества набранных баллов не дают представления и ключа к пониманию того опыта, который мог бы быть использован для улучшения  работы университетов.

Нет никаких сомнений по поводу аудитории, для которой предназначены рейтинги: они служат интересам ректоров, членов учёного совета, инвесторов и представителей правительства, которые используют их для продвижения и финансирования того или иного ВУЗа, особенно, если он высоко котируется. Они определенно помогают ведущим университетам привлекать и удерживать лучших преподавателей, зачислять самых талантливых студентов и получать больше финансирования, пожертвований и исследовательских грантов. Но задача завоевать место среди лидеров может не отвечать интересам широкой общественности: студенты и преподаватели в первую очередь будут искать факультеты или дисциплины, которые отвечают их потребностям и стремлениям, а руководство университета будет, прежде всего, внедрять те стратегии и тот передовой опыт, которые позволят им сохранить или достичь позиции университета мирового уровня.

Составление списков лидеров, которое было позаимствовано из промышленности и рыночной экономики, стимулирует университеты обращать внимание на проблему конкурентоспособности в глобальную эпоху. Уже не должно быть никаких двусмысленных толкований конкуренции в эпоху глобализации. Университеты существуют в условиях рынка с жесткой конкуренцией, соперничая за дефицитные ресурсы глобальной экономики. Один из уроков, который можно извлечь – это то, что факультеты и университеты мира соревнуются за качество и успешность, а не стараются просто обойти друг друга или отдать дань собственной гордости. Они соперничают, чтобы улучшить свои позиции на региональном, национальном или международном рынке, находясь в очень специфических культурных условиях. Типология сравнительного анализа напоминает нам о самой природе университетов, о том, как передаются знания и совершенствуется их деятельность. Измерение и сравнение качества работы университетов должно, прежде всего, происходить в духе партнёрства и сотрудничества, дабы помочь университетам улучшить эффективность их труда и занять стратегическую позицию в глобальном миропорядке, равно как и в переменчивых, специфических культурных, социально-экономических и политических условиях на региональном и национальном уровнях (Altbach, 2003)[2].

 

 

Ложная цель ранжирования

 

Процедуры сопоставительного анализа не нацелены на присвоение разряда или класса. Опосредованно они поднимают вопрос о том, насколько соотносимо ранжирование с природой и идеей университета. Для многих – категорически нет! В соответствии с публикациями Центра (Center, 2000), оно отражает популярную во всём мире

«страсть к погоне за мифическим титулом «Номер Один» в каждой сфере: самый богатый человек, одетый лучше всех, самое высокое здание, самый быстрый бегун, лучшая футбольная команда.…Эта соревновательная модель человеческого поведения может хорошо работать в легкоатлетических состязаниях или на баскетбольных чемпионатах. Она может служить для категоризации величин, легко поддающихся нормированию, таких как урожайность зерна, количество выпавших осадков. Но при этом она с треском проваливается  при попытке чётко классифицировать ВУЗы, которые отличаются не только сложностью и разнообразием…» (p.7-8).

Составление рейтингов с целью стимулирования конкуренции ведёт также к формированию однородного и одностороннего образа университета, и усиливают неизменно присутствующий моделирующий эффект, оказываемый  исследовательскими университетами на другие категории университетов. Принцип «всех под одну гребёнку»,  утвержденный и распространяемый глобальной системой ранжирования, приводит к негативному эффекту и последствиям, подрывающим идею многообразия университетов, к противопоставлению институтов одного другому и установлению специфических и статичных понятий о качестве (Lang and Zha, 2004).

Наконец, ранжирование имеет оттенок цинизма. Актуальные системы составления рейтингов базируются на трёх основных критериях: репутация, награды/медали и количество публикаций/цитируемость. Только немногие из     9 000 университетов, продемонстрировавшие наличие всех трёх компонентов на высоком уровне, получили право войти в клуб избранных и занять своё место среди 200 или 500 лучших ВУЗов всего мира (составляя менее 1 процента всех университетов).  Исследования показывают, что университеты мирового класса принадлежат к самым богатым и элитарным институтам: большинство охватывают  широкий круг учебных предметов, проводят собственные исследования, имеют свою медицинскую школу, отличаются относительно малым количеством студентов на одного преподавателя, обладают компетентным административным  и техническим персоналом и располагают значительным финансированием и добровольным взносами (Hsiou-Hsia Tai, 2005).

Очевидно, что завоевание места среди 200 или 500 университетов мирового класса представляет собой недостижимую цель и формирует модель и выбор университета, недоступный рядовому человеку. Смит (Smith, 2004) даже выдвигает предположение, что высшее образование в США на данный момент организовано таким образом, что оно вообще неспособно предоставить возможность обучаться людям с доходами ниже средних. Несомненно, составление списков лидирующих университетов требует рассмотрения с гносеологических, социально-экономических и этических позиций.

 

 

Сравнение сопоставимого

 

Университеты - это в высшей степени сложные, многоуровневые и различные по своей организации, структуре, миссиям и целям, проводимым научным мероприятиям, разработкам и финансированию учреждения. Поэтому мы будем испытывать значительные трудности, сравнивая и ранжируя их, до тех пор, пока не вычленим пригодные для сравнения черты и категории.

На институциональном уровне, учёные Фонда Карнеги, выпустившие книгу Основы или Классификация Карнеги в редакции 2005 г.,(The Basic or 2005 Revised Version of the Carnegie Classification) прикладывают всё больше усилий по созданию классификации университетов по нескольким сравнительным категориям. Невзирая на большое количество версий и обновлений Классификации Карнеги, эти категории  остаются неизменными: все университеты подразделяются на исследовательские, докторальные, общеобразовательные, базовые (дающие возможность пройти базовый курс обучения), и специализированные. Система МакЛинз (Канада), как и многие другие системы сопоставительного анализа и  ранжирования, применяемые, где бы то ни было, подразделяет университеты на три группы: медицинские/докторальные, общеобразовательные и  базовые. Рациональное основание такой классификации в том, что ни одно оценочное  сравнение или ранжирование невозможно до тех пор, пока не найдены пригодные для сопоставления основания (Teeter and Christal, 1987; Stralser, 1997).

Существующий опыт проведения сравнительного анализа и ранжирования университетов наглядно показывает, что сравнение и измерение показателей однотипных образовательных учреждений должны проводиться в форме сравнения сопоставимых факультетов и программ. Burke (2005) подчёркивает, что только отчёты, получаемые от кафедр институтов одного уровня, позволяют провести наиболее полное и надёжное сопоставление, позволяющее проанализировать качество их работы и выявить положительный опыт. Очевидно, что ранжирование университетов мирового класса только на институциональной основе может вести к искажению смысла анализа и что лучшие университеты – лучшие не во всём (Altbach, 2003). Возможно, прав Майкл Бэтти (Michael Batty, 2003), который предполагает, что если университет в целом получил статус университета мирового класса, то, по меньшей мере, половина из его факультетов была оценена таким образом.

Задача сравнить университеты мира  на уровне программ/подразделений и даже факультетов может быть невыполнимой. И главный вывод, который можно из этого сделать, то, что ранжирования университетов исключительно на институциональном уровне недостаточно. Если проведение ранжирования значимо и требуемая для этого информация доступна, то необходимо прикладывать все усилия, чтобы сравнивать университеты мира в тех дисциплинарных областях, по тем профилям и видам деятельности, где имеется почва для сравнения: медико-биологические исследования, естественные науки, социальные науки, гуманитарные предметы[3]. Каждая из этих основных предметных областей отличается специфическими чертами, проявляющимися при приёме студентов, обучении/преподавании, в существующих стратегиях проведения исследовательских операций, в публикациях и связях (Larivière, Archambault, Gingras and Vignola-Gagné, 2005).

 

 

Последовательный и функциональный отбор критериев

 

Сравнение качества работы отличающихся большим разнообразием университетов порождает значительные трудности, когда дело доходит до формирования набора критериев.  Несмотря на это они  представляют собой «пробу качества работы института» (The Center, 2004). Но тогда что же должно быть измерено, и каким образом?

Опыт сопоставительного анализа учит нас трём вещам: первое, индикаторы должны отражать основные компоненты или  «характерные черты» (Feng, 2005) миссии и образа университета, если конкретно, то преподавание/обучение, исследовательская деятельность, услуги, оказываемые обществу и их относительная значимость (Taylor and Massey, 1996). Говоря о значимости, работа «Условия образования» (Condition of Education, 2001: 84-85) даёт общую, однако ценную, картину рабочего времени преподавателей дневного отделения по категориям ВУЗов. В зависимости от категории университета соотношение времени, уделяемого преподаванию и исследовательской деятельности, отличается. Не требуя буквального восприятия, эти данные дают некоторые указания к действию: классификации университетов должны отражать многообразие университетов, их специфические профили деятельности и значимость, но избегать принципа «всех под одну гребёнку», (только исследовательские институты и характерные для них показатели), который, видимо, принят на вооружение существующими двумя системами ранжирования университетов мирового класса.

Второе – отбор критериев. Ашер и Савино (Usher and Savino, 2006) наблюдали 18 систем составления рейтингов университетов, применяемых по всему миру, и создали детальный список используемых при этом критериев: число последних измеряется сотнями (учёные разделили их на 4 группы). Это иллюстрирует не только сложность выделения показателей, но и тот факт - как они справедливо отмечают, - что «не существует абсолютно никакого согласия среди авторов о том, что же считать показателем качества». Это также вызывает предположения, что позиция того или иного института в рейтинге, зависящая от набора критериев, может оказаться в большей степени «игрой статистики»   (Usher and Savino, p.3).  Бойер  (Boyer, 2004) всегда утверждал, что  использование различных показателей и их значения случайны; мелкие изменения значения показателя могут вызвать серьёзные изменения в самом рейтинге. Два североамериканских учреждения, занимающихся сравнительным анализом, пытались сформировать набор объективных показателей, отвечающих целям институтов, отражающих базовые научные качества и данные, и, наконец, свидетельствующих об общем согласии между руководством института и исследователями, что должно быть приоритетным.

Третье – динамическая взаимосвязь между показателями. «Мировые системы ранжирования университетов обладают немногими, если вообще какими-то, сходными чертами, используют совершенно различные показатели придают им различное значение при измерении качества» (Usher and Savino, p. 3). Создается впечатление, что они действуют по методике “Quod erat demonstrandum” («Что и требовалось доказать»)! Метод сравнительного анализа основан на исходном допущении, что показатели качества работы университетов срабатывают эффективно только тогда, когда используются в составе комплекса индикаторов, описывающих логическую цепочку  ввод – обработка – результат (Vlãsceanu, Grünberg, and Pârlea, 2004, p. 39). Другими словами, сравнительный анализ и ранжирование есть и должны представлять собой исследования, которые не вычленяют отдельных показателей вне контекста, но основываются на сравнении результатов и изучении процессов, благодаря которым они получены (Skogstad, 2003). 

Это отсылает нас назад, к некоторым основам применения показателей. Составляя и интерпретируя рейтинги, необходимо чётко представлять себе, что такое показатели и что они означают. Необходимо определить их во взаимосвязи с другими показателями. Они, как кусочки мозаики, каждый отвечает за свою часть картинки. Или как зашифрованные символы: раскрывают своё значение, только если расположены в нужном порядке.

 

 

Отбор переменных, их определение и обоснование

 

Во время проведения сравнительного оценочного исследования должен быть проведён отбор различной информации, подтверждаемой данными, полученными институтами-партнёрами. Этот аспект при осуществлении ранжирования подчиняется четырём, позаимствованным у сравнительного анализа, принципам:

i. Данные должны отражать основные академические показатели, то есть чётко описывать предназначение и условия работы факультета, института или дисциплинарной области. Мы не склонны считать, что наличие Нобелевской премии следует причислить к базовым критериям, в отличие от наград и медалей.

ii. Итоги измерений также должны помещаться в актуальные базы данных институтов или иные публичные, правительственные или частные, источники. Это делается для того, чтобы полученные данные всегда были в доступе для интерпретации или обоснования.  «Прозрачность» является фундаментальной и подразумевает обязательную публикацию результатов исследования с указанием критериев, применявшихся для их получения.

iii. Далее, несмотря на то, что для этого требуются значительные затраты времени, необходим подбор ясных, логичных и практичных определений, который не может быть выполнен без всестороннего сотрудничества и партнёрства. Исходя из опыта и понимания оценочного анализа, мы считаем, что, только имея обратную связь, можно сформулировать и проверить определения, убедиться в том, что они гармонично вписываются в определения, существующие в институте, проверить доступность информации и прийти к согласию по всем институтам. Этот конкретный аспект сравнительного оценивания и ранжирования может быть проиллюстрирован примером неадекватного описания и расчёта количества студентов на одного преподавателя, проведённого Times Higher Education Ranking, который привёл к получению недостоверных и ненадёжных соотношений ‘количество персонала/студентов’ и ‘количество цитат на весь преподавательский состав’.

iv. Наконец, критичным остаётся вопрос достоверности полученной информации, так как он определяет достоверность и надёжность результатов исследования в целом. Достоверность может быть проверена несколькими путями: (а) опубликование результатов каждого из институтов в соответствии с выработанными определениями и данными, содержащимися в официальных базах данных университетов; (b) первичная проверка организацией, проводящей ранжирование; (c) вторичная проверка каждым из институтов исходных значений и опубликованных результатов. Обо всех выявленных аномалиях и неточностях должно быть немедленно сообщено, а сами они, со временем, исправлены. В свете этих соображений, следует очень осторожно относиться к результатам, полученным при ранжировании одних и тех же университетов мирового класса, но с использованием различных показателей качества (van Raan, 2005), потому что коэффициенты, например, ‘соотношение количества публикаций/цитируемости’, всё ещё требуют прояснения, согласования, систематизации или, как в случае с ‘Показателем высокой цитируемости исследователей (Highly Cited Researchers Index)’, вообще находятся в стадии разработки. Сложность поверки данных по показателям, связанным с публикациями/цитируемостью, стала одной из причин, почему такие показатели не были применены в ходе сравнительного анализа канадских университетов и исследования в Дэлавере, где в качестве более надёжных были избраны их заменители – показатели затрат на исследовательскую работу^[4].

 

 

Репутация

 

Исследование репутации как показателя используется в The Times Supplement, а также по меньшей мере в каждой второй региональной/национальной системе ранжирования, при этом его значимость оценивается в 11-50%. Репутация очевидно является «опосредованным показателем качества» (Usher and Savino, 2006, p.26) и во многих странах возмещает недостаток фактического материала.

В Северной Америке репутация никогда не принимается в расчёт при проведении сравнительного оценочного анализа. Для этого существует несколько причин. Одна из них то, что сопоставительный анализ, как и ранжирование, должен базироваться исключительно на фактических и актуальных данных. Неудивительно, что Центр (The Center, 2004), с 2000 года занимающийся классификацией ведущих американских исследовательских университетов, избегает использования материалов, полученных путём проведения опросов:  «(…) в конечном итоге, стремление к совершенствованию и конкуренция вызывают среди конкретных преподавателей и студентов потребность в проведении актуального исследования, а вовсе не разнообразные проявления славы, ассоциирующиеся с различными знаменитыми брэндами» (p.14).  Ван Раан (Van Raan, 2005) хорошо описал и проанализировал показатели репутации, основанные на опросах. Согласно этому автору, с применением данных, полученных в ходе опросов по поводу репутации, возникают серьёзные методологические проблемы. Спорным является вопрос «можно ли считать компетентными экспертов, призванных оценить качество преподавания множества дисциплин, варьирующихся,  например, от биомедицинских наук до естественных, социальных или гуманитарных», а также, какую цель должно преследовать ранжирование – стремление к будущей славе или к улучшению качества работы на сегодняшний день (p.106).? 

Недавно, Гуарино и др. (Guarino et al., 2005) обратили внимание на тот факт, что «С учётом того, что участие в рейтинге само по себе оказывает заметное влияние на репутацию, “рекламирующая” природа таких попыток придаёт им особую привлекательность» (p.149).

Эволюция использования критерия репутации при составлении рейтингов хорошо освещена (Webster, 1992). Грэхэм и Даймонд (Graham and Diamond, 2000) показали, что фактор репутации доминировал при оценке университетов вплоть до 1970х, когда стала доступной оценка по количественным данным, и использовался взамен показателей успеваемости. В своей книге (Graham and Diamond, 1997)  эти два автора подчеркнули важность и ценность количественных измерений научной деятельности университетов и их приоритет над показателями репутации.

 

 

Заключение

 

Задача данной статьи – внести вклад в исследования, посвященные разработке систем классификации и оценки, стимулировать более инновационный подход к данной проблеме. По-прежнему требуется обоснование и усовершенствование подходов, ключевых понятий и методологии изучения, прояснение целей, тщательный отбор критериев, пересмотр состава экспертных групп и совершенствование процесса  анализа в целом, достигающееся через поиск принципиально новых парадигм. В частности, целью данной статьи является применение критического и конструктивного подхода к классификации путем сопоставительной оценки, кроме того, в ней осуществляется поиск ответов на  вопросы, возникающие при использовании данной методики. Также рассматривается опыт, приобретаемый в процессе проведения сопоставительных оценочных испытаний и потенциальные выгоды от пересмотра процедуры ранжирования.

Рассматривая структуру и методологию классификации и оценки, авторы приходят к заключению в форме следующих постулатов:

- Цель и аудитория, для которой предназначен рейтинг: система рейтингов должна функционировать в соответствии с идеей оценочных испытаний: следует избегать «принципа звёздности», соревновательности и стимулирования, но стремиться к сотрудничеству во имя повышения качества с использованием передового опыта, защиты интересов студентов, преподавательского состава и руководства института, к продвижению самой идеи Университета, основывающейся на партнёрстве и свободном обмене знаниями.

- Сравнение сопоставимого: сравнительный анализ должен осуществляться по принципу «сравнение сопоставимого» не столько на институциональном уровне, где должны присутствовать различные категории ВУЗов, но, в первую очередь, на более низком уровне, где сравнение можно проводить, анализируя более точные и детальные сведения, процедуры и распорядок учреждения (например, учебные программы, предметные области).

- Отбор данных: данные должны отражать основные академические показатели (а не вторичные сведения); они должны опираться на согласованные определения, актуальную и тщательно проверенную, доступную информацию. Показатели репутации должны быть исключены из общего числа, так как они имеют отношение скорее к «виртуальному образу», чем к современным и объективным сведениям о работе университета и являются суррогатами показателей её качества.

- Ранжирование: следует исключить использование существующих повсеместно расплывчатых систем ранжирования, основанных на произвольном отборе и определении значимости критериев, так как ранжирование не должно отличаться стремлением к конкуренции и продвижению, позиционированию «высшего образования как потребительского продукта» (Guarino, 2005, p. 149), противопоставлению университетов друг другу. Вместо этого, системы ранжирования должны представлять либо исключительно процедуры составления рейтингов, либо интерактивные процедуры ранжирования, либо классификацию групп.

Мы убеждены, что следование этим советам приведет к пересмотру некоторых черт существующей системы ранжирования и приблизит нас к реализации идеи «университета мирового класса». Дискуссия на эту тему должна продолжаться, так как в научном сообществе к мировым системам ранжирования всё больше и больше относятся как к двусмысленным и иллюзионным.

 

 

Библиография

 

Alstete, Jeffrey W. (1996). Benchmarking in Higher Education: Adapting Best Practices to improve quality. ERIC Digest. ASHE-ERIC Higher Education Report Series 95-5. Jossey-Bass.

Altbach, Philip G. (Fall 2003). The Cost and Benefits of World-Class Universities. IHE 33. Paper included in Proceedings of the First International Conference on World-Class Universities (WCU-1). Edited by Nian Cai Liu. Shanghai Jiao Tong University. 293-299.

Batty, M. (2003). World-class universities, world-class research, what does it all mean? Environment and Planning B: Planning and Design 30, 1-2.

Boyer, P. (2004). College Rankings Exposed: The Art of Getting a Quality Education in the 21^st  Century. Peterson’s Guide.

Bellon, Bertrand. (2005). Can Ranking Ambition Learn from Evaluation Practices and  Methodologies. In: Proceedings…(WCU-1). 51-66.

Bryson, John M. (1995). Strategic Planning for Public and Nonprofit Organizations. Revised edition. San Francisco: Jossey-Bass.

Burke, Joseph C. (2005). Closing the Accountability Gap for Public Universities: Putting Academic Departments in the Performance Loop. Planning for Higher Education. 34(1), 19-28

Carnegie Foundation for the Advancement of Teaching. 2005 Carnegie Classifications. Stanford: The Carnegie Classification of Institutions of Higher Education.

Feng, D.H. (2005). Comparison of University Ranking. In: Proceedings…(WCU-1).Addendum. 8 pages.

Gingras, Y.(1996). Bibliometric Analysis of Funded Research. A Feasible Study. Natural Sciences and Engineering Research Council of Canada. CRST. 28 pages .

Guarino, Cassandar et al.(2005). Latent Variables Analysis. Higher Education in Europe,30,147-165.

Graham, Hugh D. and Diamond, N. (1997) The Rise of American Research Universities: Elites and Challengers in the Postwar Era. Baltimore: Johns Hopkins University Press.

Graham, Hugh D. (2000), How Should we Rate Research Universities. Vanderbilt University Graduate Post.1999—revised 2000.Vanderbilt Register.

Hsiou-Hsia, Tai (2005).The Features of World-Class Universities. In: Proceedings…(WCU-1). 27- 40.

G10 Data Exchange Program. (2005). Instructional and financial data at the divisional level. Year 2003-2004. Selected Departments. Internal Edition. Caretaker : Roland Proulx: University of Montreal. September 2005.

Ireg. (2006). Berlin Principles on Ranking of Higher Education Institutions. Retrieved on 00/00/0000, at http://www.ihep.org, and http://www.cepes.ro.

Kee, A.(2005). Finding “World Class” in our Universities.In: Proceedings…(WCU-1). 82-94.

Knapp, Duane E. (2000). The Brand Mindset. New York : McGraw-Hill.

Lang, D.W. and Zha, Q. (2004). Comparing Universities: A Case Study Between Canada and China, Higher Education Policy, 17, 339-354.

Larivière, V., Archambault, É., Gingras,Y., and Vignola-Gagné, É .(2005). The Place of Serial in Referencing Practices : Comparing Natural Sciences and Engineering with Social Sciences and Humanities. Observatoire des Sciences et des Technologies (OST). Note no.17.

Maclean’s Magazine (2005). “2005 University Rankings”. November 6, 2005.

De Maret, Pierre (2005). Universities of the World: What for? In: Proceedings…(WCU-1).263 : addendum 15 pages.

Middaugh, Michael F., Graham, Rosalinda and Shahid, Abdus. (June 2003). A Study of Higher Education Instructional Expenditures: The Delaware Study of Instructional Costs and Productivity. NCES 2003161.

Middaugh, Michael F. (2001). Understanding Faculty Productivity. Standards and Benchmarks for Colleges and Universities.  Jossey-Bass: San Francisco.

Niland, John (2005). The challenge of Building World-Class Universities in the Asian Region In: Proceedings…(WCU-1).15-25.

Shanghai Jiao Tong University. Institute of Higher Education (2005). Academic Ranking of World Universities -2005.

Skogstad, E. (2003). Using Benchmark Metrics to Uncover Best Practices. APQC March 3, 2003.

Stewart, Alice C. and Carpenter-Hubin, Julie. (2000-2001). The Balanced Scorecard. Beyond Reports and Rankings.  PHE 29 (2), 37-42.

Stralser, Steven (1996-1997). Benchmarking the New Tool. PHE 23, 15-19.

Taylor, B. and Massey, W.F. (1996). Strategic Indicators for Higher Education: Vital Benchmarks and Information to Help you Evaluate and Improve Performance. Princeton. N.J.: Petersons’ Guide.

The Center (2000). The Myth of Number One: Indicators of Research University Performance. Gainesville.

The Center (2004). The Top American Research Universities 2004. The Center Reports. Gainesville. University of Florida.

The Condition of Education 2001. Time Allocation of Full-Time Instructional Faculty. Fall 1998. Section 5: The Context of Postsecondary Education. Indicator 51, 84-85.

Teeter, Deborah and Christal, Melodie E. (1986-1987). Establishing Peer Groups. A Comparison of Methodologies. PHE 15, 8-17.

The Times Higher Education Supplement. (2005).World University Rankings-2005. London: TSL Education Ltd.

UNESCO. (1998). Benchmarking in Higher Education. New paper in Higher Education 21. Paris.

UNESCO-CEPES (2004). Ranking and League Tables of Universities and Higher Education Institutions – Methodologies and Approaches. Collection of Texts. Presented at the 1^st Meeting of the Working Group of the Project “Higher Education Ranking Systems: How They Work, What They Do”, jointly organization with the Institute for Higher Education Policy, Washington DC, USA 10-11 December 2004.

UNESCO-CEPES (2002). Invitational Roundtable on “Statistical Indicators for Quality Assessment of Higher/Tertiary Education Institutions – Ranking and Leagues Tables Methodologies”. Warsaw, Poland, 13-15 June 2002

Vlăsceanu, L., Grünberg, L., and Pârlea, D. (2004). Quality Assurance and Accreditation: A Glossary of Basic Terms and Definitions. Bucharest: UNESCO-CEPES Papers on Higher Education .

Van Raan, Anthony F.J. (2005). Challenges in Ranking Universities. Proceedings…(WCU-1), pp. 97-127.

Webster, David S. (1992). Reputational Rankings of Colleges, Universities, and Individual Disciplines and Fields of Study from their Beginnings to the Present. In: Smart, John C. Higher Education: A Handbook of Theory and Research. New York: Agathon Press, vol.8, pp. 234-304.

Usher, A. and Savino, M. (2006). A World of Difference. A Global Survey of University League Tables. Toronto: Educational Policy Institute (EPI).