Презентация на тему "Многомерное ранжирование"

Содержание

• 
  Слайд 1
  

  Многомерное ранжирование как методология сбалансированной оценки исследовательской, образовательной и международной деятельности университетов

  Ольга Перфильева эксперт НФПК, директора Центра международных сопоставительных исследований ИМОМС НИУ ВШЭ Проект «Разработка и апробация методологии рейтингования образовательных учреждений профессионального образования» 2011-2013 гг. Российско-британский семинар «Оценка эффективности деятельности вузов и их международное позиционирование» Санкт-Петербург, 28 февраля 2012 г. pptcloud.ru

• 
  Слайд 2

  Многообразие методологий ранжирования университетов

  2

• 
  Слайд 3

  Одномерные ранжирования университетов

  3 Преобладают в системе международных подходов к оценке качества деятельности университетов Удовлетворяют запросам основных потребителей услуг высшего образования (студенты, родители, органы управления высшим образованием) Предоставляют удобный и дружелюбный для пользователей услуг высшего образования способ сравнения университетов на внутристрановом, международном и глобальном уровнях Являются инструментом влияния и конкурентоспособности университетов в национальном и международном пространстве высшего образования Являются источником для бенчмаркинга в сфере высшего образования

• 
  Слайд 4
  

  4 Используют в основном индикаторы, оценивающие значение и влияние исследований Опираются на единый агрегированный показатель, который не дает взвешенной оценки по всей совокупности деятельности университета (обучение, роль в социально-экономическом развитии региона) Набор критериев не отражает всего многообразия миссий и целей университетов, условий их развития и различий в деятельности Не сбалансированы с точки зрения «равно удаленности» по языковым и культурным условиям деятельности университетов Представляют собой упрощенную картину сложной реальности

• 
  Слайд 5

  Глобальные одномерные ранжированиянесбалансированность показателей

  5 Смешение в сторону оценки академической репутации

• 
  Слайд 6

  Глобальные одномерные ранжирования несбалансированность показателей

  6 Доля иностранных ппс в общей численности ППС – 2,5% Доля иностранных студентов в общей численности студентов – 2,5% Доля публикаций ППС в научной периодике в соавторстве с иностранным автором в общей количестве публикаций ППС университета за год – 2,5% Репутационная оценка по вопросам преподавания – 15% Кол-во присуждаемых степеней PhD в расчете на одного ППС – 6% Соотношение принятых студентов к кол-ву ППС университета – 4,5% Соотношение присужденных докторских степеней к бакалавриату – 2,25% Репутационная оценка по вопросам научно-исследовательской деятельности – 18% Доход от исследований – 6% Кол-во статей на одного ППС и одного исследователя – 6% Смешение в сторону оценки научно-исследовательской деятельности, в совокупности с индикатором цитирования:60%

• 
  Слайд 7
  

  7 Источник: QS TopUniversities. URL: http://www.topuniversities.com/university-rankings/world-university-rankings/2011 Источник: THE World Universities Rankings 2011-2012. URL: http://www.timeshighereducation.co.uk/world-university-rankings/2011-2012/top-400.html

• 
  Слайд 8

  Глобальные одномерные ранжирования основные проблемы

  8 Проблема надежности: Опора на репутационные исследования определяет недоверие к процедурам проведения глобальных опросов, построения выборочной совокупности, к получаемым результатам Проблема релевантности: Использование некоторых показателей вызывает сомнение относительно их способности определять и оценивать качество университетов (например, индикаторы, отражающие доходы университетов, или индикатор соотношения численности студентов и преподавателей для оценки качества обучения в университете, или индикатор влияния научного цитирования для оценки качества университетских исследований) Проблема методологии: Веса, присвоенные индикаторам вызывают критику, особенно, в части индикаторов международной деятельности. Веса индикаторов интернационализации занижены и не обоснованы, несмотря на то, что интернационализация является ключевой характеристикой университетов «мирового уровня» Проблема доступности данных: В случае отсутствия данных по индикаторам, не имеющих высокого веса, университетам, не предоставившим информацию, приписываются минимальные значения, чтобы все равно учесть их в рейтинге

• 
  Слайд 9

  Развитие систем ранжирования университетов

  9 Эгалитаризм массификация Элитизм Высокое качество Обеспечение качества Подотчетность Ранжирование Отражать региональное разнообразие Отражать институциональное многообразие Ориентироваться на потребителей услуг Гибридные формы Отражать разнообразие предметных областей Два подхода Современные системы Направления будущего развития Shin J.Ch., Toutkoushian R.K., Teichler U. (eds.) University Rankings: Theoretical Basis, Methodology and Impacts on Global Higher Education. Springer, 2011. P.14.

• 
  Слайд 10

  Региональные/ национальные многомерные ранжирования: The СНЕ Rankings

  10 CHE – негосударственная некоммерческая организация, основанная 1 мая 1994 года CHE предлагает четыре системы ранжирования, отличающихся между собой как по целевой аудитории (категории пользователей), так и по набору показателей CHE не производит ранжирование университета в целом – оценка производится только по отдельным предметам или по предметным областям CHE не опирается на единый комплексный показатель – при ранжировании используется несколько показателей, позволяющих осуществить многомерную оценку учебного заведения (направления: преподавательский потенциал вуза, инфраструктура, интернационализация, учет вузом потребностей рынка труда, развитость исследовательской деятельности и т.д. ) CHE формирует группы университетов по результатам ранжирований «верхнюю», «среднюю» или «нижнюю». Группы отражают степень оценки по отдельному показателю: от наиболее высокой к наиболее низкой. При этом внутри каждой из групп ранжирование не производится, а университеты располагаются внутри группы по отношению друг к другу в алфавитном порядке.

• 
  Слайд 11
  

  11 Ранжирование Университетов Целевая группа: студенты и университеты Индикаторы: 1.Обучение и преподавание 2.Инфраструктура 3.Интернацинализация 4.Ориентация на рынок труда 5.Репутационная оценка ВУЗа 6.Исследовательская деятельность 7.Город и университет Целевая группа: исследователи, университеты, ведущие исследовательскую деятельность Индикаторы: 1.Внешнее финансирование за три года. 2.Публикации 3.Изобретения/патенты 4.Присуждение степеней Целевая группа: соискатели магистерской и докторской степени Индикаторы: 1.Библиометрический критерий отбора 2.Наличие выдающихся ученых (лауреаты Нобелевской премии, прими Филдса, премия Кёрбера) 3.Количество проектов по программе Мари Кюри 4.Студенческая мобильность 5.Преподавательская мобильность 6.Участие в программе Эрасмус Мундус 7.Получение грантов Европейского Совета Целевая группа: студенты программ профессионального бакалавриата, работодатели, учебные заведения Индикаторы: 1.Практико-ориентированные навыки 2.Соцальные компетенции 3.Практический опыт работы 4.Интернационализация Ранжирование исследовательских программ Ранжирование программ длямагистров и докторов Рейтинг учебных заведений по уровню подготовки выпускников к рынку труда

• 
  Слайд 12

  The СНЕ University Ranking

  12 The CHE UniversityRanking впервые опубликован в 1998 году Рейтинг включает информацию об учебных программах, качестве обучении, оборудовании и инфраструктуре, научных исследованияхи репутации вуза Оцениваются вузы Германии, а также других стран, где есть образовательные программы на немецком языке (Австрия, Швейцария, Нидерланды и др.) Целевые группы: Абитуриенты, родители и студенты ВУЗы Рейтинг составляется по 37 предметам, что соответствует ¾ всех направлений Данные для каждой предметной области обновляются каждые три года, но не одновременно по всем категориям, а последовательно Рейтинг публикуется на официальном портале еженедельной немецкой газеты DIE ZEIT http://ranking.zeit.de/che2011/en/

• 
  Слайд 13

  The СНЕ University Ranking:

  13 Методология Рейтинг не представляется в единственном агрегированном виде, а имеет модули, которые могут настраиваться по запросампользователя (Job market and career-orientation, Equipment, Research, Overall opinions, International orientation, Result of study, Town and University, Students, Academic studies and teaching) Рейтинг делится по направлениям и по группам оценки (top, middle, bottom) Сбор данных осуществляется посредством: анкетирования административного персонала университетов, преподавательского состава и студентов Библиометрических данных с использованием базы данных Science Citation Index Включает оценку условий обучения 250 000 студентами и оценку преподавательским корпусом отдельных предметов и репутации вуза Для определения группы учитываются особенности разброса оценок

• 
  Слайд 14
  

  14 Источник: CHE University Ranking 2011/12. URL: http://ranking.zeit.de/che2011/en/

• 
  Слайд 15
  

  Региональные/ национальные многомерные ранжирования The СНЕ Rankings: основные проблемы

  15 Проблема сбора и обработки данных: Собирается большое количество данных, что является трудностью как для университетов, так и для составителей рейтинга Проблема релевантности: ранжирования затрагивают не все предметные области Проблема географической представленности: часто в ранжированиях участвует ограниченное число стран (например, страны Евросоюза, или немецкоговорящие страны)

• 
  Слайд 16
  

  Региональные/ национальные многомерные ранжирования The СНЕ Rankings : характеристика качества

  16 Сбалансированность показателей: Отказ от использования агрегированного индикатора при ранжировании обеспечивает сбалансированность оценки качества деятельности университетов, обеспечивает сравнение университетов по набору разных индикаторов Сбор данных: 70% всех данных, используемых в ранжировании CHE, собираются с помощью онлайн анкетирования и материалов самооценки, что повышает риск фальсификации данных, тем не менее, все полученные данные проходят процедуру аудита на достоверность и надежность и пересылаются учебным заведениям для окончательного утверждения в случае подозрения в фальсификации, учебное заведение исключается из ранжирования Надежность и релевантность показателей Методология ранжирования обновляется постоянно: увеличивается использование количественных данных, снижается использование оценочных и репутационных данных Интерактивность и транспарентность Ранжирования CHE в высокой степень интерактивны. Потребителям предоставляется возможность выбора одного индикатора или группы индикаторов для сравнения университетов. Информация о методах сбора данных, расчете индикаторов и оценке учебных заведений находится в открытом доступе.

• 
  Слайд 17
  

  Принципы и критерии качества современных международных систем ранжирования университетов

  17 Критерии оценки сильных и слабых сторон методологий рейтингования Берлинские принципы ранжирования высших учебных заведений Критерии оценки методологий рейтингования в соответствии с «Правилами аудита рейтингов (IREG Ranking Audit Rules)»

• 
  Слайд 18

  Критерии IREG и веса основных и стандартных критериев

  18

• 
  Слайд 19
  

  19

• 
  Слайд 20
  

  20

• 
  Слайд 21

  Логическая рамка оценки методологий относительно критериев IREG

  21 Шкала оценки методологий относительно критериев IREG 0 – критерий не применим к методологии/нет данных 1 – методология не соответствует критерию 2 – методология частично соответствует критерию 3 – методология полностью соответствует критерию

• 
  Слайд 22

  Степень соответствия методологий критериям IREG

  22

• 
  Слайд 23

  Степень соответствия методологий глобальных рейтингов критериям IREG

  23 Надежность способа сбора данных Транспарентность рейтинга Интерактивность Надежность и релевантность показателей 1 2 3 2 3 3 2 3 1 1 1 2 Shanghai THES US News Leiden Глобальные рейтинги

• 
  Слайд 24
  

  24 Надежность способа сбора данных Транспарентность рейтинга Интерактивность Надежность и релевантность показателей 1 2 3 2 3 3 2 3 1 1 1 2 QS Глобальный рейтинг QS

• 
  Слайд 25

  Степень соответствия методологий CHE критериям IREG

  25 Надежность способа сбора данных Транспарентность рейтинга Интерактивность Надежность и релевантность показателей 1 2 3 2 3 3 2 3 1 1 1 2 U-Multirank CHE University Многомерные ранжирования

• 
  Слайд 26

  Основные задачи разрабатываемой методологии ранжирования вузов

  26 Методология ранжирования должна: служить инструментом поддержки потребителей образовательных услуг, позволяя через представление легко интерпретируемой информации ориентироваться в широком разнообразии вузов и предлагаемых ими программ; служить источником надежной объективной информации о качестве деятельности университета и положении того или иного вуза среди остальных национальных вузов; содействовать повышению конкурентоспособности вузов и их интеграции в глобальное образовательное и исследовательское пространство, поскольку положение в рейтингах является важным сигналом конкурентоспособности; способствовать развитию системы высшего образования России; вносить вклад в повышение качества деятельности вузов;

• 
  Слайд 27

  Основные принципы разрабатываемой методологии ранжирования вузов

  27 Учитывать имеющийся опыт и достижения российских вузов в международных рейтингах, их сильные стороны построения; Учитывать зарубежный и российский опыт ранжирований и рейтингования Обеспечить прагматичный подход к выработке методологии ранжирования российских вузов, при которой данные по индикаторам оценки, собираемые и предоставляемые вузами в национальный орган, осуществляющий ранжирование, будут сопрягаться с данными, необходимыми для участия в международных рейтингах; Обеспечить широкое экспертное и общественное обсуждение на разных этапах разработки и апробации Создать национальную методологию ранжирования, которая будет признаваться как источник надежных данных для глобальных и региональных рейтингов.

• 
  Слайд 28

  Что сделано

  28 Проведен сопоставительный анализ зарубежных и российских методологий ранжирования. Проведена экспертная оценка зарубежных методологий ранжирования относительно критериев аудита качества построения ранжирований Международной экспертной группы IREG. Выявлены количественные индикаторы оценки качества работы вузов на основании зарубежного и российского опыта построения ранжирований. Проведена экспертная оценка количественных индикаторов с т.з. их значимости для задач развития ВО в РФ, надежности, доступности, релевантности и значимости для включения в модельную методологию ранжирования российских вузов. Выявлены индикаторы пяти направлений деятельности вузов (научно-исследовательская деятельности, обучение/преподавание, международная деятельность, трансфер знаний, взаимодействие с регионом) для включения в модельную методологию, в числе которых: перечень индикаторов согласованных и одобренных экспертной группой; перечень дополнительных индикаторов, требующих дополнительной экспертной оценки и согласования.

• 
  Слайд 29

  Научно-исследовательская деятельность

  29 Индикаторы, согласованные и одобренные экспертной группой проекта 1. Доля затрат на исследования от общих расходов вуза в предыдущем финансовом году 2. Доля ППС с ученой степенью кандидата и доктора наук (эквивалент полной занятости) на текущий учебный год 3. Количество цитирований на одного ППС (эквивалент полной занятости) (РИНЦ) 4. Количество цитирований на одного ППС (эквивалент полной занятости) (Scopus, Web of Science) 5. Количество цитирований на одну статью 6. Нормализованный показатель цитирования с учетом предметной области. SСPP/SFCSm, где SFCSm – средний показатель цитирования в области 7. Количество публикаций на одного ППС (эквивалент полной занятости) (Scopus, Web of Science) 8. Количество публикаций на одного ППС (эквивалент полной занятости) (РИНЦ) 9. Доля доходов вуза от научных исследований - в том числе фундаментальных - в том числе прикладных в предыдущем финансовом году 10. Количество выигранных вузом грантов /сумма выигранных вузом грантов (РГНФ, РФФИ, Фонд Бортника) 11. Доля бакалавров очной формы обучения, участвующих в выполнении научных исследований и разработок с оплатой труда, от общего количества бакалавров очной формы обучения в предыдущем учебном году

• 
  Слайд 30

  Обучение/преподавание

  30 Индикаторы, согласованные и одобренные экспертной группой проекта: Затраты на оборудование и инфраструктуру (для обеспечения обучения) в предыдущем учебном году Доля образовательных программ, прошедших международную аккредитацию (аккредитацию должно осуществлять агентство с международно-признанной репутацией) Доля выпускников, трудоустроившихся после окончания университета в течение 1 года по специальности/направлению обучения Доля преподавателей (эквивалент полной занятости), являющихся действительными членами и членами-корреспондентами Академии наук РФ Доля программ, на которые были приняты студенты с высоким баллом ЕГЭ (оценка качества абитуриентов) в предыдущем учебном году Доля абитуриентов – победителей Всероссийской олимпиады школьников в предыдущем учебном году Доля студентов, получивших престижные стипендии (стипендия Президента РФ, стипендия Губернатора субъекта РФ, стипендия Мэра, стипендия Фонда Потанина), от всей численности студентов вуза в предыдущем учебном году Доля выпускников, поступивших на программы аспирантуры Соотношение численности приема студентов магистратуры к численности приема студентов бакалавриата Доля студентов магистратуры, закончивших бакалавриат в других вузах, от общей численности приема студентов магистратуры Доля молодых штатных ППС (до 35 лет, эквивалент полной занятости), получивших престижные национальные гранты и премии, от всей численности молодых штатных ППС (премии Президента РФ, премии губернатора, Фонда Потанина)

• 
  Слайд 31

  Международная деятельность

  31 Индикаторы, согласованные и одобренные экспертной группой проекта: Доля иностранных студентов в общей численности студентов (эквивалент полной занятости) Количество международных исследовательских грантов Доля доходов из иностранных источников в общих доходах вуза (преподавание, научная деятельность, контракты с зарубежными предприятиями) в предыдущем финансовом году Доля нагрузки иностранных ППС, приведенная к штатной нагрузке ППС (эквивалент полной занятости) в предыдущем учебном году Доля студентов вуза, участвующих в программах обмена в течение предыдущего учебного года Доля аспирантов прошедших стажировки в зарубежных университетах в течение предыдущего учебного года Доля ППС (эквивалент полной занятости) приглашенных для чтения лекций в зарубежные университеты в течение предыдущего учебного года Доля преподавателей (эквивалент полной занятости), обладающих дипломами PhD зарубежных вузов Доля программ, разработанных совместно с зарубежными партнерами Доля студентов, обучающихся по программам, разработанных совместно с зарубежными партнерами

• 
  Слайд 32

  Трансфер знаний

  32 Индикаторы, согласованные и одобренные экспертной группой проекта: Доля внебюджетного финансирования в доходах вуза в том числе: - от образовательной деятельности - от научной деятельности в предыдущем финансовом году Количество поставленных на бухгалтерский учет объектов интеллектуальной собственности Доход от продажи продуктов интеллектуальной собственности в течение предыдущего финансового года Число образовательных программ, реализованных вузом по заказу сторонних организаций в течение предыдущего учебного года Количество специалистов из сторонних организаций, прошедших повышение квалификации или профессиональную переподготовку в вузе в течение предыдущего учебного года

• 
  Слайд 33

  Взаимодействие с регионом/отраслью

  33 Индикаторы, согласованные и одобренные экспертной группой проекта 1. Доля доходов из местных/региональных источников/отрасли в предыдущем финансовом году 2. Доля студентов, участвующих в стажировках, в региональных организациях/отрасли в предыдущем учебном году 3. Количество контрактов на исследования, заключенные с региональными партнерами в предыдущем финансовом году

• 
  Слайд 34
  

  Характеристика выборочной совокупности для проведения апробации модельной методологии ранжирования

  34 Объем выборки – около 140 вузов 4 группы вузов: МГУ и СПбГУ Ведущие университеты (9 ФУ+29 НИУ+55 вузов по Программе МОН поддержки программ стратегического развития) 46 Вузов-участников проекта «Лучшие образовательные программы инновационной России», включая: - 13 – технические (11 отраслевые) - 7 – экономические/юридические - 6 – медицинские - 5 – классические - 4 – негосударственные - 4 – сельско-хозяйственные - 3 – педагогические - 2 – культуры и искусства - 2 –физкультуры и спорта Организационно-правовая форма: государственные, негосударственные

• 
  Слайд 35

  Дальнейшие шаги

  35 Согласовать перечень индикаторов для построения многомерного ранжирования российских вузов Придать веса индикаторам, включенным в модельную методологию ранжирования российских вузов Определить возможность использования выделенного набора индикаторов для других целей в будущем, с другими весами (например, корректировка весов в зависимости от категорий вузов) Определить список вузов – участников апробации модельной методологии ранжирования, выбранных в зависимости от категории

• 
  Слайд 36
  

  36 Спасибо за внимание! Перфильева Ольга Владимировна Центр международных сопоставительных исследований ИМОМС НИУ ВШЭ Perfilieva@hse.ru www.iori.hse.ru