2012/1, стр. 43 - 61

РЕЙТИНГИ, ИНДЕКСИ, ПАРИ

Резюме:

Ключови думи:

Рейтингова система на висшите училища (РеСВУ) в България – поуки от първото и планове за второто є издание

През 2010 г. по поръчка на Министерството на образованието, младежта и науката беше разработена многомерна рейтингова система на висшите училища в България. Системата класира висшите училища само по професионални направления, които са общо 52. Освен предефинираната класация, която в момента е една, системата предлага на потребителя възможност да прави собствени класации, като избере произволна комбинация от наличните индикатори и им постави каквито пожелае тежести.

В първото пилотно издание на рейтинговата система на висшите училища бяха използвани общо 61 индикатора, разделени в шест групи1). В хода на разработване на рейтинговата система и след нейното публикуване бяха направени многобройни препоръки. Анализът на резултатите също показа редица възможности за подобряване на въпросниците, конструирането на индикаторите, включително на тези, базирани на данни от официални регистри и бази данни, формирането на групите от индикатори и методите за верифициране и „изчистване“ наданните.

Основните използвани източници на данни за РеСВУ са: а) Информационната система на висшето образование (АдминУни); б) Информационната система на Националния осигурителен институт; в) Националната агенция за оценяване и акредитация; г) международни наукометрични бази данни (Scopus, Thompson Reuters ); д) висшите училища чрез попълнени от тях анкети; е) демоскопски проучвания.

Събирането и обработването на информация от анкети беше най-оспорваната част от дейността при класиране на висшите училища. В първото издание на рейтинговата система бяха проведени социологически проучвания сред студенти, завършили, преподаватели, работодатели и широката общественост. Във второто издание бяха запазени само анкетите със студентите, при това в силно променен вид. След първото издание на рейтинговата система от представители на академичната общност многократно бяха изказвани препоръки за намаляване на дела на индикаторите, идващи от анкетни проучвания, за сметка на тези, идващи от административни регистри.

Като цяло системата от индикатори претърпя значими промени между първото и второто издание на РеСВУ, които ще направят крайния резултат по отделните групи и във финалната класация несъпоставим с предишното издание на рейтинга. Нашето разбиране е, че в рамките на пилотното издание беше важно да се използва възможността чрез активна обратна връзка от страна на всички заинтересовани и най-вече на академичната общност да бъдат открити всички съществени недостатъци на системата. По тази причина се постарахме да направим рейтинговата система максимално прозрачна както по отношение на използваната методология, така и по отношение на първичните данни, използвани за изчисляването на рейтинга. Считаме, че подходът за прозрачност даде резултат и подобренията във второто издание на рейтинговата система са значителни. Това ще позволи отсега нататък използваната система от индикатори да бъде по-стабилна и да позволява повече сравнения между резултатите от различните издания на РеСВУ. Извън проблемите с калибрирането на системата от индикатори, РеСВУ ще се изправи пред предизвикателството, стоящо пред всяка рейтингова система, която се обновява редовно – намирането на разумен баланс между сравнимостта (т.е. устойчивостта на системата от индикатори) и нуждата да се отчетат промените в самата оценявана област. Висшето образование през следващите години обещава да бъде област на динамични промени както по отношение на управлението, така и по отношение на преподаването и научните изследвания.

Рейтинговата система представлява многомерен инструмент за оценка с голяма сложност. Индикаторите за новото издание все още са в процес на обсъждане, но общият им брой ще бъде около 60. От тях 20 индикатора ще бъдат базирани на анкети със студенти, конструирани на базата на 61 въпроса. При една толкова голяма система от индикатори тежестите добиват много голямо значение. В първото издание на РеСВУ търсихме добър баланс между основните измерения на оценката – реализацията на студентите, процесът на обучение и научната дейност.

Обмисляме да предложим няколко различни набора от тежести, които потенциално могат да доведат до различни подредби на висшите училища: 1) тежестите в официалната предефинирана класация, поставени от нас в резултат от експертните дискусии; 2) тежести, поставени на базата на анкетирането на студентите; 3) тежести, поставени на базата на оценки на ректорите, събрани чрез метода на бюджетния процес.

Тежестите, поставени на базата на анкетирането на студентите, ще бъдат извлечени от въпрос 2.1. Ако се прави класация на българските висши училища, колко важни са следните критерии, според Вас? Отговорите предлагат възможност за оценка по скáла от 0 до 5 на важността на 6 отделни критерия (учебен процес, научни изследвания, учебна среда, социално-битови и административни услуги, престиж и реализация и връзка с пазара на труда), които съответстват на 6-те групи индикатори в РеСВУ.

Методът на бюджетния процес предполага експерти да разпределят бюджет например от 100 единици между определен брой индикатори, според собствената си преценка за тяхната относителна важност, по същия начин, по който парите се разпределят между бюджетните пера според тяхната приоритетност. Обикновено препоръката е методът да не се използва за не повече от 10-12 индикатора (OECD, European Commission, 2008). В случая с РеСВУ експертите са ректорите на висшите училища, а ролята на бюджетни пера се изпълнява от 6-те групи индикатори в РеСВУ.

Тежестите в основната класация ще бъдат поставени, след като бъдат получени данните от анкетите със студенти и приключи новото зареждане на данни от базата данни на МОМН за висшето образование Админ-Уни, тъй като наред с други фактори при поставянето на тежести е важно надеждните данни да имат по-голямо значение от ненадеждните. След обсъждането на тежестите от първото издание на РеСВУ, може да се счита, че до голяма степен има изграден консенсус за значимостта на групите индикатори. Тежестите през първата вълна бяха избрани след преглед на системите от тежести в различни рейтинги на висши училища по света и теоретичната литература, провеждане на дискусии с експерти и проучване на общественото мнение.

От тези въпроси има 48, чиито отговори са в 6-степенна скáла. Всички тези „въпроси“ са всъщност позитивно формулирани твърдения, по отношение на които студентите трябва да посочат степента си на съгласие или да откажат отговор, като формулата на отказа варира според съдържанието на съответното твърдение.

Осем от въпросите имат отговор „да“ и „не“, като оценката на въпроса се формира на базата на дела на позитивните отговори, т.е. на дела на студентите, които са имали един или друг позитивен опит. Отговорите на два от въпросите са в часове и се отнасят до бюджета на времето на студентите и по-точно – до времето, което те отделят за присъствие на лекции, упражнения и семинари и за самоподготовка.

Оценката на преподаването

Преподаването, което е може би най-важният компонент от дейността на висшето училище, е и сред най-трудните за оценяване какъвто и да е избраният подход за оценка (Cave et al., 2006). При РеСВУ тази оценка е силно зависима от резултатите от анкетирането на студенти. Трудно е да си представим как тази информация за ежедневния процес на обучение, давана от самите участници в него, би могла да бъде заместена с друга. Това, което прави най-силно впечатление при анализа на резултатите от анкетирането на студенти при първото издание на РеСВУ беше, че те бяха доста позитивни и твърде подобни в различните висши училища и професионални направления. За това може да има няколко съвсем различни обяснения. Най-тривиалното е, че нашият инструмент за измерване е бил добър и висшите училища наистина си приличат по отношение на преподаването в почти всички професионални направления. На другия полюс е твърдението, че преподаването изобщо не подлежи на измерване, било то чрез въпросници или по друг начин. Някъде по средата стои предположението, че студентите подобно на други групи имат навика да дават социално желателни отговори или изпитват чувство на лоялност към своята организация. Тези обяснения си приличат по това, че всяко от тях макар и по различни причини прави опитите за създаване на рейтинги безсмислени. От тях поне за тезата, че студентите са водени в оценките си от лоялност, има противоречащи на нея резултати. Оказва се, че студентите са лоялни дотогава, докато са доволни. Когато са недоволни, спират да бъдат лоялни и отговорите в анкетите отразяват разочарованието им (U-Multirank, 25). Преди да приемем което и било от радикалните обяснения, е добре да преминем през съвсем простата и емпирично проверима хипотеза, че проблемът може да бъде решен с подобряване на инструмента за измерване – в нашия случай това е използваният въпросник. Въпросникът беше значително променен за второто издание на РеСВУ и предварителното му тестване със студенти даде обнадеждаващи резултати, но истинската му оценка ще бъдат получените от анкетите данни.

Вторият голям проблем с анкетите е, че цената за поддържане на класации по професионални направления е свързана с надеждността на оценките, правени за толкова малки съвкупности при толкова малки извадки. При второто издание на рейтинговата система на висшите училища ще бъдат направени изцяло нови извадки, насочени към получаване на максимално надеждни резултати от анкетирането на студентите.

При първото издание на рейтинговата система освен студентите бяха анкетирани и преподаватели, бивши студенти, завършили професионално направление в съответното висше училище, работодатели и обществеността (национално представителна извадка от населението). Анкетирането на толкова различни групи се оказа трудоемко и скъпо упражнение с относително ниска полезност. Трудностите по откриването на завършилите не се компенсираха от добавената стойност на тяхното мнение, което не се отличаваше особено от това на студентите. По отношение на реализацията на студентите данните от НОИ са много по-надеждни и евтини от проследяването на завършилите, където неуспешното търсене води до ниска реализация на планираните анкети и в резултат – до непроследимо изкривяване на извадката. Работодателите се оказаха не много по-информирани и понеподатливи на предразсъдъци от средностатистическия анкетиран в национално представителната извадка. Що се отнася до преподавателите, при тях бройките анкетирани са още по-малко, отколкото при студентите, така че информацията, макар и много информативна, е на практика неизползваема за количествена оценка, без да бъде категоризирана и интерпретирана по неизбежно субективен начин. Привързването на преподавателите към специфично професионално направление също се оказа трудна задача, тъй като голяма част от преподавателите преподават в няколко (от 2 до 5) професионални направления. Не на последно място трябва да споменем, че в рейтинговата система като втора най-голяма тежест се използва оценката на НАОА, която има силен елемент на peer review и може да се счита като алтернатива на събирането и анализа на мненията на преподавателите.

Анкетирането на студенти по професионални направления е анкетно проучване с мащаби, рядко срещани в българския контекст. Освен големия брой анкетирани – 15 000 планирани ефективни анкети при второто издание на рейтинговата система – сложността є е свързана и с много големия брой извадки – в порядъка на 350-380 в зависимост от това в колко професионални направления ще се окаже, че има достатъчно студенти, за да бъдат проведени анкети. Анкети няма да се правят само в професионални направления с до 10 студенти. Тези професионални направления са малко на брой, но професионалните направления с до 35 студенти са много. Въпреки че при тях ще бъде направен опит за анкетиране на всички студенти, няма как да се избегне получаването на оценки на ниво професионално направление с големи доверителни интервали, които при относително близки стойности няма да позволят да се направи валидна диференциация. Освен това дори изчерпателният обхват на малка група от 10-35 студенти не премахва статистическата несигурност. Това, което ни интересува, не е мнението само на тези студенти, а мнението на всички потенциални студенти в конкретното висше училище и професионално направление, които могат да бъдат разглеждани като една виртуална надсъвкупност, която ще става все по-определена при повтаряне на анкетирането от година в година.

Подобна сложност прави резултатите от анкетите по-нестабилни от обичайно, като в някои случаи аналитичното извеждане на доверителни интервали и тяхното интерпретиране в многомерните разпределения представлява голяма трудност или се оказва невъзможно. Все пак използването на комбинация от многомерни параметрични и непараметрични тестове и псевдослучайни компютърни симулации дават възможност да се провери и евентуално да се подобри надеждността на анкетите. При първото издание на рейтинговата система бяха направени различни тестове на резултатите, които да покажат значимостта на констатираните различия между отделните единици. В този случай единица на анализа е комбинацията от професионално направление и висше училище, в което се преподават специалности от това професионално направление.

Статистическите тестове бяха осъществени по процедура, състояща се от три стъпки. На първия етап от процедурата беше направен тестът на Ливайн (Levene), който проверява за равенство (или хомогенност) на дисперсиите. Еднаквите дисперсии са основна предпоставка за прилагане на параметрични тестове за проверка на значимостта на разликите между извадкови статистики. Втората стъпка включваше еднофакторен дисперсионен анализ (ANOVA). На третата стъпка беше изпълнен post hoc параметричен или непараметричен статистически тест, в зависимост от резултатите от първите две стъпки. Непараметричният тест беше използван при констатирани сериозни отклонения от нормалността на разпределението.

Тестовете бяха направени за разпределенията по всички индикатори, формирани на базата на въпроси от анкетите. Оказа се, че немалка част от разликите между висши училища по отделни въпроси и отделни индикатори, формирани на базата на група от въпроси, не са значими при 95% вероятност. Това се отнася главно до оценките на висши училища със съседни стойности, но понякога доверителните интервали се разпростират върху цели групи от висши училища. При първото издание на РеСВУ статистическата несигурност в резултатите от анкетирането на студентите е генерализирано в уговорката, че разлики от до 5 точки във финалното класиране не бива да се приемат за значими. Следващата възможна стъпка е висшите училища да бъдат директно групирани в „лиги“, като се каже, че не е възможно висшите училища да бъдат класирани с абсолютна точност, но е възможно да бъдат обособени първа, втора и трета лига, съответно с водещите, догонващите и изоставащите висши училища.

При новото издание на рейтинговата система резултатите ще бъдат сравнени и с предварително генерирани (псевдо)случайни резултати. Това ще стане чрез възпроизвеждане на точната извадка от студенти, разпределени по висши училища и професионални направления и моделиране на случайни отговори на всички въпроси от анкетата с помощта на добър генератор на (псевдо)случайни числа.

От въпросниците за студенти за рейтинговата система ще бъдат използвани 61 въпроса. Отговорите на 11 от тях са в двустепенна номинална скала – „да“ или „не“. Отговорите на други 2 са в часове и се отнасят до времето, което студентите отделят през една типична седмица за лекции и упражнения. Отговорите на останалите 48 въпроса са в шест степенна скáла с добавена опция за невъзможност за отговор, формулирана по различен начин съобразно съдържанието на въпроса. Тази скáла е използвана и в U-Multirank.

На долната графика са показани z-точките на всички 26 ВУ, преподаващи икономика. Класацията е базирана на случайно генерирани отговори на 1360 студенти, разпределени по ВУ съобразно планираната извадка за анкетите по второто издание на РеСВУ. Класацията е генерирана със статистическия пакет R, който има добър генератор на псевдослучайни числа2).

Вижда се ясно, че в симулацията отговорите на отделните въпроси имат различни контури, но сумарният индекс, който е сортиран във възходящ ред, показва, че разпределението като цяло е стабилно с леко изкривяване вдясно. Това се дължи, разбира се, на малките извадки във всички професионални направления и на много малките – в част от тях. При многократно повторение на експеримента ще се срещат отклонения ту вдясно, ту вляво, клонящи при хиляди към симетрия. От гледна точка на проверката на резултата от анкетирането интерес представлява и сравнението с конкретно получено случайно разпределение или поотделно с всяко от няколко подобни разпределения, които при толкова много измерения и при относително малки извадки, както се убедихме, могат да изглеждат много „убедително“, сякаш са получени от истинско анкетиране. Това още веднъж показва колко внимателни трябва да бъдем при валидизирането и интерпретирането на резултатите от анкетите със студенти.

Оценка на реализацията на студентите

Реализацията несъмнено е много важен аспект от продукта на висшето образование. Данните от рейтинговата система показаха, че висшето образование има сериозна добавена стойност по отношение намаляване на риска от безработица и повишаване на доходите. Завършилите обаче попадат на един като цяло примитивен пазар на труда, на който от страна на търсенето доминират позиции с относително малък брой, относително прости умения, за сметка на позициите с относително голям брой, относително сложни умения. За това може да се съди по класификацията на наличните длъжности, съобразно изискваното ниво на образование.

При първото издание на РеСВУ беше направена специална матрица на съответствията между професиии длъжности от една страна, и професионалните направления във висшето образование, от друга. Тази матрица беше използвана за извличане от базата данни на Националния осигурителен институт (Националната агенция за приходите) на информация за това дали студентите заемат длъжности, където могат да използват придобитите по време на следването знания и умения, т.е. дали те се реализират по специалността си. Този въпрос обаче се оказа маловажен на фона на основния проблем – голямата част от завършилите висше образование в България започват работа на длъжности, които изискват най-много средно образование.

Както се вижда от горната графика, макар че има известни разлики по професионални направления, средно за страната само 18% от завършилите, през следващите три години след дипломирането си работят на позиции, изискващи висше образование. Този дял съвсем разбираемо е най-висок при завършилите медицина (около 80%), но при 9 от 10 професионални направления делът е до 30%.

Средната брутна работна заплата на завършилите е висока – над 1000 лева. Рискът от безработица при тях също ще бъде много нисък – както показват данните от НОИ, около 3% от завършилите висше образование през 2007, 2008 и 2009 г. са били регистрирани като безработни през кризисната 2010 г., при над равнище на безработица средно за страната от над 10%. Като цяло очакванията на студентите за заетост и за равнището на бъдещите им заплати ще бъдат удовлетворени, но не и очакванията им за професионална реализация, отговаряща на тяхната квалификация.

На следващата графика са показани очакванията на студентите за минимална и максимална начална заплата (с вертикална линия) след приключване на следването им и реалната заплата на завършилите за предходните три години (с малко квадратче). Като цяло истинските заплати попадат в спектъра на очакванията, в някои случаи леко надвишават дори максималните очаквания. Като в самите очаквания има много голяма дисперсия, но е трудно да се каже дали в случая оптимизмът е за предпочитане пред песимизма.

От това не следва директно, че останалата част от разликите представляват принос на висшето училище, но може да се допусне, че този принос е значителен. Позадълбоченото проучване на този принос изисква да помислим какви други фактори е възможно да оказват влияние. Това, което със сигурност можем да кажем дорисамо на базата на този предварителен анализ е, че „обирането на каймака“, т.е. подборът на входа на най-добрите (и най-лесно обучаемите) кандидат-студенти в българското висше образование не играе толкова важна роля като в други образователни системи.

В заключение може да се каже, че висшето образование носи несъмнени ползи за завършилите, що се отнася до доходите и шансовете за заетост. Българската икономика обаче като цяло е ниско технологична и предлага малко работни места за хора с висше образование и висока квалификация. Може да се окаже, че за немалка част от завършилите висшисти, които освен заетост и доход очакват от работата си и професионално удовлетворение, алтернативата е да потърсят реализация на друг пазар на труда.

Оценка на ефективността на научната дейност на висшите училище с използване на анализа на границата на ефективност

Ще се опитаме да отговорим на въпроса дали рейтинговата система е подходяща за определяне размера на публичното финансиране на висшите училища. Идеята при създаване на рейтинговата система на висшите училища не беше тя да се използва пряко за определяне на финансиране на висшите училища, а да има косвен ефект върху финансовите потоци към ВУ чрез създаване на условия за информиран избор на студентите.

Оценката на ефективността на разходите за висше образование може да стане само на базата на модели, които сравняват входа и изхода на системата – т.е. ресурсите и продуктите, а те се различават значително от рейтингите (Dill, 2009). Има два утвърдени метода за правене на такъв анализ в публичния сектор – анализа на границата на ефективност (АГЕ) и анализа на стохастичната граница. Първият модел е детерминистичен, а вторият – вероятностен.

Идеите, които стоят в основата на анализа на границата на ефективност, се срещат още през 50-те години при Farrel (1957). Основите на Data Envelopment Analysis в днешния му вид са положени от Charnes, Cooper и Rhodes (1978). Експоненциалният бум в прилагането на този вид анализ на ефективността, който е изключително трудоемък в изчислителен план, започва от 90-те години на миналия век с по-масовото разпространение на компютрите.

В България анализът на границата на ефективност е използван за анализ на дейността на болници и лични лекари (Салчев, 2008; Христов & Салчев, 2008; Салчев, 2011) и висшите училища (Байкушева и др., 2011). Стохастичният граничен анализ е използван за оценка на ефективността на земеделските стопанства (Иванова, 2011). Извън България АГЕ е използван многократно за анализ на ефективността на университети – примери за това могат да бъдат намерени при (Wibowo et al., 2008; Martin, 2003), а проучването на Aubyn et al. (2009) прави добър обзор на прилагането на анализа на границата на ефективност и други модели основно в контекста на висшето образование в Европа с примери от САЩ и Япония.

Анализът на границата на ефективност е линеен оптимизационен модел с широко приложение както в анализа на ефективността на фирми, работещи в един и същ сектор и произвеждащи едни и същи блага, така и на организации, работещи в обществена полза и на публични институции. Това се дължи на факта, че моделът приема на изхода многообразие от индикатори, измервани в различни мерни единици, за които не е необходимо да са предварително подредени по важност. При елементарния анализ „разходи-ползи“ има само един разход и една полза (продукт) и анализът се свежда до изчисляване на съотношение между разход и полза. При повечето производствени процеси обаче и особено при тези с некомерсиална цел има много различни продукти (ползи), които се измерват в различни единици. Тези различни ползи трябва да бъдат сумирани по някакъв начин, което поставя проблема за уеднаквяване на единиците за измерване и за подходящо претегляне на резултатите преди тяхното сумиране.

При АГЕ моделът сам избира тежестите, които да бъдат използвани, като за всяка анализирана единица това са най-благоприятните за нея тежести. В АГЕ анализираните единици (фирми, организации и др.) е прието да бъдат наричани единици за вземане на решение (ЕВР или Decision Making Units). Това са единиците, чието поведение може да бъде променяно отвътре или отвън с цел повишаване на тяхната ефективност.

Всяка единица за вземане на решения (DMU) получава такъв набор от тежести, който максимизира оценката за нейната ефективност. По тази причина класическият АГЕ дава на между 40% и 60% от анализираните единици максимума за ефективност от 1. Това е повод анализът да бъде критикуван, че диференцира слабо, което го прави ниско информативен за правене на политики или бизнес стратегии. Има обаче и модификации на АГЕ, които прилагат допълнителни критерии и диференцират в много по-голяма степен. Изборът на конкретен модел е въпрос на целесъобразност от гледна точка целите на анализа.

DEA има особен подход към поставяне на тежестите, който елиминира субективността. Всяка единица за вземане на решения (DMU – Decision Making Unit) получава такъв набор от тежести, който максимизира оценката за нейната ефективност. DEA един вид оценява всяка анализирана единица по най-благоприятния за нея начин. По тази причина класическият DEA дава на между 40% и 60% от анализираните единици максимумът за ефективност от 1 (или 100%). Това е причина анализът да бъде критикуван, че диференцира слабо, което го прави ниско информативен за правене на политики или бизнес стратегии. Има обаче и модификации на DEA, които прилагат допълнителни критерии и диференцират в много по-голяма степен. Изборът на конкретен модел е въпрос на целесъобразност от гледна точка на целите на анализа и обществения интерес.

Тук няма да се спираме по-подробно на описаниетона АГЕ, което може да бъде намерено в Байкушева и др. (2011), а описание на различните математически модели, използвани в АГЕ, може да бъде намерено например в Cook & Zhu (2008) или Ramanathan (2003). За настоящата статия направихме анализ с индикатори за резултата от научните изследвания във висши училища, в които са застъпени професионални направления с техническа насоченост. Това са както висши училища, които могат да бъдат определени като технически, така и многопрофилни университети, в които се преподават специалности от професионални направения като „Общо инженерство“ и „Електротехника, електроника и информатика“. Използвахме същите индикатори като в Байкушева и др. (2011), но приложени върху малкопо-различна група от висши училища, тъй като основната цел в случая не е да се оцени ефективността на научната публикационна дейност на техническите висши училища, а да се сравнят резултатите от анализа на границата на ефективност с някои класации от РеСВУ. Целта е да се провери до каква степен РеСВУ може да замести анализа разходи/ползи при вземане на решения за финансирането на висшите училища.

В АГЕ са използвани три индикатора – един входящ и два изходящи. Входящият индикатор е субсидията за научна или художественотворческа дейност и за издаване на учебници и научни трудове, която е сума от държавната субсидия и допълнителните приходи за научна или художественотворческа дейност за 2010 г. Изходящите индикатори са броят статии в научни списания по международната база данни SCOPUS за 2009 година и h-индексът на цитируемост за 2005-2009 г. Анализът е направен с приложението за Microsoft Excel, разработено от Zhu (2003), което използва възможностите за решаване на оптимизационни задачи на Excel Solver.

Трябва да уточним, че в българския контекст науката и художественотворческата дейност са нормативно приравнени и счетоводно трудно отличими, но в случая с техническите училища тази субсидия е предназначена в огромната си част именно за научни изследвания. Дори да има някакви малки изключения, те не могат да окажат сериозно влияние върху анализа. Случаят с многопрофилните университети обаче не е такъв и там се налага да се примирим с факта, че в данните за средствата, отделени за наука, има известно изкривяване, тъй като част от тях отива за други дейности. Още по-голямо изкривяване може да произтече от факта, че в многопрофилните университети получените средства се разпределят между много повече професионални направления. Нормализирането на данните за финансирането според броя и размера на професионалните направления – както и да изберем да го дефинираме, е практически невъзможна за решаване на задача. Данни за вътрешното разпределение на средствата за научна и художествена дейност (а и за цялата получена субсидия въобще) не се съдържа в обобщените счетоводни отчети, предавани в Министерството на образованието, младежта и науката. Дори такава аналитична информация да се събира в отделните висши училища за целите на управлението, нейното получаване, обработване и привеждане в сравним вид би било скъпо начинание с неясен изход. Затова на този етап се налага да се ограничим с наличните данни, помнейки за възможните изкривявания, които при анализа разходи/ползи на ниво професионално направление са в ущърб на по-големите многопрофилни университети.

Друго очевидно ограничение в анализа е разминаването в хронологията на данните спрямо предполагаемата последователностна „производствения процес“ в сферата на научните изследвания. Очевидно субсидията, получена днес, първо се инвестира в определени изследователски проекти, които дават видим и изчислим продукт под формата на публикации с определен индекс на цитируемост. В зависимост от конкретната научна област това става след различен брой години, но със сигурност не веднага. Използваната за анализа субсидия със сигурност не е тази, която е подпомогнала написванетона цитирания в анализа брой статии и постигането на съответния индекс на цитируемост. Субсидията в случая е приближена оценка за размера на финансирането, обичайно получавано от съответното висше училище, който е относително устойчив през годините. Но няма съмнение, че в идеалния случай е добре да се ползва осредненатасубсидия за 3-5 или повече години и данни за броя публикации и индекс на цитируемост, започващи от следващата или по-следващата година след последната, за която са ползвани данни за финансирането.

В долната таблица са представени данните, използвани в анализа.

В следващата таблица са показани осреднените резултати от класирането в РеСВУ по три професионални направления с използване на АГЕ.

При интерпретирането на данните от анализа на границата на ефективност има две възможни перспективи – от гледна точка на разходите и от гледна точка на ползите.

При анализа от гледна точка на разходите са важни бюджетните икономии. Препоръките за достигане на границите на ефективност са свързани с намаляване на разходите. При анализа от гледна точка на ползите акцентът се поставя върху обема и качеството на продукта и препоръките са за поголямо по обем производство или за покриване на по-високи стандарти.

За целите на финансирането на висшите училища в България и предвид ниския процент от БВП, заделян за висше образование, е по-целесъобразно да поставим акцент върху продукта, а не върху входящите ресурси.

Заключение

В заключение ще се спрем на потенциалните ефекти от прилагането на рейтинговата система и на някои неща, които отиват отвъд това, което данните ни казват, и касаят развитието на науката и висшето образование в България в подългосрочен контекст. Тъй като основна цел на рейтинговата система е да подпомага бъдещите студенти в избора на висше училище, преките ефекти се очаква да дойдат именно чрез промени в избора на кандидат-студентите. Преодолявайки съществуващи дефицити от информация за висшите училища в България, рейтинговата система би трябвало да доведе до по-информиран, което в общия случай трябва да означава и по-разумен, избор на висше училище.

Рейтинговата система спомага и за подобряване на качеството на събираната статистическа информация за ВУ. Това се дължи на самата публичност на информацията. Преди, когато базата данни на Министерството на образованието, младежта и науката е ползвана основно за вътрешноведомствени справки, интересът към качеството на данните от страна на предоставящите ги висши училища е бил относително нисък, както личи от многобройните пропуски в системата, които се откриха в процеса на изграждане на РеСВУ, като се започне от иначе безобидни печатни грешки, които обаче правят лоша реклама на институцията, когато бъдат автоматично заредени на публично достъпна интернет страница, и се стигне до сериозни аномалии в данните, съдържащи очевидни грешки и не толкова очевидни грешки под формата на невъзможни стойности, разминаване между логически обвързани данни и празни места, които могат с малко усилие да бъдат попълнени.

Очаква се РеСВУ да подпомогне и самите висши училища при формиране на ясен профил на пазара на образователни услуги, както и при определянето на приоритети за развитие.

Рейтинговата система дава възможност за допълнителни изследвания в сферата на висшето образование. Дори само данните от толкова различни източници, събрани на едно място с публичен достъп до тях, вече е предпоставка за появата на повече изследвания.

Рейтинговата система на висшите училища може да подпомага и формиране на публични политики в сферата на висшето образование. Използването є за финансиране на висшите училище може би не е най-доброто възможно приложение. РеСВУ представлява анализ на ползите от висшето образование за студентите, а взимането на решения, свързани с финансирането, трябва да се базирани на анализ на съотношението между разходи и ползи, дефинирано по един или друг начин. От гледна точка на студента по-голямата обезпеченост на университета с ресурси е предимство, независимо дали ресурсите са предоставени „справедливо“ или „несправедливо“, дали са получени от пазара или от публичен орган. От гледна точка на анализа на ефективността повече ресурси при равни други условия вече се интерпретират категорично като недостатък. Затова модели като анализа на границата на ефективност или по-прости варианти на анализа разходи/ползи са по-подходящи за взимане на информирано решение за размера на публичното финансиране на различни висши училища. РеСВУ дава и много интересна информация за реализацията на студентите на пазара на труда както по висши училища, така и по професионални направления. Такава информация заедно с резултатите от проучвания на уменията на пазара на труда, каквито предстои да бъдат направени, може да се използва при планирането на държавната поръчка.

Висшето образование и научните изследвания обаче едва ли могат да се развиват само следвайки пазара на труда или технологичните и иновационните нужди и идеи на сега съществуващите предприятия, особено в контекста на технологично неразвитата българска икономика с пазар на труда, който продължава да търси примитивни умения в пропорции, които са нетипични за развитите икономики. Ще подчертаем, че тук става дума за състоянието на икономиката и пазара на труда като цяло, т.е. за типичните показатели. Казваме това, защото във всички дискусии, на които е бил повдиган този въпрос, винаги се привеждат примери за някое предприятие или друг бизнес, които ползват висококвалифициран труд или скорошни научни открития и патенти и осъществяват износ на редки и трудни за копиране продукти и услуги. Не отричаме, че такива предприятия съществуват, но те са толкова редки на фона на обичайното, че не могат да бъдат двигател за развитието на науката и висшето образование. Затова публичните инвестиции в науката и висшето образование имат мисията да създадат и поддържат нишите, в които ще се появят нов тип частни инвестиции, които досега ни липсваха.

БЕЛЕЖКИ

1. Рейтинговата система на висшите училища в България е достъпна на адрес http://rsvu.mon.bg.

2. Самият пакет R, както и подробна документация за него, включително за генератора на псевдослучайни числа, може да бъдат намерени на

http://www.r-project.org/.

3. Z-точките имат средна 0 и стандартно отклонение 1. Използваните от нас модифицирани t-точки са със средна 50 и стандартно отклонение 20 и се получават от z-точките по формулата tj = 50+20*zj, където j е броят на анализираните единици, за които са получени z-точки.

ЛИТЕРАТУРА

Байкушева, А., Белчева. Д., Брайнова. П., Захариев. Б., Кузнецова. Д. (2011). Ефективността на публично финансираните висши училища в България: приложение на анализа на границата на ефективност. Критика и хуманизъм. Качество на висшето образование в национални и глобални аспекти. 36(1), 69-102.

Иванова, Н. (2009). Икономическа ефективност на българските земеделските стопанства, специализирани в производството назърно, грозде и зеленчуци, Икономика и управление на селското стопанство. 54/2, 51-61.

Салчев, П., Георгиева, Л., Христов, Н., Кундурджиев, Т., Димитрова, Д. (2011). Първичната здравна помощ в България – факти и анализи, ИОО-София

Aubyn, M., Pina, A., Garcia, F. & Pais, J. (2009). Study of the effi cincy and effectiveness of public spending on tertiary education, Economic papers 390, Euroepan Commission.

Charnes, A., Cooper, W., Rhodes, E. (1978). Measuring the Efficiency of Decision Making Units, European Journal of Operational Research 2, 429-444.

Dill, D. (2009). Convergence and diversity: the role and influence of university rankings in University Rankings, Diversity, and the New Landscape of Higher Education, Sense Publishers, pp. 97-116.

U-Multirank. (2010). U-Multirank: Project ‘Design and Testing the Feasibility of a Multi-dimensional Global University Ranking, Technical report, CHERPA Network.

Cave, M., Hanney, S., Henkel, M., Kogan, M. (2006). The Use of Performance Indicators in Higher Education: The Challenge of the Quality Movement., Jessica Kingsley Publishers, Chapter 3. Performance Indicators of Teaching and Learning, pp. 103-111.

Cook, W., Zhu, J. (2008). Data Envelopment Analysis: Modeling operational processes and measuring productivity.

Farrel, M. (1957). The Measurement of Productive Effi ciency, Journal of the Royal Statistical Society 120, 253-290.

Martin (2003). An Application of Data Envelopment Analysis Methodology in the Performance Assessment of the Zaragoza University Departments, Department of Accounting and Finance, University of Zaragoza, 1-19.

Ramanathan, R. (2003). An Introduction to Data Envelopment Analysis: A Tool for Performance Measurement, Sage Publications.

Wibowo, V., Wibowo, S., Mantri, J. K., ed. (2008). Research Methodology on Data Envelopment Analysis (DEA), Boca Raton, chapter 21. Benchmarking Indonesian State Universities: A Data Envelopment Analysis Approach, pp. 353-364.

Zhu, J. (2003). Quantitative Models for Performance Evaluation and Benchmarking: Data Envelopment Analysis with Spreadsheets and DEA Excel Solver, Springer.

Abstract: The article presents the official ranking system of Bulgarian Universities of the Ministry of Education with a focus on the assessment of teaching, research and the performance of university graduates on the labour market. In the case of each fi eld of assessment I make an overview of existing methodological issues, which arose during the preparation of the Bulgarian University Ranking System (BURS), but are typical for any ranking system in higher education and research. The first section is an overview of the BURS. In the second I make an overview of the problems related to the assessment of teaching through student surveys, using a simulation of student responses to the questionnaire, which will be used in the second edition of BURS. The third section is a comparison between the ranking scores on three professional fi elds taught in universities with technical departments and the results obtained from a Data Envelopment Analysis of research performance in the same universities. All analyses are preliminary and require refi nement both in terms of the data used and the analytical tools. Despite that some useful observations come out, which can inform future research as well as higher education and research policy making.