2021/3, стр. 276 - 291

КАЧЕСТВО НА УЧИЛИЩНОТО ОБРАЗОВАНИЕ – ИЗМЕРВАНЕ И ЗНАЧИМОСТ

Резюме: През последните десетилетия се провеждат много изследвания, посветени на факторите, определящи икономическия растеж в една държава. Съществуващите теории се основават на различна класификация, концепция и методика на оценяване въздействието на отделните фактори, но според всички тях ключов за постигането на трайно икономическо развитие е човешкият капитал. Целта на тази статия е да покаже значимостта от това човешкият капитал / качеството на образование в дадена държава да бъдат надеждно и своевременно измервани. Статията се фокусира върху основните индикатори и методите за измерване на качеството на образованието (показателни параметри за степента на пригодност на човешкия капитал) и техните възможности (както позитивни, така и негативни) за формиране на цялостна и обективна оценка на качеството на образователната система.

Ключови думи: образование; обучение; качество на образованието; индикатори

Въведение

Един от най-важните въпроси за всички социално-икономически групи в едно общество е: какъв е ефектът от образоващите се и от там – върху обществото, като цяло, като се отчита фактът, че ефектът от един процес е свързан с определена интервенция. Най-сериозната интервенция от началото на XXI в. в училищното образование е масовото навлизане на новите технологии и динамичната промяна на пазара.

Особено важно е да се установи качеството на образователния процес, защото то влияе съществено върху икономическия просперитет на всяка страна.

Роберт Козма (2000) представя ясно необходимост от образователни реформи, за да просперира икономиката. Анализирайки икономическата теория, както и извличайки и съпоставяйки данни за икономическото развитие в различни държави по света, той дефинира три фактора, които допринасят за нарастване производителността на труда: капиталов интензитет (capital deepening), високо качество на човешките ресурси и съвременни иновативни методи на обучение. Сравнявайки данните на различни световни икономики, Козма показва връзката между икономическото благоденствие и образователните постижения на индивидуално и национално ниво, а те са – средно нарастване от 9,7% на личния доход за всяка една допълнителна година образование и 7 – 12% възвръщаемост на инвестициите (ROI) на национално ниво. Най-високите нива на възвръщаемост на инвестициите се отчитат в държави с нисък или среден размер на доходите. Дори и малка промяна в ръста на икономиката води до значими промени в икономическото състояние на една страна. Ръст от 3% за допълнително образование удвоява потенциала на икономиката за 23 години, за сравнение – при ръст от 2% са необходими 35 години, а при ръст от 5% – 14 години.

Изследване на микроикономически данни от 42 държави показва, че за всяка една допълнителна година на обучение в училище средното ниво на възвръщаемост на инвестициите по отношение на личния доход е 9,7%. Най-високите нива на възвръщаемост на инвестициите се отчитат в държави с нисък или среден размер на доходите (Psacharopoulos & Patrinos 2002).

Основната цел на статията е да покаже, резултатите, постигнати от различни международни проучвания за качеството на образованието в дадена страна/регион, могат да служат като основа за целенасочени препоръки за формиране на образователни политики от нов тип, които ще интервенират икономическото развитие.

Статията поставя два основни въпроса.

1. До каква степен спазването на набор от критерии за измерване качеството на образованието е полезно при разработването на мерки за повишаване нивото на качеството.

2. До каква степен международните образователни измервания ще бъдат полезни при провеждането на реформи в дадена образователна система

Методология

Направен е описателен изследователски подход, основан на преглед на литературата на авторите, изследващи темата. Синтезирани и описани са аспекти, определящи качествените образователни показатели в Европа.

Качеството на образователната система в страната се изследва въз основа на статистическа информация от официални статистически източници.

Направен е анализ на вторичните данни, за да се очертаят факторите, характеризиращи качеството на образованието.

Направени са общи заключения и заключения относно качеството на образованието в България, както и препоръки за разработване и реализиране на образователната политика.

В научната литература обект на внимание са редица критерии, с които би могло да се измерва качеството на образованието в дадена страна (Tsinidou et al. 2010; Bergmann 1996), но липсва еднозначен метод за оценка на качеството на училищното образование. Доминират два подхода:

– дескриптивен, при който качеството се разглежда през призмата на основните свойства и характеристики на образованието;

– нормативен, който се съобразява с определен стандарт (критерий) и спрямо него се дефинира качеството на образование (Penkova & Valkov 2018).

Иванов (2004) посочва, че в световен мащаб качеството на образованието се измерва с набор от индикатори (глобални критерии), като част от тях са винаги комбинирани. Такъв подход води до по-добра оценка на цялостната система на образование, както и на съпътстващите го процеси и участниците в него. Авторът разделя критериите за оценка на качеството на образованието на три основни групи: такива, които го оценяват на входа, по време на самия процес и на изхода му.

Индикатори, които оценяват качество на входа на образователния процес, са например брой учители в дадена институция и тяхната квалификация, брой ученици, както и процент от децата, които са обхванати от образователните институции. Към втората група могат да се причислят количеството на заетото учебно/присъствено време или степента на активност при обучението. Най-често обаче качество на обучението се измерва на изхода, т.е. чрез оценка на постигнатите от учениците резултати. Това се извършва чрез оценяване резултатите от изпити/тестове, дела на дипломираните ученици, както и степента на заетост след приключване на дадена степен.

Качеството на образователния процес се дефинира и чрез някои параметри, адресирани към удовлетворяване на основните потребности на обучението (Ivanov 2004):

– разходи за образование – в рамките на текущата година (заплати, за учебни пособия, материали, оборудване и др.) и капиталови разходи (строителство, основен ремонт, покупка на транспортни средства);

– области на образование – хуманитарни, обществени, природни и инженерни науки и др.;

– ориентация на образователните програми – общо, техническо, професионално образование;

– ученици – съотношение ученици – преподавател, брой/дял ученици, преминали в следващ клас, показател за прехода към средно образование, новопостъпващи ученици, % чуждестранни ученици и др.;

– учители – преподавателски състав, квалификация и натовареност на преподавателите;

– общи показатели – продължителност на обучението, % отпадащи от обучението, възраст на започване на обучението.

Индикаторите за оценка на човешките ресурси като капитал в сферата на образованието са най-общо два типа: количествени (описващи формалната обстановка и „числата“ в образователната система) и качествени (показателни за реалните резултати и за нейната ефективност). Ханушек и Вьосман (Hanushek & Woessmann 2009) изместват фокуса от традиционните количествени критерии (напр. достигната образователна степен) към качествени измерители на нивото на образование (когнитивни умения на учениците). Според авторите продължителността на времето (часове/години), прекарано от учениците в образователната система, не е признак за знанията и уменията, които те ще получат; разходите, направени от държавата за образование, не са показателни за дългосрочния ефект, който те биха имали върху уменията на учениците. С други думи, „количеството“ в образованието вече не е измерение за качество.

Образованието е форма на инвестиране в човешки капитал с очакван ефект в по-дългосрочен период. Коцев и др. (2008) посочват, че „ако държавата не прави разходи за образование, то налице ще е дефицит на инвестиции в човешки капитал“. Терминът „човешки капитал“ се свързва главно с придобиването на знания и умения от страна на заетите с труд посредством образование и обучение. За да потвърдят тезата, че образованата работна сила е определящ фактор за икономическия растеж, значителен брой изследвания измерват човешкия капитал чрез оценка на образователната система (Barro 1991; Hanushek and Kimko 2000), приемайки, че продуктът от нея е базов за благосъстоянието на държавата.

През последното десетилетие се утвърждава идеята, че качествените критерии за оценка на образованието дават по-ясна и по-добра представа за състоянието на образователната система. Търсят се унифицирани критерии за измерване на качеството на образованието в различните страни, за да може да се направи транснационално сравнение на образователните постижения, като се открои и текущото състояние на дадена образователна система.

Докато някои от тези индикатори са лесно измерими (напр. брой ученици, постъпващи във висши училища), то други (напр. постижения на учениците в определени области) изискват специфична методология, която да гарантира обективността и сравнимостта на резултатите.

Институцията, която се занимава с оценка на знанията и уменията на учениците като индикатор за качеството на образованието в България, е Центърът за оценяване на училищното и предучилищното образование (ЦОПУО)1). Част от дейността на организацията е съсредоточена върху анализ на резултатите за страната ни в големите международни проучвания като TALIS, PISA, PEARLS и на усвоените от учениците знания и компетенции.

В международните образователни изследвания приоритетно се прилагат и индикатори, които позволяват съпоставка между различни образователни системи. Тъй като освен заключения за общото състояние на конкретната държава този тип сравнения дават и поглед върху конкурентоспособността на образованието, като цяло, те позволяват да се очертаят и по-общи тенденции, да се направят изводи и да се формулират политики на основата на възприети добри практики.

Анализирайки резултатите от тях, Центърът установява, че подобряването на качеството на образователния процес е зависимо от организацията на учебната среда, условията за провеждане на учебния процес и подходите на обучение, както и от социално-икономическата среда на учениците.

Международни образователни изследвания – задачи и възможности за влияние

През 2009 г. Ханушек и Вьосман разработват измерител за когнитивните умения на учениците, като комбинират резултатите от 12 различни международни теста/изследвания по математика, точни науки и четене, проведени между 1964 и 2003 г., обхващащи различни държави (Hanushek & Woessmann 2009). Резултатите от тези проучвания се използват за създаването на измерител на средните когнитивни умения на национално ниво, който авторите тълкуват (с определени допускания) като измерител на човешкия капитал (населението и работната сила) на съответната страна.

На базата на генерираната и апробирана от тях идея се приема, че измерването на когнитивните умения на учениците (чрез външни тестове и международно оценяване) е ефективен метод за оценяване качеството на образователната система в дадена страна/регион. Поради това все повече изследователи и анализатори използват данни от международните проучвания като достоверен показател за качеството на обучение като фактор за икономическото развитие на дадена държава.

Международните образователни изследвания се подготвят и се осъществяват от организации, представляващи правителствата на група страни; от правителствени и/или независими изследователски институти и агенции. Те измерват ключови компетентности в няколко области и предоставят данни за състоянието и развитието на образователните системи и за ролята на образователните политики и практики. Проучванията позволяват на всяка участваща държава да съизмерва резултатите си с всяка от останалите страни, като отчита и различията във функционален контекст, и да ги използва като ориентир при разработването и реализирането на образователни политики.

Основен инструмент за измерване качеството на образоването е PISA 2) – Международна програма за оценяване на учениците, разработена от Организацията за икономическо сътрудничество и развитие. Предоставените в докладите данни са особено показателни, тъй като не отчитат фактори като образователни политики и икономически показатели, а само демонстрираните на тестовете резултати, показващи постиженията на обучаваните. Те измерват единствено крайния продукт – придобитите от учениците знания и умения към определен момент.

Други инструменти за измерване качеството на образованието, подобни на PISA, са PIRLS3)– Международно изследване на развитието на уменията за четене, TIMSS4) – Изследване на международните тенденции в обучението по математика и природни науки (Mullis et al. 2012), и TALIS5) – Международно изследване на преподаването и ученето6).

Ефективността на провежданите образователни политики обаче може да бъде оценена само в дългосрочен план при ясни сигнали, че по-високото качество на образованието, като фактор за икономическо развитие, ще има положителен ефект върху финансовото благополучие на съответната страна (Faruq & Taylor 2011). Поради това при взимането на решения и разработването на образователни политики и дефинирането на приоритети трябва да се отчита актуалното ниво на качество на училищното образование и перспективите за развитието му на база обективно измерване.

Европейската комисия също поставя акцент върху образователните по-литики и ежегодно представя Национален мониторинг на образованието и обучението за всяка от страните членки на Европейския съюз, в който се анализират ключови индикатори за оценка на качеството на образованието. Ключовите индикатори в доклада на ЕК, чрез които България се сравнява с останалите държави членки, са:

1. преждевременно напуснали системата на образованието и обучението (на възраст между 18 и 24 години);

2. процент от населението, завършило висше образование (на възраст между 30 и 34 години);

3. образование в ранна детска възраст (4+ години);

4. дял на 15-годишните ученици със слаби резултати по четене, математика и природни науки;

5. процент на заетост на наскоро дипломиралите се според придобитото образование (на възраст между 20 – 34 години);

6. участие на възрастните в процеса на учене (на възраст между 25 и 64 години);

7. подпомагане на професионалното развитие на учителите.

За всеки от тези индикатори Комисията определя т.нар. ЦЕЛ, която трябва да бъде осъществена от конкретната страна членка. В таблица 1 са представени целите, поставени пред България, и постигнатите в съответствие с тях резултати през 2018 г.

*Източник: Европейска комисия,
Обзор на образованието и обучението за 2019 г., България

Данните в таблица 1 ясно показват, че страната, с изключение на 1 индикатор, все още не постига поставените цели, като по два от индикаторите показателите са доста тревожни.

Конкретно по всеки индикатор резултатите са следните.

1. Индикатор 1 (преждевременно отпаднали от системата на образование и обучение) страната ни показва малък напредък в рамките на 10-годишен период. По данни на „Евростат“ през 2008 г. стойността на този показател е 14.8% (близо 15%), докато през 2018 г. е 12.7%. Въпреки подобрението България все още не успява да постигне поставената ѝ цел от под 10.6%. Причините могат да бъдат търсени в прилаганите несистемни мерки. По отношение на този показател много добър напредък показват Гърция (подобрение от 10% за разглеждания период), Литва и Латвия (фигура 1).

2. Индикатор 2(общ брой обучавани, придобили висше образование) – данните за България показват напредък за последните 10 години (27.9% през 2008 и 33.7% през 2018 г.). Като цяло, стойностите са съпоставими до голяма степен с тези на ЕС, но целта все още не е достигната. При този показател освен количественото измерение трябва да се постави особен акцент върху качеството на ВО, което в последните години бележи спад.

3. Индикатор 3(образование в ранна детска възраст) e показател, по който страната има още какво да подобри по чисто обективни причини, времето за изследване е кратко, изследванията – несистемни поради факта, че задължителното предучилищно образование за 4-годишните у нас ще бъде реализирано 2020/2021 г. (изследванията са направени на пилотни инициативи, които не могат да гарантират цялостна картина на ситуацията).

4. Индикатор 4 (успеваемост на студенти и ученици) показва изключително неблагоприятни резултати, като средните стойностите за 4. 4. 4. Индикатор 4 (дял на 15-годишните ученици със слаби резултати по четене, математика и природни науки) показва доста неблагоприятни резултати. Страната има два пъти по-ниски от тези на ЕС. Неприемливите резултати се дължат преди всичко на заниженото качество на образователния процес, установено в редица международни и национални аналитични изследвания.

5. Индикатор 5 (процент на заетост на наскоро дипломиралите се според придобитото образование на възраст между 20 – 34 години) – страната по-казва подобряване на показателите към поставената цел, но все още последната не е постигната. В този смисъл е необходимо да се анализира детайлно пазарът на труда и респективно да се преформатира държавната поръчка на съответните специалности. В тази посока МОН вече реализира действия чрез редуциране на бройките в определени направления.

6. Индикатор 6 (участие на възрастните в процеса на учене) – страната изостава значително независимо от създадената адекватна нормативна уредба. За България подобряването на този индикатор е от особено значение, като се имат предвид негативните демографски тенденции. В този смисъл, възрастното население представлява добър резерв за трудовия пазар, особено в определени сектори.

7. Индикатор 7 (подпомагане на професионалното развитие на учителите (качествен) не е остойностен, поради което не може да се анализира адекватно. Липсващите умения, които учителите заявяват, могат да се попълнят, като се ползват поредица национални и европейски инструменти с насочени дейности. Част от обученията се реализират чрез насочени схеми от оперативните програми.

Не особено добрите показатели могат да се обяснят с комплекс от причини, но като че ли най-добра илюстрация дава виждането на Марк Тредуел (Treadwell 2008), който обобщава: „лошите образователни практики, ръководство и администрация, незаинтересоваността на родителите, неподходящото учебно съдържание, лошата дисциплина и т.н. са причина за лошото качество на образованието“.

Както вече беше отбелязано, България отчита най-ниски показатели по отношение на постиженията на учениците по четене, математика и природни науки от всички европейски държави. Данните на ЕК (European Commission, 2019)7) са заимствани от официалните резултати на PISA (2018).

Според това изследване средният резултат по математика на учениците в държавите членки на ОИСР, спрямо който се анализират средните резултати на всички участници, е 489 точки. За българските ученици той е 436 точки, или с 53 точки по-нисък от средната стойност за ОИСР. По този показател България е в една група с учениците от Казахстан, Сърбия, Кипър, Турция, Обединените арабски емирства и Румъния.

На фигура 2 ясно се вижда, че за периода 2006 – 2018 у нас се наблюдава неустойчив тренд с краткосрочна положителна тенденция 2012 – 2016 г. Същата нестабилна тенденция се отчита и при резултатите по четене (фигура 3) и по природни науки (фигура 4).

Установена е корелация между резултатите по четене и математика, като и в двата случая има неустойчива тенденция.

В известна степен, има малко по-различен тренд при природните науки, при който в последния изследван период спадът в резултатите е по-ясно изразен.

И на трите фигури представените данни показват тенденция към спад на постиженията на учениците през 2018 г., като е имало съвсем кратък период на слаба положителна тенденция.

Резултатите са и значително под средните стойности за страните от ОИСР. Те са илюстрирани на фигура 5.

Освен средния брой точки, постигнати по отделните предмети, значим по-казател е и процентът на учениците, които имат слаби резултати на тестовете, както и разликата между постигнатите най-високи и най-ниски резултати.

Голямата разлика е показател за неравенство в образованието.

Според скалата на оценяване на PISA8) постиженията на учениците се класифицират на 7 равнища, като най-ниско е първото (под 262 точки), а най-високото е шесто (над 708 точки):

Респектирайки тази скала, са изследвани резултатите на учениците спрямо различните нива.

На фиг. 6 ясно се вижда, че делът на учениците със слаби резултати (под второ равнище) се увеличава значително през последните години.

За да се промени тази тенденция, са необходими насочени усилия, които да целят положителна промяна. Опитът на Сингапур е особено показателен в тази посока и част от добрите практики могат да бъдат възприети у нас (например компютърно базираното обучение, усилено изучаване на природни науки и математика, чужд език; насърчаване на приема в инженерни специалности с последваща научна дейност).

Заключение

1. Мониторингът и анализът на резултатите от участието на България в Програмата за международно оценяване на учениците (OECD, 2018)9) са необходими, за да се осигурят навременни мерки, ориентирани към минимизиране на негативите, и респективно тенденцията да се пренасочи към положително развитие. Във връзка с това най-голямо внимание трябва да се обърне на подобряване постиженията на 15-годишните ученици по математика, четене и природни науки. Това в известна степен може да бъде постигнато чрез въвеждане на иновативни методи на обучение

2. Резултатите от проведените международни образователни изследвания могат и се използват като отправна точка за поглед напред в следващите десетилетия, когато сегашните ученици ще навлязат на пазара на труда и ще допринасят пълноценно за икономическото развитие на съответните държави. Когато резултатите от тези изследвания служат за формиране и актуализиране на релевантни образователни политики в дадена държава, постиженията на учениците се повишават значително. Базови елементи на такава политика могат да бъдат например: въвеждане на образователни иновации и дигитална трансформация; обучение, ориентирано към формиране и развитие на ключовите компетентности и умения за работа през XXI век; професионална реализация, адекватна на потребностите на пазара на труда; стимулиране на ученето през целия живот – например насочено прилагане на квалификационната рамка за това обучение; развитие на компетентностите, адресирани към променящата се среда.

Част от тези политики намират място в проекта на Стратегическа рамка за развитие на образованието, обучението и ученето в Република България (2021 – 2030).

Анализът на индикаторите, измерващи качеството на образователния процес, както и обвързването им с различни социално-икономически фактори са много важни за идентифицирането на проблемите и техните решения в сектор „Образование“.

БЕЛЕЖКИ

1. http://copuo.bg/page.php?c=4

2. PISA – Programme for International Student Assessment.

3. PIRLS – Progress in International Reading Literacy Study.

4. TIMMS – Trends in International Mathematics and Science Study.

5. TALIS – Teaching and Learning International Survey.

6. OECD (2009). Creating Effective Teaching and Learning Environments: First Results from TALIS. Available at: http://www.oecd.org/education/ school/43023606.pdf

7. European Commission (2019). Education and Training Monitor 2018 – Bulgaria. DOI: 10.2766/433555

8. ЦОПУО (2019). Резултати от участието на България в Програмата за международно оценяване на учениците, PISA 2018.

9. OECD (2019a). PISA 2018 Assessment and Analytics Framework. Paris: PISA, OECD Publishing. Available at: https://doi.org/10.1787/b25efab8-en

ЛИТЕРАТУРА

Пенкова, Е. & Вълков, А., 2018. Емпирични доказателства към ефективността на училищното образование в България. Икономически и социални алтернативи, (3), 19 – 32.

Иванов, И. П., 2004. Теории за образованието. Шумен: Епископ Константин Преславски.

Институт за изследвания в образованието (2019), Качество и равенство в училищното образование: поглед през резултатите от PISA 2018. София, България: ИИО.

Коцев, Ц., Владимирова, Т., Владимиров, В., Киров, С., Герчева, С., Благойчева, Х. & Найденов, Л., 2008. Публични финанси. Варна: СТЕНО.

Петракос, Й. & Арванитидис, П., 2008. Фактори, определящи икономическия растеж. Икономически алтернативи. (1), 49 – 69.

Пенкова, Е. & Вълков, А., 2018. Емпирични доказателства към ефективността на училищното образование в България. Икономически и социални алтернативи. (3), 19 – 32.

Barro, R.J., 1991. Economic Growth in a Cross Section of Countries, The Quarterly Journal of Economics, 106(2), 407 – 443. DOI: 10.2307/2937943.

Bergmann, H., 1996. Quality of education and the demand for education — Evidence from developing countries. Int Rev Educ 42, 581 – 604. DOI: 10.1007/BF00601404.

European Commission (2019). Education and Training Monitor 2018 – Country Analysis. DOI: 10.2766/397742.

Faruq, H.A., Taylor, A.C., 2011. Quality of Education, Economic Performance and Institutional Environment. Int Adv Econ Res. 17, 224 – 235. https://doi.org/10.1007/s11294-011-9293.

Hanushek, E.A. & Kimko, D.D., 2000. Schooling, Labour-Force Quality and the Growth of Nations. American Economic Review, 90(5), 1184 – 1208. DOI: 10.1257/aer.90.5.1184.

Hanushek, E. & Woessmann, L., 2009. Do Better Schools Lead to More Growth? Cognitive Skills, Economic Outcomes, and Causation. Cambridge, England: National Bureau of Economic Research. DOI:10.3386/w14633.

Kozma, R., 2000. Reflections on the state of educational technology research and development. Educational Technology Research and Development. 48, 5 – 15. https://doi.org/10.1007/BF02313481.

Mullis, I.V.S., Martin, M.O., Foy, P. & Drucker, K.T., 2012. PIRLS 2011 International Results in Reading. TIMSS & PIRLS International Study Center. Lynch School of Education, Boston College.

Psacharopoulos, George & Patrinos, Harry Anthony., 2002. Returns to Investment in Education: A Further Update. Policy Research Working Paper; No. 2881. World Bank, Washington, DC.

Tsinidou, M., Gerogiannis, V. & Fitsilis, P., 2010. Evaluation of the Factors that Determine Quality in Higher Еducation: an Еmpirical Study, Quality Assurance in Education. 18(3), 227 – 244. DOI: 10.1108/09684881011058669.

REFERENCES

Barro, R.J., 1991. Economic Growth in a Cross Section of Countries, The Quarterly Journal of Economics, 106(2), 407 – 443. DOI: 10.2307/2937943.

Bergmann, H., 1996. Quality of education and the demand for education – Evidence from developing countries. Int Rev Educ 42, 581 – 604. DOI: 10.1007/BF00601404.

European Commission (2019). Education and Training Monitor 2018 – Country Analysis. DOI: 10.2766/397742.

Faruq, H.A. & Taylor, A.C., 2011. Quality of Education, Economic Performance and Institutional Environment. Int Adv Econ Res. 17, 224 – 235. https://doi. org/10.1007/s11294-011-9293.

Hanushek, E.A. & Kimko, D.D., 2000. Schooling, Labour-Force Quality and the Growth of Nations. American Economic Review, 90(5), 1184 – 1208. DOI: 10.1257/aer.90.5.1184.

Hanushek, E. & Woessmann, L., 2009. Do Better Schools Lead to More Growth? Cognitive Skills, Economic Outcomes, and Causation. Cambridge, England: National Bureau of Economic Research. DOI:10.3386/w14633.

Ivanov, I.P., 2004. Teorii na obrazovanieto. Shumen: Episkop Konstantin Preslavski.

Institut za izsledvaniya v obrazovanieto. 2019. Kachestvo I ravenstvo v uchilishtnoto obrazovanie: pogled prez rezultatite ot PISA 2018. Sofia, Bulgaria: IIO.

Kotsev, TS., Vladimirova, T., Vladimirov, V., Kirov, S., Gercheva, S., Blagoycheva, H. & Naydenov, L., 2008. Publichni finansi. Varna: STENO.

Kozma, R., 2000. Reflections on the state of educational technology research and development. Educational Technology Research and Development. 48, 5 – 15. https://doi.org/10.1007/BF02313481.

Mullis, I.V.S., Martin, M.O., Foy, P. & Drucker, K.T., 2012. PIRLS 2011 International Results in Reading. TIMSS & PIRLS International Study Center. Lynch School of Education, Boston College.

Psacharopoulos, George & Patrinos, Harry Anthony. 2002. Returns to Investment in Education : A Further Update. Policy Research Working Paper; No. 2881. World Bank, Washington, DC.

Petrakos, J. & Arvanitidis, P., 2008. Faktori, opredelyashti ikonomicheskiya rastezh. Ikonomicheski alternativi. (1), 49 – 69.

Penkova, E. & Valkov, A., 2018. Empirichni dokazatelstva kam efektivnostta na uchilishtnoto obrazovanie v Bulgariya. Ikonomicheski i socialni alternativi. (3), 19 – 32.

Tsinidou, M., Gerogiannis, V. & Fitsilis, P., 2010. Evaluation of the factors that determine quality in higher education: an empirical study, Quality Assurance in Education. 18(3), 227 – 244. DOI: 10.1108/09684881011058669.