2015/4, стр. 435 - 449

НАЦИОНАЛНОТО ВЪНШНО ОЦЕНЯВАНЕ ПО ЧУЖДИ ЕЗИЦИ – ТРАДИЦИИ И ПРЕДИЗВИКАТЕЛСТВА

Резюме: В статията са изследвани традициите в националното външно оценяване по чужди езици, провеждано в българските училища в края на VII клас и в края на VIII клас с интензивно изучаване на чужди езици. Изследването се фокусира върху анализа на структурата на тестовете и ги съпоставя с езиковите тестове, разработени от европейските експертни организации с дългогодишен практически опит и научни изследвания в областта на езиковите изпити. На базата на анализа се правят изводи за проблемите и необходимостта от разработването на адекватни методи и инструменти за оценяване на чуждоезиковите компетентности, съответстващи на принципите, които са теоретично обосновани в редица научни изследвания и утвърдени в европейските оценявания. Преосмислянето на обичайната практика и актуализирането на инструментите за оценяване ще даде възможност постиженията на учениците да бъдат разгледани според нивата на компетентност, формулирани в Общата европейска езикова рамка, и да бъдат сравнявани с данните от измерванията на чуждоезиковите компетентности на учениците в другите европейски държави. Предизвикателствата, пред които е изправена българската система на образование, са взаимосвързани и комплексни. В този контекст настоящото изследване е ценен принос към дискусиите за осигуряване на ефективно обучение по чужди езици, отговарящо на действителните потребности на учениците и на адекватни методи и инструменти за оценяване на чуждоезиковите комуникативни умения.

Ключови думи: national external assessment, foreign languagecompetencies, foreign language examination, testdesign, Common European Framework of Reference for Languages

Ориентирането на българското училищно образование към изграждане на компетентности и формиране на практически умения е приоритет, заложен в програмите за развитие на образованието, приети през 2006 г. и през 2009 г. 1) . Едно от най-важните условия за постигане на европейско качество на образованието е изграждането и усъвършенстването на системата за външно и вътрешно оценяване.

Успешното провеждане на националното външно оценяване вече години наред осигурява информация за постиженията на учениците по чужди езици с цел да се установи в каква степен техните постижения покриват ДОИ за учебно съдържание и очакваните резултати, конкретизирани в учебните програми по чужди езици. Анализът на резултатите дава възможност да се направят изводи и препоръки, чрез които активно да се повлияе върху процеса на обучението по чужди езици. Изводите и препоръките следват основната цел на оценяването – да осигурява обратна връзка за ефективността на учебния процес и постигане на образователните цели, процеса на адекватно преподаване, да мотивира, насочва и насърчава учениците да учат по-задълбочено. За да могат да бъдат направени адекватни изводи за нивото на езиковата комуникативна компетентност на учениците, е необходимо форматът на стандартизираното външно оценяване по чужд език да бъде съобразен, от една страна, с ДОИ за учебно съдържание и очакваните резултати по ядра на ниво учебни програми по чужди езици, а от друга страна – с наложилите се в международните оценявания принципи за разработване и провеждане на езикови тестове.

Целта на настоящото изследване е да направи анализ на структурата на изпитните материали по чужди езици за националното външно оценяване в VII клас и VIII клас и да ги сравни с тестовете, оценяващи езикови компетентности, разработени от водещи европейски езикови организации, членове на Асоциацията на центровете за езиково оценяване в Европа (ALTE) 2) . Опитът на тези експертни организации в областта на езиковите изпити ще бъде полезен при реализирането на предстоящите реформи в българското училищно образование3) , част от които е усъвършенстването на методите за оценяване на езиковата компетентност на учениците и разработването на подходящ инструментариум за измерване на придобитите умения за ефективна комуникация на чужд език.

В научната литература за оценяването са посочени редица критерии за оценка на качеството на тестовете и тестовите задачи. Като основни критерии са назовани: обективност, надеждност и валидност. Към тях се добавят: сравнимост, балансираност специфичност, икономичност, практичност, дискриминативна сила на задачите, стандартизация, обратно влияние върху обучението, автентичност на задачите и редица други (Grotjahn, R., 2000; Обща европейска езикова рамка, 2006).

Методиката на изготвяне на инструментариума и провеждането на НВО по чужди езици е съобразена с утвърдената в България практика в оценяването и гарантира валидността и обективността. Обработката и оценката на данните се извършва на базата на класическата теория на тестовете. Основните психометрични показатели на тестовете дават възможност да се направят изводи, че тестовете имат висока надеждност за практически цели, а тестовите задачите са със средна трудност за учениците. 4) Като анализираме структурата на тестовете за външно оценяване на постиженията на учениците по чужд език, можем да направим изводи доколко е балансирано съотношението между задачите в теста и различните аспекти на измерваното поведение. Форматът на тестовете ще бъде разгледан в следните аспекти:

– съотношението между измерването на рецептивни умения и на продуктивни умения;

– вида на задачите;

– вида и обема на текста, който учениците трябва да създадат, в задачата за писмено изразяване.

Структурата на тестовете за национално външно оценяване по ЧЕ заVII клас и за VIII клас с интензивно изучаване на чужд език е представена в следващите три таблици.

Съотношение между измерването на рецептивните и на про тивнитеумения

След анализ на процентното отношение на задачите, измерващи рецептивните и продуктивните умения, може да се направи следното обобщение: съотношението между измерването на рецептивните и на продуктивните умения е в полза на рецепцията. В теста за VII клас 66,6% от общия бал се формират от резултатите на учениците от задачи, които измерват рецептивните им умения да извличат информация от текстове при слушане или при четене. Останалите 33,3% от общия бал се формират от резултатите на учениците от задачи, които измерват рецептивните им умения да разпознават думи или граматически структури. Задачите за попълване на празни места в текст или в изречения се използват по принцип като учебни задачи с цел да подготвят писменото изразяване. Чрез тези задачи може да се установи нивото на усвояване на пасивната лексика и не могат да се направят заключения за продуктивната лексика: в каква степен оценяваният може да употребява самостоятелно усвоената лексика и морфосинтактичните структури при продуктивни дейности (писане, говорене). В тестовете за национално външно оценяване за VIII клас преобладават задачите за оценка на рецептивните умения. В теста за профилираните гимназии съотношението е 75% (рецептивни умения) към 25% (продуктивни умения) . А в теста за професионални гимназии 71% от общия бал се формира от резултатите на учениците от задачи, които измерват рецептивни умения, и 29% от общия бал се формира от резултатите на учениците от задачи, които измерват продуктивни умения.

Обект на измерването в тестовете по чужди езици е комуникативната компетентност на учениците. От всички нейни компоненти, дефинирани в ДОИ, в настоящия формат на тестовете се дава превес на задачите за проверка и оценка на рецептивните умения на учениците да извличат информация от текстове при слушане и при четене, както и на задачите за оценка на лексикалните и граматическите знания: 37,50% от общия бал (при профилирани гимназии) и 28,6% от общия бал (при професионални гимназии). Изказвам пълно съгласие с позицията на проф. Стефанова и проф. Шопов, че езиковите знания (граматика, лексика, правопис и т. н.) се приемат за съдържащи се в комуникативната компетентност и поради това се проверяват непряко чрез съответния вид речева дейност (Стефанова и Шопов, 1996). Нивото на усвояване на рецептивната лексика и граматическите знания се проверява имплицитно в задачите за слушане с разбиране и в задачите за четене с разбиране. В задачата за писмено изразяване се проверя и оценява нивото на самостоятелна употреба на усвоената лексика и граматическите структури. От максималните 20 точки (25% от общия бал) за оценяване на уменията за писмено изразяване 13 точки са за оценка на лексика, граматика и правопис. По този начин в настоящия формат на теста има приоритет проверката и оценката на езиковите знания на учениците за сметка на комуникативните умения, които са заложени като основна цел на чуждоезиковото обучение. В „Общата европейска езикова рамка: учене, преподаване, оценяване“ е дадено следното определение „Граматичната компетентност е способността да се разбира и изразява смисъл чрез създаване и разпознаване на добре построени според тези принципи изречения (за разлика от запаметяването и възпроизвеждането на изречения формули)“ (Обща европейска езикова рамка, 2006). Езиковата компетентност е дефинирана като „знания за формалните средства, чрез които се създават и формулират правилни по форма и смислени изказвания, и способността да се използват те“ (Обща европейска езикова рамка, 2006). Ако приемем, че граматиката и лексиката са средствата, с които се постига целта на обучението по чужд език – неговото активното използване от учениците, то в учебния процес те трябва да бъдат представяни функционално в контекста, в който се изучават и употребяват, и чрез дейности, които учениците изпълняват. Следователно проверката и оценката на знанията и уменията за уместна употреба на езиковите средства (лексика и граматика) трябва да бъде направена на функционално ниво чрез задачите за разбиране на прослушан или прочетен текст или чрез задачите за създаване на собствен текст, а не чрез задачи със структурен характер (граматически и лексикални задачи). В това отношение настоящият формат на тестовете не може да даде ефективна информация за нивото на постиженията на учениците по отношение на заложените цели в учебните програми по чужди езици за VII клас и за VIII клас (интензивно изучаване), където очакваните резултати са конкретизирани в четири ядра: четене, слушане, говорене, писане. Респективно оценяването на постиженията на учениците трябва да бъде разпределено балансирано между тези комуникативни умения. При сравнение с изпитните материали, установяващи нивото на владеене на чужд език, разработени от европейските езикови организации като Гьоте институт (GoetheInstitut) 5) , Институтa „Сервантес“ (InstitutoCervantes) 6) , Международния център за педагогически изследвания (Centreinternation ald’étudespédagogiques – CIEP) 7) се вижда, че броят на задачите, проверяващи различните комуникативни умения, е разпределен равномерно.

Вид на задачите

Относно вида на задачите наложилият се от години формат на тестовете за национално външно оценяване по чужди езици предлага следното:

– за VII клас – 25 задачи с избираем отговор (1 верен отговор и 2дистрактора) и 5 задачи с кратък свободен отговор;

– за VIII клас профилирани гимназии – 60 задачи с избираем отговор (1 верен отговор и 2 или 3 дистрактора) и една задача сразширен свободен отговор; и

– за VIII клас професионални гимназии – 50 задачи с избираем отговор (1 верен отговор и 2 или 3 дистрактора) и една задача сразширен свободен отговор.

От методическа гледна точка, не се препоръчва да се използват предимно задачи с избираем отговор, а да се включват и задачи със свободен отговор. Системното оценяване на ученическите постижения предимно чрез задачи с избираем отговор води до повърхностно запаметяване на факти (лексика, граматически правила), до формално отношение към по-пълването на теста с голяма доза налучкване. Оценяването чрез задачи с избираем отговор, без съмнение, се отразява върху преподаването и в процеса на обучение се акцентира върху запаметяването на езикови структури и върху рецептивните дейности.

Тестовете за оценка на чуждоезикови компетентности, наложили се в практиката на европейските езикови организации, целят проверка на използването на чуждия език в разнообразни реалистични ситуации от ежедневието. Чрез различни видове задачи се оценят рецептивните умения, както и уменията за комуникация при устно и писмено общуване. В тестовете за национално външно оценяване по чужди езици се използват задачи с избираем отговор от един вид (1 верен отговор и 2 или 3дистрактора), което е в противоречие с една от характеристиките на теста – балансираността. Тази характеристика показва доколко е балансирано съотношението между задачите в теста и различните аспекти на измерваното поведение.

При работа с текстове от съществено значение е каква цел на слушане или на четене се следва, защото целта определя начина, по който се справяме с текста. Целта при слушане или четене на един текст може да бъде:

– да се извади най-важната информация;

– да се потърсят конкретни информации;

– да се разбере всеки детайл в текста.

Най-често целта на слушане / целта на четене зависи от прагматичните функции на съответния вид текст. Целта, която се поставя при слушане или при четене, определя нашето поведение, респективно нашия стил на слушане / стил на четене. Тази взаимовръзка между вида на текста, вида на задачата и целта на слушане и четене е взета под внимание при разработването на формата на националното външно оценяване по чужди езици за VIII клас. В него са включени задачи с избираем отговор от един и същ вид (1 верен отговор и 2 или 3 дистрактора). Класическите задачи с избираем отговор („multiplechoice“) гарантират високата надеждност на теста, но ограничават избора на текстове относно тяхното видово разнообразие. Например към кратките текстове като инструкции, указания, разписания на превозни средства, програми, обяви, реклами, прогноза за времето са подходящи други видове задачи с избираем отговор – като задачи за съответствие или задачи от вида (вярно-грешно), с които можем да проверим глобално, селективно или детайлно разбиране. От 2013 г. в тестовете за VII клас присъстват задачи с кратък свободен отговор, които дават възможност да се проверят уменията за активна обработка на текстове и за прилагането на стратегии за разбиране на текстове. В тестовете за VIII клас все още не са включени задачи с кратък свободен отговор. В тестологията се приема, че класически задачи с избираем отговор от вида „multiplechoice“ гарантират надеждност, обективност, бързо и лесно оценяване на теста. Но също такав изследователската литература обичайно се приема, че с покачването на броя на задачите, които тестват определено умение, се покачва надеждността на измерването. Повече на брой по-малки по обем тестови задачи на едно умение дават по-добра картина за спектъра на постиженията на учещия.

Важна информация за вида на използваните задачи/въпроси, включвани в националните тестове в европейските държави, дава докладът на изпълнителната агенция „Образование, аудиовизия и култура“ от 2009 г. В него са представени резултатите от изследването на провеждането на национални тестове за оценяване на учениците в Европа и относно вида на въпросите са направени следните констатации: „В по-голяма част от страните националните тестове представляват комбинация от въпроси и задачи… По отношение на вида въпроси, страните най-често предпочитат комбинация от въпроси е избор от няколко отговора, кратки отговори или есета или отворени въпроси… Някои тестове обаче, като на холандския институт CITO, както и някои тестове, провеждани във Франция и Италия, използват предимно въпроси с избор на няколко отговора. Това е доминиращият тип въпроси и в България и Норвегия“ (Евридика, 2009).

Обем на текста в задачата за писмено изразяване в тестовете за VIII клас

Друг важен аспект в тестовете за VIII клас, който е обект на дискусия, е обемът на текста, който учениците трябва да създадат в задачата за писмено изразяване:

– за профилирани гимназии обемът на текста е 170 – 190 думи;

– за професионални гимназии обемът на текста е 120 – 140 думи;

Видът и обемът на текстовете, които изучаващите чужд език трябва да могат да създават, зависи от нормите за езиковото ниво. Формулираните цели и очакваните резултати в ядро „Писане“ на учебните програми по чужди езици за VIII клас (интензивно изучаване) 8) са насочени към уменията на учениците да пишат ограничени по обем текстове, кратки лични съобщения (покана, благодарност, молба, извинение), текстове за пощенски и поздравителни картички, кратки съчинения, описания, повествования, лични писма, читателски писма (мнение/коментар към тема). В настоящия формат на теста в част „Писмено изразяване“ е определено да се създаде писмен текст с обем 170 – 190 думи (за профилирани гимназии) и 120 – 140 думи (за професионални гимназии). Това налага следното ограничение: да бъдат формулирани задачи, изискващи създаването на няколко вида текстове (лично или читателско писмо, съчинение, описание). Другите видове текстове, които са по-кратки, не могат да бъдат включени в изпитните материали, защото те не предполагат такъв голям обем думи.

Писменото изразяване е един продължителен процес, които е съпроводен от редица когнитивни дейности: обмисляне на съдържанието, на изразяването и на езиковата форма, съсредоточаване на вниманието върху езиковата точност, интензивни проверяващи дейности по време на писането и редактирането на текста. Обемът и видът на текстовете, които изучаващите чужд език трябва да могат да създават, зависи от нормите за езиковото ниво.

В раздел „Очаквани резултати“ към ядро „Писане” на учебните програми по английски, испански и италиански език за VIII клас (интензивно изучаване) 8) са посочени само общи критерии към обема:

– „Ученикът може да пише текст… ограничен по обем“ (АЕ).

– „Учениците пишат кратко лично съобщение, кратка автобиография…“ (ИсЕ).

– „Ученикът може да напише кратък текст върху пощенска картичка…“ (ИтЕ).

– „Ученикът умее да… пише кратко съчинение, кратко описание, кратко повествование“ (РЕ).

В учебните програми по немски език и по френски език за VIII клас (интензивно изучаване) 7) има посочени конкретни критерии за броя на думите:

– „Ученикът може да… създава собствен текст… до 150 думи“ (НЕ).

– „Учениците трябва да могат да пишат… съчинение в рамките на 180 думи“ (ФЕ).

Необходима е промяна в компонента „Писмено изразяване“, защото видът на писмените текстове и техният обем са свързани и трябва да са съобразени с критериите за писмено изразяване към съответното езиково ниво, определени в Общата европейска езикова рамка. Също така те трябва да отговарят на целта на изпита – проверка на използването на чуждия език в различни комуникативни ситуации от ежедневието. Следователно необходимо е формулирането на две различни задачи с разширен свободен отговор, чрез които да бъдат оценени уменията за комуникация при писмено общуване, съобразени с нормите за езиковото ниво и отнасящи се към реалистични житейски ситуации. В тази връзка е необходимо да бъдат направени и обсъдени нови предложения за задачите за писмено изразяване. Тук са представени примерни варианти за задачи за писмено изразяване.

Пример за профилирани гимназии:

Задача 1

лично писмо или съобщение, които да съдържат: покана/благодарност/молба/ извинение

обем на текста: 40 – 50 думи;

време за изпълнение на задачата около 15 мин.

Задача 2

читателско писмо, мнение/коментар към тема, съчинение (по 3 опорни точки)

обем на текста: 70 – 80 думи;

време за изпълнение на задачата около 25 мин.

Общото време за изпълнение на двете задачи в този компонент – около 40 мин.

Пример за професионални гимназии:

Задача 1

поздравителна картичка или съобщение, които съдържат: покана/благодарност/молба/ извинение;

обем на текста:30 – 40 думи;

време за изпълнение на задачата около 15 мин.

Задача 2

лично писмо, което съдържа: описание на събитие/лично преживяване/личен опит (по 3 опорни точки);

обем на текста: 60 – 70 думи;

време за изпълнение на задачата около 25 мин.

Общото време за изпълнение на двете задачи в този компонент – около 40 мин.

Време за решаване на тестовите задачи

Определеното време за решаване на тестовите задачи за профилирани гимназии (61 задачи) и за професионални гимназии (51 задачи) е еднакво – 180 минути, въпреки разликата в броя на задачите в тестовете. Също така няма регламентирана почивка. Според канадските изследователи Фернандо Картрайт и Джери Мусио един от факторите, който влияе върху ефективността на задачите е „умора на отговарящия“, която се наблюдава, когато учениците са изтощени от процеса на оценяване. „Прагът на умората е различен при различните ученици, но е известно, че средно когнитивните способности започват да спадат след осемдесетата минута. Ако тестът е важен (конкурсен) за отделния ученик, ефектът от умората настъпва по-бавно, което позволява по-голяма продължителност на теста.“ Двамата изследователи на оценяването предлагат няколко подходи за понижаване на ефекта от умората на учениците върху финалните резултати от теста, един от които е следният: задачите да се разделят в два отделни свитъка, ако съдържанието на теста налага време за провеждане повече от два часа. След попълването и предаването на първия свитък учениците имат кратка почивка, след която продължават с втория свитък“ (Картрайт, Ф., Мусио, Дж., 2009).

Изпитите и различните методи за проверка оказват влияние върху начина, по който се преподава и учи, както и върху нагласата и мотивацията за учене. Затова е важно да се потърси отговор на въпросите: какво е естеството на това влияние и каква полза носи то на учениците? В доклада на изпълнителната агенция „Образование, аудиовизия и култура“ от 2009 г. е изразено следното: „Съществува опасение, свързано с някои възможни нежелани ефекти от тестовете, като тенденцията да се адаптира или ограничава преподаването до онези аспекти на учебния план, които се включват в тестовете, или да се придава ненужна значимост на уменията, свързани изцяло с успешното взимане на теста“ (Евридика, 2009).

Нуждата от оценяването е неоспорима, като съществен остава въпросът: какви качества трябва да притежава инструментариумът за оценяване, така че нагласите към оценяването сред учещите и сред обществеността да са положителни. Ако тестовите задачи проверят онези компетентности, чието развиване е смислено за модерното комуникативно обучение, то тогава тестовете могат да окажат положително въздействие върху обучението. Обучение, което развива широкия спектър на компетентностите, може да подготви учениците да се справят с тестови задачи като ги използва при подготовката за тестове и изпити, като изясни критериите за оценка и подпомогне учениците да усвоят и развият собствени тестови стратегии (Caspari,Grotjahn, Kleppin, 2008).

Процесът на преподаване и учене на чужди езици се подчинява на основните принципи и стратегии в комуникацията. Интерактивното, комуникативно обучение изисква прилагането на рецептивни и продуктивни учебни стратегии. Комуникативните методи в преподаването на чужд език определят необходимостта от качествени инструменти за измерване на постиженията в чуждоезиковото обучение, включващи рецептивни и продуктивни задачи, които да дадат надеждна информация за езиковата компетентност на учениците.

БЕЛЕЖКИ

1. Национална програма за развитиена училищнотообразование и предучилищното възпитание и подготовка(2006 – 2015 г.)

Програма за развитие на образованието, науката и младежките политики в Република България (2009 – 2013 г.)

2. ALTE - Асоциацията на центровете за езиково оценяване в Европа (A ssociationofLanguageTestersinEurope) е създадена през 1990 година и има 31 членове, които разработват и провеждат тестове на 26 европейски езици. ALTE си поставя следните цели: уеднаквяване на езиковите нива за подпомагане на международното признаване на езиковите сертификати в Европа; уеднаквяване на критериите за качество за всички фази при разработването на изпити, т. е. структура на теста, провеждане на изпита, оценяване, сертифициране и съхраняване на данните. (www.alte.org)

3. За реформи в българското училищно образование се говори от години, правят се частични промени, но реалните реформи ще бъдат реализирани след приемането на проекта за закон за предучилищното и училищно образование.

4. Като аргумент могат да бъдат посочени данните от анализите на резултатите от тестовете за национално външно оценяване (2014 година) по немски език, френски език и испански език. Коефициентът на надеждност Алфа в тестовете за VII клас е 0,80 (френски език), 0,85 (немски език) и 0,75 (испански език). В тестовете за VIII клас коефициентът на надеждност Алфа е 0,87 (френски език), 0,85 (немски език) и 0,87 (испански език).

5. Информацията за изпитните материали е от сайта на Гьоте институт (GoetheInstitut), www.goethe.de

6. Информацията за изпитните материали е от сайта на Институтa „Сервантес“ (InstitutoCervantes),http://diplomas.cervantes.es/

7. Информацията за изпитните материали е от сайта на Международния център за педагогически изследвания (Centreinternationald’étudespéda gogiques – CIEP),www.ciep.fr

8. Учебните програми по чужди езици заVIII клас (интензивно изучаване) са публикувани на сайта на МОН, http://www.mon.bg/?go=page&pa geId=1&subpageId=28, [Наличен на: 31.07.2015 г.]

БИБЛИОГРАФИЯ

Евридика (2009). Национални тестове за оценяване на учениците в Европа: цели, организация и използване на резултатите, Доклад на изпълнителна агенция „Образование, аудиовизия и култура“, 33; 65, http://eacea.ec.europa.eu/education/Eurydice/documents/ thematic_reports/109BG.pdf[Наличен на: 28.07.2015 г.]

Обща европейска езикова рамка: учене, преподаване, оценяване, 2006, София, Релакса ООД, 139 – 140; 136.

Стефанова, П., Т. Шопов. (1996). Изследване на постиженията в обучението по чужд език в средното училище. София. Чуждоезиково обучение 6, 4 – 12.

Картрайт, Ф., Дж. Мусио. (2009). Ръководство за съставяне на тестове, Разработено за Център за контрол и оценка на качеството на образованието, София, Стратегии на образователната и научната политика, 2013, 2, 257 – 258.

Caspari D., R. Grotjahn, K. Kleppin. (2008). Kompetenzorient ierungundAufgaben. BerndTesch, EynarLeupold,OlafKöller (Hrsg.), BildungsstandardsFranzösisch: konkret. Berlin: CornelsenVerlagScriptor 2008, 86-87 http://edoc.hu-berlin.de/ series/iqb/2011-2/PDF/2.pdf[Наличен на: 29.07.2015 г.

Grotjahn, R. (2000): Testtheorie: GrundzugeundAnwendungeninder Praxis. Wolff, Armin,Tanzer, Harald (Hrsg.): Sprache – Kultur – Politik: Beitrageder 27. JahrestagungDeutschalsFremdsprachevom 3.–5. Juni 1999 anderUniversitatRegensburg. FachverbandDeutsch alsFremdsprache: Regensburg, 304 – 341

REFERENCES

Evridika (2009). Natsionalni testove za otsenyavane na uchenitsite v Evropa: tseli, organizatsiya i izpolzvane na rezultatite, Doklad na izpalnitelna agentsiya „Obrazovanie, audioviziya i kultura“, 33; 65, http://eacea.ec.europa.eu/education/Eurydice/documents/thematic_ reports/109BG.pdf[Nalichen na: 28.07.2015 g.]

Obshta evropeyska ezikova ramka: uchene, prepodavane, otsenyavane, 2006, Sofiya, Relaksa OOD, 139 – 140; 136.

Stefanova, P., T. Shopov. (1996). Izsledvane na postizheniyata v obuchenieto po chuzhd ezik v srednoto uchilishte. Sofiya. Chuzhdoezikovo obuchenie 6, 4 – 12.

Kartrayt, F., Dzh. Musio. (2009). Rakovodstvo za sastavyane na testove, Razraboteno za Tsentar za kontrol i otsenka na kachestvoto na obrazovanieto, Sofiya, Strategii na obrazovatelnata i nauchnata politika, 2013, 2, 257 – 258.

Caspari D., R. Grotjahn, K. Kleppin. (2008). Kompetenzorient ierungundAufgaben. BerndTesch, EynarLeupold,OlafKöller (Hrsg.), BildungsstandardsFranzösisch: konkret. Berlin: CornelsenVerlagScriptor 2008, 86-87 http://edoc.hu-berlin.de/ series/iqb/2011-2/PDF/2.pdf[Nalichen na: 29.07.2015 g.

Grotjahn, R. (2000): Testtheorie: GrundzugeundAnwendungeninde rPraxis. Wolff, Armin,Tanzer, Harald (Hrsg.): Sprache – Kultur – Politik: Beitrageder 27. JahrestagungDeutschalsFremdsprachevom 3.–5. Juni 1999 anderUniversitatRegensburg. FachverbandDeutsch alsFremdsprache: Regensburg, 304 – 341