2014/2, стр. 185 - 208

ОЦЕНЯВАНЕ НА КОМПЕТЕНТНОСТТА ДА СЕ РЕШАВАТ ПРОБЛЕМИ В PISA 2012

Резюме: Прeдложеният текст съдържа анализ на резултатите на българските ученици на компютърно базирания модул „Решаване на проблеми“ в Програмата за международно оценяване на учениците – PISA 2012. PISA е проучване на Организацията за икономическо сътрудничество и развитие (ОИСР). В България то се осъществява от Центъра за контрол и оценка на качеството на училищното образование (ЦКОКУО). В статията са използвани материали от международния доклад PISA 2012 Results: Creative Problem Solving (OECD, 2014). Статистическата информация е от международната и националната база данни на изследването.

Ключови думи: PISA, problem solving, international comparative assessment, 15 – 16-years old students

Ежедневно всеки от нас се изправя пред по-малки или по-големи проблеми от различно естество, които изискват взимане на решения. Нещо повече, животът днес е постоянно решаване на проблеми. Обществените процеси са толкова динамични и непредвидими, че налагат също толкова динамична промяна и реакция от страна на съвременния млад човек, който е принуден да се адаптира, непрекъснато да се образова, да пробва нови неща и винаги да бъде готов да се учи от грешките си.

В психологическата литература проблемите се определят най-често като ситуации без ясен изход. Ако няма необходимост от мислене, значи няма проблем. Решаването на проблем е мислене и учене в действие, което представлява своеобразно взаимодействие с околната среда, за да се разберат същността на проблема и възможните му решения. Така индивидът научава повече за спецификата на проблема и ефективността на стратегиите, които използва за решаването му.

През 2012 г. освен оценяването на четивната, математическата и природонаучната грамотност на учениците PISA реализира допълнителен модул – оценяване на уменията на учениците да решават проблеми.

Днес все повече се ценят хората, които успяват бързо и ефективно да се справят с нестандартни проблеми и задачи, изискващи обработване и осмисляне на информация, умения за решаване на проблеми, интуиция, убедителност и креативност. Това е така, защото модерните технологии постепенно се превръщат в част от почти всяко работно място и заменят човека при изпълнението на рутинните задачи или дейности, свързани със следването на определен алгоритъм.

Осъзнаването на тези промени означава да осъзнаем, че е необходима промяна в смисъла и същността на съвременното образование. От образование, формиращо систематизирани, рутинни умения у учениците, то трябва да се превърне в образование, което подготвя учениците ефективно да преодоляват сложни и нестандартни предизвикателства. Без съмнение, за да се реализират успешно съвременните ученици, не е достатъчно да усвоят само определен набор от факти и процедури. Те трябва да притежават умения за учене през целия си живот, както и умения, позволяващи им да намерят решения на проблеми в ситуации, изходът от които невинаги може да бъде предвиден и за които не съществуват готови стратегии. Компетентността да се решават проблеми става все по-ценена в съвременната високотехнологична икономика, тъй като способността на индивида да се адаптира към постоянно променящите се условия, да се учи непрекъснато и ефективно да използва знанията си винаги е била определящо условие за участието му в обществото. Добрите учители разбират, че е по-добре учениците им да притежават умения, които им позволяват да решават нестандартни и непознати задачи, т. е. да ги подготвят за живота. Учениците следва да знаят не само какво да направят в конкретни ситуации, но и как да го направят; нещо повече, те трябва да са мотивирани и заинтересовани да предприемат конкретно действие. Тези три компонента на ефективното решаване на проблеми са определени като „умение“, „метаумение“ и „воля“ (Mayer, 1998: 49 – 63).

Оценяването на математическата, четивната и природонаучната грамотност на учениците в PISA също включва задачи, свързани с решаването на проблеми, които в частност измерват способността на учениците да използват знанията, придобити в училище, за да се справят с предизвикателства от реалния живот. За разлика обаче от традиционното оценяване на PISA оценяването на уменията за решаване на проблеми се фокусира върху способността на учениците да мислят и да управляват процеса на решаване на проблеми, като ги поставя в непознати за тях ситуации.

Отделни задачи1) , изискващи умения за решаване на проблеми, са включени в теста, администриран на хартиен носител в PISA 2003. Тогава за пръв път постиженията на учениците в тази област стават обект на международно стандартизирано оценяване2) . PISA 2003 дефинира уменията за решаване на проблеми като определящи за бъдещото развитие на младите хора, за тяхното ефективно и активно участие в обществото. Смята се, че тези умения не се формират при обучението само по един учебен предмет и не се ограничават до конкретна съдържателна област. Те са интердисциплинарни и са продукт на цялостната подготовка на учениците. Концепцията на PISA 2003 за уменията за решаване на проблеми е доразвита през 2012 г., когато оценяването на този модул е осъществено изцяло в електронен вариант посредством компютърно базиран тест. Новият формат позволява да се използват компютърни симулации на проблемни ситуации, както и да се акцентира върху т. нар. интерактивни проблеми, при решаването на които ученикът има водеща роля. Този подход ще се приложи и в тестирането през 2015 г., в което ще бъде включено оценяване на уменията на учениците за екипно решаване на проблеми. По този начин се задълбочава изследването на способностите на младите хора да се справят с различни проблеми в значително по-сложни ситуации, изискващи сътрудничество и взаимопомощ.

Училището не е единствената среда, в която се формират умения за решаване на проблеми. Качественото образование, многообразието от изучаваните учебни предмети обаче съществено допринасят за развитието на тези умения. Използването на различни модерни и прогресивни методи за преподаване и учене като проблемно базираното обучение или обучение, основаващо се на изследователския подход, разработването на индивидуални или групови проекти, е особено ефективно, за да бъдат подготвени учениците да използват знанията и уменията си в непознати и нестандартни ситуации.

Оценявайки уменията на 15 – 16-годишните ученици да решават проблеми, PISA дава възможност да се определи доколко ефективно образователните системи допринасят за формирането на компетентностите, необходими, за да бъдат успешни и да се реализират ефективно.

Концептуална рамка на PISA 2012 за оценяване на компетентността да се решават проблеми

Концептуалната рамка на PISA 2012 за оценяване на уменията на учениците да решават проблеми е разработена от експертна група на Международния консорциум на проекта (OECD, 2013: 119 – 137).

Според нея проблем съществува, когато индивидът си е поставил цел, но няма ясно решение как да я постигне (Duncker, 1945: 1). Целта задава желаното качество на едно бъдещо състояние, т. е. целевата ситуация. С други думи, решаването на проблем е познавателен процес, при който наличната ситуация се преобразува в целева ситуация, без да съществува очевиден начин или процедура за нейното реализиране. Намирането на този начин или процедура представлява решаването на проблема. Това означава, че решаването на проблем е процес, който индивидът направлява в съответствие с поставената цел, от една страна, и от друга – неговата ефективност до голяма степен зависи от знанията и уменията на този, който решава проблема.

Оценяването на уменията на учениците за решаване на проблеми се фокусира върху основните познавателни процеси, които формират структурата на тези умения. Това се постига и посредством използване на автентични ситуации, свързани с реални житейски проблеми, като по този начин се избягва необходимостта да се използва специализирано и отнасящо се до конкретен учебен предмет познание. Например текстовете са кратки и ясно структурирани. Учениците могат да използват електронен калкулатор, когато е необходимо да извършат математически изчисления.

Често решаването на реални проблеми изисква да се определи информацията, която допринася в най-голяма степен за успешния резултат. Проблемите, при които учениците най-напред трябва да намерят необходимата информация, изследвайки проблемната ситуация, са определени като интерактивни проблеми. Ние често се изправяме пред подобни проблеми – например, когато изучаваме ново технологично устройство. Извън технологичния контекст подобни ситуации се срещат често и в процеса на общуване между хората. Доминирането на интерактивните проблеми в теста на PISA отразява тяхното значение в реалния живот. Разбира се, използването на интерактивни ситуации е възможно благодарение на променения формат на оценяването в тази област, а именно компютърно базирания тест.

PISA 2012 дефинира компетентността да се решават проблеми по отношение на способността на учениците да използват познавателни умения, за да разберат и решат проблеми, при които начинът за намиране на решението не е достатъчно ясен. Тя включва също така и готовността на учениците да се ангажират с решаването на проблеми като конструктивни и мислещи граждани.

Компетентността да се решават проблеми е свързана не толкова с използването на конкретно познание, а по-скоро с мобилизирането на познавателните и практическите умения на ученика; на творческите му способности, мотивация, ценности и нагласи. Модулът за решаване на проблемина PISA 2012 не оценява доколко учениците са усвоили определено знание по математика или природни науки например. Той се фокусира върху познавателните умения на учениците, които се необходими за справянето с непознати ситуации, каквито могат да възникнат в реалния живот. В оценяването не са включени проблеми, за решаването на които се изисква специализирано познание. Тестът се състои от задачи, които са свързани с разнообразни ежедневни ситуации, но изискват от учениците да откриват и използват нова за тях информация или да прилагат вече усвоено знание по нов начин в непознат контекст.

Обикновено решаването на даден проблем започва с разпознаването на проблемната ситуация и разбирането на нейната същност. Това включва най-напред определяне на конкретния проблем; след това планиране на процеса на намиране на решение и избор на стратегии; контрол и оценка както на постигнатия резултат, така и на осъществената дейност. Проблемът представлява опростен модел на проблемната ситуация или на част от нея. Формулирането на проблема, т. е. преходът от проблемната ситуация към проблема, е по-сложната и по-творческата част от проблемното мислене. Следователно процесът на решаване на проблем представлява своеобразна изследователска дейност, която започва с проучването на непознатата ситуация, за да се установят ограниченията и възможностите за по-нататъшни действия.

При много реални ситуации някои задачи могат да бъдат непознати за едни, но рутинни за други. В процеса на учене много дейности, които първоначално се възприемат като предизвикателство, впоследствие се превръщат в почти ежедневна практика. Проблемните ситуации, включени в тестирането PISA, изискват решаването на непознати за 15 – 16-годишните ученици задачи. Те представляват възможни реални сценарии, но конкретният проблем е нов. Изходът от ситуацията, както и начините за достигане до целта не са ясно представени.

Например една от тестовите задачи изисква учениците да определят защо електрическа лампа не свети: дали поради повреда в електрическия ключ или в самата лампа, или поради липса на електрическо захранване. Безспорно, тази ситуация е позната на учениците и мнозина от тях са се изправяли пред подобен проблем. Специфичният замисъл на тестовата задача обаче прави ситуацията уникална, а намирането на решение на проблема се превръща в истинско предизвикателство за учениците.

Последното изречение в дефиницията на компетентността да се решават проблеми съдържа разбирането, че използването на знанията и уменията на учениците за решаване на проблем зависи до голяма степен и от тяхната мотивация и нагласи, както и от готовността им да предприемат конкретни действия в непознати за тях ситуации.

Рамката на теста за решаване на проблеми включва три отделни елемента: проблемна ситуация; познавателни процеси и контекст на проблема.

Проблемната ситуация се дефинира като:

– статична, когато цялата информация, необходима за решаване на проблема, е представена в условието на задачата;

– интерактивна, когато ученикът сам трябва да открие част от информацията, необходима за решаването на проблема, посредством проучване на самата проблемна ситуация.

Всеки въпрос в теста се фокусира върху отделен познавателен процес, свързан с решаването на проблеми. За целите на оценяването PISA тези познавателни процеси са обединени в четири групи, като всеки процес е приложим както в статични, така и в интерактивни проблемни ситуации.

– Изследване и разбиране. Този процес включва проучване на проблемната ситуация посредством наблюдение и интеракция, търсене на информация, разбиране на ограниченията и възможностите за решаването на проблема, както и разбиране доколко дадената и откритата информация е приложима за решаване на конкретния проблем.

– Представяне и формулиране. Този процес включва използването на таблици, графики, символи или текст за представяне на отделни аспекти от проблемната ситуация; формулиране на хипотези за причините за възникването на проблема, както и формиране на ясна представа за неговата същност.

– Планиране и изпълнение. Процесът включва поставяне на цел, разработване на план или стратегия за решаване на проблема, както и тяхното осъществяване. Това може да бъде свързано с уточняване на общата цел, формулиране на подцели и т. н.

– Контрол и осмисляне. Процесът включва контрол върху напредъка на всеки етап от дейността в съответствие с поставената цел; проверка на резултата и осмисляне на решението, на получената информация или на използваната стратегия; откриване на неочаквани препятствия и предприемане на адекватни действия. Включва също така и осмисляне на получения резултат от различни перспективи, критично оценяване на възможностите и алтернативните решения, определяне на необходимостта от допълнителна информация и представяне на резултата по подходящ начин.

Всеки въпрос, включен в теста, се фокусира върху измерването на един конкретен процес. Макар че уменията за мислене, които се отнасят до ефективното взимане на решение например, не се споменават изрично при тази своеобразна класификация на измерваните познавателни процеси, те стоят в основата на всички процеси. Например при разбирането на проблемната ситуация е необходимо ученикът да разграничава факти от мнение; при формулирането на решение той трябва да определи каква е връзката между няколко променливи; когато избира подходяща стратегия, той трябва да обмисли връзката между причина и следствие; при осмислянето на резултата е необходимо критично да оцени предпоставките и възможните решения и т. н. Дедуктивно, индуктивно и комбинаторно мислене, мислене чрез аналогии, както и други видове мислене естествено се вплитат във всяка задача за решаване на проблем, използвана в теста на PISA. Важно е да се подчертае, че всички тези видове мислене могат да се формират посредством обучението в училище.

Таблица 1, която следва, представя броя на въпросите в теста, групирани според вида на проблемната ситуация и измервания познавателен процес. Очевидно е преобладаването на интерактивните проблемни ситуации, които представляват почти две трети от всички въпроси в теста.

В зависимост от спецификата на ежедневната ситуация, в която е формулиран проблемът, контекстът може да бъде: технологичен или нетехнологичен, личен или обществен. Проблемите, представени в технологичен контекст, включват използването на технологично устройство като например цифров часовник, климатик или автомат за билети. Проблемите в нетехнологичен контекст са свързани със задачи за планиране или взимане на решения. Личният контекст е свързан със ситуации, касаещи отделния ученик, неговото семейство или приятели, докато общественият контекст се отнася до ситуации, ангажиращи по-големи групи хора или общности.

Структура на теста за оценяване на компетентността да се решават проблеми и методология на изследването

Оценяването на компетентността да се решават проблеми се проведе в 44 държави. Изследването бе осъществено непосредствено след оценяването на математическата, четивната и природонаучната грамотност на учениците в PISA 2012.

Подобно на останалите области, оценявани в PISA, задачите за измерване на уменията на учениците да решават проблеми преминават задълбочен експертен анализ на международно и национално равнище по отношение на своето съдържателно съответствие с концептуалната рамка на изследването и психометричните си характеристики. Целта е да не се допусне предимство при оценяването на учениците от отделни държави или езикови групи.

Към конкретен източник на информация се формулират няколко въпроса, които се обединяват в една задача. Този подход е характерен за всички оценявани области в PISA. Компютърно базираният тест за измерване на уменията на учениците да решават проблеми се състои от 16 задачи, съдържащи 42 въпроса, групирани в четири клъстера. За решаването на задачите от един клъстер са предвидени 20 минути. Тъй като всеки ученик отговаря на въпросите, включени в два клъстера, то оценяването на компетентността решаване на проблеми продължава точно 40 минути.

Компютърно базираното оценяване на уменията на учениците да решават проблеми се проведе паралелно с основното изследване на PISA 2012 в България през периода от 2 април до 11 май 2012 г. В него участваха 2122 ученици от 186 училища, определени на случаен принцип сред учениците от извадката на PISA. Максималният брой ученици от едно училище, взели участие в компютърно базираното оценяване на уменията за решаване на проблеми, беше 14.

Условието на задачата при всички въпроси винаги се появява в горната част на екрана, а въпросът – в долната част, визуално обособен от условието на задачата. Мястото, където екранът се разделя на две части, зависи от конкретния въпрос и най-вече от неговото условие. То обаче се избира така, че да не се налага скролиране. На фигура 1. е представен работният екран на задача „Билети“ (въпрос 1).

Фигура 1. Работен екран на въпрос 1, задача „Билети“

Всеки въпрос заедно със своето условие е представен на отделен екран. След като премине към следващия въпрос, ученикът не може да се върне отново към предишния. При преминаването от един към друг въпрос винаги се появява съобщение, в което се изисква ученикът да потвърди, че желае да премине към следващия въпрос.

Използвани са различни формати за посочване на отговорите, сред които радиобутони и падащи менюта за въпросите с избираем отговор и текстови кутийки за въпросите със свободен отговор.

Електронният формат на теста позволява наред с отговорите на учениците да се съхрани и впоследствие да се анализира цялата информация за подхода и действията на учениците по време на решаването на даден въпрос. Тази информация включва честотата и вида на манипулациите (кликване с мишката, влачене и пускане, писане и др.), тяхната последователност и времетраене, както и състоянието на системата във всеки момент на теста. При някои въпроси броят на точките, които учениците получават, зависи не само от това, дали отговорът е напълно или частично верен, но и от действията, които са предприели, за да достигнат до крайния отговор. Информацията за действията на учениците при решаването на задачата се съхранява в отделни файлове и се използва при определянето на техните резултати. Например, когато е очевидно, че ученикът се е опитвал да налучка верния отговор, извършвайки несистемни или хаотични действия, той не получава кредит (точки) за отговора си.

Компютърно базираният формат на теста поставя въпроса доколко уменията на учениците да работят с информационни и комуникационни технологии (ИКТ) оказват влияние върху техните резултати. За да преминават от един екран към друг, а с това от един въпрос към следващия, както и за да посочват своите отговори, учениците следва да притежават следните базисни умения за работа с компютър: използване на клавиатура и мишка; кликване върху радиобутони; влачене и пускане на обекти; използване на скрол и падащо меню. Преди теста всички ученици преминават практическо упражнение в продължение на около 15 минути, което съдържа примерни задачи, подобни на задачите, които са включени в самия тест. Целта е всички ученици да се запознаят достатъчно добре с формàта на теста и действията, които се очаква да осъществят.

Няколко задачи от теста на PISA 2012 за измерване на компетентността на учениците да решават проблеми са публикувани, за да покажат по какъв начин е осъществено измерването3) .

Анализ на резултатите на учениците

Среден резултат на учениците

Подобно на останалите оценявани области в PISA 2012, резултатите на учениците на теста за измерване на уменията им да решават проблеми са представени в обща скàла, изградена на базата на всички въпроси, включени в теста. Скàлата е със средна стойност 500 точки – средния резултат на учениците от държавите в ОИСР – и 100 точки стандартно отклонение. Две трети от учениците в ОИСР имат среден резултат между 400 и 600 точки.

PISA представя резултатите на всички ученици посредством една обща скàла, независимо че учениците решават различни комбинации от задачи. Теорията за отговор на тестов въпрос4) (Item-response theory), на базата на която се обработват данните на учениците, позволява резултатите им да бъдат разположени върху една скàла, независимо че отделните ученици не решават всички тестови задачи, а само част от тях.

Подобно на останалите области, измервани в PISA, анализът на резултатите на учениците се основава на няколко показателя, един от които е техният среден резултат.

В таблица 2 е показан средният резултат на държавите и регионите в PISA 2012, както и учениците от кои държави/региони имат сходен среден резултат (държавите/регионите, изброени в трета колона). Държавите/регионите са подредени в низходящ ред според средния резултат на учениците. Когато сравняваме средните резултати на учениците, следва да отчитаме само тези разлики, които са статистически значими.

Държавите/регионите са разделени на три големи групи в зависимост от това, дали средният резултат на учениците е по-висок, по-нисък или не се отличава съществено от средния резултат на учениците от ОИСР. Най-висок среден резултат на теста за решаване на проблеми имат учениците от Сингапур и Корея – съответно 562 и 561 точки.

Таблицата показва, че резултатите на учениците по държави/региони значително се различават подобно на останалите оценявани области в PISA 2012 – математика, природни науки и четене. Разликата между най-високия (Сингапур – 562 точки) и най-ниския (Колумбия – 399 точки) резултат е 163 точки, или две познавателни равнища от скàлата на PISA.

Резултати на учениците по равнища на постижения

Скàлата е разделена на шест равнища на постижения в зависимост от знанията и уменията, които учениците показват при решаването на задачите от всяко равнище. Всяко равнище съдържа 65 точки. Това означава, че разлика между резултатите на учениците от 65 точки отговаря на едно познавателно равнище.

Най-ниското равнище от скàлата е първо, на което съответстват най-лесните задачи от теста, изискващи елементарни умения за решаване на проблеми. Найвисокото равнище е шесто, на което съответстват най-трудните задачи в теста, изискващи добре развити умения за решаване на проблеми. Предполага се, че учениците с резултат на шесто равнище, могат да решат всички задачи в теста. Към шестте равнища е добавено още едно – под първо равнище – което включва учениците, които не могат да се справят с повечето задачи от първо равнище.

Подобно на останалите измервани в PISA области – четене, математика и природни науки – и тук второ равнище е определено като критичен праг в постиженията на учениците. Това означава, че ако ученик може да реши само задачите от първо или под първо равнище, то той не притежава дори и елементарни умения за решаване на проблеми.

Трудността на въпросите в теста се определя от няколко характеристики. Преди всичко тя зависи от броя на стъпките (действията), които ученикът трябва да предприеме, за да постигне целта. От друга страна, тя зависи и от характера на информацията, която ученикът следва да осмисли и да използва. При по-лесните въпроси информацията, необходима за тяхното решаване, е ограничена по обем и явно представена в условието на задачата. При по-трудните въпроси необходимата информация се усложнява и може да бъде представена по различни начини: например посредством таблици, графики и текст.

По-лесните въпроси обикновено дефинират само едно условие, което трябва да бъде изпълнено, за разлика от по-трудните проблеми, при които ученикът следва да се съобрази с няколко условия или препятствия като например ограничен брой стъпки (действия) или няколко променливи, поведението на които трябва да наблюдава и осмисли. Най-лесните задачи обикновено са формулирани в познат контекст като например използване на карта на градския транспорт. При по-трудните задачи се използват абстрактни ситуации, които са свързани с непознати обекти. В допълнение към това по-лесните проблеми изискват предприемането на малък брой действия, като причинно-следствената връзка между всяко действие и неговия резултат е ясно изразена. При по-трудните задачи е необходимо да се предприемат по-голям брой последователни действия, като последствията от тях невинаги са очевидни.

Фигура 2 показва разпределението на учениците (в %) по равнищата на скàлата за решаване на проблеми. Държавите/регионите са подредени в низходящ ред в зависимост от дела на учениците с резултати на второ, трето, четвърто, пето и шесто равнище.

Шесто равнище (над 683 точки)

Учениците с резултат на шесто равнище успешно решават сложни проблеми, като разработват и осъществяват различни сценарии за решаване на проблема. Задълбочено проучват проблемната ситуация и разбират цялата информация, която е необходима за решаването на проблема. Информацията може да бъде представена в различни формати, като учениците следва датълкуват и обединят отделни елементи от тази информация. Когато проблемната ситуация включва сложни устройства, които работят по непознат или неочакван начин, учениците бързо разбират как устройствата функционират и как могат да ги контролират, за да постигнат поставената цел. Успешно формулират хипотези или правят предположения, за да стигнат до логично заключение или да определят дали наличната информация е достатъчна за постигане на целта. За да решат проблем, те създават комплексен, гъвкав и многостъпков план и упражняват контрол в процеса на неговото изпълнение. Когато е необходимо, променят стратегията си в съответствие с ограниченията (явни или неявни), пред които се изправят.

Сред учениците от държавите от ОИСР само 2,5% успяват да се справят с най-сложните проблеми, съответстващи на шесто равнище. Делът на учениците на шесто равнище в отделните държави/региони силно варира. Например най-висок е в Сингапур и Корея – съответно 9,6% и 7,6%. Сравнително висок е делът на тези ученици и в Япония (5,3%), Хонконг-Китай и Канада – по 5,1%. Българските ученици, постигнали най-високи резултати, са значително по-малко – едва 0,2%.

Пето равнище (от 618 до 683 точки)

Учениците с резултати на пето равнище систематично и последователно проучват сложни проблемни ситуации, за да разберат как е структурирана необходимата информация. Когато са изправени пред непознати и сравнително сложни устройства, те бързо се ориентират как могат да управляват устройството. Успешно намират най-ефективната стратегия, за да постигнат целта и да преодолеят наличните ограничения, като предвиждат възможните последствия. Много бързо променят плана си, когато открият неочаквани трудности или допуснат грешка.

Учениците от държавите в ОИСР с резултати на пето равнище са около 8,9%. Общо делът на учениците в ОИСР с най-високи постижения – на пето и шесто равнище – възлиза на 11,4%. Българските ученици с най-високи постижения са 1,6%, от които 1,4% са учениците с резултати на пето равнище.

Открояват се няколко държави/региона с висок процент ученици с резултати на пето и шесто равнище, сред които Хонконг-Китай (19,3%), Китайски Тайбей (18,4%), Шанхай-Китай (18,2%), Канада (17,5%) и Австралия (16,7%).

Данните на PISA 2012 позволяват да се проследи какъв процент от учениците имат високи постижения (на пето и шесто равнище) в повече от една област на оценяване. В повечето държави и региони голяма част от учениците с високи резултати на теста за решаване на проблеми имат също високи резултати и на теста по математика, четене и природни науки. Обаче най-силно изразена е връзката между резултатите на учениците по математика и техните умения за решаване на проблеми. Таблица 3 показва какъв процент от учениците в България и в държавите от ОИСР с резултати на пето и шесто равнище на теста за решаване на проблеми имат резултати също на пето и шесто равнище по математика, четене и природни науки.

Четвърто равнище (от 553 до 618 точки)

Задачите на четвърто равнище представляват умерено трудни проблемни ситуации. Обикновено от учениците се изисква да управляват или да настроят средно сложни дигитални устройства. Те могат да съставят план от ограничен брой стъпки и ефективно да го следват. Понякога е необходимо да променят плана си или да преформулират целите си в зависимост от получените резултати. Способни са да изследват различни възможности и да проверят дали действията им отговарят на предварително зададени условия. Формулират хипотези защо дадено устройство не функционира правилно и описват как могат да го тестват.

Българските ученици, които имат среден резултат, съответстващ на четвърто равнище, са 5,6%, докато учениците в държавите от ОИСР – 19,6%.

Трето равнище (от 488 до 553 точки)

Учениците с резултати на трето равнище могат да използват информация, представена в няколко различни формàта. Те ефективно проучват проблемната ситуация и правят изводи за връзките между нейните елементи. Успешно управляват несложни цифрови устройства. Решават проблеми, при които трябва да се съобразят с едно конкретно условие и да генерират няколко решения, за да проверят кое от тях отговаря на условието. Когато проблемната ситуация включва няколко променливи, разбират, че едната променлива трябва да остане константа, за да се проследи влиянието на останалите променливи. Могат да планират и осъществят проверки, за да потвърдят или отхвърлят дадена хипотеза. Разбират необходимостта от планиране на действията си, както и от оценка на постигнатия резултат по отношение на поставената цел.

Учениците с резултати на трето равнище в държавите от ОИСР представляват 25,6%, а българските ученици – 14,1%.

Второ равнище (от 423 до 488 точки)

Второ равнище включва задачи, формулирани в непознат контекст, но от учениците се изисква да осмислят само отделен елемент от проблемната ситуация. Те полагат усилия, макар и невинаги успешни, да разбират как функционират непознати цифрови устройства и да ги управляват. Често е необходимо да проверят елементарни хипотези, формулирани в задачата. Ефективно планират и осъществяват дейности, които изискват една или две стъпки. Показват умения да преценяват доколко постигнатият резултат отговаря на целта.

Учениците в България с резултат на второ равнище представляват 22,1%. Също толкова (22%) са и учениците в държавите от ОИСР.

Във всички скàли на PISA второ равнище е базисно по отношение на подготовката на учениците, в това число и да решават проблеми. Второ равнище е най-ниското, на което учениците започват да демонстрират умения за решаване на проблеми, които ще им позволят да участват ефективно в съвременното високотехнологично общество. Най-общо, учениците с постижения на второ равнище успешно се справят с ежедневни проблеми, преценяват дали постигнатият резултат съответства на поставената цел и понякога успяват да постигнат целта си.

Почти половината от българските ученици (56,6%), които са участвали в този модул на PISA 2012, не успяват да решат проблемите на второ и по-високите равнища от скàлата, т. е. резултатите им са под критичния праг на постижения. Учениците с постижения под второ равнище в държавите от ОИСР са 21,4%.

Първо равнище (от 358 до 423 точки)

Учениците с резултати на първо равнище работят върху решаването на конкретен проблем в позната ситуация, но не успяват да стигнат до неговото крайно решение. Основавайки се на наблюденията си върху подобни ситуации, те успяват частично да опишат поведението на елементарно устройство, което се използва ежедневно. Най-общо, задачите на това равнище са лесни, учениците трябва да се съобразят само с едно условие и да предприемат една или две стъпки, за да постигнат поставената цел. За разлика от учениците с резултати на второ равнище, учениците на първо равнище не притежават умения за планиране на действията си и формулиране на подцели.

В сравнение с държавите в ОИСР (13,2%) делът на българските ученици с резултати на първо равнище е значително по-голям – 23,3%.

Под първо равнище (под 358 точки)

България е сред държавите с най-голям дял на учениците с резултати под 358 точки – 33,3% (ОИСР – 8,2%). Ако проследим разпределението на българските ученици по отделните равнища от скàлата, ще видим, че най-голям е техният процент именно под първо равнище (фигура 3), подобно на учениците в Колумбия, Уругвай, ОАЕ, Черна гора и Израел.

Фигура 3 представя графично разпределението на учениците в България и държавите от ОИСР по равнищата на скàлата за решаване на проблеми.

Сравнение между постиженията на момичетата и момчетата: среден резултат и разпределение по равнища на скàлата

В държавите от ОИСР момчетата се представят по-добре от момичетата, като средният им резултат е по-висок със 7 точки. Както показва фигура 4, в повечето държави/региони, участвали в оценяването на компетентността на учениците да решават проблеми, момчетата имат по-висок среден резултат от момичетата. В 23 от 44-те държави/региона резултатите на момчетата значително надвишават резултатите на момичетата. Най-голямо е преимуществото на момчетата например в Колумбия, Шанхай-Китай, Бразилия и Словакия, където те изпреварват момичетата с около 20 точки.

В България, наред с още 3 държави – ОАЕ, Финландия и Черна гора, момичетата имат по-висок среден резултат в сравнение с момчетата, като разликата между резултатите на момичетата и момчетата в България е една от най-големите. Средният резултат на българските момичета е 410 точки, а на момчетата – 394 точки, а разликата между тях е 16 точки.

В останалите държави/региони резултатите на момичетата и момчетата не се различават съществено.

Данните на PISA 2012 по математика, четене и природни науки също показват вариации при резултатите на момичетата и момчетата. Например момичетата значително изпреварват момчетата в областта на четивната грамотност, докато резултатите на момчетата по математика са по-високи в сравнение с резултатите на момичетата. Съществени разлики между резултатите на момичетата и момчетата по природни науки не се наблюдават.

Според националните данни от PISA 2012 най-значителна е разликата между резултатите на българските момичета и момчета в областта на четивната грамотност, където момичетата изпреварват момчетата със 70 точки. По математика и природни науки наблюдаваните разлики са незначителни: по математика момичетата имат резултат, който е по-висок от резултата на момчетата само с 2 точки, а по природни науки момчетата изпреварват момичетата с 1 точка.

На фигура 5 е представено разпределението на момичетата и момчетата в България по отделните равнища на скàлата за измерване на уменията им да решават проблеми. Анализът на трите показателя – модално равнище на постижения, дял ученици под второ равнище и дял ученици с най-високи резултати (пето и шесто равнище) – показва, че най-съществената разлика се наблюдава при най-ниското под първо равнище. Това предопределя и разликата от около 6% в дела на момичетата и момчетата под критичния праг на постижения (второ равнище). Делът на момичетата и момчетата с резултати на пето и шесто равнище е един и същи.

За сравнение, резултатите на учениците в държавите от ОИСР не показват разлики между дяловете на момичетата и момчетата с резултати под второ равнище (съответно 21,5% момчета и 21,3% момичета), но показват макар и неголяма разлика между дяловете им на пето и шесто равнище в полза на момчетата (момчета – 13,1%, момичета – 9,5%).

Резултати на българските ученици според вида на тяхната подготовка в училище

Данните от изследването на PISA 2012 на компетентностите на учениците да решават проблеми показват значителни вариации между резултатите на учениците в зависимост от вида на училищата, в които се обучават, или от учебната им програма. България е сред държавите, в които значителна част от разликите между постиженията на учениците могат да бъдат обяснени с вида на училището (с учебния план). Например около 38% от разликите между резултатите на учениците в държавите от ОИСР могат да бъдат обяснени с това, че те се обучават в различни по вид училища или по различни учебни програми. В България влиянието на вида на училището и училищната подготовка върху уменията на учениците да решават проблеми е съществено по-голямо, т. е. 68% от разликите между техните резултати се дължат на фактори, свързани с училището и учебния план.

Данните от всички етапи на PISA еднозначно показват, че резултатите на учениците с различна училищна подготовка в България се различават значително. Резултатите на учениците от профилираните гимназии и профилираните паралелки на СОУ са съществено по-високи от резултатите на останалите ученици във всички области на оценяване. Фигура 6 показва резултатите на българските ученици в PISA 2012 по математика, четене, природни науки и на теста, измерващ уменията им да решават проблеми. Учениците са обединени в три групи, като са отчетени особеностите на целевата група на PISA, етапът на обучение и училищната подготовка5) :

– гимназиална непрофилирана: учениците в СОУ с непрофилирана подготовка;

– гимназиална профилирана: учениците в профилирани гимназии и в СОУ с профилирана подготовка;

– гимназиална професионална: учениците в професионалните гимназии.

205 Данните, представени на Фигура 6, позволяват да бъдат направени няколко извода.

– Резултатите на учениците с профилирана подготовка са най-високи и в четирите оценявани области. Те са по-високи от средния резултат на българските ученици по математика с 36 точки, по четене – с 53 точки, по природни науки и в областта на уменията за решаване на проблеми – с по 42 точки.

– Учениците с непрофилирана и професионална подготовка значително изостават от учениците с профилирана подготовка и в четирите области, като в общия случай разликата е по-голяма от едно познавателно равнище от съответната скàла. Например разликата между резултатите на учениците с гимназиална профилирана и непрофилирана подготовка е: математика – 76 точки; четене – 94 точки; природни науки – 84 точки, и решаване на проблеми – 82 точки. Разликата между резултатите на учениците с гимназиална профилирана и професионална подготовка се измерва с: 59 точки по математика; 86 точки – по четене; 66 точки – по природни науки, и 69 точки – решаване на проблеми.

– Най-нисък резултат и в четирите области имат учениците с непрофилирана подготовка.

– От четирите измервани области резултатите на учениците и от трите групи на теста, измерващ уменията им да решават проблеми, е най-нисък.

Особеност на теста за оценяване на уменията на учениците да решават проблеми е, че тестовите задачи не са пряко свързани с конкретен учебен предмет, т. е. при решаването на която и да е тестова задача не е необходимо специфично за дадена научна област познание, за разлика от теста по математика, четене и природни науки. От друга страна, при някои задачи по четене, математика и природни науки учениците трябва да покажат добри умения за решаване на проблеми, за да достигнат до верния отговор. Това е едно от обясненията за високата корелация между резултатите на учениците и в четирите оценяваниобласти.

Положителна корелация между резултатите на учениците и в четирите области е характерна за значителна част от държавите, участвали в PISA 2012. Най-силна е корелацията между резултатите по математика и теста за решаване на проблеми – 0,81, а най-слаба е тя между резултатите по четене и теста за решаване на проблеми – 0,75.

Силната корелация между оценяваните области показва, че учениците, които се справят сравнително успешно със задачите от теста по математика, четене и природни науки, постигат висок резултат и при оценяването на уменията им да решават проблеми.

БЕЛЕЖКИ

1. През 2003 г. са използвани само 19 въпроса за измерване на компетентността да се решават проблеми, обединени в 10 задачи.

2. Подробно за оценяването на уменията на учениците да решават проблеми в PISA 2003, както и за техните резултати в: (OECD, 2004). Problem Solving for Tomorrow’s World. First Measures of Cross-Curricular Competencies from PISA 2003.

3. Задачите са достъпни на уеб адрес: http://erasq.acer.edu.au.

4. Използваме термина така, както е преведен в: (2012) Джалев, Л. Приложимост на класическата тестова теория и теорията за отговор на тестов въпрос: преглед на литературата по въпроса. Discussion Paper. Научен електронен архив на НБУ, София. Публикацията е достъпна на: http://eprints.nbu.bg/1692/.

5. В графиката не са включени данни за резултатите на учениците от прогимназиален етап на обучение, т. е. от основните училища в извадката на PISA 2012, тъй като техният дял в извадката е значително по-малък в сравнение с останалите ученици.

ЛИТЕРАТУРА

Duncker, K. (1945). On problem solving. Psychological Monographs, 58 (5), No 270.

Mayer, R.E. (1998). Cognitive, metacognitive, and motivational aspects of problem solving. Instructional Science. Vol. 26.

OECD (2014). PISA 2012 Results: Creative Problem Solving: Students’ Skills in Tackling Real-Life Problems (Volume V). PISA. OECD Publishing. Публикацията е достъпна на:

http://dx.doi.org/10.1787/9789264208070-en.

OECD (2013). PISA 2012 Assessment and Analytical Framework: Mathematics, Reading, Science, Problem Solving and Financial Literacy. PISA. OECD Publishing.

Текстът продължава в кн.3/2014 г. на сп. „Стратегии на образователната и научната политика“