2013/6, стр. 758 - 766

ОЦЕНКА НА НАУЧНИТЕ ИЗДАНИЯ. ИЗМЕРВАНЕ НЕ САМО НА КОЛИЧЕСТВОТО, НО И НА КАЧЕСТВОТО ЧРЕЗ БИБЛИОГРАФСКАТА И НАУКОМЕТРИЧНАТА БАЗА ДАННИ SCOPUS

Резюме: Статията разглежда индикаторите за оценка на научни списания и автори на базата на библиографската и наукометричната база данни SCOPUS на издателство „Елзевиер“. Обяснени са показателите за измерване на въздействието на научните списания въз основа на анализ на цитатите. Индикаторът импакт-ранг (SCImago Journal Rank – SJR) е мярка за престижа на научните списания. Потенциалът за цитиране (Source-Normalized Impact per Paper – SNIP) предоставя информация за възможно бъдещо цитиране на научните издания. H-индексът е показател за оценка на въздействието на научната продукция на автора. Използването на тези показатели служи за обективна оценка на научноизследователската дейност, дисциплинира научната комуникация и налага международни стандарти за публикуване на научна периодика.

Ключови думи: Scopus, SJR, SNIP, h-index, quoting

Академичната общност настоява за по-голяма прозрачност и точност на системите за оценка в областта на научните изследвания. В момента по-голямата част от академичната продукция се оценява на базата на класации за въздействието на научните списания. Редакторите имат нужда от нови и по-прецизни показатели, които да показват къде стои тяхното списание спрямо конкурентите им, а учените – да взимат информирани решения по отношение на издателските си стратегии.

В световен мащаб броят на публикуваните статии се увеличава средно годишно между 3% и 3,5% и за периода от 1990 г. до наши дни се е увеличил близо два пъти. В някои дисциплини, като химия и науки за земята, годишният ръст е между 4% и 5%. Международно проучване1) от 2010 г. (2010 International STM) оценява броя на предложените за печат статии по света на 3 милиона годишно, като половината от тях са публикувани. Всяка година се отпечатват 12 милиона страници и 500 нови академични списания започват да излизат. Учените четат повече и съответно цитират повече. Доклад на научноизследователската информационна мрежа за 2011 г. (The 2011 Research Information Network) установява, че броят на цитатите на всяка статия в основните научни дисциплини се е повишил от 30 до 50 % за периода от 1990 г. до 2007 г. В същото време се цитират по-широка гама от източници. По информация на Улрих2) (Ulrich – фирма, която поддържа указател на периодичните издания по света), ако през 1990 г. е имало около 16 000 академични списания, то през 2010 г. те са вече 26 000. За експлозията от нови списания допринасят страни като Китай и други доскоро подценявани райони. Ръстът на броя на научните издания се обяснява не само с новите периодични издания, но и с разрастването на съществуващите. Изданията на Американския колеж по кардиология (The American College of Cardiology) са типичен пример. През 1990 г. те публикуват печатно периодично издание с 14 книжки и 3472 страници. През 2010 г. от списанието излизат 50 броя с 4962 страници.

Оценката на научната дейност се организира в две направления: оценка на периодични издания – чрез импакт-фактора, Eugenfactor, SJR, SNIP, и оценка на автори, статии и институции – чрез брой публикации, h-индекс и др.

Реформата на науката и образованието зависят от качествени данни за сравнителен анализ на учени, отдели, институции и държави. Националната стратегия за развитие на научните изследвания3) цели осигуряване на по-високо качество на изследванията и иновациите и предвижда мерки за трансформиране на българското общество в „общество на знанието“. Създаването на иновативна инфраструктура за българската наука е свързано с повишаването на ефективността на фундаменталните и приложните изследвания. И тук въпросът за оценката на научните изследвания е важен, като се търси начин да се отчита не само количеството, но и качеството на резултатите от научните изследвания.

Библиографската и наукометричната база данни SCOPUS на издателство Elsevier осигурява данни за оценка на изхода на изследванията в страната. Как SCOPUS подпомага този процес? SCOPUS е най-голямата база данни с библиографски записи и резюмета на научна литература. Базата данни е създадена през 2004 година и е специално проектирана и съобразена с нуждите на учените. Тя предлага актуални функции за наукометрична оценка чрез лесен достъп и обхваща периодични издания, на базата на които анализираната информация е статистически по-достоверна. Към момента базата данни SCOPUS индексира 21 000 заглавия на научни издания от 5000 издатели по света: това са научни списания в сферата на науката, техниката, медицината, в областта на социалните науки, включени са списания на отворен достъп (Open Access), плюс материали от конференции, институционални архиви и др. С развитието си SCOPUS променя начина за анализ и оценка на научната продукция.

Чрез националния лиценз на Министерството на образованието и науката

(МОН) всички български научни и образователни институции имат достъп до

SCOPUS. Така МОН осигурява на научни работници, студенти, преподаватели и администратори достъп до качествена научна информация и оценъчни инструменти за нуждите на тяхната научна и изследователска работа или образование.

Около 60 български научни списания са индексирани в SCOPUS. Това ги прави видими за научната общност по света. Положителната тенденция, която се наблюдава през последните години е, че българските списания повишават своя престиж и наукометрични показатели. В стремежа си да се наложат те се дисциплинират и се стремят да се доближат до международните стандарти за публикуване на научна периодика. В този смисъл индексирането на българските научни периодични издания в базата данни SCOPUS е въпрос на авторитет и престиж.

Наукометрични показатели

Показателите за измерване на ефективността или въздействието на научните списания имат своите специфични особености, но всички те имат за цел да предоставят рейтинг на определено списание въз основа на анализ на цитатите. Цитирането на дадена статия е форма на одобрение, а базов показател за анализ е броят на цитатите. Ако определена статия привлича повече цитати, това означава, че повече хора смятат, че тази статия е важна. Цитатите на научното списание (чрез материалите, които са публикувани в него) също се броят и показват колко важно е списанието за определена научна общност в сравнение с други списания. Съществуват различни показатели за оценка на списания. В зависимост от това, какви функции се проучват, се използват различни методи и източници на данни, като по този начин се предлагат различни гледни точки върху научната и издателската дейност.

В отговор на натиска на научните среди за качествена оценка на периодичните издания SCOPUS прилага два нови индикатора, които са интегрирани в базата данни. Tова са импакт-ранг4) (SCImago Journal Rank – SJR) и потенциал за цитиране (Source-Normalized Impact per Paper – SNIP). Индикаторите се:

– изчисляват за близо 21 000 списания, продължаващи издания и книжни серии и чрез по-голямо покритие на базата данни SCOPUS се осигуряват по-достоверни данни;

– За да се гарантира актуалност, всички периодични издания получават SJR and SNIP стойност два пъти в годината – през април и септември.

– Премахва се рискът от манипулация, като анализираните данни са видими в базата данни SCOPUS.

– Индикаторите oсигуряват многоизмерни оценки на поведението на цитатите на списанието и нормализират различията между различните научни дисциплини.

– Индикаторите позволяват директно сравнение на списания, независимо от предметната област или публикационна активност, чрез интеграцията в инструмента Scopus Journal Analyzer.

Но нека подробно да проследим предимствата на метричната система на SCOPUS, която оценява научните списания.

Импакт-ранг (SCImago импакт-ранг – SJR)

SCImago импакт-рангът4) (SJR) е мярка за престижа на научните списания и периодичните издания. Импакт-рангът (SJR) е индикатор, който наподобява класацията на страниците на Google – Google PageRank. Той взема под внимание броя и произхода на цитатите (или източниците, откъдето идват цитиранията). Показателят се изчислява на базата на много повече списания, отколкото импакт-факторът. Изчислението е по-сложна формула, която отразява влиянието на съответното списание. SJR възлага относителни оценки на всички източници в системата на цитиране. Методологията приема, че не всички цитати са равни, като значение имат източниците на цитатите. Източникът на цитата прехвърля своя собствен „престиж“ на цитирания източник чрез акта на цитиране. Цитат от списание с относително висок импакт-ранг (SJR) има по-висока стойност от един цитат от източник с по-нисък ранг (SJR). Престижът на дадено научно списание се разпределя по равно между всички статии в списанието за съответната година. Известно е, че броят на цитатите варира в широки граници между различните дисциплини. Импакт-рангът (SJR) на списание в предметна област с висока вероятност за цитиране се споделя между многото цитати, така че всеки цитат струва сравнително малко. Рангът (SJR) на източник в област с малка вероятност за цитиране се получава от малко цитати, но всеки цитат струва относително много. Резултатът е изравняване на разликите в поведението на цитатите между различните предметни области и улесняване на сравненията между периодични издания в различни предметни области. Импакт-рангът (SJR) подчертава и откроява цитатите, идващи от престижни заглавия. Друго негово предимство е, че позволява да се оцени и класира подбран набор от източници, независимо от техния предмет.

Импакт-рангът (SJR) има подобна философия като Google PageRank и Eigenfactor, където стойностите се получават в мрежата, в която различните елементи имат взаимни връзки. Тези връзки получават различни стойности в зависимост от това, откъде идват. Но има някои разлики:

– Стойността на Google престижа се получава на базата на направените хипервръзки към дадена уебстраница. За SJR това е броят на получените цитати.

– При Google престижът се измерва в цяло число – между 1 и 10; SJR използва непрекъсна скала.

– Google PageRank е отворен за манипулация, защото хипервръзката е хипервръзка, независимо откъде идва. При SJR може да се направи разграничение на цитатите на базата това, откъде идват, което го прави изключително устойчив на манипулации. И нещо определящо – при SJR се броят само цитатите, идващи от научни издания, и се изключват цитатите от популярни, рекламни и др. издания.

– При Google PageRank не се прилага т. нар. „времеви прозорец“, Google брои всички входящи хипервръзки за деня, в който се изчислява. SJR прилага тригодишен прозорец за цитиране.

– Google не разкрива подробности за това, как се генерира класацията на страниците (PageRank). За SCImago е публикувана научна статия5), която изяснява в подробности метода на изчисление.

Нека да разгледаме и другия показател.

Потенциал за цитиране (Source-Normalized Impact per Paper – SNIP).

Индикаторът SNIP предоставя информация за потенциала за цитиране на научните списания. Ако в дадена научноизследователска област има по-малко цитати, то тяхната стойност е по-голяма. Показателят е въведен от проф. Хенк Мод6) през 2010 г. и е интегриран в базата данни на Elsevier – SCOPUS. С него се доразвива понятието „потенциал за цитиране“ на Е. Гарфийлд. SNIP индикаторът измерва стойността на цитатите на списанието на базата на общия брой цитати в конкретната научна област. Той позволява директно сравнение на списания, като игнорира класификацията на научната област на списанията. Важна особеност е, че се отчитат само цитати, направени в рецензирани научни списания. SNIP индикаторът се използва, за да се коригират разликите в цитирането в различни научни области. Предимството на този подход е, че не е необходима система за класификация на областите, която да определя граници между предметните области. В момента текат модификации на индикатора SNIP. Индикаторът за потенциала на цитиране измерва въздействието на източника в контекста. Той взема предвид няколко фактора: предметната област на списанието; честотата, с която авторите цитират други документи; скоростта, с която се цитира списанието, и степента на покритие на базата данни, която се използва за изчисление.

SNIP индикаторът е съотношението между средния брой цитати на всяка статия в определено списание и „потенциала за цитиране“ на списанието в неговата предметна област. Предметната област на списанието се определя от документите, които го цитират. Списание в предметна област с висок потенциал цитиране ще има по-висок показател. Потенциалът за цитиране е важен, защото той обяснява факта, че броят на получените цитати се различава значително между различните области. Цитатите на статии от списания в областта на науките за живота са повече, отколкото по математика или социални науки например. Ако статиите в дадена дисциплина съдържат средно по 40 цитирани източника, а в друга дисциплина те съдържат средно по 10, то потенциалът за цитиране в първата дисциплина е четири пъти по-висок от втората. Потенциалът за цитиране варира и между областите в рамките на дадена дисциплина. Например основни базови издания са склонни да показват по-висок потенциал за цитиране, отколкото приложните или клиничните списания. Списания, засягащи нововъзникващи, актуални теми могат да имат по-висок потенциал за цитиране, отколкото периодични издания в установени области. За списанията в предметни области, в които потенциалът за цитиране е равен на средната стойност в базата данни, SNIP има „стандартна“ стойност за потенциал за цитиране. Но в области с по-висок потенциал за цитиране – например за дисциплини, добре представени в базата данни, SNIP е по-нисък. В областите, в които потенциалът за цитиране е по-нисък – например в класическите научни области или такива с умерено покритие в базата данни, SNIP показателят има тенденция да бъде по-висок. SNIP позволява да се класират набор от научни списания независимо от тяхната предметна област.

Какви са основните предимства на SJR и SNIP в сравнение с импакт-фактора?

– Прозрачност. Показателите се изчисляват на база данни SCOPUS и данните могат директно да се видят и проверят. Базата данни, въз основа на която се изчислява импакт-факторът, е скрита в рамките на продуктите на Thomson – тя не се изчислява директно от Web of Science.

– Зависимост от предметна област при цитиране. Списанията в областта на науките за живота имат по-висок импакт-фактор в сравнение с математическите списания, които имат различно поведение на цитиране. Дори в рамките на една дисциплина е възможно да има различно поведение на цитиране, което прави трудно да се разбере дали разликата в импакт-фактора се дължи на качеството, или на поведението. Сравнете например основни и приложни списания. При изчислението на импакт-ранга (SJR) и потенциала за цитиране

(SNIP) се взема предвид тази разлика, затова предметната област е без значе

ние. Допълнително предимство на SJR и SNIP е, че са независими от класифицирането по предмет в базата данни SCOPUS. Дори ако дадено списание наскоро е променило обхвата си и класирането му е остаряло, показателят ще отрази новия му обхват, защото списанието формира предмета си въз основа на източниците, които го цитират.

– Тригодишен „прозорец за цитиране“

– „Прозорецът за цитиране“ е показател, който се основава на броя на годините, които се вземат предвид за изчисление на индикаторите.

– SCImago използват тригодишен прозорец за цитиране за изчисляване на показателите за списанията. Приема се, че този прозорец е справедлив компромис за мултидисциплинарна база данни като SCOPUS и че той включва върховете в цитирането в повечето предметни области. Това се потвърждава от доклад, публикуван от изследователската група SCImago.

– Thomson Reuters публикува две версии на импакт-фактора – с две и с петгодишен прозорец за цитиране. Двегодишният прозорец благоприятства бързоразвиващите се научни области и може да бъде несправедлив за по-бавно развиващите се области. Петгодишният прозорец се счита за добър компромис, въпреки че фаворизира по-бавно развиващите се области.

– Устойчивост на манипулация

– Да се манипулира импакт-факторът е лесно, тъй като се пресмятат всички цитати, а не само тези, които са от рецензирани научни издания.

– SNIP и SJR изчисляват само цитати от рецензирано научно съдържание. Затова важен аргумент е, че базата данни SCOPUS индексира само рецензирано съдържание и включва следните формати източници: статии, обзори и доклади от конференции.

– Широтата на покритието на базата данни, върху която се изчисляват показателите, е от съществено значение – не всички списания имат импактфактор, а на учените е необходима оценка на всички списания, които се издават. Много по-широкото покритие и обхват на научните списания в базата данни SCOPUS означава обективна оценка на импакт-ранга (SJR) и потенциала за цитиране (SNIP).

Процесът на изчисление на показаните индикатори е визуализиран чрез различни инструменти в базата данни. Анализаторът на списания (Journal Analyzer) стои на страницата на съответното периодичното издание в SCOPUS и показва петте основни показателя, които измерва:

1. Ранг на изданието – (SJR)

2. Потенциал за цитиране (SNIP)

3. Брой цитати на изданието

4. Брой статии

5. Процент нецитирани документи

Друг важен инструмент в базата данни SCOPUS е Citation Tracker, който проследява цитиранията. Той позволява измерването им за определен период с опция за изключване на самоцитиранията и графично представяне на информацията.

Н-index

Разгледаните индикатори и инструменти са валидни на ниво научно списание. На ниво автор се прилага друг количествен показател – h-index7). Всеки учен има профил в базата данни SCOPUS с уникален индентификационен номер. Профилът показва броя на публикациите на учения, цитатите, които е получил, и цитиранията, които е направил. Отразена е информация за съавторите му, история на принадлежността му към различни институции, изчислен е и неговият h-index. Разработеният през 2005 г. от професорДжордж Хирш – физик от Университета в Сан Диего (Калифорния), h-index (накратко от highly cited index) има за цел да измери влиянието на индивидуалната изследователска работа. H-indexът e показател за оценка на въздействието на научната продукция на автора и неговото представяне чрез сравняване на броя негови публикации с броя цитати.

Ученият притежава съответен индекс h, ако h е броят на неговите статии (number of papers – NP), които имат поне h цитирания всяка и другите имат по-малко цитирания всяка (NP – h). Индексът се изчислява на базата на броя на цитатите на публикациите на даден автор. Един пример: ако един автор има публикувани 50 статии, но 6 от тях са цитирани 6 и повече пъти всяка, то неговият h-индекс е 6. Ако даден автор има само една статия, която е цитирана, той няма да бъде включен в този индекс. Индексът може да бъде визуализиран и като h-графика. Този наукометричен показател помага да се определят значимите автори в дадена научна дисциплина. Индексът коригира непропорционалната тежест на често цитирани публикации или публикации, които все още не са цитирани. Освен предимства той има и недостатъци, като например не отчита влиянието на предметната област на публикациите, репутацията на автора, влиянието на съавторите и публикационния период. Индикаторът толерира авторите с дългогодишна научна дейност. Той никога не намалява, а се увеличава дори ако авторът е непродуктивен. Самоцитирането може да опорочи стойността на индикатора. H-index ът се показва на страницата на профила на автора в SCOPUS и служи за оценка, вкл. при акредитация, кариерно израстване, възможности за финансиране и др.

Познаването на изброените инструменти за оценка е от значение за учените и администраторите на научни организации. Това са индикатори, изчислени на базата на проверени данни и игнорират намесата на субективния фактор.

Библиографската и наукометричната база данни SCOPUS е световен валиден инструмент за оценка на научната дейност в частта публикационна дейност. Като използват данни от SCOPUS, научните среди са в състояние да очертаят възможностите и тенденциите в националното научноизследователско пространство и да го сравнят с други страни. Могат да направят оценка на ниво списание, тематична област, институция и автор. Като световно признат и надежден източник на научни данни, SCOPUS помага на българските учени да следват ефективни критерии за оценка, признати от научната общност по света. На базата на тези критерии може да се основава управлението и насочването на финансови средства към приоритетни области в българската наука и технологии. Познаването и прилагането на новите подходи за измерване на въздействието на научните публикации в базата данни SCOPUS на „Елзевиер“ е гаранция за покриване на международни стандарти в научната периодика.

БЕЛЕЖКИ

1. Gantz, Paula. (2012). Digital Licenses Replace Print Prices as Accurate Refl ection of Real Journal Costs. PSP Bulletin, 11 (3), 1 – 5. http://www.pspcentral.org/ documents/2012Bulletin.pdf

2. E-journals: their use, value and impact. Final report. Research Information Network. (2011). 1 – 32.

http://rinarchive.jisc-collections.ac.uk/system/fi les/attachments/Ejournals_part_ II_for_screen_0.pdf

3. Националната стратегия за развитие на научните изследвания 2020. (2011). Retrieved from http://www .minedu.government.bg/opencms/export/sites/mon/ left_menu/strategies/documents/science_researches-2020.pdf

4. SCImagoJournalRank. (2007). http://www.scimagojr.com/SCImagoJournalRank.pdf

5. Lancho-Barrantes, Bárbara S. V icente P. Guerrero-Bote, Félix Moya-Anegón. (2010). What lies behind the averages and signifi cance of citation indicators in different disciplines?. J. Inform. Sci., 36 (3), 371 – 382.

http://jis.sagepub.com/content/36/3/371.

6. Moed, Henk F. (2010). Measuring contextual citation impact of scienti fi c journals. J. Informetr., 4 (3), 265 – 277.

http://www.sciencedirect.com/science/article/pii/S1751157710000039

7. Hirsch, J. E. (2005). An index to quantify an individual’ s scienti fi c research output. Proc. Natl. Acad. Sci. USA, 102 (46), 16 569 – 16 572.