Archiwa tagu: reforma

Impakt rozdzia艂贸w, czyli zbior贸wki kontratakuj膮

Jednym z element贸w wdra偶anej w艂a艣nie reformy nauki i szkolnictwa wy偶szego jest modyfikacja formu艂y oceny jednostek naukowych. Zmian szczeg贸艂owych jest sporo, jednak uwag臋 zwraca przede wszystkim fakt, 偶e zmienia si臋 wyra藕nie spos贸b, w jaki brane b臋d膮 pod uwag臋: autorstwo monografii, redakcja monografii i autorstwo rozdzia艂u w monografii. Przedstawione w sierpniu i wrze艣niu projekty rozporz膮dze艅 z jednej strony selektywnie przesuwaj膮 limity na te elementy dorobku naukowego, z drugiej 鈥 zmieniaj膮 skal臋 ich punktacji. Przeskakuj膮c od razu do konkluzji 鈥 zw艂aszcza w naukach spo艂ecznych i humanistycznych mo偶e to si臋 okaza膰 wa偶ny 鈥瀏ame changer鈥. Tylko czy zmiana ta b臋dzie na lepsze czy na gorsze?

Kiedy rozdzia艂 wchodzi za mocno鈥

Zacznijmy od tego, 偶e projekty rozporz膮dze艅 proponuj膮, by w ramach ocenianego dorobku autorstwo monografii zwartych oraz redakcje monografii zbiorowych stanowi艂y nie wi臋cej ni偶 20% (w por贸wnaniu do dotychczasowych 40%; w naukach przyrodniczych i wi臋kszo艣ci pozosta艂ych limit ma wynie艣膰 5%, ale tam takie publikacje maj膮 zwykle niewielkie znaczenie). Co istotne 搂7 pkt.13 projektu Rozporz膮dzenia w sprawie ewaluacji鈥 nie wspomina o rozdzia艂ach, wi臋c ich liczba w ankiecie parametryzacyjnej b臋dzie limitowana jedynie zapisem w 搂7 pkt.7. W praktyce oznacza to, 偶e rozdzia艂y b臋d臋 mog艂y stanowi膰 do 2/3 ca艂ego dorobku w dyscyplinie.

Monografie maj膮 zosta膰 podzielone na trzy klasy wed艂ug nieznanej na razie klasyfikacji wydawc贸w. W omawianych tu dziedzinach za autorstwo b臋dzie przyznawane 20, 80 albo 300 punkt贸w, za redakcj臋 5, 20 albo 150, a za autorstwo rozdzia艂u 鈥 5, 20 albo 75. Jako, 偶e na pierwsze dwa elementy obowi膮zuje do艣膰 niski limit, to trzeci okaza膰 si臋 mo偶e kluczowy. Przypomnijmy jednocze艣nie, 偶e za autorstwo artyku艂贸w w czasopismach obj臋tych ministerialnym programem 鈥濿sparcie dla czasopism naukowych鈥 (ma on obj膮膰 nie wi臋cej ni偶 500 najlepszych) przyznawane b臋dzie 20 punkt贸w, natomiast za autorstwo artyku艂贸w w czasopi艣mie znajduj膮cym si臋 w drugim kwartylu cytowalno艣ci (wg Scopusa) 鈥 70 punkt贸w. Sprawia to, 偶e rozdzia艂y w ksi膮偶kach nale偶膮cych do ministerialnych wykaz贸w stan膮 si臋 鈥瀎unkcjonalnym odpowiednikiem鈥 dobrych krajowych i zagranicznych czasopism.

Dane

Co jednak wiemy o ich realnym naukowym wp艂ywie? Czy wydawnictwa da si臋 鈥瀒mpaktowa膰鈥 podobnie jak czasopisma? Zerknijmy w dost臋pne dane. Gotowy zbi贸r przygotowa艂 w ramach swojego projektu zesp贸艂 dra Daniela Torres-Salinasa (zob. Torres-Salinas et al. 2013; 2014; tak偶e: projekt EC3Metrics). S膮 to wska藕niki stworzone w oparciu o dane na temat cytowalno艣ci ksi膮偶ek z bazy Thomson Reuters. Dane dotycz膮 okresu 2009-2013 i zosta艂y przygotowane na podstawie prawie p贸艂 miliona rekord贸w (publikacji). Kompletno艣膰 i trafno艣膰 informacji nt. ksi膮偶ek w bazie Thomson Reuters by艂a przedmiotem do艣膰 wszechstronnej krytyki (m.in. dominacja angielskiego, nier贸wna reprezentacja dyscyplin), jednak sama wielko艣膰 bazy czyni j膮 w jakim艣 stopniu reprezentatywn膮. W oparciu o te dane hiszpa艅ski zesp贸艂 stworzy艂 list臋 254 wydawnictw naukowych i okre艣li艂 warto艣ci 艣redniej cytowalno艣ci. Jednak wiele z tych wydawnictw dotyczy艂a znikoma liczba publikacji, dlatego dokona艂em dalszego filtrowania danych, pozostawiaj膮c jedynie te wydawnictwa, w przypadku kt贸rych liczba pozycji w bazie by艂a wy偶sza ni偶 350, a dyspersja ich cytowalno艣ci pozwala艂a wnioskowa膰, 偶e 艣rednia cytowalno艣膰 jest istotnie wy偶sza od zera. W efekcie na placu boju zosta艂o 68 wydawnictw, od wielkich komercyjnych graczy jak Routledge, przez mniejsze jak Karger Publishing, po wydawnictwa uniwersyteckie. Z pewno艣ci膮 nie jest to lista aktualna i wyczerpuj膮ca, ale traktuj臋 j膮 jako pr贸bk臋 dostatecznie wiarygodn膮, aby powiedzie膰 co艣 na temat wzor贸w dotycz膮cych cytowalno艣ci ksi膮偶ek.

Dobry i z艂y pieni膮dz?

Punkty na przedstawionym ni偶ej wykresie to wydawnictwa naukowe. B艂臋kitne to wydawnictwa uniwersyteckie, a granatowe to pozosta艂e. Wielko艣膰 punkt贸w jest proporcjonalna do liczby pozycji (monografii zwartych i rozdzia艂贸w) w zbiorze Torres-Salinasa et consortes. Jak wida膰, nie obserwujemy wyra藕nego wzoru, kt贸ry sugerowa艂by, 偶e wydawnictwo, kt贸re wydaje wa偶ne i szeroko cytowane ksi膮偶ki naukowe, wydaje tak偶e bardzo dobre zbior贸wki. Korelacja cytowalno艣ci dw贸ch typ贸w publikacji wynosi zaledwie 0,08 (ilustruje to dodana na wykresie linia regresji). Co typowe dla tego typu danych, na lekkie nachylenie linii pracuj膮 g艂贸wnie obserwacje odstaj膮ce (“lewary”). Najwi臋ksza przeci臋tna cytowalno艣膰 ksi膮偶ek osi膮gn臋艂o Princton University Press, a jednak przeci臋tna cytowalno艣膰 5’608 rozdzia艂贸w w wydanych przez nich zbior贸wkach to zaledwie 0,03. U komercyjnych gigant贸w te偶 bywa bardzo r贸偶nie. Elsevier ma znacznie lepiej “widoczne” ni偶 Springer ksi膮偶ki, ale s艂abiej “widoczne” rozdzia艂y. Z dwoma wyj膮tkami,聽 wydawnictwa cechuj膮 si臋 te偶 wi臋ksz膮 dyspersj膮 cytowalno艣ci (SD), ni偶 jej 艣redni膮 warto艣ci膮.

Cytowalno艣膰 monografii i rozdzia艂贸w wg wydawnictw (opracowanie w艂asne; 藕r贸d艂o danych: Torres-Salinas et al. 2014)

Kluczowe jest by膰 mo偶e to, 偶e istnieje dramatyczna r贸偶nica mi臋dzy odd藕wi臋kiem naukowym jaki maj膮 ksi膮偶ki, a tym, jaki maj膮 rozdzia艂y. Bior膮c pod uwag臋 艂膮czn膮 liczb臋 kilkuset tysi臋cy pozycji uwzgl臋dnionych w bazie naukowc贸w z Hiszpanii, do monografii odwo艂ywano si臋 przeci臋tnie 4,25 razy, a do rozdzia艂u 0,22 razy (to dla wszystkich dyscyplin 艂膮cznie, w naukach spo艂ecznych i humanistycznych oba wska藕niki by艂y niew膮tpliwie ni偶sze). “Impakt” rozdzia艂u by艂 zatem przeci臋tnie prawie 20 razy mniejszy ni偶 zwartej monografii.

Czy polska nauka zachoruje na now膮 odmian臋 punktozy?

Je艣li naukowa waga rozdzia艂u jest 20 razy mniejsza ni偶 monografii, to czy rozdzia艂y b臋d膮 r贸wnie偶 20 razy mniej istotne w ocenie dorobku naukowego? Wed艂ug proponowanych przez MNiSW regulacji za rozdzia艂 mia艂aby by膰 przyznawana czterokrotnie ni偶sza liczba punkt贸w ni偶 za monografi臋. Jednak realne znaczenie obu element贸w wcale nie przedstawia si臋 jak 1 do 4, przede wszystkim ze wzgl臋du na wspomniane na wst臋pie limity. Skoro profil osi膮gni臋膰 publikacyjnych mo偶e w odpowiednich okoliczno艣ciach wygl膮da膰 nast臋puj膮co: 20% ksi膮偶ek zwartych (i redakcji), 47% rozdzia艂贸w, 33% artyku艂贸w, to dobrze punktowane rozdzia艂y mog膮 si臋 okaza膰 kluczem do dobrego wyniku oceny. Warto tak偶e pami臋ta膰, 偶e “pr贸g wej艣cia” do zagranicznych wydawnictw jest w przypadku rozdzia艂贸w znacznie ni偶szy ni偶 w przypadku zwartych ksi膮偶ek (w analizowanych danych rozdzia艂贸w by艂o 10 razy wi臋cej ni偶 ksi膮偶ek). 艁膮cznie ustawia to w pewnym stopniu “strategi膮 wygrywaj膮c膮” przysz艂膮 parametryzacj臋, cho膰 wiele zale偶y jeszcze od tego, jak wygl膮da膰 b臋d膮 wykazy KEN. W zale偶no艣ci od tego jak zostan膮 one sprofilowane, mog膮 bardziej lub mniej przypomina膰 struktur臋 impakt贸w zastosowan膮 w przypadku artyku艂贸w w czasopismach.

ps. Wpis powsta艂 w GESIS w Kolonii. Kiedy zapyta艂em niemieckich koleg贸w o rol臋, jak膮 w ocenie dorobku przypisuje si臋 w niemieckiej nauce rozdzia艂om w pracach zbiorowych, us艂ysza艂em: (a) “Chapters? Nobody聽 cares about chapters!”; (b) “It doesn’t count, unless it’s either Oxford, Cambridge or one of the best US universities”. Takiej aktywno艣ci publikacyjnej nie uwa偶a si臋 za w pe艂ni kompetytywn膮.