Archiwa tagu: reforma

Impakt rozdziałów, czyli zbiorówki kontratakują

Jednym z elementów wdrażanej właśnie reformy nauki i szkolnictwa wyższego jest modyfikacja formuły oceny jednostek naukowych. Zmian szczegółowych jest sporo, jednak uwagę zwraca przede wszystkim fakt, że zmienia się wyraźnie sposób, w jaki brane będą pod uwagę: autorstwo monografii, redakcja monografii i autorstwo rozdziału w monografii. Przedstawione w sierpniu i wrześniu projekty rozporządzeń z jednej strony selektywnie przesuwają limity na te elementy dorobku naukowego, z drugiej – zmieniają skalę ich punktacji. Przeskakując od razu do konkluzji – zwłaszcza w naukach społecznych i humanistycznych może to się okazać ważny „game changer”. Tylko czy zmiana ta będzie na lepsze czy na gorsze?

Kiedy rozdział wchodzi za mocno…

Zacznijmy od tego, że projekty rozporządzeń proponują, by w ramach ocenianego dorobku autorstwo monografii zwartych oraz redakcje monografii zbiorowych stanowiły nie więcej niż 20% (w porównaniu do dotychczasowych 40%; w naukach przyrodniczych i większości pozostałych limit ma wynieść 5%, ale tam takie publikacje mają zwykle niewielkie znaczenie). Co istotne §7 pkt.13 projektu Rozporządzenia w sprawie ewaluacji… nie wspomina o rozdziałach, więc ich liczba w ankiecie parametryzacyjnej będzie limitowana jedynie zapisem w §7 pkt.7. W praktyce oznacza to, że rozdziały będę mogły stanowić do 2/3 całego dorobku w dyscyplinie.

Monografie mają zostać podzielone na trzy klasy według nieznanej na razie klasyfikacji wydawców. W omawianych tu dziedzinach za autorstwo będzie przyznawane 20, 80 albo 300 punktów, za redakcję 5, 20 albo 150, a za autorstwo rozdziału – 5, 20 albo 75. Jako, że na pierwsze dwa elementy obowiązuje dość niski limit, to trzeci okazać się może kluczowy. Przypomnijmy jednocześnie, że za autorstwo artykułów w czasopismach objętych ministerialnym programem „Wsparcie dla czasopism naukowych” (ma on objąć nie więcej niż 500 najlepszych) przyznawane będzie 20 punktów, natomiast za autorstwo artykułów w czasopiśmie znajdującym się w drugim kwartylu cytowalności (wg Scopusa) – 70 punktów. Sprawia to, że rozdziały w książkach należących do ministerialnych wykazów staną się „funkcjonalnym odpowiednikiem” dobrych krajowych i zagranicznych czasopism.

Dane

Co jednak wiemy o ich realnym naukowym wpływie? Czy wydawnictwa da się „impaktować” podobnie jak czasopisma? Zerknijmy w dostępne dane. Gotowy zbiór przygotował w ramach swojego projektu zespół dra Daniela Torres-Salinasa (zob. Torres-Salinas et al. 2013; 2014; także: projekt EC3Metrics). Są to wskaźniki stworzone w oparciu o dane na temat cytowalności książek z bazy Thomson Reuters. Dane dotyczą okresu 2009-2013 i zostały przygotowane na podstawie prawie pół miliona rekordów (publikacji). Kompletność i trafność informacji nt. książek w bazie Thomson Reuters była przedmiotem dość wszechstronnej krytyki (m.in. dominacja angielskiego, nierówna reprezentacja dyscyplin), jednak sama wielkość bazy czyni ją w jakimś stopniu reprezentatywną. W oparciu o te dane hiszpański zespół stworzył listę 254 wydawnictw naukowych i określił wartości średniej cytowalności. Jednak wiele z tych wydawnictw dotyczyła znikoma liczba publikacji, dlatego dokonałem dalszego filtrowania danych, pozostawiając jedynie te wydawnictwa, w przypadku których liczba pozycji w bazie była wyższa niż 350, a dyspersja ich cytowalności pozwalała wnioskować, że średnia cytowalność jest istotnie wyższa od zera. W efekcie na placu boju zostało 68 wydawnictw, od wielkich komercyjnych graczy jak Routledge, przez mniejsze jak Karger Publishing, po wydawnictwa uniwersyteckie. Z pewnością nie jest to lista aktualna i wyczerpująca, ale traktuję ją jako próbkę dostatecznie wiarygodną, aby powiedzieć coś na temat wzorów dotyczących cytowalności książek.

Dobry i zły pieniądz?

Punkty na przedstawionym niżej wykresie to wydawnictwa naukowe. Błękitne to wydawnictwa uniwersyteckie, a granatowe to pozostałe. Wielkość punktów jest proporcjonalna do liczby pozycji (monografii zwartych i rozdziałów) w zbiorze Torres-Salinasa et consortes. Jak widać, nie obserwujemy wyraźnego wzoru, który sugerowałby, że wydawnictwo, które wydaje ważne i szeroko cytowane książki naukowe, wydaje także bardzo dobre zbiorówki. Korelacja cytowalności dwóch typów publikacji wynosi zaledwie 0,08 (ilustruje to dodana na wykresie linia regresji). Co typowe dla tego typu danych, na lekkie nachylenie linii pracują głównie obserwacje odstające (“lewary”). Największa przeciętna cytowalność książek osiągnęło Princton University Press, a jednak przeciętna cytowalność 5’608 rozdziałów w wydanych przez nich zbiorówkach to zaledwie 0,03. U komercyjnych gigantów też bywa bardzo różnie. Elsevier ma znacznie lepiej “widoczne” niż Springer książki, ale słabiej “widoczne” rozdziały. Z dwoma wyjątkami,  wydawnictwa cechują się też większą dyspersją cytowalności (SD), niż jej średnią wartością.

Cytowalność monografii i rozdziałów wg wydawnictw (opracowanie własne; źródło danych: Torres-Salinas et al. 2014)

Kluczowe jest być może to, że istnieje dramatyczna różnica między oddźwiękiem naukowym jaki mają książki, a tym, jaki mają rozdziały. Biorąc pod uwagę łączną liczbę kilkuset tysięcy pozycji uwzględnionych w bazie naukowców z Hiszpanii, do monografii odwoływano się przeciętnie 4,25 razy, a do rozdziału 0,22 razy (to dla wszystkich dyscyplin łącznie, w naukach społecznych i humanistycznych oba wskaźniki były niewątpliwie niższe). “Impakt” rozdziału był zatem przeciętnie prawie 20 razy mniejszy niż zwartej monografii.

Czy polska nauka zachoruje na nową odmianę punktozy?

Jeśli naukowa waga rozdziału jest 20 razy mniejsza niż monografii, to czy rozdziały będą również 20 razy mniej istotne w ocenie dorobku naukowego? Według proponowanych przez MNiSW regulacji za rozdział miałaby być przyznawana czterokrotnie niższa liczba punktów niż za monografię. Jednak realne znaczenie obu elementów wcale nie przedstawia się jak 1 do 4, przede wszystkim ze względu na wspomniane na wstępie limity. Skoro profil osiągnięć publikacyjnych może w odpowiednich okolicznościach wyglądać następująco: 20% książek zwartych (i redakcji), 47% rozdziałów, 33% artykułów, to dobrze punktowane rozdziały mogą się okazać kluczem do dobrego wyniku oceny. Warto także pamiętać, że “próg wejścia” do zagranicznych wydawnictw jest w przypadku rozdziałów znacznie niższy niż w przypadku zwartych książek (w analizowanych danych rozdziałów było 10 razy więcej niż książek). Łącznie ustawia to w pewnym stopniu “strategią wygrywającą” przyszłą parametryzację, choć wiele zależy jeszcze od tego, jak wyglądać będą wykazy KEN. W zależności od tego jak zostaną one sprofilowane, mogą bardziej lub mniej przypominać strukturę impaktów zastosowaną w przypadku artykułów w czasopismach.

ps. Wpis powstał w GESIS w Kolonii. Kiedy zapytałem niemieckich kolegów o rolę, jaką w ocenie dorobku przypisuje się w niemieckiej nauce rozdziałom w pracach zbiorowych, usłyszałem: (a) “Chapters? Nobody  cares about chapters!”; (b) “It doesn’t count, unless it’s either Oxford, Cambridge or one of the best US universities”. Takiej aktywności publikacyjnej nie uważa się za w pełni kompetytywną.