Archiwum kategorii: Nauka

Bibliometria — kilka uwag

Najdziwniejszy jest zawód urzędnika administracyjnego Instytutu matematycznego: nie wie, czym administruje!

Hugo Steinhaus

W pewnym sensie jestem ogromnym zwolennikiem bibliometrii, choć z drugiej strony, mogę powiedzieć, że używana jest w zły sposób, który w znacznej części niweczy jej zalety. Nie można bowiem narzędzia podającego informacje strategiczne stosować do bieżącej taktyki.

Ale urzędnicy, którzy nie rozumieją tego czym administrują, potrzebują łatwych (i w miarę „automatycznych”) narzędzi oceny naukowców i ich grup. Bibliometria pasuje jak znalazł. A jak już naukowcy wiedzą, za pomocą jakich narzędzi są oceniani — rozpoczynają optymalizację. Gdy głównym kryterium jest:

  • liczba publikacji — publikują ogromne ilości przyczynkarskich prac wszędzie tam, gdzie chcą przyjąć;
  • liczba cytowań — tworzą „spółdzielnie” ułatwiające publikowanie, przynależność do nich jest opłacona koniecznością cytowania innych członków spółdzielni;
  • indeks H wydaje się być niezłą miarą starającą się ocenić i liczbę publikacji i liczbę ich cytowań (indeks równy N oznacza, że uczony ma N publikacji cytowanych więcej niż N razy). Ale ma też bardzo wiele wad, które próbowano zniwelować wymyślając różne jego modyfikacje.

Hirsch, poważny fizyk (podlegający również różnym automatycznym ocenom), dla żartu wymyślił ten (indeks H) wskaźnik i „wyliczył” go dla kilku znanych uczonych (noblistów i członków innych szanownych gremiów). I się przyjęło.

Co gorsza(?) naukowcy dosyć szybko przywiązali się do różnych miar ich dorobku i bardzo negatywnie reagują, gdy okazuje się, że jakiś wskaźnik zamiast im rosnąć — maleje.

Z drugiej strony wszyscy zdajemy sobie sprawę, że jeżeli ten sam parametr mierzymy za pomocą różnych przyrządów pomiarowych możemy dostać różne wyniki. Czasami różnice są niewielkie, czasami są znaczące, ale w każdym przypadku nabieramy wątpliwości do jakości urządzeń pomiarowych. Czasami jednak wynik (pomiaru) powstaje w efekcie złożonej procedury pomiarowej i obliczeniowej. W takiej sytuacji cała metodologia, zestaw dostępnych danych, założenia — wszystko ma wpływ na wyniki. Jeżeli dostaje się wyniki powtarzalne — trudno metodę kwestionować.

  1. Politechnika Wrocławska jest uczelnią, która jako pierwsza w Polsce rozpoczęła zbieranie informacji na temat publikacji swoich pracowników. Są one gromadzone w bazie DONA. Oprócz tego podjęła poważny wysiłek aby informacje te przetwarzać dostarczając analizy zainteresowanym pracownikom i kierownictwu Politechniki Wrocławskiej. Uważam, że pracownicy tym zajmujący wykonują kawał bardzo dobrej i potrzebnej pracy.
  2. Science Citation Index (SCI) powstał w latach 60. zeszłęgo stulecia i stał się podstawą „sławy” ISI (Institute for Scientific Information w Filadelfii). Charakterystyczne tomy SCI były podstawową pozycją w każdej „czytelni czasopism bieżących” i bardzo ważnym narzędziem pozwalającym (w czasach przed-internetowych) stosunkowo łatwo śledzić „sznureczek” cytowań jakiejś publikacji w czasie. SCI był wówczas, (zwłaszcza gdy egzemplarze publikacji zdobywało się wysyłając na adres autora pocztówkę–prośbę o odbitki) niezastąpionym narzędziem. Losy ISI były bardzo burzliwe, zmieniał on swoich właścicieli ale podstawowy serwis Web of Science ma się bardzo dobrze. Na przykład Fińska Akademia Nauk przedstawia systematyczne (co dwa lata) oceny nauki fińskiej przygotowywane na podstawie danych WoS (wykorzystując bibliometrię do ocen strategicznych). 

    Tomy SCI w czytelni
    Tomy SCI w czytelni
  3. Nieco poźniejsza inicjatywa to różne próby wydawnictwa Elsevier do stworzenia wyszukiwarki prac naukowych (jak, na przykład Scirus), które przekształciły się w końcu w bazę Scopus. Podstawowa różnica, która wyróżnia serwis Scopus (i wszystkie z nim związane) to fakt, że Elsevier jest jednym z największych wydawców literatury naukowej i ma dostęp do wszystkich swoich publikacji. Jako jeden z pierwszych firma zadbała o stworzenie unikatowych identyfikatorów uczonych i podjęła działania, żeby łączyć ich z miejscem pracy.
  4. Mendeley — (działa od 2007 roku) aplikacja i serwis społecznościowy będące (od 2013 roku) własnością firmy Elsevier.
  5. Google Scholar (udostępniony w 2004 roku). Początkowo tylko wyszukiwarka, dziś również platforma informacyjna. Bardzo agresywnie przeszukuje udostępnione w Internecie pliki i łączy je z informacjami na stronach wydawnictw. Dzięki temu często udostępnia pełne teksty korzystając ze źródeł innych niż wydawców. Platforma informacyjna pozwala naukowcowi umieścić informacje o swoich pracach, a wyszukiwarka Google będzie „zliczała” automatycznie cytowania.
  6. Microsofy Academic (powstał jako Microsoft Academic Research w roku 2006 jako odpowiedź na powstanie Google Scholar). Dosyć kiepsko radzi sobie na rynku, był zamykany, otwierany i w końcu został reaktywowany jako Microsoft Academic i zintegrowany z z wyszukiwarką Bing. Posiada sporą bazę danych publikacji naukowych (jedynie tam znalazłem jakąś wzmiankę o wniosku patentowym, którego kiedyś byłem współautorem; patent nie został przyznany).
  7. Zotero — (działą od 2006 roku) aplikacja ułatwiająca gromadzenie metadanych i baz bibliograficznych. O ile pamiętam były jakieś plany udostępniania swoich baz bibliograficznych, ale nie do końca wiem jak to się skończyło.
  8. Research Gate — (działa od 2008 roku) medium społecznościowe dla naukowców. Udostępnia podstawowe informacje o publikacjach oraz, bardzo czesto, ich pełne teksty. Przy czym dostępność pełnych tekstów czasami jest ograniczona wyłącznie dla innych użytkowników serwisu.
  9. Academia.edu — (działa od 2008) komercyjne medium społecznościowe dla naukowców.

Wszystkie te firmy starają się stworzyć jakąś platformę wymiany informacji na temat publikacji. Modele biznesowe są różne, ale podstawą działania tych przedsięwzięć są gromadzone metadane i narzędzia do ich analizy. Jedną z podstawowych analiz jest zliczanie cytowań. Przyjrzyjmy się efektom pracy różnych serwisów. Do porównań wybrałem swoją współautorską pracę Optimum experimental design for a regression on a hypercube—generalization of Hoel’s result. Poniżej przedstawiam informacje o liczbie cytowań zaliczonych, przez różne serwisy:

  • Scopus (17)
  • WOS (17)
  • Microsoft Academic (19)
  • Google Scholar (23)
  • Dona (udostępnia publicznie jedynie cytowania po 2014 i tych jest tylko 2 (słownie dwa))

Nie jest tak, że wyniki różnią się drastycznie. Można powiedzieć, że praca została zacytowana 20 ± 3 razy. Nie wiemy, które z tych wyliczeń odrzucają autocytowania, nie wiemy (choć akurat tego to można czasami się dowiedzieć przy odrobinie chęci) czy 17 cytowań WOS to te same 17 cytowań ze skopusa.

Jak nie mamy pewności do liczby cytowań, to również indeks H (bożek wszystkich naukowców) będzie zaburzony: Według Google Scolara mój współczynnik za ostatnie pięć lat to 2 (a globalnie to 5). Według skopusa — jest on znacznie, znacznie niższy 🙁

Nie należy obrażać się na gorsze wyniki jakiegoś pomiaru, tylko cały czas pamiętać, że skoro oceniam kogoś za pomocą miarki skopusa to nie powinienem porównywać go z osobą ocenianą miarką Google Scholar. Wydaje się, że jest to elementarne założenie. Co niekoniecznie jest prawdą w różnego rodzaju wnioskach (na przykład o awans). Ale to już osobna historia.

Podsumowując zdaję sobie sprawę, że zestawienie, które przedstawiłem może być odbierane prze kogoś jako niesprawiedliwe. Ale proszę pamiętać, że skorzystałem z jednego narzędzia do oceny wszystkich. I wyniki są mniej-więcej porównywalne. Pierwsza część (podająca podstawowe informacja na temat naszych osiągnięć dotyczy okresu 2013–2018 (co jest napisane już w drugim ustępie), to jest nieco więcej niż pięć lat, ale zdajemy sobie sprawę, że rok 2018 ciągle jeszcze trwa). Cześć druga, dokonująca porównań z Wydziałem obejmuje okres dłuższy: 2010–2018 (co nie jest napisane, ale wynika z opisu osi wykresów).

Na stronach serwisu SciVal (dostęp może mieć, po zarejestrowaniu, każdy z sieci Politechniki Wrocławskiej) można się zapoznać z dostępna dokumentacją opisującą metodologię i znaczenie poszczególnych wskaźników. (Nie upubliczniam ich tutaj, bo nie mam pewności czy mogę to zrobić.)

Ewaluacja nauki

Skończył się już Kongres Nauki w Krakowie. Środowisko zapoznaje się i zastanawia nad nową Ustawą (która nie wiedzieć czemu nie nazywa się „Nauka Plus” tylko „Ustawa 2.0”).

Niby wszyscy się zgadzają, że jakieś zmiany są potrzebne, ale ciągle nie ma przekonania jakie te zmiany powinny to być. Trzeba wgryźć się w treść Ustawy (czy choćby w treść uzasadnienia). Pomijam przy tym zamęt polityczny, który już zadymiarze zdążyli wygenerować.

Na kongresie zabrał głos Emanuel Kulczycki (na którego powołuję się tu tak często, że powinien dostać własny tag albo kategorię).

Autor skupia się na tak zwanej punktozie, chorobie trapiącej wielu naukowców, nie tylko w Polsce:

Gromadzenie punktów ma niewielką wartość, bo polskie punkty ministerialne mają wartość rubli transferowych, które chociaż można wymienić na pozytywną ocenę okresową, to nie mają żadnej wartości na zewnętrznym rynku – prawdziwym świecie nauki. Nikt nie uzna osiągnięć, dlatego że zostały wycenione na 125 punktów. Nie ma to żadnego znaczenia.

I to nie jest złe stwierdzenie. Ale Ustawa raczej nie mówi czym powinien zajmować się naukowiec. Naukowiec powinien zajmować się robieniem nauki (a może nawet Robieniem Nauki). Ale, skoro finanse uczelni zalezą od równego rodzaju magicznych współczynników — naukowcy zajmują się ich reverse engineeringiem, a później pracują na wskaźniki. Nie zawsze przekłada się to na osiągnięcia naukowe (i, żeby być szczerym nie zawsze skutkuje lepszymi wskaźnikami).

Z drugiej stronty, w podsumowaniu Autor pisze:

Prace nad nowymi wykazami1 są już zaplanowane i będą realizowane w najbliższych miesiącach. Należy pamiętać o różnorodności typów publikacji w różnych dyscyplinach i są odpowiednie instrumenty2, które pozwolą tę różnorodność uchwycić, np. znaczną wagę konferencji w informatyce czy monografii w humanistyce.

Jak się wydaje bardziej od punktów nauka potrzebuje:

  1. Dobrej ręki (czyli umiejętnej polityki finansowej i kadrowej)
  2. Sporo czasu (bo to nie jest tak, że w dwa miesiące pół roku po uchwaleniu ustawy widać będzie pierwsze, nieśmiałe zielone listki efekty zmian.
  3. Jeszcze więcej pieniędzy3.

1 Te wykazy to przecież listy odpowiednio punktowanych czasopism.
2 A instrumenty to, przecież, odpowiednio dobrane proporcje punktów.
3 Tak, wiem: politycy już złożyli deklaracje, że w budżecie nauki będzie więcej o 1.000.000.000 (tak, jeden miliard) złotych. To sporo, jak na budżet Ministerstwa Nauki (pieniądze na naukę, to około 7,5 mld złotych, a do tego dochodzi ok. 10,5 mld zł na dydaktykę). Ale budżet jednej dobrej uczelni Europejskiej to może być 1,8 mld CHF (czyli od 6,7 nawet do 7,4 mld złotych w zależności od kursu). Pisząc o „dobrej” uczelni europejskiej mam na myśli ETHZ, która kształci niecałe 20 tysięcy studentów. A jak już w Zurychu jesteśmy, to warto wspomnieć, że „po drugiej stronie ulicy” (patrząc z budynków ETHZ) jest Uniwersytet Zuryski: 25 tysięcy studentów i przychody na poziomie 1,3 mld CHF.

Awans UW w rankingu Szanghajskim

Aszdziennik to raczej bardzo prześmiewcze „źródło” informacji. Sami określają się tak: „Najlepsze zmyślone newsy w kraju.” Co gorsze trudno im zarzucić poprawność polityczną. Raczej wręcz przeciwnie.

Pojawiła się informacja, że Uniwersytet Warszawski awansował w Rankingu Szanghajskim z piątej do czwartej setki uczelni. I Asz postanowił wytłumaczyć jak to się stało:

Za opatentowanie i skuteczne wdrożenie technologii darmowego doktoranta bez etatu UW awansował o 100 pozycji w rankingu szanghajskim, zestawieniu najlepszych szkół wyższych na świecie. Dla polskiej uczelni to szansa na sprzedaż nowatorskich rozwiązań na rynki międzynarodowe.

Warto też i te akapity przeczytać:

– Zachód długo podchodził do naszych rozwiązań nieufnie, ale w końcu zauważył potencjał drzemiący w polskiej kadrze naukowej – cieszy się rzecznik warszawskiej uczelni. – Polscy doktoranci pochłaniają zaledwie 2,5 proc. budżetu swoich wydziałów i to przy jednoczesnym prowadzeniu zajęć bezpłatnych, np. w okresie letnim – podkreśla.

Po zapoznaniu się z liczbami awans przestaje dziwić. Dla porównania standardowi doktoranci z Uniwersytet Pensylwanii czy Uniwersytetu w Sztokholmie potrafią zużyć nawet 20 proc. wydziałowych budżetów, przy czym przymuszenie ich do prowadzenia kółek naukowych najczęściej kończy się fiaskiem.

Na koniec „standard disclaimer”:

To jest ASZdziennik. Wszelkie cytaty i wydarzenia zostały zmyślone.

(Ilustracja za artykułem.)

Dowód — jak to robią w Krakowie

Za  δμ:

Przekonajmy się więc, jakich to metod dowodzenia używa się w najstarszej polskiej Alma Mater, na Wydziale Matematyki Uniwersytetu Jagiellońskiego.

Oto spis sporządzony przez Józefa Piórka z Instytutu Matematyki Najwspółcześniejszej.

Najczęściej spotykamy dowód

  • przez ogląd (wystarczy popatrzeć),
  • przez połechtanie ambicji słuchaczy (to dla Państwa jest proste),
  • przez kalendarz (to było w zeszłym roku),
  • przez sugestię (Państwo widzicie),
  • przez sakramenty (ochrzcijmy to sobie),
  • przez sztuciec (a nuż wyjdzie),
  • iluzjonistyczny (zrobimy teraz małą sztuczkę),
  • suflerski (proszę mi podpowiedzieć),
  • harcerski (stosujemy podchody dokoła dowodu),
  • cybernetyczny (to automatycznie wynika z …),
  • spychologiczny (Państwo sami sprawdzą),
  • plenarny (czy Państwo się zgadzają?),
  • dogmatyczno-autorytatywny (tak jest w podręczniku),
  • samowystarczalny (Państwo sobie sprawdzą we własnym zakresie),
  • teologiczny a) przez odwołanie się do sił nieczystych (diabli wiedzą, jak to udowodnić), b) przez odwołanie się do sił pozytywnych (Jezus, Maria, przecież to banalne!).