Archiwa tagu: Nauka

Bibliometria — kilka uwag

Najdziwniejszy jest zawód urzędnika administracyjnego Instytutu matematycznego: nie wie, czym administruje!

Hugo Steinhaus

W pewnym sensie jestem ogromnym zwolennikiem bibliometrii, choć z drugiej strony, mogę powiedzieć, że używana jest w zły sposób, który w znacznej części niweczy jej zalety. Nie można bowiem narzędzia podającego informacje strategiczne stosować do bieżącej taktyki.

Ale urzędnicy, którzy nie rozumieją tego czym administrują, potrzebują łatwych (i w miarę „automatycznych”) narzędzi oceny naukowców i ich grup. Bibliometria pasuje jak znalazł. A jak już naukowcy wiedzą, za pomocą jakich narzędzi są oceniani — rozpoczynają optymalizację. Gdy głównym kryterium jest:

  • liczba publikacji — publikują ogromne ilości przyczynkarskich prac wszędzie tam, gdzie chcą przyjąć;
  • liczba cytowań — tworzą „spółdzielnie” ułatwiające publikowanie, przynależność do nich jest opłacona koniecznością cytowania innych członków spółdzielni;
  • indeks H wydaje się być niezłą miarą starającą się ocenić i liczbę publikacji i liczbę ich cytowań (indeks równy N oznacza, że uczony ma N publikacji cytowanych więcej niż N razy). Ale ma też bardzo wiele wad, które próbowano zniwelować wymyślając różne jego modyfikacje.

Hirsch, poważny fizyk (podlegający również różnym automatycznym ocenom), dla żartu wymyślił ten (indeks H) wskaźnik i „wyliczył” go dla kilku znanych uczonych (noblistów i członków innych szanownych gremiów). I się przyjęło.

Co gorsza(?) naukowcy dosyć szybko przywiązali się do różnych miar ich dorobku i bardzo negatywnie reagują, gdy okazuje się, że jakiś wskaźnik zamiast im rosnąć — maleje.

Z drugiej strony wszyscy zdajemy sobie sprawę, że jeżeli ten sam parametr mierzymy za pomocą różnych przyrządów pomiarowych możemy dostać różne wyniki. Czasami różnice są niewielkie, czasami są znaczące, ale w każdym przypadku nabieramy wątpliwości do jakości urządzeń pomiarowych. Czasami jednak wynik (pomiaru) powstaje w efekcie złożonej procedury pomiarowej i obliczeniowej. W takiej sytuacji cała metodologia, zestaw dostępnych danych, założenia — wszystko ma wpływ na wyniki. Jeżeli dostaje się wyniki powtarzalne — trudno metodę kwestionować.

  1. Politechnika Wrocławska jest uczelnią, która jako pierwsza w Polsce rozpoczęła zbieranie informacji na temat publikacji swoich pracowników. Są one gromadzone w bazie DONA. Oprócz tego podjęła poważny wysiłek aby informacje te przetwarzać dostarczając analizy zainteresowanym pracownikom i kierownictwu Politechniki Wrocławskiej. Uważam, że pracownicy tym zajmujący wykonują kawał bardzo dobrej i potrzebnej pracy.
  2. Science Citation Index (SCI) powstał w latach 60. zeszłęgo stulecia i stał się podstawą „sławy” ISI (Institute for Scientific Information w Filadelfii). Charakterystyczne tomy SCI były podstawową pozycją w każdej „czytelni czasopism bieżących” i bardzo ważnym narzędziem pozwalającym (w czasach przed-internetowych) stosunkowo łatwo śledzić „sznureczek” cytowań jakiejś publikacji w czasie. SCI był wówczas, (zwłaszcza gdy egzemplarze publikacji zdobywało się wysyłając na adres autora pocztówkę–prośbę o odbitki) niezastąpionym narzędziem. Losy ISI były bardzo burzliwe, zmieniał on swoich właścicieli ale podstawowy serwis Web of Science ma się bardzo dobrze. Na przykład Fińska Akademia Nauk przedstawia systematyczne (co dwa lata) oceny nauki fińskiej przygotowywane na podstawie danych WoS (wykorzystując bibliometrię do ocen strategicznych). 

    Tomy SCI w czytelni
    Tomy SCI w czytelni
  3. Nieco poźniejsza inicjatywa to różne próby wydawnictwa Elsevier do stworzenia wyszukiwarki prac naukowych (jak, na przykład Scirus), które przekształciły się w końcu w bazę Scopus. Podstawowa różnica, która wyróżnia serwis Scopus (i wszystkie z nim związane) to fakt, że Elsevier jest jednym z największych wydawców literatury naukowej i ma dostęp do wszystkich swoich publikacji. Jako jeden z pierwszych firma zadbała o stworzenie unikatowych identyfikatorów uczonych i podjęła działania, żeby łączyć ich z miejscem pracy.
  4. Mendeley — (działa od 2007 roku) aplikacja i serwis społecznościowy będące (od 2013 roku) własnością firmy Elsevier.
  5. Google Scholar (udostępniony w 2004 roku). Początkowo tylko wyszukiwarka, dziś również platforma informacyjna. Bardzo agresywnie przeszukuje udostępnione w Internecie pliki i łączy je z informacjami na stronach wydawnictw. Dzięki temu często udostępnia pełne teksty korzystając ze źródeł innych niż wydawców. Platforma informacyjna pozwala naukowcowi umieścić informacje o swoich pracach, a wyszukiwarka Google będzie „zliczała” automatycznie cytowania.
  6. Microsofy Academic (powstał jako Microsoft Academic Research w roku 2006 jako odpowiedź na powstanie Google Scholar). Dosyć kiepsko radzi sobie na rynku, był zamykany, otwierany i w końcu został reaktywowany jako Microsoft Academic i zintegrowany z z wyszukiwarką Bing. Posiada sporą bazę danych publikacji naukowych (jedynie tam znalazłem jakąś wzmiankę o wniosku patentowym, którego kiedyś byłem współautorem; patent nie został przyznany).
  7. Zotero — (działą od 2006 roku) aplikacja ułatwiająca gromadzenie metadanych i baz bibliograficznych. O ile pamiętam były jakieś plany udostępniania swoich baz bibliograficznych, ale nie do końca wiem jak to się skończyło.
  8. Research Gate — (działa od 2008 roku) medium społecznościowe dla naukowców. Udostępnia podstawowe informacje o publikacjach oraz, bardzo czesto, ich pełne teksty. Przy czym dostępność pełnych tekstów czasami jest ograniczona wyłącznie dla innych użytkowników serwisu.
  9. Academia.edu — (działa od 2008) komercyjne medium społecznościowe dla naukowców.

Wszystkie te firmy starają się stworzyć jakąś platformę wymiany informacji na temat publikacji. Modele biznesowe są różne, ale podstawą działania tych przedsięwzięć są gromadzone metadane i narzędzia do ich analizy. Jedną z podstawowych analiz jest zliczanie cytowań. Przyjrzyjmy się efektom pracy różnych serwisów. Do porównań wybrałem swoją współautorską pracę Optimum experimental design for a regression on a hypercube—generalization of Hoel’s result. Poniżej przedstawiam informacje o liczbie cytowań zaliczonych, przez różne serwisy:

  • Scopus (17)
  • WOS (17)
  • Microsoft Academic (19)
  • Google Scholar (23)
  • Dona (udostępnia publicznie jedynie cytowania po 2014 i tych jest tylko 2 (słownie dwa))

Nie jest tak, że wyniki różnią się drastycznie. Można powiedzieć, że praca została zacytowana 20 ± 3 razy. Nie wiemy, które z tych wyliczeń odrzucają autocytowania, nie wiemy (choć akurat tego to można czasami się dowiedzieć przy odrobinie chęci) czy 17 cytowań WOS to te same 17 cytowań ze skopusa.

Jak nie mamy pewności do liczby cytowań, to również indeks H (bożek wszystkich naukowców) będzie zaburzony: Według Google Scolara mój współczynnik za ostatnie pięć lat to 2 (a globalnie to 5). Według skopusa — jest on znacznie, znacznie niższy 🙁

Nie należy obrażać się na gorsze wyniki jakiegoś pomiaru, tylko cały czas pamiętać, że skoro oceniam kogoś za pomocą miarki skopusa to nie powinienem porównywać go z osobą ocenianą miarką Google Scholar. Wydaje się, że jest to elementarne założenie. Co niekoniecznie jest prawdą w różnego rodzaju wnioskach (na przykład o awans). Ale to już osobna historia.

Podsumowując zdaję sobie sprawę, że zestawienie, które przedstawiłem może być odbierane prze kogoś jako niesprawiedliwe. Ale proszę pamiętać, że skorzystałem z jednego narzędzia do oceny wszystkich. I wyniki są mniej-więcej porównywalne. Pierwsza część (podająca podstawowe informacja na temat naszych osiągnięć dotyczy okresu 2013–2018 (co jest napisane już w drugim ustępie), to jest nieco więcej niż pięć lat, ale zdajemy sobie sprawę, że rok 2018 ciągle jeszcze trwa). Cześć druga, dokonująca porównań z Wydziałem obejmuje okres dłuższy: 2010–2018 (co nie jest napisane, ale wynika z opisu osi wykresów).

Na stronach serwisu SciVal (dostęp może mieć, po zarejestrowaniu, każdy z sieci Politechniki Wrocławskiej) można się zapoznać z dostępna dokumentacją opisującą metodologię i znaczenie poszczególnych wskaźników. (Nie upubliczniam ich tutaj, bo nie mam pewności czy mogę to zrobić.)

Ewaluacja nauki

Skończył się już Kongres Nauki w Krakowie. Środowisko zapoznaje się i zastanawia nad nową Ustawą (która nie wiedzieć czemu nie nazywa się „Nauka Plus” tylko „Ustawa 2.0”).

Niby wszyscy się zgadzają, że jakieś zmiany są potrzebne, ale ciągle nie ma przekonania jakie te zmiany powinny to być. Trzeba wgryźć się w treść Ustawy (czy choćby w treść uzasadnienia). Pomijam przy tym zamęt polityczny, który już zadymiarze zdążyli wygenerować.

Na kongresie zabrał głos Emanuel Kulczycki (na którego powołuję się tu tak często, że powinien dostać własny tag albo kategorię).

Autor skupia się na tak zwanej punktozie, chorobie trapiącej wielu naukowców, nie tylko w Polsce:

Gromadzenie punktów ma niewielką wartość, bo polskie punkty ministerialne mają wartość rubli transferowych, które chociaż można wymienić na pozytywną ocenę okresową, to nie mają żadnej wartości na zewnętrznym rynku – prawdziwym świecie nauki. Nikt nie uzna osiągnięć, dlatego że zostały wycenione na 125 punktów. Nie ma to żadnego znaczenia.

I to nie jest złe stwierdzenie. Ale Ustawa raczej nie mówi czym powinien zajmować się naukowiec. Naukowiec powinien zajmować się robieniem nauki (a może nawet Robieniem Nauki). Ale, skoro finanse uczelni zalezą od równego rodzaju magicznych współczynników — naukowcy zajmują się ich reverse engineeringiem, a później pracują na wskaźniki. Nie zawsze przekłada się to na osiągnięcia naukowe (i, żeby być szczerym nie zawsze skutkuje lepszymi wskaźnikami).

Z drugiej stronty, w podsumowaniu Autor pisze:

Prace nad nowymi wykazami1 są już zaplanowane i będą realizowane w najbliższych miesiącach. Należy pamiętać o różnorodności typów publikacji w różnych dyscyplinach i są odpowiednie instrumenty2, które pozwolą tę różnorodność uchwycić, np. znaczną wagę konferencji w informatyce czy monografii w humanistyce.

Jak się wydaje bardziej od punktów nauka potrzebuje:

  1. Dobrej ręki (czyli umiejętnej polityki finansowej i kadrowej)
  2. Sporo czasu (bo to nie jest tak, że w dwa miesiące pół roku po uchwaleniu ustawy widać będzie pierwsze, nieśmiałe zielone listki efekty zmian.
  3. Jeszcze więcej pieniędzy3.

1 Te wykazy to przecież listy odpowiednio punktowanych czasopism.
2 A instrumenty to, przecież, odpowiednio dobrane proporcje punktów.
3 Tak, wiem: politycy już złożyli deklaracje, że w budżecie nauki będzie więcej o 1.000.000.000 (tak, jeden miliard) złotych. To sporo, jak na budżet Ministerstwa Nauki (pieniądze na naukę, to około 7,5 mld złotych, a do tego dochodzi ok. 10,5 mld zł na dydaktykę). Ale budżet jednej dobrej uczelni Europejskiej to może być 1,8 mld CHF (czyli od 6,7 nawet do 7,4 mld złotych w zależności od kursu). Pisząc o „dobrej” uczelni europejskiej mam na myśli ETHZ, która kształci niecałe 20 tysięcy studentów. A jak już w Zurychu jesteśmy, to warto wspomnieć, że „po drugiej stronie ulicy” (patrząc z budynków ETHZ) jest Uniwersytet Zuryski: 25 tysięcy studentów i przychody na poziomie 1,3 mld CHF.

Jak telefon Apple napisał artykuł na konferencję

Właściwie wszystko już było, żeby ośmieszyć pseudoanukę, pseudoczasopisma i pseudokonferencje. Tych normalnych jest tyle, że łatwo ukryć te nieprawdziwe.

Naukowiec (Christoph Bartneck) dostał zaproszenie na International Conference on Atomic and Nuclear Physics. Ponieważ nie zna się na tym postanowił sobie zakpić: wyjął smartfona i zaczął pisać artykuł korzystając z funkcji podpowiedzi. Zaczynał zadnia od Atomic albo Nuclear, resztę podpowiadał telefon. Tak o tym pisze:

Today I received an invitation from the International Conference on Atomic and Nuclear Physics to submit a paper. Since I have practically no knowledge of Nuclear Physics I resorted to iOS auto-complete function to help me writing the paper. I started a sentence with “Atomic” or “Nuclear” and then randomly hit the auto-complete suggestions. The text really does not make any sense. After adding the first illustration on nuclear physics from Wikipedia, some references and creating a fake identity (Iris Pear, aka Siri Apple) I submitted the paper which was accepted only three hours later! I know that iOS is a pretty good software, but reaching tenure has never been this close.

Dodatkowo wszystko sfilmował:

Matematyk referuje – Być matematykiem

Kilka uwag na temat prezentacji konferencyjnych.

Dzisiejszy odcinek cyklu o przemowach poświęcam referatom na konferencjach naukowych. Zapraszam do lektury.
Zwykły referat konferencyjny nie trwa zbyt długo, najwyżej około dwudziestu minut. Głównym celem jest prezentacja wyników własnych badań. Nacisk stawiam na słowo prezentacja. Nie systematyczny wykład jakiejś teorii, tylko pokazanie istoty rzeczy.

Źródło: Matematyk referuje — Być matematykiem