Tudomány 2.0
2010. augusztus 31. írta: Kóczy László

Tudomány 2.0

Hogyan működik? Peer review

A tudomány sarokköve a peer review: Egy eredményt akkor elfogadható, vagy elfogadott, ha lehetőleg több névtelen bíráló is alaposan átnézte, ellenőrizte és rányomta a QC matricát.

Ez a módszer több sebből is vérzik: a névtelen bíráló - éppen névtelensége miatt - lehet akárki: lehet egy Nobel díjas, de valószínűbb, hogy egy másodéves doktorandusz, aki nyilván nem mondhat nemet, amikor a témavezetője virtuálisan kezébe nyomja a 40 oldalas sűrűn teleírt PDF-et. Még a szóban forgó doktorandusz érezhet is némi késztetést arra, hogy rendes munkát végezzen, az átlag kutatónál erről szó sem lehet. A bírálatokért ugyanis a folyóiratok (néhány kivétellel) nem fizetnek, ezt úgy "illik" megcsinálni. Így persze a bírálat is olyan lesz, amilyen: trehány, tartalmatlan és lehetőleg jól megkésett. Persze az ösztönzőket, vagy azok hiányát leginkább a közgazdászok értik, így talán nem is meglepő, hogy egy bírálat rendszerint csak 6-8 hónap után érkezik meg. 

Nézzük, hogy is néz ki a folyamat. A kutató fogja a kész cikket, célba vesz egy folyóiratot és elküldi. A cikk a szerkesztőhöz kerül, aki pár nappal később valamelyik segédszerkesztőre bízza a cikket. A segédszerkesztő ezek után megfelelő bírálókat keres. Ez nem könnyű feladat, hetekig is eltarthat.

Mint már jeleztem, a bíráló nem igazán érdekelt abban, hogy gyors és jó munkát végezzen. Én úgy 6 hónap után szoktam érdeklődni a cikkem iránt, ezt az érdeklődést a szerkesztő továbbítja és udvariasan elnézést kér a késésért. Némelyik bíráló ekkor elkezdi kényelmetlenül érezni magát, gyorsan megcsinálja a bírálatot. Másokat idegesíti az érdeklődés, és összecsapják a bírálatot. Nincs könnyebb ugyanis, mint azt mondani, hogy a cikk érdekes, meg minden bla-bla, de nehéz olvasni és a 3. oldalon még egy elírás is van. Tessék újradolgozni és akkor újra megnézzük. Sajnos most is van egy cikkem, amit még 2006-ban küldtem el egy folyóirathoz, eddig csak semmitmondó észrevételeket kaptam és így a cikk nem is töltött nálam sok időt. Most nem merem sürgetni a bírálót, nehogy megint összecsapja, pedig lassan szülinapot ünnepelhetünk.

A nyomtatók előtti korszakban ez komoly muri lehetett, de manapság nem nagy ügy egy kicsit átírni egy cikket, így a bírálók szinte mindig kérnek változtatásokat, néha többször is, mire elfogadják. Elfogadás után több hónap, néha év (tipikusan egy-másfél év) a megjelenés így a megjelenő cikk teljesen túlhaladott... lenne, ha nem lene a játékelmélet tempója ilyen kényelmes. Persze, mint a cikksorozat előző részében írtam, nem ez a publikáció publikálja az eredményt, hiszen az már műhelytanulmány korában bejárta a világot. Miért van szükség erre a lassú és drága rendszerre?

Miért nem írhatjuk az ötleteinket egyszerűen a falra? Hm.. az ötlet nem rossz, tulajdonképpen már többen próbálkoztak hasonlóval, nem is eredménytelenül.

Az első és legegyszerűbb lépés az egész folyamatot elektronikussá tenni. Korábban a levélváltással is hetek mentek el, ma már a folyóiratok is megjelenhetnek online formában - akár cikkenként is. Így az elfogadott eredmény akár azonnal elérhető - ez már meg is valósult a legtöbb kiadónál.

Igazi változást mégis a bírálati folyamat radikális változása hozhat. David K. Levine érvelése szerint az eredmény onnantól fogva publikus, hogy elérhető műhelytanulmányként. Ha ő emellé odatesz egy bírálatot, akkor ezzel megvan az ellenőrzés is. Ez a NAJ Economics (Not a Journal of Economics) lényege: a nem-folyóirat (ami sajnos mára kihalt) cikkek helyett bírálatokat közöl. Itt nincsenek felesleges bírálati körök: ha a szerkesztők (egytől-egyig ismert nevek) valami érdekeset olvasnak, ezt leírják és közzéteszik. A nagy kérdés, hogy az én cikkem vajon hogyan jut el Levine-ékhez.

Ennél némileg demokratikusabb volt az Elsevier próbálkozása Mathematical Preprints néven. Erre az oldalra bárki feltölthette a kéziratait, ezeket lehetett pontozni és kommentelni. Fiatal doktoranduszként fel is raktam minden cikkem és vártam. Még most is várhatnék, de sajnos mára az egész projekt megszűnt, ugyanis az igazán HOT cikkekre sem volt több, mint 2-3 hozzászólás (Nice paper! - meg hasonlók).

Az Elsevier ötlete meghaladta korát, de a New York Times cikke szerint ma már éledeznek az alternatívák. Érdekes áttekintésükben több példát is hoznak, ahol a nyílt, online vita a nyílt forráskódú szoftverek gyors terjedéséhez hasonlóan az eredmények sokkal gyorsabb feldolgozását teszi lehetővé. Mennyivel jobb lenne a 4 éves cikkemet kitenni egy falra, hogy tessék kommentelni!

Pár éve a közgazdászok is kaptak egy ilyen falat: az Economics e-folyóirat bírálati folyamata nyílt: egy kezdeti szűrő után az olvasók észrevételei alapján készülhet el a cikk végső változata. Hogy őszinte legyek, bár sikerült nagy neveket megnyerni a tanácsadói közé, a folyóirat nem igazán került bele a köztudatba; nem tartozik az elismert, vagy akár figyelmet érdemlő lapok közé. Inkább olyan B-terv, ha a hagyományos publikációs csatornák nem működnek. A várható negatív kiválasztódás végképp leírja az alapvetően érdekes kezdeményezést.

A nagy kérdés mégis a megbízhatóság. A magam részéről az online vitát jónak látom és őszintén remélem, hogy kapok majd szakmai visszajelzéseket is, főleg, ha blogot angolul is elindítom. De vajon a kedves olvasó vállalna-e egy olyan (forradalmian új!) orvosi beavatkozást, ha malacka73 szerint is kicsi a kockázata?

Én egyelőre jobban bízom a folyóiratokat szerkesztő nagy nevekeben. A tudomány nem demokratikus.

A bejegyzés trackback címe:

https://koczy.blog.hu/api/trackback/id/tr92257638

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

süti beállítások módosítása