BIBLIOTHEKSDIENST Heft 3, 98

Bibliothekarische Erfahrungen mit dem Impact Factor

I. Einführung

Medizinische und naturwissenschaftliche Bibliotheken werden zunehmend mit einer biblio- oder szientometrischen Berechnungsgröße konfrontiert, dem Impact Factor (IF). Hierfür gibt es zwei Gründe:

1. Die Verteuerung wissenschaftlicher Periodika, insbesondere in den Naturwissenschaften (+8,8 %) und der Medizin (+8,9 %; vgl. Griebel 1997), steht den stagnierenden und schrumpfenden Erwerbungsetats in wissenschaftlichen Bibliotheken gegenüber (vgl. Griebel und Tscharntke 1996). Hinzu kommt eine Steigerung des Dollarkurses (+10-15% in 1997 im Vergleich zum Vorjahr), die sich bei "Import-Zeitschriften" deutlich bemerkbar macht. Immer mehr Zeitschriften müssen deswegen abbestellt werden. Spätestens in der Diskussion mit den Bibliotheksbeauftragten und/oder den engagierten Forschern darüber, welche Titel hierfür infrage kommen, wird neuerdings als ein Kriterium der Impact Factor ins Spiel gebracht.

2. Durch die Novellierung des Hochschulrahmengesetzes (HRG) wird beabsichtigt, den Wettbewerb zwischen den Hochschulen zu fördern. Schon jetzt denken viele Fakultäten über eine leistungsabhängige Verteilung der Forschungsmittel nach. Bei der Suche nach hierfür geeigneten Kriterien werden neben der Höhe der eingeworbenen Drittmittel, der Absolventenzahl und der erfolgreichen Dissertationen auch die Publikationen eines Fachbereichs, eines Zentrums oder eines Instituts angeführt (vgl. hierzu Neumann 1997a und Neumann 1997b): dabei erfolgt ihre Bewertung heute vielfach durch den Impact Factor.

II. Die Berechnungen des Impact Factor

Der Impact Factor wird vom Institute for Scientific Information (ISI) schon seit Anfang der siebziger Jahre ermittelt und im Science Citation Index - Journal Citation Report veröffentlicht (Garfield 1972). Hierfür werden nach eigenen Angaben insgesamt ca. 6.000 Zeitschriften überwacht und 3.300 vorwiegend naturwissenschaftliche und medizinische Titel ausgewertet, darunter insgesamt ca. 430 deutsche (vgl. auch Krause 1994).

Der IF zeigt die durchschnittliche Frequenz an, mit der ein Artikel in einem bestimmten Zeitraum zitiert wurde. Werden beispielsweise in einer Zeitschrift innerhalb der letzten zwei Jahre 128 Arbeiten veröffentlicht und aus diesem Journal von anderen Zeitschriften(autoren) 202 Arbeiten zitiert, rechnet ISI:

202 : 128 = 1,578 IF (bzw. 1.578 in der amerikanischen Schreibweise).

Anders ausgedrückt bedeutet dies: Wenn über zwei Jahre hinweg alle Publikationen einer Zeitschrift im Durchschnitt zwanzigmal zitiert werden (in der gleichen oder in anderen Zeitschriften, die regelmäßig vom ISI ausgewertet werden), dann bekäme diese Zeitschrift einen IF von 20.

III. Kritik am Impact Factor

Gegenüber der Methode zur Ermittlung des IF, aber auch hinsichtlich seiner Auswirkung auf das gesamte Publikationswesen werden von vielen Wissenschaftlern erhebliche Vorbehalte geäußert. Die Kritik läßt sich in folgende fünf Kategorien einteilen:

1. Kritik am Zeitraum der ausgewerteten Daten
   • Durch die Erfassung der Zitate aus dem Zeitraum der beiden letzten Jahre geht das ISI davon aus, daß wissenschaftliche Daten stets nur vorübergehend aktuell sind. Für die Grundlagenforschung mag das korrekt sein, aber z.B. "die Zitationsklassiker in der klinischen Medizin fallen beim IF unter den Tisch" (Lindner, 1997).
   • Hat das Niveau einer Zeitschrift im aktuellen Jahr angezogen, führt dies nicht unmittelbar zu einem höheren IF, da sich alle Zitate während des Bestimmungsjahres auf früher erschienene Artikel beziehen.

2. Kritik am Umfang der auszuwertenden und ausgewerteten Daten
   • Im Jahr 1995 wertete das ISI insgesamt 12.098.356 Zitate aus 4.625 Zeitschriften aus den verschiedensten Bereichen der Naturwissenschaften (inkl. Forstwissenschaft) und Medizin aus. Daraus ergibt sich, daß wichtige Fachzeitschriften einer Forschungsdisziplin sich hinsichtlich ihres IF (z.B. Disziplin Chirurgie: Ann. Surg. IF=4.4, oder Pädiatrie: Pediatrics IF= 2.710) nicht mit allgemeineren naturwissenschaftlichen Titeln (wie z.B. Clin.Res. IF= 58.286 oder Cell IF=40.481 aus der Disziplin "Zellbiologie") vergleichen lassen, womit sich die Aussagekraft des IF stark relativiert.
   • Wenn man berücksichtigt, daß nur ca. 30% aller weltweit erschienenen Zeitschriftenartikel von der ISI ausgewertet werden (keine Bücher, Buchbeiträge oder Broschüren), in der Bundesrepublik 1991 aber wissenschaftlichen Arbeiten zu 64,7% in Zeitschriften, 17,7% als Buchbeiträge, 14,9% als Bücher, 1,2% als Broschüren und 1,5% in Ergänzungslieferungen veröffentlicht wurde (Angaben: VG Wort), ergibt sich durchschnittlich ein Anteil von nur mehr 19,4% aller deutschen wissenschaftlichen Veröffentlichungen, die überhaupt vom ISI registriert werden (vgl. Lehrl 1993).
   • Es gibt Anzeichen dafür, daß gegenüber nicht-US-amerikanischen Zeitschriften unter den Autoren eine Art Abschottungsmentalität besteht (vgl. Herfarth und Schürmann, 1996). Nach einer Studie von Opthof (1997) stellte sich heraus, daß insgesamt 46% der verfügbaren relevanten Journals nicht zitiert werden. Dabei liegt z.B. die Quote norwegischer Zeitschriften bei 31%, aus Japan werden sogar 69% Zeitschriften nicht zitiert.

3. Kritik an der Qualität der ausgewerteten Daten
   • Der IF läßt sich durch Steuerungsmechanismen beeinflussen. Je mehr ein Autor publiziert, desto höher ist die Zahl der Selbstzitate. Das heißt, er kann sich immer häufiger auf seine frühere Arbeit berufen. Die Unsitte "zitierst du mich, zitier ich dich" der Zitiergemeinschaften (Lindner) und die Kultur der Ausgrenzung, wonach Meinungen gegensätzlicher Auffassungen und unterschiedlicher Schulen grundsätzlich nicht zitiert werden, wird durch den IF unterstützt.
   • Nicht alle Arbeiten, die in einer Zeitschrift publiziert werden, zählen. Nur Originalarbeiten, Technical Notes und Review-Artikel tragen zur Berechnung bei. Informationen, die in Editorials, Letters to the editors, New Items oder Meeting Abstracts erschienen, werden nur dann ausnahmsweise berücksichtigt, wenn ein "substantive research content" zu vermuten ist. Hierbei besteht die Möglichkeit, sehr subjektive Urteile zu fällen.

4. Mißverständnisse bei der Interpretation des IF einer Zeitschrift
   • Der IF mißt die Zeitschrift als Ganzes, nicht den einzelnen Artikel. Veröffentlicht eine Zeitschrift einige wenige Artikel, die sehr häufig zitiert werden, während der Rest kaum zitiert wird, kann dies trotzdem zu einem vergleichsweise hohen IF führen. Deshalb darf nicht aufgrund eines hohen IFs einer Zeitschrift auf eine hohe Qualität aller in ihr enhaltenen Artikel geschlossen werden (vgl. Seglen 1997).
   • Fächer, die nicht überwiegend naturwissenschaftlich ausgerichtet sind, wie z.B. Psychiatrie, Medizinische Psychologie, Medizinische Soziologie und Geschichte der Medizin werden im Science Citation Index - Journal Citation Report nicht erfaßt. Entsprechende Auswertungen erfolgen im Social Science Citation Index (SSCI) oder im Arts & Humanities Index (A&H I). Berücksichtigung finden aber meist nur die Zeitschriften, die im SCI aufgelistet werden.

5. Der Einfluß des IF auf die Verlage und die Publikationsformen Eugene Garfield gründete 1958 in Philadelphia das ISI als ein privates Institut. Er verlegt die Current Contents und den Science Citation Index und "beherrscht mit nahezu absolutistischer Macht die wissenschaftliche Szene. Editors und Verleger von Journals, die zitiert werden wollen, geben sich in Philadelphia die Klinke in die Hand" (Lindner, 1997), da der IF inzwischen einen große wirtschaftliche Bedeutung gewonnen hat. Dadurch sind für die Verlage Bedingungen entstanden, die die Publikationsformen nachhaltig beeinflussen:
   • Ein Zeitschriftenheft sollte unbedingt Review-Artikel enthalten, denn die werden am häufigsten zitiert. Dadurch entsteht ein günstiges Verhältnis zwischen zitierten und publizierten Artikeln.
   • Änderungen an der Binnenstruktur einer Zeitschrift und am Titel sind zu vermeiden. Dadurch könnten Irritationen im angloamerikanisch orientierten ISI entstehen mit der Folge, daß die Zitierungen jäh abbrechen.
   • Moderne Entwicklungen des Informationsaustausches (Elektronische Journals und der Kommunikationstransfer über Datennetze) werden durch den IF nicht berücksichtigt, obwohl die naturwissenschaftlich-medizinischen Forschungsergebnisse durch eine kurze Halbwertzeit charakterisiert sind (Lindner 1997).

Zu berichten, daß die Zentrale Medizinische Bibliothek (ZMB), eine Teilbibliothek der Universitätsbibliothek (UB) Marburg, aufgrund ihres knappen Erwerbungsetats Jahr um Jahr genötigt ist, Zeitschriften zu abzubestellen, wäre an dieser Stelle wenig originell, handelt es sich dabei schon längst um eine traurige deutsche Bibliothekswirklichkeit. Und auch daß von den Mitgliedern des ZMB-Kommission, einer Art von Aufsichtsrat für die Bibliothek, bei der Auswahl der abzubestellenden Zeitschriften zunächst die Nicht-Relevanz einer Zeitschrift für die eigene Forschung überprüft und anschließend nach einem fachübergreifenden Bewertungsinstrument wie eben dem IF gesucht wird, überrascht in diesem Zusammenhang vermutlich wenig.

Eine Bibliothek in die Evaluierung der Forschungsleistungen einer Fakulät oder eines Instituts einzubeziehen, dürfte allerdings noch nicht als selbstverständliche Serviceleistung bezeichnet werden. Aufgrund der engen Einbindung der ZMB in den Fachbereich Humanmedizin erhielt sie den Auftrag, die Zeitschriftentitel, in denen die Marburger Mediziner seit 1995 publizierten, mit den vom ISI für diese Zeitschriften berechneten IF zu verknüpfen. Als Datengrundlage hierfür dient ihr die "Marburger Bibliographie" (1974 ff.; seit 1984 elektronisch erfaßt), die von der UB zusammengestellt und herausgegeben wird. Darin sind alle wissenschaftlichen Beiträge enthalten, die an der Philipps-Universität Marburg entstanden und an die UB gemeldet wurden. Sie erscheint jährlich und steht seit Januar 1998 auch im WWW über http://archiv.ub.uni-marburg.de/mbiblio/mbmain.html für Recherchen zur Verfügung. Aus dieser Datenbank werden die Publikationen von den Mitarbeitern des Fachbereichs Humanmedizin selektiert (etwa 2.000 pro Jahr), für den "Lehr- und Forschungsbericht des Fachbereichs Humanmedizin, Band II: Jahresbibliographie" zusammengestellt und anschließend veröffentlicht. Im Anhang werden die ermittelten IF den verschiedenen Zeitschriftentiteln zugeordnet.

V. Fazit

Der Wunsch nach einem möglichst objektiven, reproduzierbaren Bewertungsmaßstab für wissenschaftliche Zeitschriften besteht mehr denn je. Zweifellos verdient eine wissenschaftliche Arbeit, die oft gelesen und zitiert wird, hohes Ansehen. Daß eine Zeitschrift, die viele bedeutende Artikel publizierte, ebenfalls Anerkennung findet, ist nur folgerichtig. Sie wird durch einen hohen IF ausgedrückt. Der Umkehrschluß aber - Veröffentlichungen in Zeitschriften mit niedrigem IF seien von minderer Qualität - ist genauso falsch, wie die Annahme, daß jeder Artikel in einer Zeitschrift mit hohem IF gut wäre. Darüberhinaus sind Zweifel an der Methode der Datenauswertung berechtigt. Weder der Erhebungszeitraum noch die Auswahl der ausgewerteten Titel hält der Kritik stand. Hier bietet Stegmann (1997) eine interessante Anregung, wonach das Prinzip, die Gesamtzahl der Zitierungen mit der Gesamtzahl der Publikationen einer Zeitschrift ins Verhältnis zu setzen, auf weitere Zeitschriften, die nicht im Journal Citation Report aufgeführt werden, zu übertragen ist.

Folglich sollte bei der Zeitschriftenabbestellung die Höhe des IF nicht das entscheidende Kriterium sein. In der Zentralen Medizinischen Bibliothek werden zunächst andere Methoden angewendet, um "abbestellbare" Zeitschriften herauszufinden. Durch die Überprüfung von Benutzungsanzeichen an Heften und Bänden, durch eine (regelmäßige) Evaluierung der Zeitschriftenwünsche seitens der Bibliotheksbesucher und durch eine Statistik über die Anfragen aus dem Orts- und Fernleihverkehr lassen sich zuverlässigere Hinweise für die Bedeutung eines Titels im Zeitschriftenbestand ermitteln. Der IF wird lediglich in Zweifelsfällen hinzugezogen.

In Bezug auf die Evaluierung der Forschungsleistungen wissenschaftlicher Einrichtungen ist der IF nach Berücksichtigung obengenannter Kritikpunkte nur mit Vorbehalten zu verwenden. Im "Lehr- und Forschungsbericht des Fachbereichs Humanmedizin" wird deshalb in einer Anmerkung zum IF ausdrücklich auf diesen Umstand hingewiesen.

In einem Beschluß des Präsidiums der Deutschen Gesellschaft für Unfallchirurgie wird festgestellt, daß "die Gesellschaft den IF zur Beurteilung der wissenschaftlichen Leistungen nicht für geeignet hält" (Dt. Ges. Unfallchirurgie 1997). Zu empfehlen, ihn nach Möglichkeit überhaupt nicht zu verwenden, wäre allerdings viel leichter, gäbe es zum Impact Factor (in Europa) eine Alternative.

Literatur:

Deutsche Gesellschaft für Unfallchirurgie, Präsidium: Zur Verwendung des Impact-Factors als Maß wissenschaftlicher Leistungen. Unfallchirurgie (1997) 23: 221

Garfield, E.: Citation analysis as a tool in journal evaluation. Science (1972) 178: 471

Griebel, R.: Swets-Zeitschriftenpreisindex 1997. BIBLIOTHEKSDIENST (1997) 31: 828-837

Griebel, R. u. U. Tscharntke: Etatsituation der wiss. Bibliotheken in den alten und neuen Bundesländern 1996. ZfBB (1996) 6: 525-577

Herfarth, C.: Editorial. Der Chirurg (1996) 67: 297-299

Krause, J.: Methodische Untersuchung zur Ermittlung von Schlüsselzeitschriften. Bibliotheksdienst (1994) 28: 346-351

Lehrl, S.: Die Forschungsqualität deutscher Mediziner : Normen und Bewertungen / von Siegfried Lehrl und Elmar Gräßel. - 1. Aufl.. - Nürnberg : Media Point Verl.-Ges., 1993

Lindner, U.: Editorial. Der Anaesthesist (1997) 46: 1-2

Marburger Bibliographie (1974 ff.): Katalog der an der Philipps-Universität entstandenen wissenschaftlichen Publikationen / Philipps-Universität Marburg; zsgest. u. hrsg. von der UB Marburg.: Marburg, L. 1975

Neumann, R.: Erst gesundschrumpfen, dann vollstopfen. Laborjournal (1997 a) 7: 10-11

Neumann, R.: Wenig Edles: Deutschlands Virologen im Publikationsvergleich 1995/ 1996. Laborjournal (1997 b) 9: 8-9

Opthof, T: Sense and nonsense about the impact factor. Cardiovascular Research (1997) 33:1-7

Seglen, P.O.: Why the impact factor of journals should not be used for evaluating research. BMJ (1997) 314 :498-502

Stegmann, J.: How to evaluate journal impact factors. Nature (1997) 390: 550

Universität Marburg / Fachbereich Humanmedizin: Lehr- und Forschungsbericht, Bd. II, Bibliographie d. Fachbereichs Humanmedizin (1994 ff.), zsgest. von Heino Krüger, Marburg 1995.