Warum wir aus dem Handelsblatt BWL-Ranking ausgestiegen sind – ein offener Brief an das Handelsblatt, unterzeichnet von Professoren der Betriebswirtschaftslehre, Stand 7. September 2012, 11 Uhr: 309 Unterzeichner

Am 10. September dieses Jahres wird das Handelsblatt in seinem zweiten BWL-Ranking wieder verschiedene Ranglisten veröffentlichen: die der besten 250 deutschsprachigen Betriebswirte nach den Forschungsergebnissen ihres Lebenswerkes, die der 100 Besten nach den Forschungsergebnissen der letzten 5 Jahre und die der 100 Besten unter 40 Jahren. Ermittelt werden diese Ranglisten auf der Basis der in Zeitschriften veröffentlichten Aufsätze. Buchveröffentlichungen werden nicht berücksichtigt. Die Aufsätze werden nach einem vom Handelsblatt ermittelten Maßstab gewichtet, welcher die Qualität der jeweiligen Zeitschrift und der darin veröffentlichten Arbeiten zum Ausdruck bringen soll.
Die Unterzeichnenden haben mit ihrer Unterschrift eingewilligt, dem Handelsblatt mitzuteilen, dass sie in keiner dieser Ranglisten geführt werden möchten.
Dies sind die Gründe, die uns zu diesem Schritt bewogen haben:

1. Eindimensionalität der Leistungsmessung: Personenrankings, die ausschließlich auf die Publikationsleistungen abstellen, blenden aus, dass es noch weitere Tätigkeiten gibt, die darüber entscheiden, wie gut ProfessorInnen ihrer Aufgabe insgesamt gerecht werden. Diese umfasst neben der Forschung u.a. Lehre, Betreuung von Studierenden, Mitwirkung in der Selbstverwaltung, Vermittlung von Forschungsergebnissen in die Praxis. Rankings des Forschungsoutputs, besonders solche, die eine Öffentlichkeitswirkung entfalten, führen indirekt zu einer Abwertung von Tätigkeiten außerhalb der Forschung. Es wird nur das gemessen, was gemessen werden kann; genau das aber hat dann für die Unterzeichnenden eine Anreizwirkung, die sie für nicht wünschenswert halten. Das Argument, es handele sich ja „nur“ um ein Forschungsranking, verliert damit seine Unschuld.

2. Methodische Mängel: Darüber hinaus enthält das Handelsblatt-BWL-Ranking gravierende methodische Mängel und vermittelt deswegen ein unzutreffendes Bild der Forschungsleistungen von WissenschaftlerInnen. Auf der Basis verschiedener Zeitschriften-Rankings werden Indikatoren der Qualität von Zeitschriften ermittelt, mit denen die in verschiedenen Zeitschriften erschienen Aufsätze einzelner Wissenschaftler gewichtet werden. Diese Indikatoren spiegeln nicht die Qualität der jeweiligen Publikationen wider. Zeitschriftenrankings ermitteln eine durchschnittliche Qualität der in den erfassten Zeitschriften veröffentlichten Beiträge. Weil aber die Aufsätze einer Zeitschrift eine höchst unterschiedliche Qualität aufweisen, sagt der Durchschnitt kaum etwas über die Qualität einzelner Aufsätze aus und macht keinesfalls die Würdigung des einzelnen Aufsatzes entbehrlich. Auch bieten die von den Zeitschriften eingeholten Gutachten in keiner Weise eine Gewähr dafür, dass einzelne veröffentlichte Aufsätze über ein der Einstufung der Zeitschrift entsprechendes Qualitätsniveau verfügen. Die Kombination verschiedener Rankings in den Handelsblatt-Ranglisten macht es unmöglich, die Qualität der Datenbasis abzuschätzen.

3. Keine Neutralität gegenüber Fachgebieten: Ein weiterer methodischer Mangel liegt darin, dass die Chancen von WissenschaftlerInnen verschiedener Fachgebiete im Handelsblatt-Ranking gut abzuschneiden, nicht gleich groß sind. So finden sich beispielsweise unter den ersten 50 Betriebswirten im letzten Handelsblatt-Ranking von 2009 nach dem Lebenswerk keine Vertreter aus den Bereichen Steuerlehre oder Rechnungswesen. Daraus kann sicherlich nicht der Schluss gezogen werden, dass Vertreter dieser Fachrichtungen weniger gute Wissenschaftler sind als z.B. Vertreter des Fachs Marketing.

4. Falsche Anreizwirkungen zum Schaden für die Wissenschaft: Rankings beeinflussen das Verhalten von WissenschaftlerInnen in einer Weise, die der Wissenschaft schadet. Sie veranlassen WissenschaftlerInnen, nicht mehr das zu erforschen, was sie interessiert und was für den Fortschritt der Wissenschaft wichtig ist, sondern das, was Ranking-Punkte bringt. Die Innovativität der Wissenschaft nimmt ab: Ein System, in dem sich alle an den gleichen Kriterien orientieren, verliert seine Innovationsfähigkeit. So schreiben viele WissenschaftlerInnen keine Bücher mehr, denn diese gehen nicht in die Bewertung ein. Sie verfolgen keine riskanten Projekte mehr, sondern variieren in einem hohen Maße das Bewährte. Auch versuchen sie, aus ihren Forschungsprojekten so viele Aufsätze wie möglich zu pressen, indem sie bspw. identische oder fast identische Textpassagen in mehreren Aufsätzen verwenden.
Rankings können Berufungskommissionen und andere universitäre sowie nicht universitäre Gremien dazu verleiten, sich nicht mehr inhaltlich mit den Forschungsergebnissen von BewerberInnen zu beschäftigen, sondern sich an Rankings zu orientieren. So bleiben Manipulationen in Berufungsverfahren unentdeckt. Auch bergen sie die Gefahr, dass freie Positionen nicht mit WissenschaftlerInnen besetzt werden, die in die jeweiligen Forschungskontexte passen, sondern mit solchen, die die Ranking-Bilanz der Fakultät oder der Universität verbessern.

5. Falsche Anreizwirkung zum Schaden für die Gesellschaft: Die für das Ranking herangezogenen Zeitschriften sind in großem Ausmaß von ihrer Ausrichtung her wenig an ‚lokalen‘ Fragestellungen interessiert. Das schadet der lokalen und regionalen Einbettung von Universitäten und den damit verbundenen positiven Auswirkungen auf die Gesellschaft wie z.B. wissenschaftliche Analyse lokaler Probleme und Ausarbeitung entsprechender Lösungsansätze.

Personenrankings sind kein geeignetes Instrument, die Qualität von Wissenschaftlerinnen und Wissenschaftlern zu messen. Diese festzustellen, bleibt eine Sache des lebendigen Diskurses.

Vorbemerkung zu der Liste der Unterzeichner
In unserem Aufruf, in dem wir Kolleginnen und Kollegen baten, den obigen offenen Brief zu unterzeichnen, haben wir sie dazu aufgefordert, zeitnah mit der Unterzeichnung den Ausstieg auch gegenüber dem Handelsblatt zu erklären. Wir können nicht nachprüfen, ob die Unterzeichnenden das tatsächlich so gehandhabt haben.
Das Handelsblatt hat unseren Informationen nach in seinem Ranking alle aktiven Professoren an den Universitäten in Deutschland, Österreich und der Schweiz berücksichtigt. An Universitäten außerhalb dieses Raumes tätige deutsche Professoren wurden ebenso wenig berücksichtigt wie Emeriti. Warum eigentlich nicht? Allerdings haben wir von einigen Emeriti die Information bekommen, dass sie vom Handelsblatt aufgefordert wurden, die auf einer Website zugänglichen Veröffentlichungen auf Vollständigkeit zu überprüfen (ich habe diese Aufforderung ebenfalls bekommen, was aber vielleicht daran liegt, dass ich nach meiner Emeritierung als Professor der Universität Mannheim an der Zeppelin Universität Friedrichhafen eine Professur übernommen habe, AK). Da wir nicht im Einzelnen nachprüfen konnten, welche Emeriti im Ranking berücksichtigt wurden bzw. werden sollten und welche nicht, haben wir alle Emeriti, die den offenen Brief unterzeichnet haben, in die Liste aufgenommen. Wir finden, dass die Meinung der Mitglieder dieser Personengruppe zum Handelsblatt-Ranking nicht unter den Tisch fallen sollte. Aus dem gleichen Grund haben wir uns auch entschlossen, an Universitäten außerhalb des deutschsprachigen Raumes tätige Professoren in die Liste aufzunehmen, wenn sie den offenen Brief unterzeichnet haben.

Jost Adler, Lst. für Marketing, Universität Duisburg-Essen
Sascha Albers, Seminar für Unternehmensführung & Logistik, Universität zu Köln
René Andeßner, Institut für Betriebswirtschaftslehre der gemeinwirtschaftlichen Unternehmen, Universität Linz
Maike Andresen, Lst. für Personalmanagement, Universität Bamberg
Norbert Bach, Lst. für Unternehmensführung und Organisation, Technische Universität Ilmenau
Andrea Back, Institut für Wirtschaftsinformatik, Universität St. Gallen
Klaus Backhaus, Institut für Anlagen und Systemtechnologien, Universität Münster
Jörg Baetge, Emeritus, Institut für Revisionswesen (IRW) an der Westfälischen Wilhelms-Universität Münster
Wolfgang Ballwieser, Seminar für Rechnungswesen und Prüfung, Ludwig-Maximilians-Universität München
Ingolf Bamberger, Betriebswirtschaftslehre, Universität Duisburg-Essen
Alexander Bassen, Lst. für Kapitalmärkte und Unternehmensführung, Universität Hamburg
Klaus Bartölke, Emeritus, Universität Wuppertal
Oliver Baumann, Associate Professor, Department of Marketing & Management, University of Southern Denmark Odense
Ulrike Baumöl, Lst. für Informationsmanagement, FernUniversität in Hagen
Andreas Bausch, Chair of Management and Organization, Justus Liebig University Giessen
Fred G. Becker, Lst. für Personal, Organisation und Unternehmungsführung, Universität Bielefeld
Nikolaus Beck, Faculty of Economics, Universität Lugano
Jörg Becker, Prorektor für Strategische Planung und Qualitätssicherung, Westfälische Wilhelms-Universität Münster
Wolfgang Becker, Lst. für Management und Controlling, Otto-Friedrich-Universität Bamberg
Michael Beckmann, Abteilung Personal und Organisation, Universität Basel
Thomas Behrends, Lst. Internationales Management und ökonomische Bildung, Universität Flensburg
Sigrid Bekmeier-Feuerhahn, Lst. für Kommunikation und Public Relations, Leuphana Universität Lüneburg
Ralph Berndt, Lst. für Marketing, Eberhard Karls Universität Tübingen
Thomas Beschorner, Institut für Wirtschaftsethik, Universität St.Gallen
Thomas Bieger, Institut für Öffentliche Dienstleistungen und Tourismus, Universität St. Gallen
Torsten Biemann, Lehrstuhl und Seminar für ABWL, Personalwesen und Arbeitswissenschaft, Universität Mannheim
Michael Bitz, Lst. für Bank- und Finanzwirtschaft, FernUniversität in Hagen
Constantin Blome, GSK Biologicals Chair in Strategic Sourcing and Procurement, Université catholique de Louvain
Hans-Joachim Böcking, Lst. für Wirtschaftsprüfung und Corporate Governance, Goethe-Universität Frankfurt am Main
Margret Borchert, Lst. für Personal und Unternehmensführung, Universität Duisburg-Essen, Campus Duisburg
Sabine Börner, Lst. für Management, insb. Strategie & Führung, Universität Konstanz
Walter Brenner, Director Institute of Information Management, Universität St. Gallen
Klaus Brockhoff, Emeritus, Unternehmenspolitik, WHU – Otto Beisheim School of Management, Vallendar
Gerrit Brösel, Lst. für Wirtschaftsprüfung, Fernuniversität in Hagen
Manfred Bruhn, Lst. für Marketing und Unternehmensführung, Universität Basel
Dietrich Budäus, Emeritus, Lst. Public Management, Universität Hamburg
Marion Büttgen, Lst. für Betriebswirtschaftslehre, Universität Hohenheim
Hans Corsten, Lst. für Produktionswirtschaft, Technische Universität Kaiserslautern
Cinzia Dal Zotto, Lst. Media Management, Universität Neuchâtel
Dieter Dahlhoff, Lst. für Kommunikations- und Medienmanagement, Universität Kassel
Niels Dechow, Chair of Management Accounting & Control, European Business School Oestrich-Winkel
Werner Delfmann, Seminar für Unternehmensführung und Logistik, Universität zu Köln
Michael Dowling, Professor of Innovation and Technology Management, University of Regensburg
Stephan Duschek, Professur für Organisationstheorie, Helmut-Schmidt-Universität – Universität der Bundeswehr Hamburg
Andreas Dutzi, Lst. für Management, Accounting & Corporate Governance, Universität Siegen
Thomas Dyllick, Institut für Wirtschaft und Ökologie, Universität St.Gallen
Ralf Michael Ebeling, Lst. für Externes Rechnungswesen und Wirtschaftsprüfung, Martin-Luther-Universität Halle-Wittenberg
Peter Eberl, Lst. für Personalwirtschafts- und Organisationslehre, Universität Kassel
Mark Ebers, Seminar für Unternehmensentwicklung und Organisation, Universität zu Köln
Peter Eichhorn, Präsident, SRH Hochschule Berlin
Stefan Eicker, The Ruhr Institute for Software Technology, Universität Duisburg-Essen
Ralf Elbert, Fachgebiet Unternehmensführung und Logistik, Technische Universität Darmstadt
Wolfgang Elsik, Lst. für Personalmanagement, Wirtschaftsuniversität Wien
Michael Eßig, Lst. Materialwirtschaft & Distribution, Universität der Bundeswehr München
Horst Walter Endriss, Betriebswirtschaftliche Steuerlehre, Technische Universität Dresden
Johann Engelhard, Lst. Internationales Management, Otto-Friedrich-Universität Bamberg
Werner Esswein, Lst. für Wirtschaftsinformatik, Technische Universität Dresden
Michael J. Fallgatter, Lst. für Personalmanagmeent und Organisation, Bergische Universität Wuppertal
Claudia Fantapié Altobelli, Professur für Marketing, Helmut-Schmidt-Universität, Hamburg
Matthias S. Fifka, Internationale Wirtschaftsethik und Nachhaltigkeit, Cologne Business School (CBS) Köln
Alexander Fliaster, Lst. für Innovationsmanagement, Otto-Friedrich-Universität Bamberg
Gerhard Fink, Emeritus, Wirtschaftsuniversität Wien
Kathrin Fischer, Institute for Operations Research and Information Systems (ORIS), Institut für Quantitative Unternehmensforschung und Wirtschaftsinformatik, Technische Universität Hamburg
Thomas M. Fischer, Lst. für Rechnungswesen und Controlling, Universität Erlangen-Nürnberg
Iris C. Fischlmayr, International Management, Johannes Kepler University
Elgar Fleisch, Lst. für Operationsmanagement, Universität St.Gallen
Guido Förster, Lst. Betriebswirtschaftliche Steuerlehre, Heinrich-Heine-Universität Düsseldorf
Nikolaus Franke, Institut für Entrepreneurship und Innovation, Wirtschaftsuniversität Wien
Wolfgang Fritz, Insgtitut für Marketing, Technische Universität Braunschweig
Jetta Frost, Lst. für Organisation und Unternehmensführung, Universität Hamburg
Michael Gaitanides, Lst. für Organisationstheorie, Helmut-Schmidt-Universität – Universität der Bundeswehr Hamburg
Oliver Gassmann, Institut für Technologiemanagement, Universität St. Gallen
Günther Gebhardt, Professur für Wirtschaftsprüfung, Goethe Universität, Frankfurt am Main
Daniel Geiger, Lst. für Internationales Management, Technische Universität Kaiserslautern
Jutta Geldermann, Professur für Produktion und Logistik, Georg-August-Universität Göttingen
Hans Georg Gemünden, Lst. für Technologie- und Innovationsmanagement, Technische Universität Berlin
Claas Christian Germelmann, Lst. für Marketing, Universität Bayreuth
Dirk Ulrich Gilbert, Professur für Unternehmensethik, Universität Hamburg
Robert Gillenkirch, Lst. für Unternehmensführung und Unternehmensrechnung, Universität Osnabrück
Markus Göbel, Helmut-Schmidt-Universität – Universität der Bundeswehr Hamburg
Uwe Götze, Lst. für Unternehmensrechnung und Controlling, Technische Universität Chemnitz
Markus Gmür, Lst. NPO-Management, Verbandsmanagement-Institut, Universität Freiburg
Dorothea Greiling, Institut für Management Accounting, Johannes Kepler Universität Linz
Dietmar Grichnik, Lst. für Entrepreneurship, Universität St. Gallen
Ulfert Gronewold, Lst. für Rechnungswesen und Wirtschaftsprüfung, Universität Potsdam
Andrea Gröppel-Klein, Lst. für Marketing und Direktorin des Instituts für Konsum- und Verhaltensforschung an der Universität des Saarlandes Saarbrücken
Nico Grove, Infrastructure Economics & Management, Bauhaus-Universität Weimar
Andreas Größler, Institute fpr Management Research, Radboud University Nijmegen
Bernd Günter, Lst. für BWL/Marketing, Heinrich-Heine-Universität Düsseldorf
Wolfgang Güttel, Institute for Human Resource and Change Management, Johannes Kepler Universität Linz
Reinhard Haberfellner, Institut für Unternehmungsführung und Organisation, Technische Universität Graz
Hagen Lindstädt, Leiter des Instituts für Unternehmensführung, Universität Karlsruhe
Svenja Hagenhoff, Professorin für E-Publishing und Digitale Märkte, Friedrich-Alexander-Universität Erlangen-Nürnberg
Axel Haller, Lst. Financial Accounting and Auditing, Universität Regensburg
Winfried Hamel, Emeritus, Heinrich-Heine-Universität Düsseldorf
Edeltraud Hanappi-Egger, Professor for Gender and Diversity in Organizations, Wirtschaftsuniversität Wien
Ursula Hansen, Emerita, Wirtschaftswissenschaften, Leibniz Universität Hannover
Evi Hartmann, Lst. für Logistik, Friedrich-Alexander-Universität Erlangen-Nürnberg
Thomas Hartmann-Wendels, Seminar für Bankbetriebslehre, Universität zu Köln
Ronald Hartz, Juniorprofessur Europäisches Management, Technische Universität Chemnitz
Arno Haslberger, Senior Research Professor, Webster University Vienna
Axel Haunschild, Institut für interdisziplinäre Arbeitswissenschaft, Leibniz Universität Hannover
Bärbel Held, Institute of Economics, Wissenschaftliche Leiterin der Akademie für öffentliche Verwaltung und Recht, Steinbeis-Hochschule Berlin
Roland Helm, Lst. für Strategisches Industriegütermarketing, Universität Regensburg
Ludger Heidbrink, Apl. Professor für Corporate Responsibility & Corporate Citizenship, Universität Witten/Herdecke
Thomas Hering, Lst. für Unternehmensgründung und Unternehmensnachfolge, FernUniversität in Hagen
Andreas Herrmann, Direktor Forschungsstelle für Customer Insight, Universität St. Gallen
Cornelius Herstatt, Institut für Technologie- und Innovationsmanagement, Technische Universität Hamburg
Andreas Hilbert, Lst. für Wirtschaftsinformatik, Technische Universität Dresden
Dennis Hilgers, Institut für Public und Nonprofit Management, Johannes Kepler Universität Linz
Holger Hinz, Internationales Institut für Management, Universität Flensburg
Michael Hinz, Professur für Internationale Rechnungslegung und Wirtschaftsprüfung, Technische Universität Chemnitz
Michael Hommel, Lst. für Wirtschaftsprüfung und Rechnungslegung, Johann Wolfgang-Goethe-Universität, Frankfurt am Main
Ulrich Hommel, Lst. für Unternehmensfinanzierung und Kapitalmärkte, European Business School, Oestrich-Winkel
Reinhold Hölscher, Lst. für Finanzdienstleistungen und Finanzmanagement, Technische Universität Kaiserslautern
Péter Horváth, Emeritus, Controlling, Universität Stuttgart
Henriette Houben, Institut für Betriebswirtschaftliche Steuerlehre, Leibniz-Universität Hannover
Bernd Hüfner, Lst. für Rechnungslegung, Friedrich-Schiller-Universität Jena
Claus D. Jacobs, Swiss NSF Professor of Strategy and Organization, University of St. Gallen
Stephan A. Jansen, Präsident und Lst. für Strategische Organisation & Finanzierung, Zeppelin Universität Friedrichshafen
Reinhard Jung, Chair of Business Engineering, Universität St. Gallen
Stephan Kaiser, Institut für Entwicklung zukunftsfähiger Organisationen & Professur für Personalmanagement und Organisation, Universität der Bundeswehr München
Ekkehard Kappler, Emeritus, Institut für Organisation und Lernen – Controlling und Organisationskultur
Jürgen Karla, Lst. für Wirtschaftsinformatik und Operations Research, Hochschule Niederrhein Mönchengladbach und RWTH Aachen
Frank Keuper, Lst. für Betriebswirtschaftslehre, insbesondere Konvergenzmanagement und Strategisches Management, Steinbeis-Hochschule Berlin
Peter Kesting, Professor of Management, Aarhus University Aarhus
Alfred Kieser, Lst. für Managementtheorie, Zeppelin Universität Friedrichshafen
Klaus-Peter Kistner, Lst. für Unternehmensforschung, Universität Bielefeld
Stefan Klein, Institut für Wirtschaftsinformatik, Universität Münster
Michael Kleinaltenkamp, Marketing-Department, Freie Universität Berlin
Jochen Koch, Professur für Betriebswirtschaftslehre, insbesondere Unternehmensführung und Organisation an der Europa-Universität Viadrina, Frankfurt (Oder)
Hermut Kormann, Honorarprofessor für Familienunternehmen an der Universität Leipzig und der Zeppelin Universität, Friedrichshafen
Olaf Korn, Lst. für Finanzwirtschaft, Georg-August-Universität Göttingen
Herbert Kotzab, Institute for Production, Copenhagen Business School
Jan Körnert, Lst. für Internationale Finanzmanagement und Internationale Kapitalmärkte, Ernst-Moritz-Arndt-Universität Greifswald
Gerhard Kraft, Juristische und Wirtschaftswissenschaftliche Fakultät, Betriebswirtschaftliche Steuerlehre, Martin-Luther-Universität Halle-Wittenberg
Jan Kratzer, Lst. für Technologie und Management, Technische Universität Berlin
Diana Eva Krause, Inst. für Unternehmensführung, Alpen-Adria-Universität Klagenfurt
Norbert Krawitz, Emeritus, Betriebswirtschaftliche Steuerlehre und Prüfungswesen, Universität Siegen
Wilfried Krüger, Emeritus, Universität Gießen
Lutz Kruschwitz, Emeritus, Institut für Bank- und Finanzwirtschaft, Freie Universität Berlin
Stefan Krummaker, Senior Lecturer in Organisational Behaviour & Associate Director of Enterprise & Engagement, University of East Anglia London
Stephan Kudert, Lst. für Bwl. Steuerlehre und Wirtschaftsprüfung, Europa-Universität Viadrina Frankfurt (Oder)
Sebastian Kummer, Vorstand des Instituts für Transportwirtschaft und Logistik, Wirtschaftsuniversität Wien
Wolfgang Kürsten, Chair of Business Administration, Friedrich-Schiller-University Jena
Karl Kurbel, Business Informatics, European University Viadrina Frankfurt (Oder)
Heinz Kußmaul, Lst. für Betriebswirtschaftliche Steuerlehre, Universität des Saarlandes, Saarbrücken
Michael Kutschker, Lst. für Internationales Management, Katholische Universität Eichstätt-Ingolstadt
Inez Labucay, Lst. für Organisation und Personalwirtschaft, Universität Halle
Laurenz Lachnit, Emeritus, Lst. BWL/Wirtschaftsprüfung und Controlling Universität Oldenburg
Rainhart Lang, Lst. für Organisation und Arbeitswissenschaft, Technische Universität Chemnitz
Rainer Lasch, Lst. für Logistik, Technische Universität Dresden
Stephan Laske, Lst. für Organisation und Lernen, Universität Innsbruck
Manfred Layer, Arbeitsbereich Industrielles Rechnungswesen und Organisation, Fachbereich Betriebswirtschaftslehre, Universität Hamburg
Hansrudi Lenz, Lst. für Wirtschaftsprüfungs- und Beratungswesen, Universität Würzburg
Christopher Lettl, Institut für Entrepreneurship und Innovation, Wirtschaftsuniversität Wien
Dietfried Günter Liesegang, Alfred-Weber-Institut für Wirtschaftswissenschaften Universität Heidelberg
Hagen Lindstädt, Leiter des Instituts für Unternehmensführung, Technische Universität Karlsruhe
Claudia Loebbecke, Seminar für Allg. BWL, Medien- und Technologiemanagement, Universität zu Köln
Helge Löbler, Institut für Service und Relationship Management, Universität Leipzig
Albert Löhr, Rektor, Internationales Hochschulinstitut (IHI) Zittau
Peter Lorson, Lst. für Unternehmensrechnung und Controlling, Universität Rostock
Wolfgang Maass, Chair in Information and Service Systems, Universität des Saarlands, Saarbrücken
Albert Martin, Institut für Mittelstandsforschung, Leuphana Universität Lüneburg
Wenzel Matiaske, Professor für BWL, Helmut-Schmidt-Universität – Universität der Bundeswehr Hamburg
Raimond Maurer, Lehrstuhl für Investment, Portfolio Management und Alterssicherung, Goethe-Universität Goethe Uni Frankfurt
Wolfgang Mayrhofer, Inst. für Personalmanagement, Wirtschaftsuniversität Wien
Jens O. Meissner, Professor für Organisation, Innovation & Risk Management, Hochschule Luzern
Michael Meyer, Abt. Non-Profit-Management, Wirtschaftsuniversität Wien
Anton Meyer, Institut für Marketing, Ludwig-Maximilians-Universität München
Matthias Meyer, Institut für Controlling und Rechnungswesen, Technische Universität Hamburg-Harburg
Renate Meyer, Professor für Public Management and Governance, Institute für Public Management, Wirtschaftsuniversität Wien
Dirk Meyer-Scharenberg, Lst. für Betriebswirtschaftliche Steuerlehre, Universität Regensburg
Stephan Meyering, Lst. für Steuern und Wirtschaftsprüfung, FernUniversität in Hagen
Christoph Michels, Assistenzprofessor für Kulturwissenschaften, Universität St.Gallen
Matthias Mitterlechner, Institut für Systemisches Management und Corporate Governance, Universität St. Gallen
Martin G. Möhrle, Institut für Projektmanagement und Innovation, Universität Bremen
Manfred F. Moldaschl, Lst. für Innovationsforschung und nachhaltiges Ressourcenmanagement, Technische Universität Chemnitz
Klaus Möller, Institut für Accounting, Controlling und Auditing, Universität St. Gallen
Guido Möllering, Professor für Organization und Management, Jacobs-University Bremen
Michèle Morner, Lst. für Führung, Personal und Entscheidung im öffentlichen Sektor, Deutsche Universität für Verwaltungswissenschaften Speyer und Universität Witten/Herdecke
Holger Mühlenkamp, Lst. für Öffentliche Betriebswirtschaftslehre, Deutsche Universität für Verwaltungswissenschaften Speyer
Barbara Müller, Institute of Human Resource & Change Management, Johannes Kepler Universität Linz
Günter Müller, Institut für Informatik und Gesellschaft, Universität Freiburg
Guenter Mueller-Stewens, IFB Institute of Management, University of St. Gallen
Theodor Nebl, Institut für Produktionswirtschaft, Universität Rostock
Herbert Neubauer, Institut für KMU Management, Wirtschaftsuniversität Wien
Werner Neus, Lst. für Bankwirtschaft, Universität Tübingen
Andreas Nikolopoulos, Fachbereich für Betriebswirtschaft, Athens University of Economics and Business
Werner Nienhüser, Lst. für Arbeit, Personal und Organisation, Universität Duisburg-Essen
Tristan Nguyen, Lehrstuhl für Volkswirtschaftslehre / Versicherungs- und Gesundheitsökonomik, WHL Graduate School of Business and Economics Lahr
Robert Obermaier, Lst. für Accounting und Controlling, Universität Passau
Andreas Oehler, Lehrstuhl für Finanzwirtschaft, Universität Bamberg
Michael Olbrich, Institut für Wirtschaftsprüfung, Universität des Saarlandes Saarbrücken
Günther Ortmann, Institut für Organisation und Logistik, Helmut-Schmidt-Universität – Universität der Bundeswehr Hamburg
Hubert Österle, Institut für Wirtschaftsinformatik, Universität St. Gallen
Margit Osterloh, Institut für Organisation und Unternehmenstheorien, Universität Zürich und Warwick Business School
Renate Ortlieb, Institut für Personalpolitik, Karl-Franzens-Universität Graz
Niko Paech, Lehrstuhl für Produktion und Umwelt, Carl von Ossietzky Universität Oldenburg
Manfred Perlitz, Emeritus, Lst. für Strategisches Management, Universität Mannheim
Reinhard Pfriem, Institut für Betriebswirtschaftslehre und Wirtschaftspädagogik, Carl von Ossietzky Universität Oldenburg
Frank T. Piller, Professor of Management, Director, RWTH Executive MBA Program, RWTH Aachen
Manfred Pils, Vorstand des Instituts für Datenverarbeitung in den Sozial- und Wirtschaftswissenschaften, Johannnes Kepler Universität Linz
Erich Pummerer, Institut für Rechnungswesen, Steuerlehre und Wirtschaftsprüfung, Universität Innsbruck
Thorsten Raabe, Lst. für Absatz und Marketing, Carl von Ossietzky Universität Oldenburg
Tanja Rabl, Lst. Personalwesen und Führungslehre, Universität Bayreuth
Olaf Rank, Lst. für Organisation und Personal, Albert-Ludwigs-Universität Freiburg
Andreas Rasche, Professor of Business in Society, Copenhagen Business School
Daniela Rastetter, Lst. für Personal, Organisation und Gender Studies, Universität Hamburg
Gerhard Reber, Emeritus, Johannes Kepler University Linz
Markus Reihlen, Lst. für Strategisches Management, Leuphana Universität Lüneburg
Sven Reinecke, Direktor des Instituts für Marketing, Universität St. Gallen
Andreas Remer, Lst. für Organisation und Management, Universität Bayreuth
Birgit Renzl, Privatuniversität Schloss Seeburg, Seekirchen b. Salzburg
Lutz Richter, Professur für Betriebswirtschaftliche Steuerlehre, und Unternehmensrechnung, Universität Trier
Martin Richter, Lst. für Rechnungswesen und Wirtschaftsprüfung, Universität Potsdam
Hans-Gerd Ridder, Institut für Personal und Arbeit, Leibniz Universität Hannover
Silvia Rogler, Lst. für Rechnungswesen und Controlling, TU Bergakademie Freiberg
Roland Rollberg, Lst. für Produktionswirtschaft, Ernst-Moritz-Arndt-Universität Greifswald
Katja Rost, Chair of Strategic and international Management, Lst. für allgemeine BWL, Friedrich-Schiller-Universität Jena & Soziologisches Institut, Universität Zürich
Thomas Rudolph, Forschungszentrum für Handelsmanagement, Universität St. Gallen
Johannes Rüegg-Stürm , Forschungszentrum Organization Studies, Universität St. Gallen
Klaus Ruhnke, Inst. für Betriebswirtschaftliche Prüfungs- und Steuerlehre, Unternehmensrechnung und Wirtschaftsprüfung, Freie Universität Berlin
Torsten Oliver Salge, Junior-Professor for Management and Innovation, Faculty of Management and Economics, Ruhr-University Bochum
Matthias Sander, Lst. für Marketing, Universität Konstanz
Karl Sandner, Lst. für Public Management, Wirtschaftsuniversität Wien
Christina Schaefer, Professur für Verwaltungswissenschaft, insbesondere Steuerung öffentlicher Organisationen, Helmut Schmidt Universität/
Universität der Bundeswehr Hamburg
Utz Schäffer, Institute of Management Accounting and Control, WHU – Otto Beisheim School of Management, Vallendar
Reinbert Schauer, Institut für Betriebswirtschaftslehre der gemeinwirtschaftlichen Unternehmen, Johannes Kepler Universität Linz
Ewald Scherm, Lst. Organisation und Planung, FernUniversität in Hagen
Gerhard Schewe, Lst. Organisation, Personal & Innovation, Westfälische Wilhelms-Universität Münster
Tobias Scheytt, Institut für Controlling und Unternehmensrechnung, Helmut-Schmidt-Universität Hamburg
Helmut Schneider, Stiftungslehrstuhl für Marketing und Dialogmarketing, Steinbeis-Hochschule Berlin
Thomas Schildbach, Lst. für Revision und Unternehmensrechnung, Universität Passau
Raimund Schirmeister, Lst. für Finanzierung und Investition, Heinrich-Heine-Universität Düsseldorf
Frank Schirmer, Lst. für Organisation, Technische Universität Dresden
Christopher Schlägel, Juniorprofessur International Business, Otto-von-Guericke-Universität Magdeburg
Christoph Schließmann, Universität Salzburg
Angelika Schmidt, Institut für Change Management und Management Development, Wirtschaftsuniversität Wien
Martin Schmidt, Gastprofessor International Business Administration, Europa-Universität Viadrina Frankfurt (Oder)
Matthias Schmidt, Institut für Unternehmensrechnung, Finanzierung und Besteuerung, Universität Leipzig
Gertrud Schmitz, Lehrstuhl für Dienstleistungsmanagement und Handel, Universität Duisburg-Essen
Univ.-Prof. Dr. Dieter Schneeloch, Abteilung für Betriebswirtschaftliche Steuerlehre, FernUniversität in Hagen
Ulf Schrader, Lst. für Arbeitslehre, Technische Universität Berlin
Florian Schramm, Zentrum für Personalforschung, Universität Hamburg
Martin Schreier, Institut für Marketing-Management, Wirtschaftsuniversität Wien
Hans-Horst Schröder, Emeritus, Lst. für Technologie- und Innovationsmanagement, RWTH Aachen
Hendrik Schröder, Lst. für Marketing & Handel, Universität Duisburg-Essen
Andreas Schüler, Finanzwirtschaft und Finanzdienstleistungen,Universität der Bundeswehr München
Reinhard Schulte, Lst. für Gründungsmanagement, Leuphana Universität Lüneburg
Wolfgang Schultze, Chair of Accounting and Control, Universität Augsburg
Gerhard Schwabe, Department of Informatics, Universität Zürich
Manfred Schwaiger, Inst. für Marktorientierte Unternehmensführung, Ludwig-Maximilians-Universität München
Axel C. Schwickert, Professur für BWL und Wirtschaftsinformatik, Justus-Liebig-Universität Gießen
David Seidl, Lst. für Organisation und Management, Universität Zürich
Achim Seisreiner, HR Management, Organisation und Unternehmensführung, SRH Hochschule Berlin und Universität Potsdam
Theodor Siegel, Institut für Rechnungswesen und Wirtschaftsprüfung, Humboldt-Universität zu Berlin
Insa Sjurts, Geschäftsführerin, Hamburg Media School
Rainer Souren, Fachgebiet Produktionswirtschaft/Industriebetriebslehre, Technische Universität Ilmenau
Dieter Specht, Lst. für Produktionswirtschaft, Technische Universitaet Cottbus
Thomas Spengler, Lst. für Unternehmensführung und Organisation, Uni Magdeburg
Bernd Stauss, Lst. für Dienstleistungsmanagement, Katholische Universität Eichstätt-Ingolstadt
Claus Steinle, Institut für Unternehmensführung und Organisation, Universität Hannover
Horst Steinmann, Emeritus am Fachbereich Wirtschaftswissenschaften der Rechts-und Wirtschaftswissenschaftlichen Fakultät der Universität Erlangen-Nürnberg
Dirk Stelzer, Fachgebiet Informations- und Wissensmanagement, TU Ilmenau
Michael Stephan, Abt. für Technologie- und Innovationsmanagement, Philipps-Universität Marburg
Marion Steven, Lst. Produktionswirtschaft, Ruhr-Universität Bochum
Wolfgang Stölzle, Lst. für Logistikmanagement, Universität St.Gallen
Rainer Stöttner, Lst. für Finanzierung, Banken und Vresicherung, Universität Kassel
Franz Strehl, Institut für Strategisches Management, Johannes Kepler Universität Linz
Strohmeier, Chair of Management Informationsystems, Universität des Saarlands
Andreas Suchanek, Chair of Economic and Business Ethics, HHL Leipzig
Stefan Süß, Lst. für Organisation und Personal, Heinrich-Heine-Universität Düsseldorf
Augustin Süßmair, Professur für Unternehmensführung, Strategieund Organisation, Leuphana Universität Lüneburg
Michael Theil, Institute of Finance, Banking and Insurance, Wirtschaftsuniversität Wien
Till Talaulicar, Lehrstuhl für Organisation und Management, Universität Erfurt
Thorsten Teichert, Lst. für Marketing und Innovation, Universität Hamburg
Norbert Thom, Emeritus, IOP Institut für Organisation und Personal, Universität Bern
Frank Tietze, Institute for Innovation Research, Universität Kiel
Thorsten Tomczak, Center for Customer Insight, Universität St. Gallen
Dr. Georg Trautnitz, Professurvertretung am Lst. für Organisation, Personal und Unternehmensführung, Universität Mainz
Volker Trommsdorff, Institut für Marketing, Technische Universität Berlin
Ernst Troßmann, Lehrstuhl Controlling, Universität Hohenheim
Michael Tumpel, Vorstand des Instituts für betriebswirtschaftliche Steuerlehre, Johannes Kepler Universität Linz
Dietrich von der Oelsnitz, Institut für Organisation und Führung, Technische Universität Braunschweig
Rüdiger von Nitzsch, Lst. für Entscheidungsforschung und Finanzdienstleistungen, RWTH Aachen
Georg von Schnurbein, Centre for Philanthropy Studies (CEPS), Universität Basel
Gerd Rainer Wagner, Lst. für Produktionswirtschaft, Umweltökonomie, Heinrich-Heine-Universität Düsseldorf
Rüdiger Waldkirch, BWL/Controlling, Fachhochschule Südwestfalen, Meschede
Peter Walgenbach, Lst. für Organisation, Führung und Human Resource Management, Friedrich-Schiller-Universität Jena
Gerd Walger, Geschäftsführer des Instituts für Unternehmer- und Unternehmensentwicklung, Universität Witten/Herdecke
Gerd Waschbusch, Lst. für Bankbetriebslehre, Universität des Saarlandes Saarbrücken
Christiana Weber, Professur für Betriebswirtschaftslehre, Universität Hannover
Jürgen Weber, Institut für Management und Controlling, WHU – Otto Beisheim School of Management Vallendar,
Antoinette Weibel, Lehrstuhl für Verwaltungswissenschaft,
insbesondere Managementlehre, Universität Konstanz
Rolf Weiber, Lst. für Marketing und Innovation, Universität Trier
Jürgen Weibler, Personalführung und Organisation, FernUniversität in Hagen
Peter Weinberg, Institut für Konsum- und Verhaltensforschung, Universität des Saarlandes, Saarbrücken
Ursula Weisenfeld, Lst. für Marketing und Technologiemanagement, Leuphana Universität Lüneburg
Marion Weissenberger-Eibl, Lst. für Innovations- und Technologiemanagement, Universität Kassel
Ingo Weller, Institut für Personalwirtschaft, Ludwig-Maximilians-Universität München
Thomas Werani, Institut für Handel, Absatz und Marketing, Johannes Kepler Universität Linz
Florian Wettstein. Director, Institute for Business Ethics, University of St. Gallen
Klaus-Peter Wiedmann, Institute of Marketing and Management, Leibniz University Hannover
Uta Wilkens, Lst. für Arbeitswissenschaft und Personal, Rur-Universität Bochum
Herbert Woratschek, Lst. für Dienstleistungsmanagement, Universität Bayreuth
Thomas Wrona, Institut für Strategisches & Internationales Management, Technische Universität Hamburg-Harburg
Gerhard A. Wührer, Institut für Handel, Absatz und Marketing. Johannes Kepler Universität Linz
Joachim Zentes, Institut für Handel & Internationales Marketing, Universität des Saarlandes, Saarbrücken
Klaus J. Zink, Lst. für Industriebetriebslehre und Arbeitswissenschaft, Technische Universität Kaiserslautern
Dodo zu Knyphausen-Aufseß, Lst. für Strategisches Management und Globale Führung, Technische Universität Berlin

Prof. Dr. Dr. h.c. mult. Alfred Kieser
Prof. Dr. Dr. h.c. Margit Osterloh, Universität Zürich (em.), Warwick Business School, University of Warwick, UK

Dieser Beitrag wurde unter Uncategorized veröffentlicht. Setze ein Lesezeichen auf den Permalink.

54 Antworten zu Warum wir aus dem Handelsblatt BWL-Ranking ausgestiegen sind – ein offener Brief an das Handelsblatt, unterzeichnet von Professoren der Betriebswirtschaftslehre, Stand 7. September 2012, 11 Uhr: 309 Unterzeichner

  1. Philipp schreibt:

    „Unbestritten ist, dass die Qualität von Aufsätzen in Zeitschriften – in allen wissenschaftlichen Zeitschriften mit Peer Review – einer großen Streuung unterliegt und es deshalb nicht sinnvoll ist, von einer irgendwie ermittelten durchschnittlichen Qualität auf die Qualität einzelner Aufsätze zu schließen.“

    Gerade wenn einzelne Qualitätsmaße (=Aufsätze) eine große Streuung aufweisen, macht es Sinn, ein aggregiertes Qualitätsmaß zu bilden (=Ranking), da dies zu einer SENKUNG der Streuung führt.

    „Darüber hinaus ist die Verlässlichkeit von Gutachter-Urteilen – wie zahlreiche empirische Befunde zeigen – gering.“

    Wie verlässlich Gutachter-Urteile absolut gesehen sind, ist irrelevant. Der relevante Maßstab ist, wie verlässlich Gutacher-Urteile verglichen mit anderen Maßen sind. Viel Glück beim Finden eines verlässlicheren Maßes.

    „Ob eine Veröffentlichung in einer renommierten Zeitschrift angenommen wird oder nicht, hat sehr viel mit Glück zu tun.“

    Siehe oben. Insbesondere wenn bei der Behandlung von einzelnen Aufsätzen der Zufall eine Rolle spielt, macht es viel Sinn, ein AGGREGIERTES Maß zu erstellen.

    „Als es noch keine Rankings gab, wurden noch mehr wissenschaftliche Bücher geschrieben – und gelesen.“
    Korrelation ist nicht das gleiche wie Kausalität. „Wissenschaftler“ müssten das eigentlich wissen.

    „Auch gedeiht Forschung besser in einem Klima der Kooperation und nicht in dem eines extremen Wettbewerbs.“

    Sind die Autoren dieses Beitrags nicht Ökonomen? Sie scheinen ja das was Sie ihren Studenten beibringen nicht wirklich ernst zu nehmen. Oder haben Sie empirische Evidenz, die Ihre Behauptung unterstützt?

    • Bedauerlich finde ich, welche Einstellung/Erfahrung zur Gutachtertätigkeit sich offenbart, übrigens auf beiden Seiten der Kontrahenten: Nämlich der Reviewer als Gate-Keeper, der vor allem über Annahme und Ablehnung entscheidet, und nicht im Schwerpunkt als Förderer des wissenschaftlichen Fortschritts agiert. Eigentlich ist es die durchaus positive Aufgabe des Reviewers in einem Gutachten konstruktiv auf Schwächen hinzuweisen und dazu beizutragen, dass solche Schwächen (die sich noch korrigieren lassen) durch die Autoren abgestellt werden und so der Beitrag trotz anfänglicher Schwächen zur Publikation gelangen kann, auf einem qualitativ verbessertem Niveau. Die Entscheidung über Annahme und Ablehnung hat das Editorial Board zu treffen, die Gutachten stellen lediglich eine Empfehlung dar. Selbst bei endgültiger Ablehnung sollte man aus einem Gutachten lernen können, für’s nächste mal…

    • hurenb0ck schreibt:

      Danke für diesen Beitrag!

  2. Wenn man den Rueckgang der betriebswirtschaftlichen Forschung waehrend der letzten decaden interpretieren will, dann wuerde er den „Rankingsfieber“ als einen der wichtigsten Variablen dieser Entwicklung feststellen. Abgesehen davon, man sollte die versteckten oekonomischen und politischen Interessen diesen „Rankingsfieber“ aussuchen.

  3. Marc Reimann schreibt:

    Sehr geehrte Frau Kollegin Osterloh, sehr geehrter Herr Kollege Kieser!

    Nachdem Sie mich als VHB Mitglied in diese Diskussion direkt miteinbezogen haben, möchte ich zu Ihren Aussagen Stellung nehmen. Ich habe lange darüber nachgedacht, ob ich antworten soll. Dies ist mein erster Kommentar zu einem Blog oder sonstigem Bericht im Internet, und es wird wahrscheinlich einer meiner letzten sein, da mir meine Zeit eigentlich zu wichtig ist.

    Vorweg, ich bin nicht Ihrer Meinung und werde mich Ihrem Boykott nicht anschliessen. Ich glaube, dass Ihre Argumentation und vor allem die Schlussfolgerungen nicht korrekt sind.

    Ich möchte nicht die Tour de France oder die olympischen Spiele als Beispiel heranziehen, sondern das Internet. Durch das Internet ist die Möglichkeit an Informationen zu kommen und diese plagiierend zu verwenden stark gestiegen. Trotzdem würden wir eher nicht auf die Idee kommen deshalb das Internet abzuschaffen, oder? Auf der anderen Seite ist es nämlich auch so, daß man Plagiate mit elektronischen Hilfsmitteln über das Internet auch viel einfacher aufspüren kann. Das Problem ist wie bei den Rankings also nicht das Internet sondern wie die NutzerInnen dieses einsetzen. Falls überhaupt, so sind Rankings und das Internet sowohl Teil des Problems als auch Teil der Lösung.

    Sie sagen, dass der Trend weniger Bücher zu schreiben von Rankings gefördert wird. Ich glaube nicht, daß das erfasst, gemessen und statistisch verifizierbar ist. Diese Aussage ist meines Erachtens also wissenschaftlich nicht haltbar.

    Ad Berufungskommissionen und sonstige Entscheidungsträger die durch Rankings beeinflusst werden können. In diesem Punkt möchte ich Ihnen am schärfsten widersprechen. Als quantitativ orientierter Betriebswirt unterrichte ich meinen Studierenden mathematische Modelle und Lösungsverfahren für betriebswirtschaftliche Fragestellungen. Einer der Kernpunkte dabei ist, daß den NutzerInnen dieser Modelle klar sein muß welche Annahmen und Vereinfachungen dem Modell zugrundeliegen und daß die Ergebnisse solcher Modelle nie unreflektiert bleiben dürfen. Das gleiche gilt für Rankings wie jenes des Handelsblattes. Es muss mündigen Personen (zu denen ich in meiner positiven Grundhaltung gegenüber der Menschheit auch ProfessorInnen und politische EntscheidungsträgerInnen zählen möchte) zutraubar sein, mit den Ergebnissen solcher Rankings verantwortungsvoll umzugehen. Wenn dem nicht so ist, müssten wir unser gesamtes Weltbild und gesellschaftliches System umwerfen. Nun möchte ich aber zu dem mir am wichtigsten Punkt kommen. Ich glaube wir sind uns alle einig, dass wir (in allen Lebensbereichen) Rankings brauchen und immer schon verwendet haben. Jede Berufungskommission muss die KandidatInnen in eine Rangfolge bringen, damit auf Basis dieser Rangfolge ein Ruf erteilt werden kann. Es werden dabei von den Kommissionsmitgliedern Kriterien hinterlegt, die einerseits entweder objektiv oder subjektiv sein können, andererseits quantitativ messbar sind oder nicht. Darüberhinaus müssen diese individuellen Bewertungen noch in irgendeiner Form aggregiert werden, um letzlich zur Gruppenentscheidung in der Kommission zu führen. Ein großes Problem ist, daß bis dato in keinem der Verfahren bei denen ich beteiligt war (und zwar von beiden Seiten) die Bewertungskriterien und deren relative Wichtigkeit klar ersichtlich und definiert waren. In den meisten Fällen ist für die BewerberInnen völlig unklar worauf die Entscheidung basieren wird. Das selbe gilt im Übrigen für die Kommissionsmitglieder, die (1) potentiell ganz unterschiedliche Kriterien heranziehen, (2) zwar ggf. die gleichen Kriterien heranziehen aber unterschiedlich messen, oder (3) die verwendeten Kriterien unterschiedlich gewichten. Durch die Aggregation zur Gruppenentscheidung verschärft sich die ganze Problematik noch. Diese (Rechts- bzw. Verfahrens-)Unsicherheit führt dazu, daß der Eindruck (ob gerechtfertigt oder nicht) von Günstlingswirtschaft entsteht. Während ich Ihnen also recht gebe, daß in einer idealen Welt Günstlingswirtschaft keine Rolle spielen sollte weil ausschließlich die Qualifikation relevant ist, und diese im mehrdimensionalen Raum der Forschung, Lehre, Administration, Führungsfähigkeiten,… perfekt messbar ist (sein sollte) so sehe ich doch aus pragmatischer Sicht hier ein Problem. So weit sind wir (wissenschaftlich) nicht. Ich kann vor dem Hintergund des bisher Gesagten nichts schlechtes daran finden, wenn wenigstens eines der Kriterien (in diesem Fall die Publikationsleistung in wiss. Zeitschriften) isoliert messbar gemacht wird. Bei allen Schwächen die das Handelsblatt Ranking selbst auf diesem eingeschränkten Niveau noch haben mag, so erreicht es zumindest ein Benchmark, um den oben genannten Punkt (2) zu verbessern.

    Zum Abschluß möchte ich noch auf das Handelsblatt Ranking direkt eingehen. Ich bin völlig Ihrer Meinung, daß man Äpfel (z.B. Marketing) nicht mit Birnen (z.B. Finance) vergleichen kann und sollte. Das muß man aber ja auch nicht. Es wäre meines Erachtens leicht, das HB-Ranking z.B. einfach nach den Kategorien des VHB (die allerdings auch diskussionswürdig sind) aufzuteilen. Jeder vernünftige Forscher wird dies aber wiederum hoffentlich ohnedies selbst tun (ich würde mich ja auch nicht auf eine Professur für Marketing oder Finance bewerben). Auch gebe ich Ihnen zum Teil recht, daß die Qualität einer Zeitschrift nur bedingt auf die Qualität eines Artikels schliessen lässt. Ich würde aber mal vermuten (und evt. sogar die Hypothese aufstellen), dass die durchschnittlichen Qualitäten durchaus positiv korreliert sind, und dass die Varianzen in etwa konstant sind. Insofern sehe ich auch hier kein gröberes Problem. Ich würde auch vermuten, daß jeder vernünftige Forscher (für sich) in seinem Gebiet die besten Zeitschriften herausfiltern kann (mit den Artikeln aus denen man das meiste herausliest). Ich glaube auch nicht daran, dass man – als Reaktion auf ein Ranking – auf Tastendruck plötzlich Publikationen in A+ Zeitschriften rausschleudern oder die Anzahl der Publikationen in zweit- bis drittklassigen Zeitschriften schlagartig erhöhen kann (beides Strategien um im HB Ranking gut dazustehen). Inhaltlich sehe ich sowieso kein Problem, da ich mir nicht vorstellen kann, dass jmd. aus Produktion und Logistik (wie z.B. ich) plötzlich in Marketingzeitschriften zu Marketingthemen publiziert nur weil es da mehr A+ Outlets gibt.

    Zusammenfassend bin ich der Meinung, dass die Diskussion über das HB Ranking sinnvoll ist, um eine Verbesserung der Leistungsmessung für Forscher herbeizuführen. Ob der Ausstieg aus dem Ranking zweckmässig ist muss jeder für sich entscheiden, ich denke eher nicht.

    Mit freundlichen Grüßen,
    Marc Reimann
    Institut für Produktion und Logistik
    Universität Graz

  4. Johnny schreibt:

    Wenn man sich die Liste der Unterzeichner des Briefes anschaut, stellt man fest, dass diese Personen im Ranking sowieso nicht auftauchen. Ein Schelm ist wer Böses dabei denkt…

    • FuerJohnny schreibt:

      @Johnny: ein voreiliger und daher (teils) falscher Schluss: 1) Die Unterzeichner des Briefes sind nicht gleichzusetzen mit denjenigen, die dem HB mitgeteilt haben, dass Sie nicht gerankt werden möchten. Es sind zahlreiche Kolleginnen und Kollegen an das Handelsblatt herangetreten, die im Ranking erscheinen würden und haben darum gebeten, NICHT ins Personenranking mit aufgenommen zu werden auch wenn nicht alle von diesen den Brief unterzeichnet haben. 2) Unter den Unterzeichnern sind einige der forschungsstärksten BWL-er. Und: Denke mir bei Ihrer Anmerkung nichts Böses , nur eben, dass sie so nicht stimmt🙂

  5. Helge Löbler schreibt:

    Warum sollten wir etwas Codieren, was wir direkt besser beurteilen können? Das Rating ist wie viele Zeichensysteme im Sinne Giddens ein abstraktes System, das sich „entbetted“ und damit eine Eigendynamik entwickelt, die nur noch wenig bis gar nichts mit der Forschungstätigkeit der Kollegen zu tun hat. Es stellt im Sinne Baudrillard ein Simulakrum da, – eine „Kopie ohne Original“, das für Realität gehalten wird. Simulakren lenken aber von ihr ab und suggerieren zudem noch Genauigkeit und Präzision und sind als solche von der Realität abgehobene soziale Konstruktionen. Wie sehr unsere Forschungen soziale Konstruktionen sind, wird ja durch den Review-Prozess deutlich, was aber klar ist, da Sozial- und Wirtschaftswissenschaften immer selbstreferenziell sind. Der Diskurs ist die wesentliche Methode und dieser wird durch Ratings abschnitten oder unterdrückt.

  6. Lacucaracha schreibt:

    Dass eine Zeitung vom Kaliber und mit dem Anspruch des Handelsblattes sich in seiner Einordnung des Briefes als ’neutraler Linienrichter‘ geriert, erscheint mir die eigene Rolle in der (Re-)Produktion des Rankingfetischmus straeflich zu unterschaetzen bzw. nicht kritisch zu reflektieren.

  7. greatgatsby schreibt:

    Das Handelsblatt Ranking ist laengst ueberfaellig und, offensichtlich, work in progress. Wie viele andere Innovationen auch, die durch mehr Information mehr Wettbewerb erzeugen, trifft es auf Kritik auch von denen, die durch Information und Wettbewerb glauben zu verlieren. Wer sich einem Ranking entzieht, ob es gefaellt oder nicht, trifft zugleich eine Entscheidung fuer weniger Information und weniger Wettbewerb. Ganz einfach. Eine solche Debatte in Deutschland (Hochschullehrer wuenschen sich weniger Information und Wettbewerb) schadet dem Ansehen deutscher Forschung in anderen Laendern. Schade.

    • FuerGreatGatsby (hope you find the green light) :) schreibt:

      „Das Handelsblatt Ranking ist laengst ueberfaellig und, offensichtlich, work in progress.“
      –> Stimme zu, dass das HB Ranking (im besten Fall) work in progress ist. Es ist aber nicht überfällig sondern überflüssig.🙂
      „Wie viele andere Innovationen auch, die durch mehr Information mehr Wettbewerb erzeugen, trifft es auf Kritik auch von denen, die durch Information und Wettbewerb glauben zu verlieren.“
      –> Ja, vielleicht. Es trifft aber auch auf Kritik derjenigen, die nicht glauben in dem Ranking „zu verlieren“, die aber glauben, dass die Wissenschaft und damit der Erkenntnisgewinn, die Gesellschaft und WIrtschaft verliert. Diese Leute gibt es, auch wenn Sie (anscheinend) nicht dazu gehören.
      „Wer sich einem Ranking entzieht, ob es gefaellt oder nicht, trifft zugleich eine Entscheidung fuer weniger Information und weniger Wettbewerb.“
      –> Falsch! Wer verhindert, dass falsche Informationen in die Welt kommen trifft NICHT eine Entscheidung für weniger Information und auch nicht für weniger Wettbewerb im Bezug auf die richtigen Dinge. Ein Ranking (ranken wir doch mal Wissenschaftler nach ihrer Schuhgöße – auch das „misst etwas“ und hat Anreizwirkung besonders wenn man dann behauptet, die Schuhgröße hat mit der „Größe als Forscher“ zu tun) kann auch fehlleiten und falsche Informationen verbreiten (aktuell beim HB Ranking mehr der Fall als nicht der Fall). Als anschauliches Beispiel für Sie: Wenn ich die Intelligenz von Forschern mit dem Fieberthermometer messe und das dann publiziere, leite ich alle die in die Irre, die nicht wissen, dass das Fieberthermometer nunmal etwas anderes misst. Beim Fieberthermometer ist das offentichtlich und objektiv feststellbar, im Fall der Forschung(squalität) ist es das nicht.
      Das ist der eigentliche Schaden beim HB-Ranking. Das ist eine zu geringe Validität (aber dafür ganz tolle Reliabilität :)) hat im Bezug auf das, was es zu messen vorgibt. Würden wir ein Paper annehmen/lesen/wertschätzen, dass eine sehr hohe Reliabilität aber kaum (zumindest keine ausreichende) Validität hat in seinem zentralen Konstrukt? Das HB-Ranking stellt natürlich „irgendeine“ Transparenz her – die entscheidende Frage ist jedoch Transparenz worüber? Es ist in jedem Fall im Bezug auf Forschungsstärke nur eine Schein-Transparenz. Und das kann tatsächlich auch gefährlich sein. wise up!

      • greatgatsby schreibt:

        Es gibt mehrere Gruende dafuer, dass die deutsche BWL international eine relativ (relativ bspw. zum GDP) kleine Rolle spielt.

        Einer der Gruende ist, dass deutsche Forscher in hoch angesehenen Zeitschriften (d.h. in Zeitschriften in denen sich alle Fachvertreter ueber die Beduetung der Zeitschrift weitgehend einig sind) unterrepraesentiert sind. Das Handelsblatt Ranking stellt, unter anderem, diese Tatsache deutlich heraus. Allein deshalb ist es nuetzlich. Und keiner der Briefunterzeichner ist dafuer bekannt, in solchen Zeitschriften zu publizieren.

        Viele der Beitraege hier und die Initiative des VHB selbst weisen darauf hin, dass sich daran wenig aendern wird. Erneut – schade.

  8. Doktorandin schreibt:

    Natürlich muss jede/r Wissenschaftler/in für sich entscheiden, ob er/sie sich mit anderen im Rahmen des HB-Rankings im Bezug auf die Forschungspublikationsleistung messen lassen will. Es ist nachvollziehbar, dass wenn man den Paradigmenwandel hin zu einer modernen, peer-reviewten Forschung verpasst hat dies nicht quantitativ und tranparent belegt haben will. Besonders, wenn man sich für „forschungsstark“ in veralteten deutschen Sinne (durch unbegutachtete Buchveröffentlichungen und Zeitschriftenveröffentlichungen auf Einladung) hält.

    Es ist schade, dass alteingesessene Wissenschaftler nicht die Größe habe einzugestehen, dass sich die deutsche BWL als Wissenschaft im Wandel hin zu internationaler Forschung, sowie transparenter und objektiveren Leistungsbeurteilung befindet. Man kann auch einfach akzeptieren, dass sich die Welt verändert und für dich beschließen sich nicht mehr mitzuwandeln und jüngeren das Spielfeld zu überlassen (naja, in der Industrie könnten man das nicht, aber als Professor/In kann man einfach stehenbleiben).

    Ich persönlich finde es peinlich bis diskreditierend für die deutsche BWL wie vereinfacht und unqualifiziert gegen das Handelsblatt-Ranking argumentiert wird. Weder ist die Aussage, dass zu Lasten von Zeitschriftenartikel weniger Buchbeiträge geschrieben werden belegt, noch nachvollziehbar, wieso dies ein Schaden darstellen würde. Ebenso scheint mir die Aussage, dass das Ranking einen falschen Anreiz zum „Schaden der Gesellschaft“ darstellt, nicht begründet. Die angesprochene Beschäftigung mit „lokalen“ Fragestellungen fällt in meinem Verständnis in den Bereich des Wissenstransfers, -anwendung und/oder der Beratung und nicht den der betriebswissenschaftlichen Forschung (mag aber auch ein anderes Verständnis von Forschung widerspiegeln). Als Antwort auf Hr. Storbecks Kommentar zur Verwendung des HB-Rankings in Berufungskommissionen und den Verweis auf Günstlingsbevorzugung in Berufungverfahren anzuführen: „Rankings rotten Günstlingswirtschaft nicht aus. Erfahrene Rankingauswerter wissen, wie sie ihre Günstlinge gut aussehen lassen können.“ [Zitat aus dem Blog handelsblattranking] ist erschreckend und leider ein blankes Eingeständnis von Günstlingswirtschaft. Ich hätte wenigstens den Versuch einer Relativierung erwartet.

    Das Ranking des Handelsblatt (das sich auch glücklicherweise nicht nur am deutschen VHB Ranking orientiert, sondern auch international anerkannte Journalrankings wie den Impact-Faktoren berücksichtigt) leistet einen wertvollen Beitrag zu mehr Objektivität in der Bewertung von Forschungspublikationsleistungen. Es ist wie jedes Ranking auf einen (wenn auch auf einen für BWL Universitätswissenschafter sehr wichtigen) Teilaspekt fokussiert.
    Das Handelsblattranking schafft Transparenz zur Forschungspublikationsleistung und honoriert damit Forscher die ihre Forschungsergebnis internationalen Experten zur Begutachtung stellen und in vielen mühsamen Review-Runden den Ansprüchen internationaler Forschung entsprechend verbessern.

    Die Konsequenzen aus dem Ranking sind natürlich eine andere Sache, stellt aber das Ranking selbst nicht in Frage sondern den Umgang der Wissenschaftler, Fakultäten und Universitäten mit dem Ranking. Ich stimme der Aussage „wenn sich Individuen von Anreizen zu Manipulationen hinreißen lassen, dann kann man das nie den Anreizgestaltern in die Schuhe schieben [Zitat aus dem Blog handelsblattranking] voll und ganz zu. Als mündige Erwachsene in verantwortungsvollen Positionen ist jeder Wissenschaftler für sein Handeln verantwortlich und muss sich bewusst sein wo ethische Grenzen liegen bzw. mit Konsequenzen rechnen, wenn er oder sie diese überschreitet. Ein Ranking dafür verantwortlich zu machen, wie damit umgegangen wird, erscheint mir zu naiv und stellt für mich kein Argument gegen das Ranking dar

    • JuniorProf schreibt:

      Dies ist ein hervorragender Kommentar dem ich nur zustimmen kann!

      Ergaenzend: Die Behauptung, dass es keinen Zusammenhang zwischen Qualitaet eines Aufsatzes und der Qualitaet des veroeffentlichenden Journals gibt ist einfach haarstraeubender Unfug. Dass z.B. in Management Science, im Journal of Marketing, oder im Journal of Finance im durchschnitt bessere Artikel publiziert werden als in der Zeitschrift fuer betriebswirtschaftslehre (um nur ein Beispiel zu nennen) ist einfach unbestreitbar und sollte von jedem bestaetigt werden koennen, der schon einmal einen Blick in diese Zeitschriften geworfen hat. Die laut HB-Ranking „besten“ Professoren haben teilweise mehr als 10 mal in solchen Zeitschriften publiziert. Zu behaupten dies laege an Guenstlichswirtschaft, oder an Glueck, oder koennte immer noch bedeuten, dass diese Artikel fuer sich genommen „schlechtere“ sind als solche in der ZfB ist voellig abwegig.

      Ich danke dem HB fuer das Ranking! Nur so gibt es ueberhaupt eine Chance fuer die deutsche BWL wieder an die internationale Forschung anzuschliessen. Das HB Ranking zeigt in vielen Faellen, dass der Kaiser keine Kleider hat. Klar, dass der Kaiser das nicht mag…

      • „Dass z.B. in Management Science, im Journal of Marketing, oder im Journal of Finance im durchschnitt bessere Artikel publiziert werden als in der Zeitschrift fuer betriebswirtschaftslehre (um nur ein Beispiel zu nennen) ist einfach unbestreitbar und sollte von jedem bestaetigt werden koennen, der schon einmal einen Blick in diese Zeitschriften geworfen hat.“ Ja, das ist unbestreitbar, da es unfreiwillig komisch ist: Es gibt keine „Zeitschrift fuer betriebswirtschaftlehre“ und auch keine „Zeitschrift für Betriebswirtschaftslehre“, sondern ’nur‘ eine „Zeitschrift für Betriebswirtschaft“, die JuniorProf wohl noch nie in Händen hielt.

        Allerdings gestehe ich sofort zu, dass in internationalen Top-Zeitschriften im Schnitt bessere Artikel zu finden sind als in nationalen, wenn man allgemeine bzw. internationale Qualitätsmaßstäbe anlegt. Es wäre auch sehr seltsam, wenn es anders wäre, bzw. dann wären die nationalen zugleich internationale Top-Zeitschriften, wie es für die USA zutrifft. Die entscheidende Frage für die deutsche BWL (und auch VWL) lautet deshalb, welches Gewicht man diesen internationalen und z. T. US-amerikanischen Maßstäben und Zeitschriften einräumt. Für die eine Fraktion zählen nur sie, für die Boykotteure zählen sie dagegen wohl gar nicht, während der goldene Mittelweg schwer zu finden ist, zumal er auch noch von der Subdisziplin abhängt. Marketing ist einfach internationaler als betriebliche Steuerlehre, was den Vergleich davon im Handelsblatt-Ranking besonders problematisch macht.

  9. Olaf Storbeck schreibt:

    Zur Diskussion, ob vom durchschnittlichen Impact-Faktor einer Fachzeitschrift auf die Qualität eines einzelnen Artikels geschlossen werden kann, gibt es in dem neuen Paper „A Citation-Analysis of Economic Research Institutes“ von Rolf Ketzler und Klaus F. Zimmermann interessante Daten. Die Autoren untersuchen u.a., von welchen meßbaren Faktoren es abhängt, wie oft ein in einem SSCI-Journal erschienener Aufsatz zitiert wird und stellen fest: „The quality of the publication outlet has a very significant, strong and positive effect on the number of cites an article obtains, but the increase is smaller the higher the journal quality is.“ http://ftp.iza.org/dp6780.pdf

    • Sorry, das ist ein Fehlschluss. Ein höherer durchschnittlicher Impact-Faktor ist trivialerweise mit mehr Zitationen im Durchschnitt verknüpft, weil er so definiert ist. Trotzdem werden viele oder sogar die meisten Aufsätze in Zeitschriften mit hohem Impact-Faktor gar nicht oder sehr wenig zitiert, während einige sehr viele Zitationen aufweisen und damit den Durchschnitt in die Höhe treiben. Folglich ist der Rückschluss vom durchschnittlichen Impact-Faktor einer Zeitschrift auf die einzelnen Beiträge nicht zulässig. In gewisser Weise sind wenig Zitationen in einer hochgerankten Zeitschrift sogar eine geringere Leistung als dieselbe Zahl in einer weniger angesehenen Zeitschrift oder einem Sammelband, weil die Top-Zeitschrift Aufmerksamkeit auf die Beiträge in ihr lenkt.

      Insgesamt finde ich weder das Handelsblatt-Ranking noch den Boykott-Aufruf dagegen überzeugend. Siehe meinen Blog unter http://wirtschaftsphilosoph.wordpress.com/2012/08/30/handelsblatt-ranking-bwl-und-boykottaufruf/

  10. Nike schreibt:

    Ich habe das folgende Gedicht nicht verfasst, sondern Eugen Roth hat es geschrieben. Wenn ich es aber verfasst hätte, würde ich es Ihnen ganz persönlich, Lieber Herr Storbeck, und allen Kollegen, die meinen, den Stab über Prof. X oder Prof. Y brechen zu können, widmen.

    Der Salto
    Ein Mensch betrachtete einst näher
    die Fabel von dem Pharisäer,
    der Gott gedankt voll Heuchelei
    dafür, dass er kein Zöllner sei.
    Gottlob! rief er in eitlem Sinn,
    dass ich kein Pharisäer bin!
    -Eugen Roth

  11. Seit längerem beschäftige ich mich mit Zeitschriften-Rankings. Über meine methodischen Bedenken speziell bzgl. des „Handelsblatt-Rankings“ durfte ich mich vor einigen Wochen mit den Mitarbeitern dort austauschen, die sich durchaus ernsthaft mit meinen Einwänden befassten, wofür ich an dieser Stelle gerne öffentlich danken möchte.

    Erstaunlich finde ich hingegen, mit welcher Überzeugung sich „Doktorandin“ diesem Ranking hingibt, ohne auf dessen methodische Schwächen einzugehen. Obschon ich ihr darin zustimme, dass Wettbewerb belebend wirkt, ist es doch die Frage, nach welchen Regeln und auf welcher qualitativen Grundlage Wettbewerb ausgetragen wird. Ich überlasse es anderen, hier die methodischen Schwächen des Handelsblatt-Rankings noch einmal in ihrer Gesamtheit darzulegen.

    Stattdessen möchte ich auf die zwischen den Zeilen erkennbare Abschätzigkeit von „Doktorandin“ gegenüber anderen Publikationsformen eingehen: In einer international angelegten empirischen Studie (Saßmannshausen 2012: „Entrepreneurship-Forschung: Fach oder Modetrend?“ ganz traditionell als Buch erschienen, beim Eul-Verlag, darf gerne im Buchhandel bestellt werden) konnte ich anhand einer Kreuzzitationsanalyse von über 1.300 Publikationen unter anderem empirisch nachweisen, dass von Wissenschaftlern, die zum gleichen Forschungsgebiet arbeiten, Journal-Aufsätze NICHT signifikant häufiger zitiert werden, als Aufsätze in Sammelbänden. Warum „Doktorandin“ solche Publikationsformen dennoch offenbar für veraltet hält bleibt im Lichte der empirischen Evidenz ungewiss.

    Im Durchschnitt werden allerdings Aufsätze in sehr hoch bewerteten Zeitschriften in meiner Stichprobe häufiger zitiert als solche in niedriger eingestuften Zeitschriften. Dies liegt jedoch vor allem an einer größeren statistischen Streuung: Es gibt genauso wie in niedriger eingestuften Journals Aufsätze, die nie oder selten zitiert wurden, aber es gibt auch deutliche Ausreißer nach oben, die mit mehreren tausend Zitaten oft den durchschnittlichen „Impact“ ganz maßgeblich beeinflussen (Matthäus-Effekt). Stark linksschiefe Verteilungen sind absolut die Regel in der Bibliometrie. Daher ist es empirisch gesehen eigentlich unzulässig von der Bedeutung der Zeitschrift auf die Bedeutung des Aufsatzes zu schließen, jedenfalls wenn die Zahl der Zitate als ein Proxy für „Bedeutung“ verwendet wird, was sich ja durchaus begründen lässt. Das Argument von „Philipp“, dass gerade bei großer Streuung streuungsreduzierte Maße sinnvoll seinen können, stimmt übrigens dennoch, allerdings ist ein solches Streuungsreduziertes Maß zunächst auf die Beurteilung der Zeitschrift selbst anzuwenden, und nicht unbedingt auf den einzelnen Aufsatz übertragbar, was sich besonders gut an nicht zitierten Beiträgen verdeutlichen lässt.

    Der meistzitierte Beitrag in der von mir untersuchten Stichprobe war übrigens in einem Sammelband erschienen, ebenso viele andere vielzitierte Arbeiten. Vielleicht ist dies Zufall, vielleicht zeigt sich in diesem Ergebnis aber auch, dass die „Schwarm-Intelligenz“ der vielen hunderte forschenden, publizierenden und dabei zitierenden Wissenschaftler über die Weisheit zweier (einsamer) Reviewer hinaus gehen kann?

    Die Begeisterung von „Doktorandin“ für das Handelsblatt-Ranking und einem auf solchen Ranglisten aufbauenden Wissenschaftssystem erscheint daher im Lichte der empirischen Befunde etwas überschwänglich.

    Auch kann ich in meiner Studie zumindest für das dort untersuchte Forschungsgebiet mittels Zeitreihenanalyse durchaus belegen, dass der Trend hin zur Journalpublikation und zugleich der Trend weg von anderen Publikationsformen systematisch ist. Dieser Beleg fehlte ja „Doktorandin“, in meiner Publikation kann sie ihn jedenfalls gerne nachvollziehen und den Einwand erheben, dass das Ergebnis nicht generalisierbar für alle BWL-Fächer sei (stimmt!).

    Der Trend zur Zeitschriftenpublikation muss aber per se – und hier gebe ich Doktorandin einmal recht – zunächst nicht schlecht sein. Denn begutachtete Zeitschriften tragen wesentlich zur Entwicklung der Fachdiskurse und der Evolution von Wissen bei. In ihnen zu publizieren sollte daher das Bestreben von Wissenschaftlern sein (und anderen so Anlass zur „modifizierten Reproduktion“ (Luhmann 2008) von Wissen durch Zitate zu geben). Aber nicht aufgrund von Rankings und nicht aufgrund einer – wie gezeigt empirisch unbegründeten – Überheblichkeit gegenüber anderen Publikationsformen, wie sie m.E. durch „Doktorandin“ ausgedrückt wurde.

    Denn aus mindestens vier Gründen kann eine zu (!) starke Orientierung und Gläubigkeit an Journal-Rankings bei der Definition der eigenen Forschungs- und Publikationsstrategie tatsächlich zu Nachteilen für das Gesamtsystem führen, und damit möchte ich den Begründungszusammenhang liefern, den „Doktorandin“ in ihrem Beitrag nicht erkennen konnte und von anderen verlangte:

    (1) Unsere gängigen quantitativen Methoden machen es erforderlich, dass wir Replikationsstudien anfertigen, um unsere Konstrukte empirisch (und hoffentlich auch theoretisch) zu sichern und vielleicht sogar weiterzuentwickeln (vgl. dazu u.a. Davidsson 2005). Natürlich haben Replikationsstudien nur selten das Potential für A/A+ Journals. Ein System, das Rankings überbetont, kann daher zu einem System werden, in welchem keiner mehr die Motivation besitzt, Arbeitszeit auf Replikationsstudien zu verwenden.

    (2) Dasselbe gilt sogar für deskriptive Studien, die i.d.R. nicht in den führenden Zeitschriften abgedruckt werden, was ja zunächst nachvollziehbar erscheint. Deskriptive Studien sind jedoch dann unverzichtbar, wenn sie neue, bislang unbeachtete Aspekte eines empirisch untersuchten Phänomens aufdecken, die bei der Modelbildung und empirischen Forschung unberücksichtigt geblieben waren (siehe den Beitrag von Gartner & Gatewood (1992) „Thus the Theory of Description Matters Most“, übrigens in einem „A-Journal“ (ET&P) abgedruckt).

    (3) Eine übermäßige Ranking-Orientierung kann ferner zur Folge haben, dass (junge) Wissenschaftler nicht mehr ihre frühen (Vor-)Ergebnisse in („schlechter“ bewerteten) Zeitschriften publizieren. Explorative Erkenntnisse und Modelbildung innerhalb der akademischen Community per Zeitschriftenaufsatz früh zur Diskussion zu stellen wird unattraktiv, wenn „C“ und „D“-Zeitschriften sowie Publikationen in Sammelbänden, die in der Regel solche Arbeiten gerne annehmen, nur abschätzig betrachtet werden.

    (4) Zuletzt braucht es auch immer wieder einmal Arbeiten, die im Umfang weit über das hinausgehen, was Journals in der Regel annehmen können, u.a. wenn es gilt den Stand des Wissens zusammenzufassen oder einmal den großen Gesamtzusammenhang neu darzulegen (Stichwort „framing“), oder um gänzlich neue theoretische oder methodische, fachübergreifende Perspektiven zu eröffnen. Eine „Grounded Theory“ oder auch die mathematisch-theoretischen Grundlagen von Strukturgleichungsmodellen lassen sich in ihrer Gesamtheit nicht in einem Aufsatz entwickeln. Hier sind es meist Buchpublikationen, die im Sinne einer Schumpeterschen‘ „Basisinnovation“ überhaupt erst eine Reihe von begutachteten Zeitschriftenbeiträgen inspirieren und damit induzieren.

    Daher ist meines Erachtens mehr Respekt vor den verschieden Publikationsformen angebracht, als es einige Beiträge hier ausdrücken, und das Heil der deutschen BWL (allein) in A-Journal-Artikeln und Zeitschriften-Rankings suchen. Unbestriiten bleibt jedoch, dass auch Rankings einen Beitrag zur Weiterentwicklung und kritischen Reflexion von Wissenschaftssystemen liefern können und dass man die Schwierigkeit würdigen muss, dass es ein „perfektes“ Ranking nicht geben kann.

    • Doktorandin schreibt:

      Vielen Dank, dass Sie meine Kommentare so reflektiert aufgreifen und diskutieren.
      Leider erkennen Sie zwischen meine Zeilen eine generelle Abschätzigkeit von anderen Publikationsformen die ich so persönlich nicht vertrete (ich schreib gerade auch selber an einem Buch). Ich finde relevant zu betonen, dass Bücher „unbegutachtet“ veröffentlicht werden, sich die Autoren keinem Feedback stellen müssen und damit überhaupt keine Qualitätsprüfung stattfindet bevor diese in Publikationslisten auftauchen.
      Auch eine blinde Begeisterung für das Handelsblattranking die Sie in meinem Beitrag lesen möchte ich so nicht stehen lassen. Ich sehe das Handelsblattranking als einen wertvollen Beitrag zu mehr (und nicht vollständiger) Objektivität und weniger (und nicht keiner) Subjektivität in der Beurteilung von Wissenschaftler. Wie jede Vereinfachung und Kondensierung komplexer Zusammenhänge ist es kein perfektes Messwerk (wenn auch ein deutlich methodischer ausgegorenes als man es in der Wirtschaft zur Leistungsbewertung und Vergütung auffindet), und als solches kontinuierlich weiterzuentwickeln.
      Ich unterstreiche die Meinung von Ihnen (bzw. wir wiederholen uns), dass eine „[…] zu (!) starke Orientierung und Gläubigkeit an Journal-Rankings […]“ nicht sinnvoll ist und zur Vernachlässigung anderer wichtiger Themen führen kann. (Auch wenn ich nicht allen Ihrer vier Gründen vollständig zustimmt, so stellen diese für mich eine deutlich reflektiertere und anspruchsvollere Argumentation dar, als die des ursprünglichen Boykott-Aufrufs – Danke hierfür). Aspekte die außerhalb der Parameter dieses Rankings liegen, aber für die BWL-Lehre und -Forschung wichtig sind, sollten weder in der Tätigkeit, noch in der Beurteilung vernachlässigt werden. Die ist aber kein Fehler eines Rankings, sondern dessen was wir daraus machen.

      • Liebe „Doktorandin“, dann liegen wir ja gar nicht soweit auseinander, ich freue mich zudem, dass wir es schaffen im Internet eine sachliche Diskussion zu führen. Ich bedaure es, sollte ich in Ihre Ausführungen etwas hinein interpretiert haben, dass Sie nicht intendiert hatten. Ich möchte im Folgenden noch auf zwei Punkte eingehen: die Einschätzung von Büchern und auf meine methodischen Bedenken gerade gegenüber dem Handelsblatt-Ranking, die ich Ihnen nachvollziehbar präsentieren möchte.

        Zu Büchern: Nicht alle sind unbegutachtet, da ist der Gestaltungswille der Herausgeber oder Verantwortlichen der Schriftenreihe gefordert. Zurzeit begutachte ich ein Buch für Routledge (Taylor & Francis), allerdings nicht „blind“, trotzdem mit aller gebotenen Sorgfalt. Die Beiträge in einem unserer Lehrbücher bei Oldenbourg sind allesamt begutachtet, obgleich „nur“ für die Lehre geschrieben. Ein Kapitel haben wir dabei ganz zurückgewiesen, andere haben zwei Überarbeitungsrunden erfahren, keiner wurde wie eingereicht akzeptiert.
        Jedes Buch – ob begutachtet oder nicht – stellt sich der Bewertung am Markt und durch die Leser. Bücher wie Shane’s „General Theory“ (2003), Porter’s „Competitive Advantages“ (1985), Burt’s „Structural Holes“ (1982), Picot’s „Grenzenlose Unternehmung“ (1996), Sydows „Strategische Netzwerke“, Piore & Sabel’s „Second Industrial Devide“ (1982), Coleman’s „Foundations of Social Theory“ (1990) oder Putnam’s „Bowling Alone“ (1985) haben sich in diesem Wettbewerb durchgesetzt – und sich damit vermutlich eine härtere Überprüfung erfahren, als es ein Review-Prozess darstellt.
        Zuletzt kann sich durch unbegutachteten Publikationen zudem jeder in seiner Leistungsfähigkeit und seinem Qualitätsanspruch der Öffentlichkeit selbst offenbaren. Auch das kann manchmal sehr aufschlussreich sein.

        Zu den konkreten methodischen Schwächen des Handelsblatt-Rankings: Das Äpfel mit Birnen verglichen werden, wenn Forscher aus den Gebieten Marketing, Finance und – sagen wir – Wirtschaftspädagogik in ein und derselben Rangliste verglichen werden, das wurde schon angesprochen. Was ich am Handelsblatt-Ranking bemängele ist nicht zuerst dessen Existenz, sondern die Methode. Wer sich als Organisator eines „Maßstabs“ auftut, von dem muss man erwarten dürfen, dass ganz fundierte Arbeit geleistet wird. Vergleichen Sie die Methodik des Handelsblatt-Rankings mit den Ausführungen von Mingers & Harzing (2007) im European Journal of Information Systems, und Sie werden verstehen, was ich meine. Eine alternative, einfache aber gut nachvollziehbare Methodik zu einem gewichteten internationalen Meta-Ranking finden Sie in Saßmannshausen (2012), Kapitel 4.3.2.
        Zu bemängeln ist u.a. dass das Handelsblatt-Ranking nur drei Rankings inkorporiert, VHB Jourqual, Erasmus (EJL) und SSCI/SCI. Das ist eine sehr schmale Datenbasis. In einem Meta-Ranking von Entrepreneurship-Zeitschriften z.B. habe ich 17 internationale Rankings berücksichtigt. Dazu muss man zudem noch anmerken, dass die Positionen im EJL (ERASMUS) sich im Wesentlichen nach dem SSCI bestimmen, welches somit quasi doppelt eingeht. Neben dem SSCI fehlt mir die Verwendung mindestens eines Rankings aus dem angelsächsischen Raum, dass wie das VHB Jourqual nicht nur Zitationen, sondern auch andere Qualitätskriterien berücksichtigt. Entsprechende international bedeutende Listen wie beispielsweise die britischen Aston List (2008) und Cranfield List (2010) oder die australischen ERA (2010) und ABDC (2010) (die zwei umfassendsten Listen in der BWL überhaupt) werden nicht verwendet. Da beispielsweise „Emerald“ eine Listung beim SSCI, die i.d.R. nur gegen hohes Endgelt erfolgt, bis vor kurzem als Verlagspolitik ablehnte bzw. jedenfalls nicht aktiv unterstützte, fehlen so einige wichtige britische Journals oder werden zumindest unterbewertet.
        Eine Alternative oder zumindest zusätzliche Datenquelle neben dem SSCI wäre zudem das „SJR SCImago Journal Rank“, das den Impact nicht basierend auf der relativ kleinen Datenbank von Thomson Reuter‘s berechnet (wie der SSCI) sondern stattdessen SCOPUS als Datenbasis verwendet und übrigens frei zugänglich ist (siehe http://www.scimagojr.com/index.php). Es gibt Zeitschriften, deren Impact nach SJR stärker ist als der vieler SSCI-gelisteter Journals, die aber dennoch nicht beim SSCI geführt werden.
        Beim SSCI tritt zudem das Problem auf, dass Eigenzitate nicht korrigiert werden. So kommen tendenziell selbstreferentielle Zeitschriften auf gute Rangplätze, in denen sehr gerne Aufsätze aus derselben Zeitschrift zitiert werden. So ist z.B. der 2-Jahres-Wert im SSCI der „Technovation“ sogar besser als derjenige von „Research Policy“ oder dem „Journal of Business Venturing“ (siehe Financial Times Top 30-Liste) , im HR-Ranking kommt „Technovation“ so auf dieselbe Stufe wie z.B. „Long Range Planing“ und ist sogar vor ZfB und ZfbF platziert (die Einschätzung der Qualitätsanmutung von Aufsätzen in der Technovation im Vergleich zu den anderen Periodika möchte ich Ihnen überlassen).
        Aus den vorgenannten und aus weiteren, hier noch nicht aufgeführten Gründen glaube ich, dass die Methodik des Handelsblatt-Rankings nicht ausreicht, um damit einen Maßstab zu schaffen, der die Publikationsleistungen der deutsche BWL im internationalen Relationen würdigt, was aber der Anspruch des Handelsblatt-Rankings an sich selbst ist (siehe Müller und Storbeck 2009 im Handelsblatt) und an dem es sich messen lassen muss. Gemessen an der öffentlichen Aufmerksamkeit und dem Einfluss auf Berufungsverfahren, den das Handelsblatt-Ranking genießt, wäre eine massive methodische Weiterentwicklung gegenüber dem letzten Ranking wünschenswert gewesen.

  12. IchWillAuchNochWasSagen schreibt:

    Zwei Gedanken, die glaube ich so noch nicht geäußert wurden (sorry for cross posting):
    1. Trotz aller Schwächen stärkt das Ranking die Position der BWL im Wettbewerb mit der VWL, aber auch mit anderen Disziplinen, da dadurch BWL-Forschung sichtbarer wird.
    2. Zu den unbestreitbaren methodischen Schwächen: Ich denke auch, dass das HB-Ranking nicht die richtigen Anreize setzt. Allerdings sehe ich durch die Gewichtung des HB-Rankings eher den Anreiz, nicht in A+, sondern eher in B/C zu publizieren, um damit den HB-Punktwert zu maximieren. A+Zeitschriften haben mit 1 oder manchmal auch nur 0,7 Punkten einen zu geringen Abstand zu B/C Zeitschriften, die teilweise 0,5 Punkte bringen. (Offensichtlich erachte ich es als wichtig, in A+ zu publizieren, insb. auch im Hinblick auf die internationale Wahrnehmbarkeit der BWL-Forschung aus D/A/CH.)

  13. Prof. Dr. Dr. h.c. mult. Alfred Kieser, Zeppelin Universität, Friedrichshafen & Prof. Dr. Dr. h.c. Margit Osterloh, Universität Zürich (em.), University of Warwick. schreibt:

    Mitlerweile (2.9., 13 Uhr) 291 Unterzeichner sprechen eine deutliche Sprache:
    Viele Betriebswirte an den Universitäten der deutschsprachigen Länder sind frustriert davon, wie das HB-Ranking das Klima an ihren Universitäten zum Nachteil der Wissenschaft verändert. Unter den Unterzeichnern findet sich eine erkleckliche Zahl von Professoren, die höhere Rangpositionen eingenommen hätten. Weil diese im neuen Ranking fehlen, kann es keine Gültigkeit beanspruchen. Vor allem aber zeichnet sich in den Kommentaren der uns zugegangenen E-Mails ein Unbehagen mit den massiven negativen Einflüssen des HB-Rankings auf Forschungsprozesse ab. Die Zahl der Unterzeichner und die deutliche Sprache der Kommentare spiegeln die zunehmende Ablehnung von Rankings in der Scientific Community wider. Es macht sich die Einsicht breit, dass Rankings von Forschern der gleichen Logik folgen wie Wettbewerbe der Art „Deutschland sucht den Superstar“, oder „Die heißesten Studentenklubs“

    Wir freuen uns über die zahlreichen – auch kritischen – Blogbeiträge, die inzwischen eingegangen sind. Sie sind sehr informativ und teilweise von hervorragender argumentativer Qualität. Sie sind geeignet, den längst fälligen Diskurs über Rankings in Gang zu bringen. Wir wollen an dieser Stelle zusammenfassend vor allem auf die kritischen Argumente gegen unseren Boykott -Aufruf eingehen.

    1. Erhöhen Rankings die Objektivität? (Blogbeiträge von Marc Reimann, Doktorandin, greatgatsby)

    a) Die Qualität von Forschung lässt sich nicht objektiv messen. Das HB-Ranking gewichtet die Aufsätze eines Betriebswirtschaftsprofessors mit einem Qualitätsfaktor, zählt die so gewonnen Werte zusammen und behauptet, die Summe gebe die Forschungsstärke dieses objektiv Professors wieder. Das ist Humbug. Andere Rankings arbeiten mit anderen Modellen und kommen zu anderen Ergebnissen.

    b) Gerade weil das HB-Ranking die Realität der Forschung nicht objektiv messen kann, erzeugt es eine Realität – eine sozial konstruierte Realität. Je mehr Leute sich an einem Ranking orientieren, desto mehr Einfluss gewinnt es. Bis schließlich zur Wirklichkeit wird, was die Konstrukteure des Rankings ihrem Modell als Wirklichkeit zugrunde gelegt haben. Das Institut, das exzellent gerankt wird, erhält ab sofort die besten Studenten, viel Geld für Forschungsaufträge und damit dann auch die Mittel für die Einstellung echter Spitzenforscher. Ein anderes dominantes Ranking hätte eine andere sozial konstruierte Realität zur Folge gehabt. Der Beste ist, wer gewinnt, egal wie. Objektive Kriterien gibt es nicht. Rankings machen sie auch überflüssig. Das HB-Ranking ist genauso angreifbar wie alle anderen, es ist aber das einflussreichste im deutschsprachigen Raum und deshalb hat es den größten Einfluss auf die sozial konstruierte Realität der Universität.

    c) Einfluss auf die Realität der Universität hat das HB-Ranking vor allem, weil die interessierte Öffentlichkeit, die Politik, andere Geldgeber, die Universitätsleitungen, aber auch die Gerankten sich mehr und mehr in ihrem Verhalten auf das Ranking einstellen. Die Universitätsleitungen wollen bei Rankings gut abschneiden. Je besser ihre Professoren abschneiden, desto besser schneiden beim HB-Ranking die Fakultäten und Universitäten ab. Also werden diejenigen Professoren belohnt, die Ranking-Punkte sammeln. Berufungskommissionen berufen vor allem solche Kollegen, die Ranking-Punkte mitbringen. Wer in Berufungskommissionen die Schriften von Bewerbern sorgfältig liest und zu einem vom Ranking abweichenden Urteil gelangt, macht sich unbeliebt, weil er diesen Prozess aufhält (die Kollegen benötigen jede Minute zum Schreiben von Punkte-bringenden Aufsätzen) und ein Ergebnis favorisiert, das nicht im Interesse der Kollegen liegt. Also richten sich lieber alle gleich nach dem Ranking.

    2. Können Ranking per Aggregation die Fehler von Gutachtern ausgleichen, sodass man im Schnitt von der Qualität eines Journals auf die Qualtät eines darin veröffentlichten Aufsatzes schliessen kann? (Blogbeiträge von Marc Reimann, Philipp, Olaf Storbeck)

    a) Die Ermittlung einer durchschnittlichen Qualität der Aufsätze einer Zeitschrift ist wissenschaftlich Unsinn. Joel Baum, einer der führenden Managementforscher der USA hat festgestellt, dass für eine Stichprobe von internationalen Zeitschriften, deren Jahrgänge von 1990 bis 2007 er untersucht hat, die oberen 20 Prozent der Artikel 50 bis 60 Prozent aller Zitationen aller Artikel auf sich vereinigen (2011, Organization 18: 449-466. Der Anteil der Artikel, die keine oder eine Zitation erhalten haben, ist sehr groß. Der meistzitierte Artikel einer Zeitschrift erhält 10-20 mal mehr Zitationen als ein Artikel im Median. Artikel im obersten Quartil der Zeitschrift Organization Studies (Impact Factor 1,54) werden häufiger zitiert als der Median-Artikel der Zeitschriften Journal of Management Studies (IF 1,72), Organization Science (IF 4,65) und Administrative Science Quarterly (IF 9,48) oder als Zeitschriften im untersten Quartil des Academy of Management Journal (IF 5,71). Das bedeutet: Die Wahrscheinlichkeit, dass ein Aufsatz in Organization Studies (IF 1,54) häufiger zitiert wird als in Zeitschriften mit wesentlich höhen IF, ist sehr hoch. Aufsätze in Organization Studies werden aber wesentlich geringer gewichtet als solche in den anderen Zeitschriften. Die Verwendung von IF als Qualitätsgewichtungen kann zu fehlerhaften personenbezogenen Rankings führen. Das Handelsblatt greift auch auf Impact Faktoren als Qualitätsgewichtungen zu. Oder, anders ausgedrückt: Ein Wissenschaftler, die viele Aufsätze in Organization Studies veröffentlicht, kann mehr Zitationen erhalten als einer, der viel im Academy of Management Journal und im Administrative Science Quarterly veröffentlicht, er schneidet im Handelsblatt-Ranking aber viel schlechter ab.

    b) Rankings sind nicht besser als fehlbare Gutachterurteile. Warum? (Blogbeitrag Philip). Die Interrater-Reliabilität und prognostische Qualität von Gutachten ist miserabel (vgl. Starbuck 2006, The Production of Knowledge). Aber sie haben gegenüber Rankings einen großen Vorteil: Sie sind heterogen. Kommt man bei der einen Zeitschrift nicht an, gibt es eine Alternative. Wird man bei einer Universität abgelehnt, kann man sich bei anderen bewerben, die eine andere Zusammensetzung der Berufungskommission hat. Rankings sind per Definition eindimensional. Kleine Unterschiede, insbesondere in den Spitzenpositionen, haben eine riesige Wirkung in der öffentlichen Wahrnehmung.

    3. Wer Rankings scheut, scheut den Wettbewerb, der für Ökonomen eigenltlich selbstverständlich sein sollte (Blogbeiträge von Phillipp, Doktorandin)

    Für Bier, Autos, Häuser und Wertpapiere gibt es einen Markt, auf dem Wettbewerb herrscht und auf dem Preise Angebot und Nachfrage zum Ausgleich bringen. Für Forschungsergebnisse gibt es das nicht und da sollte man gerade als Ökonom die Frage stellen, ob die Marktsimulation, die von Rankings à la Handelsblatt durchgeführt wird, angemessen ist.

    4. Es ist nicht bewiesen, dass weniger Bücher und dafür mehr Aufsätze geschrieben werden (Blogbeiträge von Phillipp, Doktorandin)

    Statistische Evidenz haben wir dafür (noch) nicht. Aber wir wissen, dass Doktorarbeiten in Form von Monographien zunehmend durch Aufsatzsammlungen oder kumulative Dissertationen abgelöst werden.

    Fazit:
    1. Rankings ruinieren die Wissenschaft. Die verheerendste Wirkung erzeugen Rankings durch ihren Einfluss auf die Gerankten (dieser Gedanke wird nur von wenigen Blogbeiträgen aufgenommen). WissenschaftlerInnen erforschen nicht mehr, was sie interessiert oder was für den Fortschritt der Wissenschaft wichtig ist, sondern das was Ranking-Punkte bringt. Ranking-Punkte sind so wichtig, dass sie aus dem Stoff, der einen guten Aufsatz abgegeben hätte, nach Möglichkeit zwei oder drei oder noch mehr Artikel machen (ihre Einheit ist die „least publishable unit“) .Sie neigen sogar dazu, wie man hört, Ergebnisse aufzuhübschen, damit die Gutachter sie interessanter finden. Vor allem meiden sie riskantere Forschungsprojekte, welche die Gutachter vielleicht nicht so leicht einschätzen können. Lieber variieren sie das Bewährte. So entsteht ein Trend zum Mainstream und die Innovativität der Forschung geht zurück.

    2. Das Handelsblatt geht auf kontroverse Debatten zu Rankings leider nicht ein. Angemessen wäre es, wenn ein einflussreiches Medium wie das Handelsblatt durch eine intensive Berichterstattung oder auch Meinungstexte dazu beitragen würde, dass diese in Fachzeitschriften geführten Diskussionen offen und konstruktiv an die Öffentlichkeit herangetragen werden.

    3. Was wir (also die Unterzeichner des Boykotts) uns aber auf jeden Fall verbitten ist, dass das Handelsblatt beim „Verkauf“ der Rankings versucht, den Eindruck zu schüren, es handele sich dabei tatsächlich um ein objektives Bild der tatsächlichen Forschungsleistung. Wäre das Ranking ein Produkt, würden wir beim Werberat einfordern, den „Verkauf“ des Rankings als einen Fall irreführender Werbung zu brandmarken. Aus unserer Sicht wäre es außerdem geboten, den Kunden vor dem „Genuss“ dieses Ranking-Produkts zu warnen („Rankings schaden Produktivität und Kreativität der Wissenschaft“) , weil Rankings mittlerweile gerade für junge Forscher nicht selten einschneidende Folgen haben und insbesondere über ihre Zukunft im Wissenschaftssystem entscheiden (mit allen materiellen und psychischen Folgen). Sicher ist es vor allem die Aufgabe der Berufungskommissionen, sich dem normativen Druck, der durch diese Rankings erzeugt wird, zu wiedersetzen und ihre Entscheidungen möglichst unabhängig zu fällen. Es würde allerdings durchaus helfen, wenn auch das Handelsblatt seiner journalistischen Verantwortung gerecht würde, indem es eine deutlich ausgewogenere, differenziertere und kritischere Kommentierung der Rankings vornehmen würde – so wie es bei einer seriösen Zeitung zu erwarten wäre.

    • Titellos schreibt:

      Das Bild, dass Sie von den „WissenschaftlerInnen“ zeichnen, die im Handelsblatt gerankt sind oder werden wollen beschreibt einen ranking-getriebenen unethisch-handelndem und opportunistischen Menschen: „WissenschaftlerInnen erforschen nicht mehr, was sie interessiert oder was für den Fortschritt der Wissenschaft wichtig ist, sondern das was Ranking-Punkte bringt. Ranking-Punkte sind so wichtig, dass sie aus dem Stoff, der einen guten Aufsatz abgegeben hätte, nach Möglichkeit zwei oder drei oder noch mehr Artikel machen (ihre Einheit ist die „least publishable unit“) .Sie neigen sogar dazu, wie man hört, Ergebnisse aufzuhübschen, damit die Gutachter sie interessanter finden. Vor allem meiden sie riskantere Forschungsprojekte, welche die Gutachter vielleicht nicht so leicht einschätzen können. Lieber variieren sie das Bewährte.“ [Zitat] Ich bin der festen Überzeugung, dass ihre Beschreibung auf den Großteil der gerankten Wissenschafter nicht zutrifft (wenn überhaupt in diesem Maße auf überhaupt einen). Die Wissenschaftler mit dem Anspruch in hchrangigen Journals zu publizieren die ich bisher kennenlernen durfte, forschen nach ethisch einwandfreien Maßstäben zu Themen die Sie faszinierend finden mit viel Leidenschaft und Anspruch an sich selbst. Wer als WissenschafterIn dem (sehr indirekten) Druck des Handelsblatt-Rankings nicht standhalten kann, sich mit Themen beschäftigt, die er/sie nicht für relevant erachten und glaubt sich mit unlauteren/unethischen Mitteln einen Vorteil verschaffen zu müssen, der hat in der Wissenschaft (und auch sonst in führenden Positionen der Wirtschaft) mE nach nichts verloren, würde sich aber sicherlich auch ohne diese Ranking versuchen unlauter Vorteile zu verschaffen.

      Meiner Ansicht nach sind 2 weitere der Argumente gegen das Ranking nicht fundiert:
      – Ich sehe keinen Widerspruch von innovativer/kreativer Forschung von relevanten Zusammenhängen und Publikation in renommierten Journals – hochrangige Journals fordern innovative und kreative neue Konzepte und innovative und kreative Weiterentwicklungen dieser, nur eben gut und sehr valide argumentiert. Nicht jede innovative und kreative Idee ist es vielleicht wert veröffentlicht zu werden. Die Weiterentwicklung und Zusammenführung bestehender Konzepte kann natürlich auch eine wichtige wissenschaftliche Contribution darstellen (und ohne saubere Begründung dieser bekommt man in keinem guten Journal einen Beitrag veröffentlicht).
      – Ich sehe in der Reduktion von Büchern zu Lasten von Artikeln (real oder empfunden) keinen Schaden für die Forschung. Warum sollten Bücher überlegener sein neue Forschung zu verbreiten? Als Zusammenfassungen, Praxisratgeber und Lehrformat haben Bücher einen hohen Stellenwert, aber warum sehen Sie diese als so relevant für die Forschung an? Eignet sich nicht die kompakte und begutachtete Form des Aufsatzes viel besser für den Diskurs eines gebildeten Fachpublikums (und bieten kummulative Dissertationen mit mehreren Aufsätzen nicht viel mehr Fläche für externes Feedback und Begutachtungen in Konferenzen und bei Journaleinreichungen als eine Monographie dies könnte).

    • Nils schreibt:

      Um nur einmal auf einen Teilaspekt einzugehen – das: „Aber wir wissen, dass Doktorarbeiten in Form von Monographien zunehmend durch Aufsatzsammlungen oder kumulative Dissertationen abgelöst werden.“ finde ich jetzt persoenlich nicht so schlimm. Waehrend meiner Promotionszeit habe ich beide Modell kennengelernt (kumulativ aus erster und zweiter Hand, Monographie durch Freunde). Soweit ich das sehe finden Doktoranden kumulative Dissertationen gut, (a) da sie ihnen ermoeglichen schneller an eigenen Ideen zu arbeiten (anstatt 200 Seiten Literatur zusammenzufassen), (b) es mehr (auch frustrierendes) Feedback zwischendurch gibt (Konferenzen etc.) und (c) das grosse Projekt Dissertation in Zwischenschritte unterteilt wird. Nichts davon hat notwendigerweise irgendetwas mit Rankings zu tun. Man kann den Niedergang der Monographie und eine (zu) einseitige Fokussierung auf Journals von mir aus beklagen (manche der Argumente teile ich, manche nicht), ich weiss aber nicht, ob der Anstieg der kumulativen Dissertationen jetzt erstens ein wirklich ein Indiz dafuer ist und zweitens, selbst wenn es das waere, dies notwenigerweise schlecht waere.

      Ganz grundsaetzich frage ich mich auch, ob der Einfluss von Rankings auf das Verhalten von Wissenschaftlern wirklich so gross ist wie es in dem Beitrag erscheint. In England, wo ich arbeite, has das RAE/REF (Forschungsevaluation, roundabout alle 6 Jahre, jeder braucht 4 Publikationen auf einem Level, das seine Institution als angemessen empfindet, Monographien werden uebrigens gezaehlt und zumindest theoretisch muessen die Panel die Arbeiten auch lesen und bewerten und duerfen den Veroeffentlichungsort nicht als Indikator verwenden) zwar eine recht grosse Bedeutung – aber ganz ehrlich, niemand verwendet das als Proxy fuer die Groesse der primaeren Geschlechtsorgane (vulgo Schwanzvergleich) oder anders ausgedrueckt – wir wissen auch so was unsere Kollegen koennen oder nicht koennen. Das mag in Deutschland anders sein (was bedauerlich waere), aber das waere wirklich eher etwas, das fuer einen angemesseneren Umgang mit Rankings spraeche. Und mal ganz ehrlich – selbst wenn die Uni-Administration Rankings zu ernst nimmt – wir sind alle (praktisch) unkuendbar, u.a., auch gerade mit dem Argument, dass Forschung keine Ruecksicht auf politische Opportunitaeten, adminitrative Befindlichkeiten etc. nehmen muss – der ganze Druck, den Rankings angeblich erzeugen, erscheint mit somit eher eingebildet/hypothetisch.

    • Sebastian schreibt:

      Zitat: „Rankings ruinieren die Wissenschaft.“ Um es mal ganz klar zu sagen: Solche Pauschalurteile ruinieren die Wissenschaft. Ein bisschen mehr Demut bezüglich der eigenen Ansicht wäre wohl angebracht. Rankings im Allgemeinen und das vorliegende vom HB haben ihre Stärken und Schwächen. Darauf mit solchen Pauschalurteilen zu reagieren, ist eines Wissenschaftlers unwürdig.

  14. Selbstreflexion schreibt:

    Eine interessante Frage könnte sein, ob wir betriebswirtschaftlichen Forscher ebenso kritisch hinterfragen, welche (teils negativen) Auswirkungen unsere Forschung auf die Welt „da draußen“ hat, wie wir in den letzten Tagen hinterfragt haben, welche Auswirkungen das HB-Ranking (das sicherlich bald Grundlage für einen Artikel über die Einflussfaktoren auf die Forschungsleistung von Wissenschaftlern sein wird) auf „unsere“ Welt hat.
    Ich meine damit, dass wir Forscher gerne bereit sind, (fast unreflektiert) jedes mögliche „objektive“ Maß zu nehmen, um die Performance von Menschen in Organisationen zu messen (und Einflussfaktoren darauf zu untersuchen), selbst aber große Probleme damit haben, wenn eine solche (zugegebenermaßen nicht optimale) „Objektivierung“ in unserer eigenen Welt vorgenommen wird. Während wir durch den Rückzug auf die Logik der Wissenschaft die „Macht“ haben, derartige nicht optimale (vielleicht auch „schlechte“) „Objektivierungsversuche“ zu verhindern oder zumindest zu blockieren, haben Menschen in Organisationen selten die Möglichkeit hierzu. Insofern stellt sich mir die Frage, ob diese Diskussion, die wir Wissenschaftler hier „mit uns selbst“ führen, ausgeweitet werden sollte und auch die (möglicherweise negativen/positiven) Auswirkungen unserer Arbeit auf die Welt, die wir untersuchen, beinhalten müsste.

  15. Guido Möllering schreibt:

    Ich habe dem Chefredakteur des Handelsblatts am 24.08.2012 geschrieben:
    „Sehr geehrter Herr Steingart,
    ich wünsche ausdrücklich, im Personenranking BWL 2012 nicht berücksichtigt zu werden. Zugegeben hätte ich es diesmal wohl nicht in die Hitlisten geschafft. Ich lehne das Ranking jedoch prinzipiell ab.
    Ich halte das Ranking für würdelos. Es spricht niedere Instinkte an: Eitelkeit, Stolz, Neid. Dabei ist es nutzlos, denn es will Fragen beantworten, die sinnlos sind. Es führt methodisch in die Irre und zwar nicht, weil man die Methode noch perfekter und fairer machen könnte, sondern weil eine Objektivität des Vergleichs vorgegaukelt wird, die es nicht geben kann.
    Evaluationen von Wissenschaftlerinnen und Wissenschaftlern sind nötig, sollten jedoch stets einem konkreten Anlass folgen, situative Umstände berücksichtigen, partizipativ und konstruktiv angelegt sein. Beispiele sind Berufungsverfahren, Forschungsanträge, Mittelverteilung an Fakultäten u.ä. In den allermeisten Fällen gibt es keinen Grund, die Evaluationsergebnisse zu veröffentlichen. Sie erstellen ja auch kein Ranking der Bürgermeister, Richter, Bischöfe, Chefärzte, Chefredakteure …
    Die Zahl meiner Kolleginnen und Kollegen, die Ihr Ranking ablehnen, ist beachtlich und steigt. Ich hoffe, dass dies zumindest in Ihrer Berichterstattung erwähnt wird. Ich weiß außerdem von vielen Kolleginnen und Kollegen, dass sie aussteigen wollen, es in dieser Runde aber aus „institutionellen“ Gründen noch nicht getan haben, in Zukunft aber nicht mehr mitmachen werden.
    Stampfen Sie das Ranking 2012 ein. Viele Kolleginnen und Kollegen meinen, Ihr Ranking trage genau zu dem Fehlverhalten bei, das Sie an anderer Stelle in Ihrer Zeitung und online skandalisieren. Ich halte das für sehr spekulativ, aber ein Glaubwürdigkeitsproblem sehe ich auch.
    Mit freundlichen Grüßen,

  16. Junger Oekonom schreibt:

    Als Doktorand der Volkswirtschaftslehre, der die Diskussion mit Interesse und (zugegeben) ein wenig Verwunderung verfolgt, möchte ich insbesondere auf den häufig angeführte (Fehl-)Anreiz von Rankings eingehen, regelmäßig in gerankten Zeitschriften zu publizieren.

    Hier stellt sich zunächst die Frage: Für welche Untergruppe von Wissenschaftlern ist der durch Rankings geschaffene Anreiz, in Fachpublikationen zu publizieren, am höchsten? Ich denke, dies ist in erster Linie der Fall für junge Wissenschaftler, die wissenschaftliche Reputation aufbauen müssen, um eine Lebenszeitstelle in der Wissenschaft erhalten zu können.

    Dieser Anreiz ist durchaus sinnvoll: Er zwingt junge Forscher dazu, ihre Forschung an internationalen Standards auszurichten. Dies heißt in erster Linie, dass die international geltenden Qualitätsstandards hinsichtlich Methodologie erlernt und eingehalten werden, was gleichbedeutend mit dem Erlernen des internationalen Wissensstandes sowie der international üblichen Wissenschaftssprache ist. Es ist meines Erachtens wichtig, dass dieser Schritt zu Beginn einer wissenschaftlichen Karriere erfolgt, da dieser durchaus mit Anstrengungen verbunden ist. Nur durch diesen Schritt aber wird der internationaler Wissenstransfer und der Aufbau internationaler Netzwerke möglich sowie der Forschungsstandort Deutschland international sichtbar und attraktiv.

    Dieser Effekt ist in der VWL deutlich ersichtlich. Die Einführung des Handelsblatt-Rankings in der VWL hat die Anreize, in internationalen Zeitschriften zu publizieren, insbesondere für junge Forscher deutlich erhöht. Meiner Ansicht nach – und ich denke, viele Kollegen sind der gleichen Meinung wie ich – ist dadurch auch die Qualität der Forschung insgesamt gestiegen. Dadurch hat sich weiterhin derinternationale Austausch nachweislich verbessert: Die deutschen Top-Universitäten in der VWL gehören zwar nach wie vor nicht zur internationalen Spitzenklasse, holen aber auf und können in den letzten Jahren zunehmend nicht in Deutschland ausgebildete (Junior-)Professoren anziehen. Dies erhöht auch die Qualität der Lehre, denn nur wer die gängigen Methoden selbst kennt und beherrscht, kann diese an den Nachwuchs weitergeben.

    An diesem Punkt läuft auch die Kritik an dem mit Fehlern behafteten Begutachtungsprozess ins Leere. Natürlich ist es zu einem Teil Glück, einen Beitrag in einer hoch gerankten Zeitschrift unterzubringen. Um dieses Glück zu haben, muss die Forschung jedoch bereits im ersten Schritt internationalen Standards entsprechen. Nur diese Forschung jedoch wird auf Dauer erfolgreich sein. Ob der beste Aufsatz dann in einem A oder B-Journal erscheint, ist dann fast nebensächlich, denn die Erfahrung zeigt, dass die Forschung eines Wissenschaftlers im Mittel in den angemessenen Zeitschriften landet. Anders als befürchtet, werden die Arbeiten von Wissenschaftlern in Berufungsprozessen nach wie vor gelesen – auch um in Rankings „unterbewertete“ Wissenschaftler zu finden (ggf. ersetzen durch etwas wie „Rankings zu korrigieren“) und damit die langfristige Position der Fakultät im Wettbewerb zu verbessern.

    Eine absolute Rankinghörigkeit, die die Gegner hier ins Feld führen, kann ich dabei nicht beobachten. Zwar gibt es sicher den Anreiz, in „überbewerteten“ Zeitschriften zu publizieren, jedoch ist dies allgemein bekannt und auch riskant, denn das Ranking einer Zeitschrift kann sich durchaus über die Zeit ändern. (Um ein Beispiel zu nennen: In der vorletzten Ausgabe des HB-Rankings gab es für einen Aufsatz in „Economics Letters“ relativ viele Punkte, was einige Forscher dazu veranlasst hat, dort viel zu publizieren. In der letzten Ausgabe des Rankings wurde die Zeitschrift jedoch abgestuft, was einen Fall der betreffenden Forscher im Ranking zur Folge hatte.) In der allgemeinen Wahrnehmung scheint es die sicherste Strategie zu sein, in den Zeitschriften zu publizieren, die innerhalb der Forschungsgemeinschaft aktuell die höchste Wertschätzung genießen. Hier entscheidet die internationale Forschungsgemeinschaft also selbst über ihre „sozial konstruierte Realität“ (die es übrigens immer gibt – die relevante Frage ist, welche „konstruierte Realität“ die beste ist).

    Die Anreizwirkung von Rankings lässt stark nach, sobald junge Forscher eine Lebenszeitstelle erhalten haben. Dann bleibt die Zeit für ein besonders innovatives Buch, für die Hinwendung zu neuen Forschungsgebieten und den damit verbundenen Vorteilen interdisziplinären Lernens, oder auch für die Reproduktion existierender Forschungsergebnisse (Saßmannshausen). (Letzteres ist auch in der Doktorandenausbildung sinnvoll: Einige der besten Doktorandenprogramme in den USA lehren mit diesem Mittel die Anwendung wissenschaftlicher Methoden. Das hat sich in Deutschland leider noch nicht durchgesetzt.) Diese Freiheit der Forschung ist genau der Zweck von Lebenszeitstellen – und erst dann sinnvoll, wenn die Forscherin/der Forscher das Handwerkszeug beherrscht. Darüber hinaus ist die in der Ranking-Kritik implizierte Grundannahme, dass Monographien qualitativ besser als Zeitschriftenaufsätze sind, äußerst fraglich. Meiner Erfahrung nach ist es eher umgekehrt.

    Den schädlichen „Einfluss [von Rankings] auf die Gerankten“ in dem Sinne, dass die Innovationsfreudigkeit leidet (Kieser / Osterloh), kann ich zum Großteil nicht nachvollziehen. Gerade mit riskanten und innovativen Forschungsprojekten hat man eine große Chance, in herausragenden Zeitschriften zu landen. Dass Großprojekte in viele „least publishable units“ unterteilt werden, kann man teilweise beobachten, was bedauerlich ist. Andererseits aber werden durch diese Möglichkeit riskante und innovative Großprojekte besonders attraktiv.

  17. Günther Gebhardt schreibt:

    Liebe Frau Kollegin Osterloh,
    ich teile voll Ihre Ansicht, dass solche Rankings unvollkommene Meßverfahren sind. Bei aller Unvollkommenheit haben sie aber durchaus auch erwünschte Anreizwirkungen. Das ist besonders deutlich und erfreulich im Bereich Rechnungswesen zu beobachten: Mit der steigenden Relevanz der Rankings und der darin starken Gewichtung internationaler Zeitschriften hat sich ein sportlicher Ehrgeiz vor allem vieler junger Rechnungswesenforscher entwickelt, die sich mit ihren Arbeiten dem internationalen Wettbewerb stellen und dort auch reüssieren. Nachdem lange Jahre die Zahl der deutschen Kollegen bei den Tagungen z.B. der American Accounting Association (AAA) oder der European Accounting Association (EAA) im einstelligen oder niedrigem zweistelligen Bereich gelegen hat, ist die Zahl der Teilnehmer und Vortragenden an AAA und EAA fast explosionsartig gestiegen – bei den letzten drei EAA-Tagungen kamen jeweils die meisten Teilnehmer und Referenten aus dem deutschsprachigen Raum – deutlich vor dem UK. Dies spiegelt sich weiter auch in der Zahl internationaler Publikationen wider. Dabei ist es mein Eindruck als häufig in Anspruch genommener Gutachter, dass die Qualität der vorgelegten Arbeiten sich signifikant verbessert hat.
    Ich hoffe, dass meine vorstehenden Anmerkungen zu den nicht-negativen Auswirkungen der zugegeben unvollkommenen Rankings Ihnen ebenfalls willkommen sind.

    Mit besten Grüßen

    Günther Gebhardt

    P.S.: Ich möchte anregen, dass die Kollegen/-innen, die namentlich nicht im Ranking erscheinen wollen, gleichwohl in der Rangliste berücksichtigt bleiben. Dies könnte man leicht dadurch erreichen, dass statt des Namens ein Platzhalter (z.B. N.N. – für No Name) aufgeführt wird.

  18. Nur auf Deutsch schreibt:

    Wo kann man hier unterschreiben, bei all denen, die nichts veröffentlicht kriegen und trotzdem Professor sein wollen? Ist die Liste schon geschlossen? Davon muss es doch noch viele mehr geben?

  19. Parati schreibt:

    Problematisch finde ich nicht das Ranking als solches, sondern die ausgewählten Kriterien. Es wird Input (-> Publikationen) gemessen, nicht output (-> Zitate). Unter der Annahme, dass wissenschaflticher Fortschritt kummulativ ist, kann ein leistungsanregendes Ranking hauptsächlich messmethodisch kritisiert werden, kaum das Instrument als solches.

  20. spaetz schreibt:

    Schwierig. Zum einen kann/sollte man niemanden zwingen, keine Rankings von öffentlichen Daten zu erstellen, bzw sollte man sich diesem entziehen dürfen. Insofern, finde ich ein Boykott eines solchen Rankings schwierig.

    Auf der anderen Seite sollte die Nützlichkeit solcher Rankings hinterfragt werden. Das HB sagt dass sie ein Tool liefern, wie es angewendet oder misbraucht wird, ist Sache des Anwenders. Das Argument kennen wir („guns don’t kill. People do“), aber das Existenz dieser Tools einen Einfluss auf das Verhalten Einzelner hat, ist unbestreitbar.

    Und ja, ich kenne genug Forscher deren Forschungsagenda sich nach Publizierbarkeit in Journals gerichtet hat. Und bei weitem nicht alle waren junge Foscher ohne lebenslange Anstellung. Ich bemerke dass bei mir selber. Ich kenne interessante Journals, die zu Nischen die mich interessieren publiziern, die ein besonders nutzerfreundliche Open Access Philosophie haben, oder sonstwie interessant sind. Aber nicht im „SSCI“? Sorry, kein Interesse. Schade? Ja!

    Journal Impact factor kommen und gehen. Beispiel Technovation: Impact Factor 2011: 3.3, Impact factor 2007: 1.0. Sind Technovationartikel von 2007 über die Zeit qualitativ besser geworden als noch früher (so wie bei gutem Wein :-))? Im Ranking ja, denn es betrachtet nur einen einzigen Impactfactor.
    Oder sind die Editors (und Autoren) nur besser darin geworden ihren IF zu managen. Ohne Self-cites wäre der journal Impact factor statt 3.3 nur 1.7, denn 48% der 424 citations sind self-cites. (Zitationen von Artikel im eigenen Journal, wie von vielen Editoren gefordert, sind ein anderes Thema, das mit der Wichtigkeit von Impact Factors einhergeht). Wo immer es Rankingsysteme und Benchmarks gibt, werden sie „gegamed“.

    Im Vergleich, Organization Studies hovert seit 5 Jahren konstant bei 2.0-2.3 IF. Vielleicht hätten sie ihre Autoren einfach bitten müssen mehr eigene Werke zu zitieren? (nur 19% of 277 are self-cites).

    Nicht zu vergessen, dass der Impactfactor hier sich nur auf Artikel die in den letzten 2 Jahren publiziert wurden bezieht. Die Publikationsmuster durch lange Review/Publikationsprozesse sind aber extrem unterschiedlich. Ich habe Journalartikel, die in 2008 accepted und in 2010 gedruckt wurden. Wie soll so ein Artikel zu einem 2-jährigen Impact Factor beitragen? Am Beispiel Technovation, die cited Half-Life ist 6.0 years, d.h. mehr als die Hälfte der Citations kommen erst nach 6 Jahren (nur 10.5% der Citatations kamen aus den relevanten letzten 2 Jahren). Andererseits ist mir ein Physical Review Letters von Submission bis Publication in 3 Wochen gelungen. Wie soll man da vergleichen?

    Bei jeder Statistikgrundvorlesung die sich mit Powerlaws beschäftigt, wird darauf hingewiesen, dass der Mittelwert bei Powerlaws eine denkbar ungeeigneter Wert ist, um etwas Vernünftiges auszusagen. Beispiel: US mean firm size 19.0. The modal firm size is 1, whereas the median is 3 (Axtell et al 2001). Ungefähr 80% liegen hier unter dem Mittelwert! Und das sieht *sehr* ähnlich bei Journal Artikeln aus. Was kann ich also aus dem Power-law-basierten IF eines Journals ablesen?
    Ich habe genug grottenschlechte Artikel im SMJ gelesen und ebenso viele Perlen in no-name – oder vielmehr besser – no-impact Journals, um zu wissen dass man von durschnittlichen Journal Impact Factors nicht auf die Qualität der 3-4 individuellen Artikel eines Forschers schliessen kann. Und kommt mir nicht mit double-blind Review. Ich habe genug durch die Augenbinde lunsen können um zu sehen was da passiert.

    Um es zusammen zu fassen. Werde ich ein Ranking boykottiern? Nein. Finde ich es Sinnvoll und unterstützenswert? Nicht unbedingt, und wenn dann nur sehr sehr vorsichtig und begrenzt. Sobald Rankingsysteme existieren, ändert sich das Verhalten um sie zu gamen! Insofern vielen Dank an Frau Osterloh und Herrn Kieser! Normalerweise sage ich zynisch, dass solche Rankingverurteilungen immer nur von emeritierten Dinosauriern (Verzeihung :-)) kommen, die nichts mehr zu verlieren haben. Deshalb freut es mich besonders, hier bekannte Namen von jungen aktiven, und durchaus publizierenden, Mitforschern zu lesen.

    P.S. Ich kann es nicht lassen, meinen Lieblings“artikel“ zu Impact Factors zu verlinken (Hint, Forscher stirbt und möchte in den Himmel kommen. Witzig.) http://genomebiology.com/2008/9/7/107

    • Vielen Dank für diesen sehr fundierten Beitrag und die sehr guten Hinweise auf die Schwächen des Thomson Reuter’s Impact Factor ISI / SCI. „Technovation“ ist da immer auch mein Lieblingsbeispiel… Eine Alternative zum SCI ist der SJR, der auf der breiteren Datenbasis von Scopus beruht und mehr Journals einschließt, aber sich in seinem 2-Jahres-Faktor natürlich der selben methodischen Kritik stellen muss! „Guckst Du hier“: http://www.scimagojr.com/index.php

      • Übrigens geht beim Handelsblatt-Ranking der Thomson Reuters SCI quasi doppelt ein, da sich das ERASMUS Ranking maßgeblich nach dem SCI bestimmt (ich weiß nicht ob sich Herr Storbeck dessen bewusst war)…. Gut für „Technovation“🙂

  21. Geraldine Göllner schreibt:

    Bei allem Verständnis für die Auseinandersetzung rund um die Kriterien des Rankings, ist es nicht zu erklären, dass Personen, die ein „Ranking für würdelos“ halten, in BWL-Lehrstühlen aktiv sind. Wie soll jemand, der den Wettbewerb scheut, die nächste Generation Unternehmer lehren, wie sich diese im Wettbewerb behaupten können? Weder Wettbewerb allgemein, noch Rankings im Speziellen mögen in allen Aspekten fair sein, dennoch kann man sich dem nicht einfach entziehen. Wettbewerbsfähigkeit ist eine Notwendigkeit der wirtschaftlichen und wissenschaftlichen Nachhaltigkeit, dem sich die deutsche Universitätslandschaft schon viel zu lange entzogen hat. Stattdessen wird hier der verzweifelte Versuch angetreten, die ‚Würde von Seilschaft und Bequemlichkeit‘ zu vertreten. Genau dies ist die Wirtschaft jedoch nicht mehr, das Modell Bequemlichkeit hat im internationalen Wettbewerb ausgedient. Damit ist natürlich auch die Würde der Bequemlichkeit nicht mehr unantastbar.

    • Wer auch nur ein bisschen Ahnung von BWL hat wird anhand der Namen auf der obigen Liste sehen, dass dort keineswegs nur bequeme Professoren stehen, die durch Seilschaften nach oben gekommen seien. Der Vorwurf ist ignorant und unverschämt und vermutlich ohne Prüfung der Aussage auf ihren empirischen Gehalt leichtfertig erfolgt.

      Die Aussage, es würden nur diejenigen aussteigen, die eh im Ranking schlecht wären ist lächerlich und ohne Anstand angesichts vieler sehr bekannter Namen auf der Liste.
      Es sind Namen auf der Liste die bereits im Handelsblatt-Ranking 2009 unter den Top 100 waren, und es sicherlich, aufgrund ihrer zwischenzeitlichen Publikationsleistung auch bleiben würden.

      Ich habe bei einigen dieser Professoren studiert, und sie als sehr gute akademische Lehrer und messerscharfe Analytiker kennengelernt, die außerdem gute internationale Publikationen (selbst!) geschrieben haben. Dasselbe gilt für einige Namen auf der Liste, die ich erst durch meine jetzige Tätigkeit kenne und die ebenfalls in führenden Journals publiziert haben.

      Ferner: Wer auch nur ein bisschen Ahnung von VWL hat wird außerdem zustimmen, dass Wettbewerb erst durch die richtigen Wettbewerbsregeln gut wird. Es geht nicht allein um die Frage, ob ein Ranking gemacht werden sollte (ok, von mir aus, ich habe selber einige erstellt, für mein „Nischenfach“), sondern auch darum wie das hier in Frage gestellte Ranking methodisch erstellt wird.

      Dass sich mit Frau Göllner hier jemand für das Handelsblatt-Ranking und die Fokussierung auf die Publikationsleistung als angeblich wichtigstes und angeblich einzig objektiv messbares Kriterium versteift, die ihr Einkommen mit akademischem Ghost Writing (!!!) verdient, ist selbstredend bezeichnend und zeigt, in welche Richtung dies die Wissenschaftskultur treibt. Wer noch einen Aufsatz und ein paar Handelsblatt-Punkte braucht klicke oben auf ihren Link und kann sich die gewünschte Publikation dort bestellen! Viel Glück und gute Geschäfte!

      • Geraldine Göllner schreibt:

        Die Befürchtung, dass einem auf Publikationen begrenztem Ranking mehr Inhalt beigemessen wird, als dieses tatsächlich beansprucht, legitimiert sich nur bei einer sehr abstrakten Interpretation von Inhalten. Zwar wurde gerade wieder ein Beispiel abstrakter Textinterpretation anschaulich dargeboten, dennoch gehe ich davon aus, dass die breite Leserschaft des Handelsblatt in der Lage ist, etwas differenzierter zu lesen und nicht willkürlich zwischen den Zeilen zu raten.

  22. Promovierter_Volkswirt schreibt:

    Ich denke, dass renommierte Zeitschriften auch schwer daran interessiert sind die Qualitätsstandars zu halten bzw. zu durch Verbesserungen weiter zu stärken. Jedoch ist es auch so, dass man gerne auch mal „Name-dropping“ betreibt, um die Wichtigkeit seiner Studien anzudeuten. Das bedeutet, man zitiert aus den „besten Zeitschriften“ und die namhaftesten Autoren. Das bedeutet aber nicht, dass man beim Zitieren auf ähnliche Studien in „schlechteren Zeitschriften“ oder weniger namhafte Autoren verzichten muss. Leider ertappe ich mich dabei selbst auch viel zu häufig.
    Leider ist das auch ein Problem, denn so verfestigt sich das Ansehen einer Zeitschrift automatisch immer weiter und andere -aufstrebende oder (fast) ebenbürtige- Zeitschriften fristen ein Schattendasein. Ich hab mir noch keine Gedanken gemacht wie der gordische Knoten durchbrochen werden kann, so dass die Zeitschriften auch in einem „echten“ Wettbewerb um Qualität stehen, denn beim zitieren ist die Qualität des Beitrags erst das zweite Kriterium nach Autorenname und Ansehen der zitierten Zeitschrift.

  23. Doktorand schreibt:

    “ Personenrankings, die ausschließlich auf die Publikationsleistungen abstellen, blenden aus, dass es noch weitere Tätigkeiten gibt, die darüber entscheiden, wie gut ProfessorInnen ihrer Aufgabe insgesamt gerecht werden. Diese umfasst neben der Forschung u.a. Lehre, Betreuung von Studierenden, Mitwirkung in der Selbstverwaltung, Vermittlung von Forschungsergebnissen in die Praxis.“

    Darf ich mal laut lachen? Ich bin Doktorand an einer Uni, mein Vorgesetzter ist einer der oben genannten Unterzeichner. Das einzige, was hier für die Karriere als wichtig erachtet wird, IST die Forschung. Das oben genannte Argument ist in meinen Augen bloß ein Feigenblatt. Weder wird hier besonderers Engagement in die Lehre, in die Betreuung von Studierenden oder die Selbstverwaltung gesteckt (Studierende gelten hier als Störgröße, die bloß Zeit für wegnehmen, die sonst für die Forschung genutzt werden könnte) – noch wird das bei Berufungsverfahren berücksichtigt. Auch dort zählt nur, was der Kandidat in der Forschung geleistet hat. Und, ach, für diesen Zweck schaut man sich dann selbst Rankings der Journals an, um die Fachbeiträge in ihrer Güte zu beurteilen. Welch Bigotterie!

    Die von mir eingangs zitierte Aussage ist grundsätzlich richtig, allerdings wird sie missbraucht und ist bloß vorgeschoben.

  24. Seit unserem letzte Blog-Beitrag vom 31. August haben mittlerweile 309 Kolleginnen und Kollegen unseren Aufruf unterschrieben und 339 haben gegenüber dem Handelsblatt erklärt, daß sie nicht am Personen-Ranking teilnehmen wollen.

    Jenseits dieses – für uns selber überraschenden Erfolges – hat sich als weiterer, mindestens ebenso wichtiger Erfolg eine sehr lebendige Diskussion über den Sinn und Unsinn von Rankings entwickelt. Wir gehen in Folgenden wiederum auf einige der kritischen Blogbeiträge ein. Wir haben dazu im Anhang ein kurzes kommentiertes Verzeichnis von Literatur und Links erstellt, auf das wir im Text Bezug nehmen.

    1. Rankings als Anreizsysteme.

    Rankings werden in ihrer Wirkung als Anreizsysteme einerseits unterschätzt und andererseits überschätzt.

    a) Unterschätzt werden sie von “Nils” und “Titellos”. “Nils” hält den Druck von Rankings für eingebildet und “Titellos” meint, dass die Menschen, die sich mit unlauteren Mitteln einen Vorteil verschaffen, das auch ohne Rankings tun würden. Damit wird unlauteres Verhalten als seine Charaktereigenschaft angesehen, unabhängig von äußeren Anreizen. Charakter spielt sicher eine Rolle, aber sowohl die Psychologie wie die Ökonomie zeigen deutlich, dass Anreize wirken, wie stark und in welche Richtung ist allerdings schon weniger klar. Aber sie wirken, sei es unbewusst mit sog. selbstdienlichen Wahrnehmungsverzerrungen oder als “gaming the system“. In Bezug auf Publikations-Anreize wird das gezeigt in Bedeian et al. (2010); Frey und Osterloh (2012), Harmon (2006), Kieser (2010), Kieser (2012), Macdonald und Kam (2007).

    b) Teilweise überschätzt werden Rankings in ihrer positiven Wirkung als Anreizsysteme. Günther Gebhardt, “Junger Ökonom” und “IchWillAuch NochWasSagen” führen an, dass durch Rankings Anzahl der Publikationen, Orientierung an internationalen Standards, Qualität und Sichtbarkeit von Forschung zugenommen haben. Das ist zweifellos der Fall und wird auch von uns keineswegs bestritten. Es gilt aber in der Forschung wie überall das “Performance Paradox” bzw. das “Paradox der Leistungsmessung” (Osterloh 2010, Osterloh / Frey 2012). Das Paradox besagt, dass alle Leistungsindikatoren mit der Zeit die Fähigkeit verlieren, gute von schlechten Leistungen zu unterscheiden: Leistungsindikatoren rufen einerseits einen positiven Lerneffekt hervor. Sie machen deutlich, was als gute Leistung gilt. Jedoch treten andererseits auch perverse Lerneffekte auf, wenn sich die Leistungsindikatoren verselbständigen, z.B. durch „gaming the system“, wie unter a) und bei den dort genannten Autoren beschrieben. Dann schlägt die positive Wirkung ins Negative um. Beispiele sind zahlreich: AutorInnen ändern ihre Manuskripte, um ihren Gutachtern zu gefallen, obwohl sie überzeugt sind, dass diese Unrecht haben. Sie zitieren mögliche Gutachter, obwohl dies sachlich nicht gerechtfertigt ist. Sie schreiben bevorzugt Artikel, welche in den „mainstream“ passen oder gerade modische Themen behandeln. Sie unterschlagen Daten, welche ihren Hypothesen widersprechen. GutachterInnen verlangen, dass man ihre Arbeiten zitiert. Editoren erwarten, dass man Veröffentlichungen in ihrem Journal besonders häufig zitiert, um dessen Impact-Faktor zu erhöhen. Das Publikations- und Zitationsrad dreht sich immer schneller und die Glaubwürdigkeit der Wissenschaftsbetriebs leidet. Wann positive in perverse Lerneffekte umschlagen, können allerdings nur erfahrene „Insider“ feststellen, die selber am Forschungsprozess beteiligt sind. Das ist der Grund, warum Forschung nur von „innen“, d.h. von guten Forschenden beurteilt werden kann, und nicht von außerhalb durch ForschungsmanagerInnen, Journalisten oder ZeitungsleserInnen, die sich nur an Rankings orientieren (können), dazu Goodall (2009).

    Dieser Effekt spielt nicht nur in der Forschung, wie „Selbstreflektion“ kritisch anmerkt, eine Rolle. Deshalb sind wir gerade als Betriebwirtinnen und Betriebswirte verpflichtet, die Grenzen der Leistungsmessung durch Performance-Indikatoren auch außerhalb der Forschung, in Unternehmen und in der öffentlichen Verwaltung zu untersuchen.

    2. Ausstieg aus dem Ranking als Flucht vor dem Wettbewerb?

    Geraldine Göllner reagiert kritisch auf die Aussage von Guido Mollering, er halte Rankings für würdelos: Er würde die „Würde von Seilschaft und Bequemlichkeit“ vertreten. Dem ist entgegenzuhalten: WissenschaftlerInnen scheuen nicht den Wettbewerb. In der Tat gehören sie zu den Berufsgruppen, die ihr Leben lang einem harten Wettbewerb und dauernden Evaluationen ausgesetzt sind: Promotion, Habilitation, Bewerbung um Konferenzteilnahme, Bewerbung um Stellen, Einreichen von Publikationen mit mehrfachen Begutachtungsrunden, Bewerbung um Forschungsmittel – jedes Mal mit hohen Risiken des Scheiterns und hohen Opportunitätskosten. Entscheidend ist allerdings, dass diese Evaluationen im Unterschied zu Rankings immer kontextgebunden und der jeweiligen Begutachtungssituation angepasst sind, wie Guido Möllering schreibt. Damit wird der Tatsache Rechnung getragen, dass es eindeutige und objektive Urteile über die Qualität von Wissenschaft nicht gibt. Das zeigt einerseits die in Starbuck (2003) dargelegte geringe Verlässlichkeit von Peer-Urteilen und andererseits die geringe Brauchbarkeit von Zitationen als sog. „objektives“ Maß für Qualität, wie dies Coupe et al. (2009) und Johnston et al. (2012) darlegen. Deshalb muss in der Wissenschaft eine große Vielfalt von GutachterInnen, Gutachtergremien und Institutionen herrschen und jede Dominanz durch eindimensionale Bewertungssysteme wie Rankings vermieden werden. Rankings – insbesondere dominante Rankings, die auch noch mit dem Anspruch der „Objektivität“ auftreten wie das des Handelsblattes, verstärken Matthäus-Effekte („Wem hat, dem wird gegeben“) und konstruieren die soziale Realität, die sie zu messen vorgeben (Espeland/Sauder 2007, Heintz 2008, Tienari 201).

    3. Rankings konstruieren soziale Realität – aber wessen Realität?

    „Junger Oekonom“ schreibt, dass es doch schließlich die internationale Forschungsgemeinschaft sei, welche die soziale Realität schaffe und es im Übrigen unklar sei, welche konstruierte Realität die beste sei. Spaetz findet, dass man niemand daran hindern sollte, ein Ranking mit öffentlichen Daten zu erstellen, weshalb der Boykott eines solchen Rankings schwierig sei.

    Dem ist entgegenzuhalten, dass – mit wenigen Ausnahmen – Rankings gerade nicht von der Forschungsgemeinschaft erstellt werden, sondern von Erwerbsorganisationen wie dem Handelsblatt oder ThompsonReuters (ISI Web of Science). Diese machen die Rankings, promoten und vermarkten sie. Damit fabrizieren sie IHRE soziale Realität. Alternative Rankings, wie z.B. das von Harzing (2012), haben kaum Chancen, Dominanz zu erlangen. Die Forschungsgemeinschaft hat also gegenüber den Unternehmen mit ihrer geballten Finanz- und Marketingkraft das Nachsehen. Sie hat weniger Möglichkeiten, ihre Sicht der Dinge zu verbreiten (abgesehen davon, dass es in der Forschung – glücklicherweise – keine einheitliche Sicht der Dinge gibt). Deswegen ist der Boykott des Handelsblatt-Rankings wichtig und legitim, weil er offensichtlich ein weit verbreitetes Unbehagen gegen eine aufoktroyierte soziale Realität artikuliert.

    Allerdings trägt die Forschungsgemeinschaft auch zur Verbreitung der „Rankeritis“ bei, allerdings ungewollt: Hat sich einmal ein bestimmtes Ranking etabliert, entsteht ein path-dependence- und lock-in-Effekt, d.h. ein sich selbst verstärkender Effekt: Universitäten/Fakultäten sind „gut“, weil sie viele Ressourcen bekommen, weil sie Forschende berufen, die in „guten“ Journals veröffentlichen weil sie an „guten“ Unversitäten/Fakultäten beschäftigt sind, welche viele Ressourcen bekommen….. .

    4. Was ist so schlimm daran, dass Monographien durch Journal-Artikel ersetzt werden?

    Sean Patrick Saßmannshausen weist in seinem Beitrag darauf hin, dass er tatsächlich einen Trend weg Journalpublikationen empirisch festgestellt hat. Vielen Dank für diesen Hinweis. Er liefert auch gleich eine Reihe von Argumenten, warum das auch Nachteile hat: Wichtige Beiträge zur wissenschaftlichen Diskussion, wie umfangreiche Literaturaufarbeitungen, deskriptive Studien oder Replikationsstudien, werden in der Regel nicht in referierten Journals veröffentlicht, weshalb ein ranking-orientiertes System weniger Anreize dafür bietet. Andererseits soll nicht bestritten werden, dass Journalaufsätze und damit kumulative Dissertationen mehr und schnelleres feedback bringen, wie „Titellos“ schreibt. Aber sollte ein junger Forschender nicht wenigstens einmal im Leben (nachdem die Habilitation als Monographie fast abgeschafft ist) ein umfangreiches Problem am Stück bearbeiten, eingebettet in eine umfangreiche Literatur-Aufarbeitung nach dem Motto „Literaturkenntnis schützt vor Neuentdeckungen“? Im Unterschied zu früheren Zeiten besteht ja nicht mehr das Verbot, vor Abschluss der Dissertation Teile daraus zu veröffentlichen.

    Mit bestem Grüssen von den emeritierten, aber wissenschaftlich lebendigen Dinosauriern
    Alfred Kieser und Margit Osterloh

    Anlage:
    Ein kommentiertes Verzeichnis von Literatur und Links zur Kritik an Rankings

    Baum, Joel A. (2011): Free-riding on power laws: Questioning the validity of the Impact Factor as a measure of research quality in organization studies. In: Organization, Vol. 18 (2011), S. 449-466.
    Die schriftliche Fassung eines Vortrags, den Joel Baum bei der Verleihung des Distinguished Scholar Award der Organization and Management Theory Division of the Academy of Management auf dem AoM Meeting 2011 gehalten hat und der sich mit Impact Faktoren beschäftigt. Die gezeigten Folien sind zu sehen unter http://omtweb.org/announcements/omt-news/368-2011-distinguished-scholar-presentation . Impact Faktoren liegen auch dem Handelsblatt-BWL-Ranking zugrunde.
    Hier der Abstract dieses Papers: The simplicity and apparent objectivity of the Institute for Scientific Information’s Impact Factor has resulted in its widespread use to assess the quality of organization studies journals and by extension the impact of the articles they publish and the achievements of their authors. After describing how such uses of the Impact Factor can distort both researcher and editorial behavior to the detriment of the field, I show how extreme variability in article citedness permits the vast majority of articles—and journals themselves—to free-ride on a small number of highly-cited articles. I conclude that the Impact Factor has little credibility as a proxy for the quality of either organization studies journals or the articles they publish, resulting in attributions of journal or article quality that are incorrect as much or more than half the time. The clear implication is that we need to cease our reliance on such a non-scientific, quantitative characterization to evaluate the quality of our work.
    Und hier eine zentrale Schlussfolgerung Baums:
    „Typically, a measure found to be ill-conceived, unreliable, and invalid will fall into disrepute and disuse among the members of a scientific community. Remarkably, this has not been the case with the IF among organization theorists; indeed it is, if anything, gaining attention and being applied more frequently—and insidiously. Critically, its expanding use has the potential to distort researcher and editorial behavior in ways that are highly detrimental to the field. It is curious that we would choose to rely upon such a non-scientific method as the IF to evaluate the quality of our work. More curious is that we would do so as unquestioningly as we have. Why we have done so is not entirely clear. But that we need to stop is.” (S. 464)

    Bedeian, A. G./Taylor, S. G./Miller, A. N. (2010): Management science
    on the credibility bubble: Cardinal sins and various misdemeanors.
    In: Academy of Management Learning & Education, 9(4), 715–725.
    In diesem Aufsatz wird empirisch fundiert aufgezeigt, dass Rankings Fehlverhalten in der Wissenschaft wie das Frisieren von Daten, die Verwendung derselben Daten oder Ergebnisse in mehreren Aufsätzen und Selbstplagiate hervorruft.
    Abstract: This research-based essay presents survey results—collected from faculty in 104 PhD granting management departments of AACSB-accredited business schools in the United States—regarding 11 different types of questionable research conduct, including data fabrication, data falsification, plagiarism, inappropriately accepting or assigning authorship credit, and publishing the same data or results in two or more publications. Findings suggest that instances of research misconduct covering a broad array of behaviors are not unknown to survey respondents.

    Coupé, Tom /Ginsburgh, Victor / Noury, Abdul (2009): Are leading Papers of better quality? Evidence from a natural experiment. In: Oxford Economic Papers (2009), S. 1-11.
    Dieses Papier zeigt anhand von Zitationen, dass sogenannt “objektive Methoden” der Messung von Forschungsleistung alles andere als objektiv sind.
    Abstract: European countries in which universities rely on public funding increasingly follow the lead of the United Kingdom and run Research Assessment Exercises. Given the subjective nature of such evaluations, some scientists prefer verifiable measuressuch as citation counts. This, however, also is prone to problems since the number of cites is correlated, among others, with the order of appearance in an issue. In particular, leading papers are more cited. It is, thus, difficult to assess whether they are of better quality, or whether this happens because they appear first in an issue. We make use of a natural experiment that was carried out by a journal in which papers are randomly ordered in some issues, while this order is at the editors’ discretion in other issues. Our estimates suggest that approximately two thirds of the additional cites are due to going first, and one third to higher quality.

    Espeland, Wendy Nelson/Sauder, Michael (2007): Rankings and reactivity: How public measures recreate social worlds. In: American Journal of Sociology, Vol. 113 (2007), S. 1-40.
    Dieser Aufsatz zeigt sehr schön auf, auf welche Weise Rankings eine soziale Wirklichkeit konstruieren.
    Abstract: Recently, there has been a proliferation of measures responding to demands for accountability and transparency. Using the example of media rankings of law schools, this article argues that the methodological concept of reactivity—the idea that people change their behavior in reaction to being evaluated, observed, or measured—offers a useful lens for disclosing how these measures effect change. A framework is proposed for investigating the consequences, both intended and unintended, of public measures. The article first identifies two mechanisms, self-fulfilling prophecy and commensuration, that induce reactivity and then distinguishes patterns of effects produced by reactivity. This approach demonstrates how these increasingly fateful public measures change expectations and permeate institutions, suggesting why it is important for scholars to investigate the impact of these measures more systematically.

    Frey Bruno S. und Osterloh, Margit (2012) Rankings: Unbeabsichtigte Nebenwirkungen und Alternativen. In: Ökonomenstimme. 17 February 2012, http://www.oekonomenstimme.org/artikel/2012/02/rankings-unbeabsichtigte-nebenwirkungen-und-alternativen/
    Dieser kurze Artikel geht insbesondere auf die unbeabsichtigten Nebenwirkungen von Rankings auf die Forschenden ein und diskutiert radikale Alternativen der akademischen Steuerung: Input-Kontrolle und teilweise randomisierte Auswahl von Publikationen zur Veröffentlichung.

    Goodall, Amanda H. (2009). Highly cited leaders and the performance of research universities. Research Policy 38:1070-1092.
    Dieses Papier zeigt, dass gute Dekane/Rektoren/Präsidenten von Universitäten in der Regel auch gute Forscher sind. Daraus folgt, dass Universitäten nicht von reinen Managern geführt werden sollten, sondern von WissenschafterInnen, welche inhaltlich mit dem Fach bzw. mit wissenschaftlichem Arbeiten vertraut sind und deshalb nicht auf Rankings und deren unzulässig verkürzte Komplexität und Eindimensionalität zurückgreifen müssen.
    Abstract: There is a large literature on the productivity of universities. Little is known, however, about how different types of leader affect a university’s later performance. To address this, I blend quantitative and qualitative evidence. By constructing a new longitudinal dataset, I find that on average the research quality of a university improves some years after it appoints a president (vice chancellor)whois an accomplished scholar.To try to explainwhy scholar-leaders might improve the research performance of their institutions, I draw from interview data with 26 heads in universities in the United States and United Kingdom. The findings have policy implications for governments, universities, and a range of research and knowledge-intensive organizations.

    Harmon, Michael. M. (2006): Business research and Chinese patriotic poetry: How competition for status distorts the priority between research and teaching in US business schools. In: Academy of Management Learning & Education, Vol. 5 (2006), S.234–243.
    In diesem Aufsatz wird aufgezeigt, dass Rankings Innovationen in der Forschung und auch die Praxisorientierung reduzieren
    Abstract: Competition for status among U.S. business schools has obliterated any evident connection between research productivity and the furtherance of any praiseworthy social, practical, or intellectual values. Status competition virtually guarantees: (1) the absence of a demonstrable connection between the amount of research produced and the amount that is actually needed or usable; (2) the excessive uniformity and practical irrelevance of business research, owing to the subordination of substantive problems to methodological commitments; and (3) the subordination of teaching to research. The overproduction of research, while irrational on a collective level, is in fact the aggregated product of “rational” behaviors by individual schools and faculty members facing pressures to compete with one another. Three kinds of reforms are proposed: (1) to challenge, and even subject to ridicule, academic norms and language produced and sustained by status competition; (2) to consider an alternative, practice-oriented conception of scholarship to the dominant “research-centered” conception of mainstream business scholarship; and (3) to reduce, if not entirely eliminate, faculty rewards for maximizing research “productivity.”

    Harzing, Anne-Wil (2012). Journal Quality List.
    Anne-Wil Harzing hat ein alternatives Modell zu ISI und Jourqual entwickelt. Es hat einiges für sich, würde aber zu einem anderen Ranking als das Handelsblatt-Ranking führen. Es gibt also mehrere Alternativen, welche die soziale Wirklichkeit jeweils anders konstruieren würden. Hier der Link: http://www.harzing.com/jql.htm

    Heintz, Bettina. 2008. Governance by Numbers. Zum Zusammenhang von Quantifizierung und Globalisierung am Beispiel der Hochschulpolitik. In: Schuppert, G.F. & Voßkuhl, A. (Eds.), Governance von und durch Wissen. Nomos: 110-304.
    Der Aufsatz zeigt, dass die Quantifizierung von Forschungleistungen zu einer unzulässigen Vernichtung von Komplexität führt.

    Johnston, David W. / Piatti, Marco / Torgler, Benno (2012). Citation Success Over Time: Theory or Empirics. CREMA-Working Paper No. 2012 – 05
    http://www.crema-research.ch/papers/2012-05.pdf
    Das Papier zeigt anhand von Zitationen – wie das von Coupe et al. – dass sogenannt “objektive Methoden” der Messung von Forschungsleistung alles andere als objektiv sind: Empirische Arbeiten werden in 3 Top-Journals der Ökonomik, sehr viel häufiger zitiert als theoretische Papiere. Daraus den Schluss zu ziehen, dass emprische Arbeiten eine höhere Forschungsleistung darstellen als theoretische, ware sicherlich verfehlt.
    Abstract: This study investigates the citation patterns of theoretical and empirical papers over a period of almost 30 years, while also exploring the determinants of citation success. The results indicate that empirical papers attract more citation success than theoretical studies. However, the pattern over time is very similar with yearly mean citations peaking after around 4 years. Moreover, among empirical papers it appears that the cross-country studies are more successful than single country studies focusing on North America data or other regions.

    Kieser, Alfred (2010): Unternehmen Wissenschaft? In: Leviathan.Zeitschrift für Sozialwissenschaft, Vol. 38 (2010), S. 347-367.
    Dieser Aufsatz setzt sich kritisch mit Rankings und ihrem Einfluss auf die Ökonomisierung der Universität auseinander.
    Zusammenfassung: Der Aufsatz befasst sich mit den Auswirkungen der Ökonomisierung der Universität auf die Forschung, vor allem mit den Auswirkungen einer Quantifizierung von Forschungsleistungen und der Vorgabe von Anreizen zur ihrer Steigerung. Es wird gezeigt, dass Impact Factors, die zur Gewichtung von Zeitschriftenaufsätzen herangezogen werden, die wissenschaftliche Bedeutung von Zeitschriften nicht valide erfassen. Vor allem bewirken sie eine Änderung des Verhaltens der Wissenschaftler. Intrinsische Motivation wird zunehmend durch extrinsische verdrängt; Wissenschaftler sind nicht mehr bestrebt, neue wichtige Erkenntnisse zu gewinnen und die Entwicklung der Wissenschaft voranzutreiben, sondern sammeln Punkte, indem sie Bewährtes variieren. Zulagen für Forschungsleistungen verstärken die negativen Effekte einer bloßen Messung des Forschungsoutputs und darauf aufbauender Rankings. Der Aufsatz schließt
    mit einigen radikalen Vorschlägen zur Abwendung der negativen Auswirkungen der Ökonomisierung der Forschung.
    Kieser, Alfred (2012): JOURQUAL – der Gebrauch, nicht der Missbrauch, ist das Problem Oder: Warum Wirtschaftsinformatik die beste deutschsprachige betriebswirtschaftliche Zeitschrift ist. In: Die Betriebswirtschaft, Vol. 72 (2012), S. 93-110.
    Dieser Aufsatz beschäftigt sich in kritischer Absicht mit JOURQUAL, dem offiziellen Ranking des Verbands der Hochschullehrer für Betriebswirtschaft (VHB).
    Zusammenfassung: In diesem Aufsatz wird die Validität von JOURQUAL analysiert, dem »offiziellen« Zeitschriftenranking des Verbands der Hochschullehrer für Betriebswirtschaft (VHB), das auf Befragungen der Mitglieder eben dieses Verbands basiert. Es werden grundlegende Annahmen, auf denen JOURQUAL basiert, infrage gestellt. Da die grundlegenden Annahmen, auf denen dieses Ranking basiert, nicht zutreffen, ist JOURQUAL als wissenschaftlich inakzeptables Maß der Qualität von Zeitschriften einzustufen. Es wird weiter gezeigt, dass wissenschaftlich nicht zu rechtfertigende Rankings das Verhalten von wissenschaftlern in einer weise beeinflussen, die der Entwicklung der Wissenschaft abträglich ist.

    Macdonald, Stuart / Kam, Jacqueline (2007): Ring a ring o‘ roses: Quality journals and gamesmanship in management studies. In: Journal of Management Studies, Vol. 44 (2007), S. 640-655.
    Dieser Aufsatz setzt sich kritisch, aber auch humorvoll mit den Auswirkungen von Rankings auseinander.
    Abstract: A paper in one of the quality journals of Management Studies is much more important as a unit of measurement than as a contribution to knowledge. It measures academic performance and determines much academic funding. There is consequently some pressure to publish in quality journals. But quality journals are defined in terms that are themselves defined in terms of quality journals – a circularity that explains both the paper’s title and the frustration of those who do not mix in these circles. We examine the gamesmanship of publishing in quality journals. Findings from a survey of heads of Management Studies departments in UK universities suggest that such gamesmanship is common. Cunning and calculation now support scholarship in Management Studies. Gamesmanship will remain common until the rewards for publishing attach to the content of papers, to what is published rather than where it is published. We propose a ‘Tinkerbell Solution’: without belief in the value of a paper in a quality journal, the game is no longer worth playing.

    Osterloh, Margit (2010) Governance by Numbers. Does It really Work in Research?. In: Analyse und Kritik 02/2010, s. 267-283
    Dieses Papier wendet betriebswirtschaftliche Erkenntnisse zur Leistungsmessung auf die Forschung an und zeigt daran anknüpfend auf, warum Rankings und andere output-orientierte Indikatoren in der Forschung fehl am Platze sind. Es diskutiert Alternativen, insbesondere eine input-orientierte Evaluation von Forschenden.
    Abstract: Performance evaluation in research is more and more based on numbers of publications, citations, and impact factors. In the wake of New Public Management output control has been introduced into research governance without taking into account the conditions necessary for this kind of control to work efficiently. It is argued that to evaluate research by output control is counterproductive. It induces to substitute the “taste for science” by a “taste for publication”. Instead, input control by careful selection and socialization serves as an alternative.

    Osterloh, Margit und Frey, Bruno S. Rankings sind wissenschaftsfeindlich. In: Frankfurter Allgemeine Zeitung (FAZ). 25. Juni 2012, Nr. 145 / 26 D1, S.12.
    In diesem Zeitungsartikel wird das betriebswirtschaftliche “Paradox der Leistungsmessung” auf die Forschung angewendet: Outputorientierte Kennzahlen (z.B. in Form von Rankings) haben einerseits eine leistungsteigernde Wirkung. Andererseits wird die Leistung kontraproduktiv nur noch auf die Indikatoren gerichtet, nicht auf (sich möglicherweise wandelnde) inhaltliche Leistungsziele. Wann das eine oder das andere zutrifft, ist schwer zu beurteilen, vor allem von Aussenstehenden der Forschung, z.B. Journalisten oder Forschungsmanagern.

    Tienari, Janne (2012): Academia as financial markets? Metaphoric reflections and possible responses. In: Scandinavian Journal of Management, Vol. 28 (2012), S. 250-256.
    Dieser Aufsatz zeigt metaphorisch Parallelen zwischen dem Kapitalmarkt und dem Markt für Publikationen auf.
    Summary: I argue that publishing in the global academia has come to resemble the operations of financial markets. Academics-cum-investors target a set of ‘top’ journals in a system that is portrayed as self-evident. I suggest that the financial markets metaphor enables us to explicate the self-fulfilling prophecies that constitute the academic system, to understand the role of journals, to confront (re)constructions of self-evidence, and to develop meaningful responses in relating to the system. I offer five responses for further discussion.

    Starbuck, William H. (2003). Turning Lemons Into Lemonade. Where ist the Value in Peer Reviews? In: Journal of Managemennt Inquiry, Vol, 12 (2003), S. 344-351.
    http://jmi.sagepub.com/content/12/4/344.full.pdf+html
    Der Aufsatz zeigt u.a. anhand umfangreicher Empirie auf, wie unzuverlässig die Begutachtung der Qualität wissenschaftlicher Arbeiten durch akademische Peers ist. Dies ist jedoch – bei aller Fehlbarkeit – Ausdruck der unverzichtbaren kontroversen Auseinandersetzung in der Scientific Community.
    Abstract: Authors need to view reviewers’ comments not as judgments about the value of their work, but as good data about potential readers of their articles. The editorial review process does have deficiencies, the most serious being that reviewers should decide what articles warrant publication. “Peer review” should mean that reviewers and authors are indeed peers. However, editors typically act as if reviewers have more competence and more valid opinions than authors, and as if they themselves have the wisdom and knowledge to impose constraints on manuscripts. Empirical evidence indicates that editorial decisions incorporate bias and randomness. However, authors need to persuade potential readers to read their articles and that authors’ ideas and theories are plausible and useful. Authors must adapt their manuscripts to readers’ perceptual frameworks. Nevertheless, authors should remember that editors and reviewers are not superior and that the ultimate decisions about what is right must come from inside themselves.

  25. Martin Müller schreibt:

    Einige Unterzeichner des Aufrufs kenne ich und als ich deren Namen auf dieser Liste gelesen habe musste ich schmunzeln. Da sind Leute dabei, die haben noch nie in ihrem Leben einen Artikel in einer englischsprachigen Fachzeitschrift veröffentlicht. Jetzt warnt man die Öffentlichkeit und das Fach vor den Gefahren einer Rangliste.

    Bei einer Person ist mir sogar bekannt, dass sie in einem Berufungsverfahren aufgrund von massiver Protektion erfolgreich war. Besser qualifizierte und deutlich forschungsorientierte Konkurrenten wurden wegdiskutiert. Jetzt erdreistet sich die Betreffende hier einen Aufruf gegen die Messung von Forschungsleistung zu unterschreiben. Wie glaubwürdig ist dies?

  26. J. H. schreibt:

    Sehr geehrter Herr Professor Kieser,
    sehr geehrte Frau Professorin Osterloh,

    ich finde es gut, dass Sie für das Stellung beziehen, woran Sie glauben.

    Ich würde mich freuen, wenn Sie die Leistungsbewertung Ihrer Studenten über die typischen BWL-Klausuren einmal unter den gleichen Kriterien betrachten:

    1. Sie sind eindimensional: 300 Folien auswendig zu lernen und in der Klausur mit hier und da ein bisschen Transferdenken wiederzugeben, blendet aus, dass es noch zahlreiche weitere Faktoren gibt, die darüber entscheiden, ob man ein guter Student/Betriebswirt ist oder nicht.

    2. Sie haben methodische Mängel: aus der Benotung kann nicht auf die Qualität des Stoffs geschlossen werden, den ein Student gelernt hat. Unterschiedliche Professoren haben sehr unterschiedliche Qualitätsstandards in ihren Vorlesungen. In Vorstellungsgesprächen haben Personaler keine Chance, dies zu berücksichtigen.

    3. Sie sind nicht neutral: wer eine 1 in einem bestimmten Fach geschrieben hat, ist darin nicht notwendigerweise besser als in einem Fach, in dem er eine 2 geschrieben hat. Durch die Notenauszüge und Abschlusszeugnisse wird jedoch Vergleichbarkeit unterstellt.

    4./5. Sie setzen falsche Anreize: Studenten tun nur noch das Nötigste, um diese Klausuren zu meistern. Sprich: sie lernen Folien, Rechen- und Lösungswege schlicht auswendig. Die weitergehende Beschäftigung mit dem Inhalt z.B. über ein eigenes Literaturstudium, Fallstudien etc. bleibt aus. Drei Wochen nach der Klausur ist die Hälfte des Stoffs bereits wieder vergessen, ein Jahr später ist nichts mehr übrig.

    Nur der Ergänzung halber sei hinzugefügt, dass meine Charakterisierung von BWL-Klausuren gerade auch auf die Klausuren an einem von Ihren Lehrstühlen zutrifft.

    Mich würde interessieren, was Ihre konkreten Schritte sein werden, um die genannten Schwächen der Leistungsbewertung von Studenten entgegenzutreten. Ich bin mir sicher, dass Sie diese Unzulänglichkeiten nicht länger tolerieren wollen – ganz analog zu Ihrem Engagement bezüglich der Leistungsbewertung von Professoren.

  27. Als jemand, der im nächsten Jahr aus dem aktiven Universitätsdienst ausscheidet, liegt mir daran zu erläutern, weshalb ich mich trotz erheblicher „Bauchschmerzen“ hinsichtlich der Aussagefähigkeit von derartigen Rankings entschlossen habe drin zu bleiben.

    Einerseits sind die meisten Argumente von Kieser & Osterloh einleuchtend sowie auch international vielfältig belegt und erörtert. Und es steht außer Frage, dass die Konzentration auf das zeitschriftenbezogene Punktezählen (neben einigen förderlichen, z.B. Verbesserung der internationalen Anschlussfähigkeit der Forschung, mehr Transparenz und positiver Wettbewerb) v.a. viele negative Haupt- bzw. Nebenwirkungen hat (z.B. Verengung auf eine Art von Publikationskanal, Förderung von „more of the same“, also allenfalls inkrementelle wissenschaftliche Verbesserungen, Ausschluss wichtiger, für bestimmte BWL-Forschungen relevanter Zeitschriften in Nachbargebieten wie Energie, Gesundheit, Sport, Philosophie, Psychologie, Soziologie) – ganz abgesehen von all den methodischen Defiziten der diversen Rankings und Impact-Messungen.

    Andererseits hat sich die VHB-Community – zuletzt bekräftigt bei der Jahrestagung in Bozen – mit dem (leicht modifizierten) Jourqual erneut identifiziert und hält dieses v.a. unserem Nachwuchs als Messlatte vor. Zudem sind Promotionen, Habilitationen und Berufungen auch bei uns zunehmend auf den Zeitschriftenoutput und damit direkt oder indirekt an Rankings ausgerichtet (in den meisten mir bekannten Fakultäten werden heute die Zeitschriftenpublikationen der eingehenden Bewerbungen nach A, B, C geordnet, um auf der Grundlage die Vorsortierung der Kandidaten relativ schematisch vorzunehmen; ähnliches gilt für Zielvereinbarungen bei Habilitationen und Juniorprofessuren, die heute in der Regel eher einer schematischen Scorecard als einer inhaltlichen Bewertung gleichen). In Ausbildungsprogrammen und Tagungen werden Kurse für das „richtige“ Erstellen von Zeitschriftenbeiträgen angeboten und empfohlen (teils im Pflichtprogramm).

    Ich empfinde es vor diesem Hintergrund als widersprüchlich, wenn wir Arrivierten uns dieser HB-„Messung“ – wie immer problematisch sie ist, das sehe und kritisiere ich sehr deutlich – entziehen, während wir zugleich mehr oder weniger direkt und offiziell unserem Nachwuchs nahelegen (müssen), sich genau entlang dieser Linie zu bewegen. Da entsteht eine Art „double-bind“, der für unsere interne Kultur nicht gut ist. Wir können nicht „oben“ „Pfui“ und „unten“ „Hui“ sagen. Das ist inkonsistent und schwer zu vermitteln. Und die Begrenzung dieser double-bind Situation unseres Nachwuchses – einerseits der Zwang sich gemäß formalen zeitschriften- und rankingorientierten Kriterien zu qualifizieren, andererseits sich den Hohn und Spott vieler älterer, arrivierter Kollegen, die über ihre Karriere (mit)entscheiden, zu eben diesen Rankings anhören zu müssen – ist für mich das entscheidende Argument dafür, in dem heute erschienenen Ranking zu verbleiben, also nicht zurückgezogen zu haben.

    Wichtiger und viel dringlicher als der Boykott des HB-Rankings erscheint es mir, in den Fakultäten die Maßstäbe für wissenschaftliche Qualifikation und Berufung gründlich zu überdenken sowie neu zu verankern und sich dabei auch möglichst mit anderen wichtigen Fakultäten abzustimmen. Nur auf diese Weise können wir von der zunehmend inhaltlosen und sinnentleerten Quantifizierung auf Journalbasis wegkommen. Das wird keinesfalls schnell gehen und ist keinesfalls einfach (freilich gibt es bereits wertvolle Vorschläge), aber wenn wir das nicht angehen, wird der erwähnte double-bind nur noch schlimmer. Hierfür sollten wir unsere knappen Energien einsetzen. Wenn die Debatte um das HB-Ranking den Weg dahin geöffnet haben sollte, dann war sie nicht nutzlos. Hoffentlich kommt eine Neubesinnung der Bewertung wissenschaftlicher Leistung in Gang, die wieder mehr Innovation und guten Nonkonformismus fördert!

    Arnold Picot

  28. Rigor vs Relevance schreibt:

    Mich würde der Kommentar der Ranking-Ersteller zu dem Faktum interessieren, dass
    die Korrelation zwischen Journal-Qualität, gemessen als Rankingposition der Zeitschrift, und Bekanntheitsgrad, Lesehäufigkeit sowie subjektiv wahrgenommenem Nutzen bei Praktikern deutlich im negativen Bereich rangiert (vgl. z.B. Oesterle, M.-J. 2006: Wahrnehmung betriebswirtschaftlicher Fachzeitschriften durch Praktiker, in: DBW, 66(3), 307–324. Gut, dbw ist ja auch nur ein C-Journal, und der Beitrag wurde in deutscher Sprache publiziert, damit natürlich international keineswegs anschlussfähig😉, aber vielleicht mag man sich ja ausnahmsweise die Arbeit machen sich mit dem Befund auseinanderzusetzen).
    Es scheint nicht nur in D, sondern auch in den USA so zu sein, dass sich BWL-Praktiker herzlich wenig um das kümmern, was in den sogenannten TOP-Journals publiziert wird. Mich stört das, zumal ich gut nachvollziehen kann, dass kein Praktiker die Zeit für die Lektüre eines Artikels verschwenden mag, der mit komplexem methodischem Instrumentarium nachweist, dass es nachts meist dunkler ist als tagsüber. Genau das passiert in den TOP-Journals aber häufig, „state the obvious“ ist eine ziemlich erfolgreiche Publikationsstrategie für diese Outlets. Kann es sein, dass die Rahmenbedingungen in der BWL-Forschung vielleicht anders aussehen (müssen) als z.B. in der medizinischen Forschung? Ich will nicht in Abrede stellen, dass man erstklassiges „Handwerkszeug“ braucht um in den in der BWL-Community höchst angesehenen Outlets zu publizieren. Aber wenn die dort diskutierten Forschungsfragen (anders als in der Medizin und in den Naturwissenschaften) von den Leuten nicht rezipiert werden, die die Erkenntnisobjekte zu steuern haben: Worin besteht dann die gesellschaftliche oder politische Legitimation genau dort vermehrte Aktivität einzufordern, wo anscheinend eine Gruppe von Leuten im Wesentlichen für sich selbst (und die Verbesserung von persönlichen Rankingpositionen) schreibt?

    Bin dankbar für jeden sachdienlichen Hinweis.

  29. Pingback: Anmerkungen zum Handelsblatt-Ranking BWL 2012 | Wirtschaftsphilosoph

  30. K schreibt:

    Liebe Kollegen(innen),

    zunächst einmal meine Gratulation zu diesem (mutigen) Schritt. Die Eindimensionalität von Rankings wurde bereits einmal im Bunsen-Magazin (Publikation der Bunsengesellschaft für Physikalische Chemie) hinreichend sarkastisch durch eine Karrikatur „gewürdigt“ und im Bereich der Physik mehr als kritisch diskutiert. Es ist schön zu sehen, dass in vielen Fachdisziplinen Professoren sich gegen diese Komplexitätsreduktion auf zu primitive Indikatoren wehren.

    Soviel zum Thema „das ist gut“. Nun zum Thema Selbstreflexion. Leider müssen wir aber auch feststellen, dass die Ideologie der „quantitativen Leistungsindikatoren“ als „moderne Management-Methode“ gerade durch BWL-Professoren vorangetrieben wurde. Aus eigener Erfahrung sei gesagt: das funktioniert schon in der freien Wirtschaft nicht, geschweige denn in einem System, in dem Markmechanismen weder komplett existieren noch sinnvoll sind (sprich: Universitäten und andere Forschungseinrichtung). Insofern sollten zwischen 0% bis 100% der Unterzeichner sich fragen, ob sie diese fragwüdige Ideologie nicht (außerhalb der Universität) selber propagiert haben. Und dann entsprechend konsequent auch in ihren zukünftigen Publikationen davon ablassen.

  31. Steffen Jahn schreibt:

    Sehr geehrte Frau Prof. Osterloh, sehr geehrter Herr Prof. Kieser,

    ich möchte mich zunächst bei Ihnen bedanken für die dringend benötigten Denkanstöße, u.a. bzw. insbesondere bei mir selbst. Ich teile einige Ihrer Kritikpunkte, halte jedoch dennoch Zeitschriftenrankings (und bis zu einem gewissen Grad daraus resultierende Forscherrankings) für legitim. Dazu haben andere bereits gute Argumente geliefert, denen ich mich anschließe.

    Als jemand, der nicht das „game gamed“, jemand, der eine Monografie geschrieben und Sammelbandbeiträge veröffentlicht hat, halte ich Zeitschriftenrankings dennoch für bedeutsame Orientierungspunkte in einer zunehmend unübersichtlich werdenden Wissenschaftswelt. In diesem Zusammenhang haben mich insbesondere 2 Bemerkungen irritiert (da sie konträr zu meiner Wahrnehmung sind), die merkwürdigerweise bislang nicht aufgegriffen wurden. Daher möchte ich Stellung beziehen (durchaus als Anlass für Diskurs, da ich mich auch irren mag):

    1. Sie erwecken den Eindruck, Zeitschriftenrankings seien wenig brauchbar, da Veröffentlichungen in „high impact journals“ gar keinen größeren „Impact“ haben (müssen) als solche aus „unterklassigen“ Zeitschriften (Beitrag vom 31.8., 11:02 Uhr, Punkt 2a). Es mag an der Methode liegen, aber auch an den Untersuchungszeiträumen – mein Eindruck weicht von der vorgebrachten Argumentation ab. Gewiss, die „großen“ Zeitschriften leben von den wenigen Ausreißern, die ihrerseits von sich selbst verstärkenden Effekten profitieren. Wenn wir aber „Impact“ auf eine andere Weise konzeptualisieren (nämlich, mindestens eine andere Arbeit „beeinflusst“ zu haben) und entsprechend operationalisieren (mind. 1 Mal im SSCI zitiert), ergibt sich ein deutliches, abweichendes Bild. Eine schnelle Recherche von 10 Minuten ergab die folgenden prozentualen Anteile noch unzitierter Aufsätze in ausgewählten Journals:

    Organization Studies
    Artikel, die zwischen 2008 und 2010 erschienen sind[1]: 29,8% unzitiert (75/252)
    Der Anteil verringert sich erwartungsgemäß, je weiter die Veröffentlichungen zurückliegen:
    2006-2010: 24,1% (112/464)
    2004-2010: 22,2% (143/645)

    Zum Vergleich das Academy of Management Journal (Kieser/Osterloh benannten explizit Organization Studies und „Zeitschriften mit wesentlich höhen IF“):
    2008-2010: 3,6% (7/195)
    2006-2010: 3,6% (13/365)
    2004-2010: 3,2% (16/507)

    Ein vergleichbares Muster ergibt sich für zwei Zeitschriften meines Fachbereichs, dem European Journal of Marketing (2008-2010: 33,7%, 2006-2010: 25,8%) vs. Journal of Consumer Research (2008-2010: 5,1%, 2006-2010: 3,6%). Ich möchte keine Debatte über Zahlenklauberei lostreten, aber diese Ergebnisse zeigen m.E. deutlich, dass bei einer Veröffentlichung in Organization Studies oder dem European Journal of Marketing (beide mit vergleichsweise geringerem IF, obschon der von OS bereits recht hoch ist) eher mit „Nichtzitation“ innerhalb des SSCI zu rechnen ist als bei Veröffentlichungen im AMJ oder JCR. Übrigens: die Anzahl der Selbstzitationen ist in OS 4,5 mal so hoch wie im AMJ (9% vs. 2%) – Selbstzitationen taugen womöglich nicht allein zur Erklärung des Unterschieds im Anteil unzitierter Arbeiten. Vor diesem Hintergrund helfen mir Rankings, mein Paper X lieber beim AMJ/JCR einzureichen als OS/EMJ.

    Der Befund bedeutet außerdem, dass ich bei Person A, die in AMJ/JCR veröffentlicht hat, eher davon ausgehen kann, dass der dortige Beitrag mindestens 1 Mal zitiert wurde, als bei Person B, die in OS/EJM publiziert hat. Das macht Person A nicht zu einem besseren Menschen, erleichtert bei Konstanz aller anderen Eigenschaften aber den Vergleich mit Person B.

    2. Es wird kritisiert, dass ein zu starker Fokus auf Zeitschriftenpublikationen den wissenschaftlichen Fortschritt hemme, da dort nur „the obvious“ und „more of the same“ publiziert würde. Meine Erfahrung als Leser deutscher Monografien und von Zeitschriftenaufsätzen, als Autor abgelehnter und akzeptierter Beiträge sowie als Gutachter in mehr und in minder hoch gerankten Zeitschriften ist aber die, dass gerade der wissenschaftliche Beitrag – die „Contribution“ – das Kriterium ist, das ziemlich gut verschiedene Publikationsformen zu diskriminieren vermag. Tatsächlich lehnen Gutachter in hochklassigen Zeitschriften Manuskripte vor allem aufgrund der fehlenden/zu geringen „Contribution“ ab. Und aus den von Ihnen zur Verfügung gestellten Anhängen und Materialien (ich erinnere leider nicht mehr die genaue Quelle, ich bitte um Entschuldigung) wissen wir, dass die Gutachtermeinung im Reviewprozess bei Ablehnungen dann doch gar nicht mehr so heterogen ist. Und wenn wir ehrlich sind, strotzen viele der deutschen Dissertationen nicht gerade vor Ideen, die einem Quantensprung gleichen. Insgesamt ist mein Eindruck, mit Verlaub, dass Sie den wissenschaftlichen Wert von Zeitschriftenaufsätzen etwas unter- und den von Monografien überschätzen. Dass es auf beiden Seiten Abweichler oder Ausreißer gibt, ändert am Muster nicht so viel.

    Davon abgesehen, ist die BWL in Deutschland mittlerweile „groß“ genug, sie braucht daher weniger die „Wissensaufbau-Werke“ im großen Stil. Zahlreiche Unterzeichner des offenen Briefs haben sich ja gerade um den Aufbau bzw. den wissenschaftlichen und intellektuellen Anstieg im Feld verdient gemacht. Da das Feld aber ganz gut bestellt ist, braucht es weniger dieser Leistungen (man wird mir hier vermutlich heftig widersprechen). Nun geht es um die Details, es werden verstärkt die Grenzen der großen, vereinheitlichenden Theorien aufgezeigt – dies ist Spezialistenarbeit. Aufgrund der thematischen Verschiebung des Forschungsfelds ändern sich m.E. auch die geeigneten Publikationswege. Daher macht es auch keinen Sinn, die „Dinos“ als „Verlierer“ anzusehen oder darzustellen, da sich der Publikationsoutput ebensowenig vergleichen lässt wie der zwischen Marketing und Finanzen.

    Abschließend möchte ich noch auf die Aussage, Leistungsmessung könne positive Initialeffekte haben, die bei Verstetigung aber kontraproduktiv sind, eingehen. Gleichwohl das Argument einleuchtend und berechtigt ist, befinden wir uns nicht in einem undurchschaubaren Markt. Wenn offensichtlich manipuliert wird, bleibt dies der Community nicht verborgen. Ich persönlich halte es für machbar, dass die Community dann entsprechend reagiert. Sie sind ja das beste Beispiel, dass immer wieder wertvolle Prozesse eingeläutet werden, die zu Umdenken und anpassung führen. Auch die Änderungn von JOURQUAL belegt dies. Wenn also die positiven Effekte (sichtbar gestiegene Präsenz deutscher BWLer in der internationalen Forschung, über Teildisziplinen hinweg) in negative umschlagen, kann das (zugegeben träge) System dennoch reagieren.

    Meine 2 Cents sind ganz schön lang geworden, dafür bitte ich um Verzeihung.

    Herzliche Grüße,
    Steffen Jahn

    [1] Ich habe nur Zeitschriften berücksichtigt, die hinreichend „alt“ sind, um tatsächlich zitiert zu werden. Jüngere Arbeiten würden das Ungleichgewicht verstärken, da „high impact journals“ typischerweise einen höheren Immediacy-Index aufweisen. Wird der Zeitraum auf 2007-2009 verschoben, sind bei OS noch immer 22,6% unzitiert, während es beim AMJ 0,5% (1 Artikel) sind.

  32. Pingback: Wissenschaft muss sich „ranken“ lassen – ob sie das will oder nicht! Universitätsbibliothek der HSU : Blog

  33. Kommentar zu Werner Tannhof: Wissenschaft muss sich „ranken“ lassen – ob sie das will oder nicht.

    Hier wird zum wiederholten Male das Argument gebracht: Die Welt ist gut so, wie sie ist (bzw. so wie sie bei oberflächlicher Betrachtung erscheint) und wir müssen das hinnehmen. Wenn dem so wäre, müssten wir nicht nur als politisch verantwortliche Menschen, sondern auch als WissenschaftlerInnen einpacken. Ist die Behauptung, dass in der modernen Gesellschaft Leistungsvergleiche nicht mehr wegzudenken seien (was unter Angabe der jeweiligen Leistungskriterien zu belegen wäre und unter Einbezug der zahlreichen Bereiche, in denen Marktversagen herrscht), eine Begründung dafür, dass das sinnvollerweise auch für HochschullehrerInnen so sein muss?

    Merkwürdig, dass Werner Tannhof hierzu Stefan Kühl zitiert, der ja in seinem Artikel darlegt, wie die Logik des Zählens von Drittmitteln zu einer Zweck-Mittel-Verdrehung führt. Die Summe der eingeworbenen Drittmittel wird zur Definition „guter Forschung“ missbraucht und zum Selbstzweck gemacht. Drittmittel werden damit nicht mehr als sinnvolles Mittel angesehen, um bei Geldmangel gute Forschung zu betreiben. Ich habe mich unter dem Stichwort „Paradox der Leistungsmessung“ dazu an mehreren Stellen geäussert.

    Die Behauptung, dass die deutschen Hochschulen mit der Ablehnung von Rankings im internationalen Wettbewerb nicht bestehen könnten, ist ungefähr so sinnvoll wie die Behauptung, dass die Ratings der grossen Rating-Agenturen zur dauerhaften internationalen Wettbewerbsfähigkeit von Lehman Brothers und AIG beigetragen hätten.

  34. Micha schreibt:

    Ich bin erstaunt, dass nach so langer Zeit die Diskussion hier immer noch nicht verebt ist. Die Rankings scheinen einigen Leuten wirklich Schmerzen zu bereiten.

  35. Pingback: Sollte man das Handelsblattranking boykottieren? | Spaetzblog

  36. Pingback: Studieninformationsportal der Deutschen Gesellschaft für Soziologie gestartet Universitätsbibliothek der HSU : Blog HSU-BlogHSU-Blog

Schreibe einen Kommentar

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden / Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden / Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden / Ändern )

Google+ Foto

Du kommentierst mit Deinem Google+-Konto. Abmelden / Ändern )

Verbinde mit %s