Empirische Studien in der Informatik

Am 24.6.2011 schrieb Walter Tichy aus Karlsruhe:

dieses Interview mit Dag Sjoberg wird Sie wahrscheinlich interessieren. Dag führt Untersuchungen mit Hunderten professionellen Software-Entwicklern durch:

http://ubiquity.acm.org/article.cfm?id=1998374

In der Tat spricht hier ein Verwandter im Geiste. Ich habe die Arbeiten der norwegischen Gruppe um Dyba, Sjoberg et al. schon länger verfolgt. Sie vertreten genau die Strategie, die im Endres/Rombach-Buch von 2003 propagiert wird. Selbst ihre Terminologie deckt sich exakt mit den von uns in der Einleitung definierten Begriffen. Sehr gut an dem Interview finde ich, dass Sjoberg immer wieder Analogien zu andern Fachgebieten heranzieht. Ich tue dies auch gerne, nur passen nicht immer alle Analogien gleich gut.

Nun zu den Kernaussagen des Interviews. Wenn dabei Sjobergs Aussagen in der Paraphrase etwas überspitzt herüber kommen, so ist dies Absicht.

Wissenschaft ohne empirische Daten ist keine Wissenschaft. Dabei müssen die Daten von den tatsächlichen Nutzern einer Methode oder eines Werkzeugs kommen. Sjoberg verweist auf die Pharmaindustrie, wo der Feldtest für genauso wichtig angesehen wird wie die Entwicklung von neuen Produkten. Dort darf man neue Medikamente nicht an beliebigen Personen testen, sondern nur an solchen mit bestimmten Krankheitssymptomen.
Experimente mit Studenten haben nur eine geringe Überzeugungskraft. Man kann Medikamente zwar an Mäusen vortesten, letztendlich muss man sie an Menschen testen. Wird ein neues Auto von einem Fahrschüler (sprich Studenten) oder einem Fachjournalisten (sprich Akademiker) getestet, ist das etwas anders, als wenn ein Taxi- oder Formel-1-Fahrer (sprich Praktiker) dies tut.
Empirische Studien können und dürfen Geld kosten. Auch das weiß die Pharmaindustrie schon lange.
Theorie ist enorm wichtig. Gemeint ist die Art von Theorie, die Beobachtungen erklärt. Hier erinnere ich an den schönen Spruch von Henri Poincaré, den ich neulich im Unzicker-Buch fand: „Die Wissenschaft ist aus Fakten gebaut, wie ein Haus aus Steinen. Eine Ansammlung von Fakten ist so wenig Wissenschaft wie ein Haufen Steine ein Haus ist.“ Ohne Theorie lassen sich Beobachtungen nicht vernünftig planen, einordnen und die Ergebnisse einprägen. Unser Wissen besteht primär aus Theorien (manchmal auch nur aus nicht widerlegten Hypothesen).
Die Theorien, die die Informatik benötigt, kommen zum geringsten Teil aus der Mathematik, da die Mathematik nicht die Natur erklärt (d.h. sagt, warum etwas geschieht), sondern sie bestenfalls beschreibt. Um über Theorien reden zu können, sollten wir ihnen einprägsame Namen geben.
Kollegen, die empirisch gewonnene Erkenntnisse ablehnen, wenn immer es Gegenbeispiele gibt, denken zu mathematisch. Für die Widerlegung der Fermatschen Vermutung reicht dies, nicht aber in den Disziplinen, die es mit dem Leben zu tun haben (wozu man die Informatik rechnen sollte). Wirkt ein Medikament in 80% der Fälle, ist dies sehr gut. Für die andern 20% versucht man halt etwas anderes. Genauso falsch ist es anzunehmen, dass man alle essentiellen Fragen unseres Feldes allein durch Draufschauen (sprich Messen) lösen kann (wie Bertrand Meyer dies wohl erhofft hatte). Etwas nachdenken muss man auch noch. Ganz ohne Beobachten landet man aber unter Umständen in Wolkenkuckucksheim.

Das Interview ist wirklich ein Genuss. Komplement auch an den Interviewer!