Experimente und Verhaltenswissenschaften
Wie passt das zusammen?
Autorinnen: Anna Walter und Teresa Hübel
Wer an Experimente denkt, hat schnell das Bild von genialen WissenschaftlerInnen im Kopf, die in weißen Kitteln bunte Substanzen mischen. Doch Experimente können in einer Vielzahl von Bereichen eingesetzt werden und finden nicht nur im Chemielabor statt!
Was ist ein Experiment überhaupt?
Ein Experiment ist eine wissenschaftliche Methode zur Datenerhebung, um eine Fragestellung zu beantworten. Es zeichnet sich durch drei Aspekte aus, die im Folgenden erklärt werden. Wir verwenden dafür ein frei erfundenes Beispiel.
Welche Option ist besser?
Nehmen wir an, eine Nichtregierungsorganisation (NGO) möchte mehr Spenden auf ihrer Website sammeln. Derzeit tragen SpenderInnen ihren gewünschten Spendenbetrag in ein leeres Feld ein. Die NGO benötigt zur Finanzierung ihrer Arbeit mehr Geld und beauftragt verhaltenswissenschaftliche ExpertInnen herauszufinden, wie sie mehr Spenden generieren kann. Basierend auf ihrer Literaturrecherche und bisherigen Erfahrungen schlagen die ExpertInnen vor, den SpenderInnen einen konkreten Spendenvorschlag zu liefern. Der Betrag dient als Ankerpunkt, aber natürlich steht es den BesucherInnen nach wie vor frei, einen beliebigen Betrag zu wählen.
Nur wie soll die NGO diesen Betrag wählen? Die durchschnittliche Spende beträgt derzeit 12€. Ein deutlich höherer Vorschlag (z.B. 30€) könnte zwar Menschen dazu motivieren mehr zu spenden, er könnte sie aber auch gänzlich von einer Spende abschrecken. Ein leicht erhöhter Vorschlag (z.B. 20€) würde wahrscheinlich den Spendenbetrag weniger stark steigen lassen, aber könnte dafür möglicherweise dazu führen, dass mehr Menschen spenden als beim ersten Vorschlag.
Die NGO könnte beide Varianten testen und vergleichen, welche davon zu einem höheren Spendenvolumen führt. Aber reicht es, die beiden Vorschläge zu vergleichen? Was ist mit der ursprünglichen Variante, dem leeren Feld?
Ist Nichtstun auch eine Lösung?
Um diese Fragen beantworten zu können, braucht es eine sogenannte Kontrollgruppe. Das ist eine Testgruppe, die zeigt, zu welchen Ergebnissen der „Status quo“ führt, also in unserem Beispiel das leere Feld. Eine Kontrollgruppe ist wichtig, weil wir dadurch die Wirkung der Maßnahme von anderen sich verändernden Einflussfaktoren unterscheiden können. Angenommen, das Experiment wird in der Vorweihnachtszeit durchgeführt. In diesen Monaten wird generell viel mehr gespendet als im restlichen Jahr, sodass das Spendenvolumen sich ohnehin erhöhen würde, ganz unabhängig von jeglichen Maßnahmen. Ohne Kontrollgruppe lässt sich nicht feststellen, ob ein Effekt tatsächlich durch die Maßnahmen hervorgerufen wurde. In der Kontrollgruppe könnte man sehen, dass sich selbst ohne Maßnahme („Status quo“) das Spendenvolumen vor Weihnachten erhöht und diese Entwicklung „herausrechnen“/berücksichtigen.
Wir haben also drei Darstellungsmöglichkeiten im Rennen: 30€ Vorschlag, 20€ Vorschlag und der „Status Quo“ (leeres Feld).
Nehmen wir an, die NGO erstellt die beiden neuen Versionen für ihre Website und die BesucherInnen sehen jeweils eine der drei Versionen. Danach wird das Spendenvolumen verglichen. Wie wird das nun umgesetzt, wer bekommt was zu sehen?
Wie hilft der Zufall?
Man könnte es sich einfach machen: Die beiden Vorschläge könnte man für die normale Website programmieren, die Handyversion bleibt unverändert und stellt somit den „Status quo“ dar.
Die Ergebnisse wären aber nicht besonders aussagekräftig. Denn wir können nicht ausschließen, dass sich BesucherInnen auf der Desktopversion und der mobilen Version ganz grundsätzlich und unabhängig von unseren Maßnahmen unterschiedlich verhalten. So könnten die Personen, die die Spendenseite über ihr Smartphone besuchen, weniger spenden, weil sie gerade unterwegs sind oder sie sind tendenziell jünger und spenden grundsätzlich weniger. Dadurch würde den beiden Vorschlägen fälschlicherweise eine hervorragende Wirkung attestiert.
Wenn ein Merkmal zwischen Testgruppen systematisch unterschiedlich ist (z. B. Alter der SpenderInnen, …), ist es unmöglich, den „echten“ Effekt der Maßnahme herauszufiltern. Die Lösung? Man teilt jede/r KundInnen zufällig zu, welche Vorschläge sie beim Besuch der Spendenseite sehen (bspw. mit einem Zufallsgenerator). Da die Zuteilung zufällig erfolgt, sollten andere potenziell unterschiedliche Merkmale der beiden Gruppen vergleichbar bleiben - alleinig die Maßnahme (z.B. der Spendenvorschlag) verändert sich. Dadurch wird der gesuchte Effekt messbar – natürlich nur unter der Voraussetzung einer soliden Umsetzung inklusive zuverlässigen Messungen und guter Datenqualität.
Verhaltensökonomische Experimente durchzuführen ist wahrlich eine Kunst, aber es lohnt sich: man kann potenziell viele Ressourcen sparen, weil weniger wirksame Maßnahmen schon „im Kleinen“ herausgefiltert werden können. Im Umkehrschluss: Wenn eine Maßnahme in einem rigorosen Experiment wirkt, kann man sich sehr sicher sein, dass sie in diesem bestimmten Kontext wirkt! In der Abbildung unten schneidet Vorschlag 2 (20€) am besten ab, im Vergleich zum Status quo aber gar nicht mal so viel besser – mit statistischen Analysen kann berechnet werden, wie groß der Effekt ist, ob dieser signifikant ist und dementsprechend eine Umstellung Sinn macht. Ein solches Experiment kann auch davor bewahren, Fehltritte zu machen. Die Daten in unserem Beispiel legen nahe, dass Vorschlag 1 (30€) zu hoch angesetzt ist. Manche BesucherInnen spenden tatsächlich mehr, aber einige verlassen die Seite ohne zu spenden. Würde die NGO diesen Vorschlag großflächig umsetzen, müsste sie unter Umständen mit einem sinkenden durchschnittlichen Spendenvolumen rechnen.
In unserem Beispiel handelt es sich um ein Experiment in natürlichem Umfeld (Feldexperiment/Randomized Controlled Trial), das online durchgeführt wird (Online-Experiment). Offline geht das aber natürlich auch: Insight Austria hat so zum Beispiel eine Studie in Wiener Gemeindebauten durchgeführt, in der verschiedene Maßnahmen für mehr Sauberkeit getestet wurden (Hier geht’s zum Projektbericht und hier zu einem kurzen Video über das Projekt.) Solche Feldexperimente sind bestens geeignet, um die Wirksamkeit von Maßnahmen in einem realitätsnahen Umfeld zu testen. Laborexperimente hingegen finden in einem eigenen Labor statt und ermöglichen so durch das standardisierte Umfeld eine sehr kontrollierte Durchführung (keine Ablenkung etc.). Ein Beispiel hierfür stellt diese Studie von Kerstin Grosch dar, wo untersucht wird, wie sich ein (un-)faires Verteilen von Boni auf (anti-)soziales Verhalten der MitarbeiterInnen auswirkt.
Eines ist aber klar: Der Aufwand der in die Planung und Durchführung eines Experiments fließt, macht sich bezahlt. Denn blindes Herumprobieren bleibt erspart und effektive Maßnahmen können frühzeitig identifiziert werden!