Can randomized field experiments help close the energy efficiency gap? / Können randomisierte Feldstudien helfen, die Energieeffizienzlücke zu schliessen?
On 05.12.2019 by Nina BoogenBy Nina Boogen
Die deutsche Version des Textes finden Sie weiter unten.
Some time ago economists appropriated a method from medical research called randomized controlled trials, which has become the “golden standard” to detect causal effects of a policy intervention. Could they also assist in closing the energy efficiency gap? In this blog article, I argue why they could, but also why they are not a universal remedy.
Next Tuesday (10th of December) the 2019 Nobel Prize in Economics will be officially awarded to three empirical researchers that introduced randomized controlled trials (RCT) as a method in economic policy evaluation, specifically in the field of development economics. One of the winners, Esther Duflo, is only the second woman to win this prize after Elinor Ostrom. The work of Esther Duflo, Michael Kremer and Abhijit Banerjee have “dramatically improved our ability to fight poverty in practice”, reported the Nobel committee. Further, they state that “in just two decades, their new experiment-based approach has transformed development economics”. Evidence-based impact evaluation research has been there for a long time in order to help policymakers design more effective policy instruments. In the early 1990s, the so-called “Randomistas” – advocates of RCTs, such as the three winners – took the idea of clinical trials in medicine and adapted it to real-world economic decision-making situations studied in economics.
But how does an RCT actually work?
The fundamental problem of measuring the causal impact of a policy instrument is that we need to somehow find or construct a so-called counterfactual (see Figure 1). The counterfactual is the situation that would have happened if the policy had not been there, so something that does not exist in the real world and is thus not observable. An RCT can resolve this issue by simply randomizing study participants: randomization aims at constructing a group that proxies the behaviour of the treated had they not been treated.
Figure 1: The fundamental problem of economic impact evaluation is to measure the difference between the actual outcome (shown in blue) and a counterfactual that is never observed (shown in red). Impact evaluation methods thus somehow always need to construct the counterfactual in order to estimate the intervention’s impact.
Dina Pomeranz explains how this works in her article aimed at non-economists: “The goal of RCTs is to create an ideal comparison group by design from the beginning of the intervention. Study participants are randomly assigned to either receive the treatment or be in the comparison group.” Such a random assignment ensures that individuals in the treatment and control group are, on average, the same with respect to socio-economic factors, for example. Researchers can therefore exclude the possibility that the measured effect is due to a systematic difference between the treatment and control group.
Esther Duflo and her team designed a pilot program where small cash transfers were made to parents of school-aged children in poor, rural communities in Morocco. The economists chose 320 school sectors in the five poorest regions of Morocco, where 260 of them were randomly selected to be in the treatment group and thus to participate in a two-year pilot education support program. The other 60 sectors were consequently assigned to the control group with no program participation. In all school sectors, they measured the school attendance rate. The program resulted in a large increase in school attendance among children whose parents could participate in the program. Thus, the pilot program was effective in promoting education.
Investigating casual effects in energy efficiency research
In the last decade, RCTs have become a popular method in other fields of economics, too. In energy economics they are especially useful for situations where one wants to study how individuals decide to invest in energy-using durables. In a recent article, Hunt Allcott and Christopher Knittel investigated whether car buyers are poorly informed about and inattentive to fuel economy. To do this, they selected car dealers of a well-known automobile brand in the US and had research assistants ask around 2,000 potential buyers whether they wanted to participate in a survey. The consumers were asked some socio-economic questions and then randomly allocated to be informed about the fuel costs of the cars they were most closely considering (i.e., treated group) or not (i.e., control group).
In a similar manner, but with a different design, our research group at the Centre for Energy Policy and Economics (CEPE) also implemented a randomized experiment within the H2020 project PENNY with around 600 Swiss participants (see Figure 2 for the design of the experiment). In contrast to the US study, we visited people in the treatment group in their homes and provided them afterwards with tailored information on the monetary savings potential on energy cost they could realize if they adopted new, energy-efficient appliances.
Figure 2: Experimental design of the PENNY experiment.
What now: Does information provision affect the purchase decision?
After one year, we went back to the households and asked them if and what appliances they had bought within the past 12 months. And indeed, people who received the information on monetary savings did buy more energy-efficient appliances. Thus, our experiment shows that some Swiss households did lack knowledge about the energy costs of using appliances and that providing them with tailored information about it is an effective strategy to induce an increase in efficiency of the stock of appliances.
Allcott and Knittel, however, did not find any effect of the information they provided to the participants in the treatment group, as they did not buy more fuel-efficient cars. They provide two interpretations for this result: First, while their interventions did draw attention to fuel economy for a short time, the information they provided was not useful or the consumer soon forgot it. And second, imperfect information and inattention do not have a significant systematic effect on vehicle markets.
Are these now conflicting results from research? No, the two studies are done in completely different settings and circumstances. In the Allcott and Knittel study, the information was provided once at the selling location, while in our case, the information was provided in people’s homes. The energy durables in question and its market were also clearly different: one group was making a decision about purchasing a new car, while the other was considering buying a new home appliance. Finally, there are US study participants in one study and Swiss in the other. The context of a study matters.
Not a universal remedy
A randomized controlled trial is a good thing: it helps inform policymakers what program to implement or how to improve existing programs. If it is conducted properly, it estimates the causal effect in an accurate and unbiased way. Simply said, it measures what it tries to measure very well. Researchers call this internal validity.
But nothing comes without flaws in the real world: even the “gold standard” method has its limitations, that also the three Nobel Prize winners are aware of. As just mentioned, context matters, study results may not transfer to different goods in different contexts. Researchers call this external validity, which might not be given in all cases in RCTs. Another Nobel Prize winner, Angus Deaton even says in a scientific article from 2018 that “researchers put too much trust in RCTs”. And lastly, while an RCT can tell you a lot of things about how to make the world a better place, it may cost a whole lot of money to actually do this research. So, in some cases, randomized experiments can point policymakers towards good interventions to help close the energy efficiency gap, and in some other cases, other methods are better fits.
Cover photo by Chrissie Kremer on Unsplash.
Keep up with the Energy Blog @ ETH Zurich on Twitter @eth_energy_blog.
Suggested citation: Boogen, Nina. “Can randomized field experiments help close the energy efficiency gap?”, Energy Blog @ ETH Zurich, ETH Zurich, December 5, 2019, https://blogs.ethz.ch/energy/randomized-field-experiments/
If you are part of ETH Zurich, we invite you to contribute with your findings and your opinions to make this space a dynamic and relevant outlet for energy insights and debates. Find out how you can contribute and contact the editorial team here to pitch an article idea!
Können randomisierte Feldstudien helfen, die Energieeffizienzlücke zu schliessen?
Vor einiger Zeit haben sich Ökonomen eine Methode aus der medizinischen Forschung angeeignet, die randomisierte Feldstudien genannt wird und zum “goldenen Standard” geworden ist, um kausale Wirkungen eines Politikinstrumentes zu messen. Könnten sie auch dazu beitragen, die Energieeffizienzlücke zu schliessen? In diesem Blogartikel argumentiere ich, inwiefern dieser Ansatz helfen könnte, aber auch, warum er kein Allheilmittel ist.
Am nächsten Dienstag (10. Dezember) wird der Wirtschaftsnobelpreis 2019 offiziell an drei empirisch Forschende verliehen, die randomisierte Feldstudien (englisch: Randomized Controlled Trials (RCT)) als Methode zur Wirkungsanalyse von Reformen und Interventionen eingeführt haben, insbesondere im Bereich der Entwicklungsökonomie. Eine von ihnen, Esther Duflo, ist erst die zweite Frau, die diesen Preis nach Elinor Ostrom gewinnt. Die Arbeit von Esther Duflo, Michael Kremer und Abhijit Banerjee habe “unsere Fähigkeit, Armut in der Praxis zu bekämpfen, drastisch verbessert”, berichtete das Nobelkomitee. Weiter hiess es, dass “ihr neuer experimenteller Ansatz in nur zwei Jahrzehnten die Entwicklungsökonomie verändert habe.” Evidenzbasierte Wirkungsanalysen gibt es schon seit längerem, insbesondere um Entscheidungsträger*innen bei der Entwicklung von effektiveren politischen Instrumenten zu unterstützen. In den frühen 1990er Jahren nahmen die sogenannten “Randomistas” – Befürworter*innen von randomisierten Feldstudien wie die drei diesjährigen Nobelpreistragenden – die Idee von klinischen Studien in der Medizin auf und passten sie an reale wirtschaftliche Entscheidungssituationen an, die in der Entwicklungsökonomie untersucht werden.
Aber wie funktioniert ein RCT eigentlich?
Das Hauptproblem der Messung der tatsächlichen kausalen Wirkung eines Politikinstrumentes besteht darin, dass man eine sogenannte “kontrafaktische” Situation finden oder konstruieren muss (siehe Abbildung 1). Der Kontrafakt ist der hypothetische Zustand, der sich ergeben hätte, wenn keine Intervention stattgefunden hätte. Also eine Situation, die in der Realität gar nicht beobachtet werden kann. Ein RCT kann dieses Problem beheben, indem es die Teilnehmer der Studie randomisiert: Die Randomisierung zielt darauf ab, eine Gruppe zu bilden, die sich möglichst wie Behandelte verhält, wenn diese gar nie behandelt worden wären.
Abbildung 1: Das grundlegende Problem von ökonomischen Wirkungsanalysen besteht darin, die Differenz zwischen dem tatsächlichen Ergebnis (blau dargestellt) und einer nie beobachteten kontrafaktischen Situation (rot dargestellt) zu messen. Wirkungsanalysen müssen also irgendwie immer einen Kontrafakt konstruieren, um die kausale Wirkung der Intervention abschätzen zu können.
Wie das funktioniert, erklärt Dina Pomeranz in ihrem Artikel für Nicht-Ökonom*innen: “Ziel von RCTs ist es, von Beginn der Intervention an eine ideale Vergleichsgruppe per Design zu schaffen. Die Studienteilnehmer werden nach dem Zufallsprinzip entweder der Behandlungs- oder der Vergleichsgruppe zugeordnet.” Eine auf Zufall basierende Zuordnung stellt sicher, dass die Personen in den beiden Gruppen im Durchschnitt gleich sind, z.B. in Bezug auf sozioökonomische Faktoren. Wenn dies zutrifft, kann ausgeschlossen werden, dass der gemessene Effekt auf einen systematischen Unterschied zwischen Behandlungs- und Kontrollgruppe zurückzuführen ist.
Esther Duflo und ihr Team entwickelten ein Pilotprojekt, bei dem Eltern von schulpflichtigen Kindern, die in armen ländlichen Gemeinden in Marokko lebten, einen kleinen finanziellen Betrag bezahlt erhielten. Die Ökonom*innen wählten rund 320 Schulsektoren in den fünf ärmsten Regionen Marokkos aus, wobei 260 von ihnen nach dem Zufallsprinzip in die Behandlungsgruppe zugeteilt wurden und so an diesem zweijährigen Pilotprogramm zur Bildungsförderung teilnahmen. Die anderen 60 Schulsektoren wurden folglich in die Kontrollgruppe eingeteilt, also die Gruppe, die nicht am Programm teilnahm. Die Forschenden massen in allen Sektoren, wie häufig die Kinder in die Schule gingen. Das Programm führte zu einer starken Zunahme der Anwesenheit in der Schule der Kinder, deren Eltern an diesem Programm teilnehmen konnten. Somit trug die finanzielle Unterstützung zur Förderung der Bildung bei.
Untersuchung kausaler Effekte in der Energieforschung
Solche randomisierten Feldstudien wurden in letzter Zeit auch von anderen Bereichen der Wirtschaftsforschung übernommen. In der Energieökonomie sind sie insbesondere nützlich für Forschungsfragen, in denen man untersuchen möchte, wie Individuen entscheiden, in energieverbrauchende Güter zu investieren. In einem kürzlich publizierten Artikel untersuchen Hunt Allcott und Christopher Knittel, ob Autokäufer*innen schlecht informiert oder unachtsam bezüglich des Energieverbrauchs sind. Dazu wählten sie Händler einer bekannten Automobilmarke in den USA aus. Forschungsassistierende befragten rund 2’000 potenzielle Käufer an den Verkaufsstellen der Autohändler, ob sie an einer Umfrage teilnehmen wollten. Den interessierten Personen wurden einige sozioökonomische Fragen gestellt. Danach wurde nach dem Zufallsprinzip entschieden, ob sie über die Energiekosten der Fahrzeuge, an denen sie interessiert gewesen waren, informiert wurden (Behandlungsgruppe) oder nicht (Kontrollgruppe).
In ähnlicher Weise aber mit einem anderen Design haben wir in unserer Forschungsgruppe am Centre for Energy Policy and Economics (CEPE) im Rahmen des H2020-Projekts PENNY mit rund 600 Schweizer Haushalten ein solches Experiment durchgeführt (siehe Abbildung 2 für das Design des Experiments).
Im Gegensatz zur US-Studie haben wir die teilnehmenden Haushalte in der Behandlungsgruppe besucht und ihnen anschliessend einen Bericht mit massgeschneiderten Informationen abgegeben. Dem Bericht können sie entnehmen, wie viel Geld sie bei den Energiekosten sparen könnten, wenn sie neue, energieeffizientere Geräte anschaffen würden.
Abbildung 2: Design des PENNY-Experiments.
Was nun: Beeinflusst die zusätzliche Information die Kaufentscheidung?
Nach einem Jahr fragten wir die Haushalte, ob und welche Haushaltsgeräte sie im letzten Jahr gekauft hatten. Tatsächlich kauften Teilnehmende, die unseren Bericht über das Einsparpotential erhalten hatten, energieeffizientere Haushaltsgeräte. So zeigt unser Experiment, dass in einigen Schweizer Haushalten wohl zu wenig Wissen über die Energiekosten bei der Nutzung von Haushaltsgeräten vorhanden ist und dass die Bereitstellung von solchen massgeschneiderten Informationen eine effektive Strategie ist, um eine Effizienzsteigerung des Gerätebestands zu erwirken.
Im Gegensatz dazu fanden Allcott und Knittel keine Wirkung ihrer zusätzlichen Informationsbereitstellung: Die Studienteilnehmer*innen kauften keine energiesparenderen Autos. Die beiden Autoren liefern zwei mögliche Erklärungen dafür: Erstens, während ihre Intervention die Aufmerksamkeit für kurze Zeit auf den Energieverbrauch lenkte, waren die von ihnen bereitgestellten Informationen eventuell nicht nützlich, und/oder der Verbraucher vergass sie schnell wieder. Eine zweite Erklärung wäre, dass unvollständige Informationen und Unaufmerksamkeit keine signifikanten systematischen Auswirkungen auf die Fahrzeugmärkte haben.
Sind das nun widersprüchliche Forschungsergebnisse? Nein! Die beiden Studien wurden unter unterschiedlichen Rahmenbedingungen und Umständen durchgeführt: In der Studie von Allcott und Knittel wurden die Informationen am Verkaufsort bereitgestellt, während in unserem Fall die Informationen zu Hause bereitgestellt wurden. Auch die zwei untersuchten energieverbrauchenden Haushaltsgüter und deren Märkte sind nicht vergleichbar: Die eine Gruppe traf eine Entscheidung über den Kauf eines neuen Autos während die andere Gruppe überlegte, ein neues Haushaltsgerät zu kaufen. Auch der kulturelle Hintergrund ist nicht zu vergessen: die eine Studie wurde in der Schweiz, die andere in den USA durchgeführt. Fazit ist demnach: Der Kontext einer randomisierten Feldstudie ist entscheidend.
Kein Allheilmittel
Eine randomisierte Feldstudie ist eine gute Sache: Sie hilft den Politiker*innen dabei, zu entscheiden, welche Programme sie umsetzen oder wie sie bestehende Programme verbessern können. Wenn sie richtig durchgeführt wird, misst sie den kausalen Effekt auf eine genaue und unvoreingenommene Weise. Einfacher ausgedrückt: Was sie zu messen versucht, misst sie sehr gut. Forschende nennen das interne Validität.
Aber in Realität ist nichts perfekt: Auch die “Goldstandard”-Methode hat ihre Grenzen, denen sich auch die drei diesjährigen Nobelpreistragenden durchaus bewusst sind. Wie bereits erwähnt, ist der Kontext einer Wirkungsanalyse massgebend, Studienergebnisse sind teilweise nicht auf verschiedene Güter in verschiedenen Kontexten übertragbar. Forschende nennen dies externe Validität, die für randomisierte Studien möglicherweise nicht in allen Fällen gegeben ist. Angus Deaton, ebenfalls Nobelpreisträger, sagt in einem wissenschaftlichen Artikel aus dem Jahr 2018: “Forscher setzen zu viel Vertrauen in RCTs“. Und schlussendlich, obwohl solche Studien viel darüber erzählen können, wie die Welt zu einem besseren Ort gemacht werden könnte, benötigen sie auch ein grosses Forschungsbudget. Nichtsdestotrotz können randomisierte Experimente in vielen Fällen helfen, die Energieeffizienzlücke zu schliessen. In anderen Fällen sind wiederum andere Methoden besser geeignet.
Bleiben Sie auf dem Laufenden beim Energy Blog @ ETH Zürich auf Twitter @eth_energy_blog.
Empfohlene Zitierweise: Boogen, Nina. “Können randomisierte Feldstudien helfen, die Energieeffizienzlücke zu schliessen?”, Energy Blog @ ETH Zurich, ETH Zurich, Dezember 5, 2019, https://blogs.ethz.ch/energy/randomized-field-experiments/
Wenn Sie Teil der ETH Zürich sind, laden wir Sie dazu ein, mit Ihrem Wissen dazu beizutragen, diesen Blog zu einem gelichzeitig dynamischen und relevanten Ort für Einblicke und Diskurse in der Energieforschung zu machen. Erfahren Sie hier, wie Sie die Redaktion kontaktieren können, wenn Sie eine Idee für den nächsten Blogbeitrag haben!
Leave a Reply