Принцип «черного ящика» - Мэтью Сайед

Ключевой вопрос тут вот какой: повлияла ли финансовая помощь хоть на что-нибудь? Сделала ли она лучше жизнь тех, кому по идее должна помогать?

Поиски ответа на этот вопрос разумно начать с африканского ВВП. На графике он показан толстой черной линией. Как нетрудно заметить, все эти годы он оставался примерно на одном уровне. Отсюда можно сделать вывод, что вложенные в Африку средства потрачены зря. Они не подстегнули экономическую активность региона, не подняли уровень жизни. На деле это пустая трата денег, а также времени.

Однако идеи, изложенные в предыдущей главе, должны удержать нас от поспешных выводов. Почему? Потому что мы не видим контрфактических данных. Нельзя исключать, что финансовая помощь была успешной. Нельзя исключать, что без нее ВВП Африки был бы куда меньше – на графике это белая линия.

Конечно, есть и другая возможность. Не исключено, что финансовая помощь нанесла Африке больше вреда, чем можно решить, глядя на толстую черную линию. Не исключено, что вложения обернулись катастрофой, что они лишали африканцев мотивации работать, подстегивали коррупцию и уменьшали экономический рост. Возможно, без этой помощи Африка сумела бы совершить рывок – он обозначен на графике пунктирной линией. Или нет? Как нам это узнать?

У каждого из перечисленных вариантов есть свои сторонники – авторитетные эксперты. Так, Джеффри Сакс, директор Института Земли Колумбийского университета, всячески защищает траты на развитие. Он утверждает, что помощь улучшила жизнь африканцев и, если бы денег было потрачено больше, бедность была бы искоренена полностью. Бестселлер Сакса «Конец бедности» (The End of Poverty) частично построен на этом предположении [201].

Уильям Истерли, экономист Нью-Йоркского университета, не согласен с Саксом ни в чем. Он уверен, что финансовая помощь Африке обернулась множеством негативных побочных эффектов – и что Черный континент жил бы куда лучше без этих денег. Книга Истерли «Бремя белого человека» (The White Man’s Burden) приводит доводы, которые по разумности ничем не уступают доводам Сакса [202].

Лучшим способом рассудить этих ученых было бы проведение рандомизированного контролируемого испытания. Оно позволило бы отделить влияние инвестиций на африканский ВВП от остальных факторов. Здесь, однако, мы сталкиваемся с очевидной проблемой. Есть лишь одна Африка. Нельзя найти множество разных Африк, случайным образом разделить их на две группы, дать помощь одним и не давать ее другим – и затем изучить итоги.

Сказанное может показаться банальностью, но это важная мысль в глобальном контексте. Когда речь идет о действительно важных вопросах, проводить контролируемые испытания очень трудно. Чтобы провести РКИ, вам нужна контрольная группа, однако, если анализируемая единица очень велика, собрать такую группу трудно. Это относится не только к развитию регионов, но и к другим явлениям, в том числе к глобальному потеплению (у нас всего один мир) и вопросам войны и мира.

Отсюда – польза концепции минимальных успехов. Если на большой вопрос трудно ответить, почему бы не разбить его на множество маленьких? В конце концов, у финансовой помощи есть масса компонентов. Существуют программы, связанные с малярией, грамотностью, инфраструктурой, образованием. Каждая такая программа устроена по-своему, предполагает разные стимулы и реализуется разными организациями.

Если рассматривать каждую программу в отдельности, проводить контролируемые эксперименты можно. Вы испытываете программу на одних людях или сообществах, но не на других, после чего сравниваете две группы, чтобы понять, успешна программа или нет. Чем спорить о том, нужно ли помогать Африке вообще (победить в этом споре очень трудно из-за отсутствия статистики наблюдений), можно найти точные ответы на более мелкие вопросы – и ответить на большой вопрос, исходя из этих ответов.

Рассмотрим данный принцип на конкретном примере. Предположим, мы пытались улучшить ситуацию с африканским образованием. Чтобы узнать, не впустую ли потрачена финансовая помощь, можно, скажем, взглянуть на корреляцию между объемом помощи и средней успеваемостью на континенте. Проблема в том, что мы не получим контрфактические данные (какой была бы успеваемость, если бы финансирования не было).

Теперь предположим, что мы смотрим не на образование вообще, а на конкретную программу. Именно так поступила группа экономистов-новаторов в районах Бусиа и Тесо – беднейших регионах на западе Кении. Как рассказывает Тим Харфорд в книге «Через поражения – к победе» (Adapt: Why Success Always Starts with Failure), экономисты хотели узнать, насколько повысится успеваемость, если раздавать учебники школам бесплатно. Интуиция подсказывает, что подход должен работать. Данные наблюдений тоже были хорошими. В школах, которые получали учебники бесплатно, успеваемость чаще всего повышалась.

Однако экономисты хотели быть уверены в результате, поэтому провели РКИ. Вместо того чтобы раздавать учебники самым нуждающимся школам (стандартный подход), они случайным образом разделили участвовавшие в эксперименте школы на две группы: в первой школе получали учебники, во второй – нет. Итак, у них имелись основная группа и контрольная группа. Благотворительный фонд получил возможность узнать, влияет ли раздача учебников на что-либо.

Результаты эксперимента были показательными и удивительными. Ученики школ с бесплатными учебниками получали в среднем такие же оценки, как и ученики других школ. Успеваемость в обеих группах была почти одинаковой. Результат противоречил интуиции и статистике наблюдений. Впрочем, с рандомизированными испытаниями такое происходит сплошь и рядом.

Как выяснилось, беда была не в учебниках, а в языке, на котором они написаны. Английский – третий язык большинства детей из бедных семей в отдаленных районах Бусиа и Тесо. Ученики просто не могли понять, о чем в учебнике идет речь. Без РКИ исследователи могли не обратить на это внимания. Причина неуспеха была в том, о чем никто просто не думал.

Получив отрицательный результат, экономисты испробовали другой подход. Они провели еще одно РКИ: на сей раз вместо учебников школы получали наглядные пособия и запоминающиеся рисунки, по которым можно объяснять географию, математику и т. д. И вновь экономисты ожидали, что успеваемость повысится. И вновь, сравнивая результаты основной группы с результатами контрольной, они увидели, что наглядные пособия потерпели неудачу. Оценки учеников лучше не стали.

Экономисты не опустили руки и стали придумывать новые подходы к проблеме. Они придумали раздавать бесплатно нечто оригинальное: лекарство от глистов. Кому-то может показаться, что это странный способ улучшать успеваемость в школах, однако исследователи знали, что паразиты замедляют развитие человека, делают детей сонными и ведут к частым прогулам. Особенно сильно глисты влияли на детей в захолустье вроде регионов Бусиа и Тесо.

На этот раз результаты были великолепными. Они существенно превзошли ожидания ученых. Как пишет Тим Харфорд: «Программа была весьма успешной, дети стали расти быстрее, снизился риск повторного заражения, число прогулов в школах уменьшилось на 25 %. Расходы были незначительными» [203].

Это и был минимальный успех. Всего одна программа в одном маленьком регионе. Но если рассматривать проблемы образования на этом уровне, можно увидеть, какие программы успешны, а какие нет. Ученые их протестировали, потерпели неудачу и научились чему-то на своих ошибках. Теперь они могли применить ту же программу в других регионах, экспериментируя вновь и вновь – и продолжая добиваться новых минимальных успехов.

Можно сказать, что так далеко не уедешь, но подумайте об альтернативах. Представьте, что было бы, если бы экономисты положились на интуицию и эмпирическую статистику. Они дарили бы учебники школам вечно, уверяя себя в том, что делают благое дело, хотя в действительности ничего не добивались бы.

Сегодня данный подход реализуют несколько решительно настроенных экономистов, и благодаря их усилиям за последнее десятилетие сфера международного развития преобразилась. Эта группа ученых не совершает революций, вместо этого она сосредоточилась на небольших достижениях. Вот что говорит одна из самых активных защитниц концепции Эстер Дюфло, экономист родом из Франции: «Если мы не знаем, выйдет из наших действий толк или нет, мы ничем не лучше средневековых врачей с их пиявками. Иногда пациенты выздоравливают, иногда умирают. От пиявок или из-за чего-то еще? Мы не знаем» [204].

Критиков рандомизированных испытаний часто беспокоит нравственность «экспериментов над людьми». Разве можно одной группе давать X, а другой Y? Почему бы каждому не получать наилучшее возможное лечение? В таком разрезе РКИ могут казаться неэтичными. Но давайте взглянем на них под другим углом. Если вы действительно не понимаете, какие меры наиболее эффективны, выяснить это вы можете, лишь проведя испытание. Отказавшись от него, вы не станете этичнее. Вы просто ничему не научитесь. И в конце концов никому не поможете.