Большие данные. Революция, которая изменит то, как мы живем, работаем и мыслим - Виктор Майер-Шенбергер

В 2010 году компания UPS была продана в качестве штатного подразделения по анализу данных (UPS Logistics Technologies) частной инвестиционной компании Thoma Bravo. Теперь, работая под знаменем Roadnet Technologies, она чувствует себя свободнее и может анализировать маршруты более чем одной компании. Roadnet собирает данные от многих клиентов для предоставления услуг отраслевого сопоставительного анализа как компании UPS, так и ее конкурентам. По словам Лена Кеннеди, исполнительного директора Roadnet, будучи отделом по логистике в UPS, компания ни за что не получила бы доступ к наборам данных конкурентов своей родительский компании. Но Roadnet добилась этого, став независимой: конкуренты UPS начали более охотно предоставлять свои данные. В конечном счете все выиграли от повышения точности, которое стало возможным благодаря объединению данных.

О том, что именно данные, а не навыки или образ мышления станут самыми ценными характеристиками, говорят многочисленные сделки в области больших данных. Наиболее показательный пример: в 2006 году корпорация Microsoft вознаградила Эциони за идею, выкупив Farecast примерно за 110 миллионов долларов. Однако через два года Google заплатила уже 700 миллионов за данные от поставщиков Farecast — ITA Software.

Обесценивание экспертов

В фильме «Человек, который изменил всё» (о том, как бейсбольная команда «Окленд Атлетикс» стала чемпионом, применив аналитику и новые типы измерений) есть замечательные сцены, в которых старые седовласые скауты, собравшись за столом, обсуждают игроков. Зритель невольно съеживается — не только потому, что сцены демонстрируют, как принимаются решения, когда под рукой нет данных, но и потому, что каждый из нас наверняка сталкивался с ситуациями, когда определенность зависела от настроения, а не от науки.

— У него фигура настоящего бейсболиста… хорошая внешность, — говорит один скаут.

— У него отличный замах. От его биты мячи взрываются. Он бьет самым концом биты, да так мощно, что звук сломанной биты разносится по всему стадиону, — вмешивается хрупкий седой старичок со слуховыми аппаратами.

— Ужасный треск. И без усилий, — подтверждает другой скаут.

Третий скаут встревает в разговор:

— У него страшная подружка.

— Ну и что? — спрашивает скаут, ведущий встречу.

— Это признак неуверенности, — констатирует скептик.

— Ясно, — довольно говорит ведущий, готовый продолжить.

После ряда шутливых перепалок в беседу вступает скаут, который до этого отмалчивался:

— У этого парня есть характер, и это очень хорошо. Он из тех парней, которых видно за версту.

Другой добавляет:

— Да, на него приятно посмотреть. Он сыграет на поле заметную роль. Ему только нужно игровое время.

— Я просто говорю, что его подружка на троечку в лучшем случае!

Эта сцена прекрасно показывает недостатки человеческих суждений. То, что считается аргументированной дискуссией, по сути, не имеет конкретных оснований. Решения о заключении договоров с игроками на миллионы долларов принимаются на основе голой интуиции, без учета объективных показателей. Да, это всего лишь кино, но в реальной жизни все бывает столь же глупо. Сцена иронична в силу своей универсальности: такие же пустые рассуждения слышны повсюду — от залов заседаний правления в Манхэттене и Овального кабинета в Белом доме до кафе и обычных кухонь.

Фильм «Человек, который изменил всё», снятый по книге Майкла Льюиса, рассказывает правдивую историю Билли Бина — генерального менеджера «Окленд Атлетикс», который отбросил вековую традицию назначения игроков в пользу математически ориентированного подхода с новой системой показателей. Статистические подходы, такие как «средний уровень», канули в прошлое. На смену им пришли на первый взгляд непривычные суждения об игре, например «процент попадания на базу». Подход, основанный на данных, показал скрытую сторону спорта, которая, как правило, ускользала от внимания за привычными атрибутами вроде арахиса и попкорна. Главное, чтобы игрок попадал на базу, и неважно, как он это делал — благодаря своей скорости или хитрости. Когда данные показали, что кража баз является неэффективной, со сцены ушел один из самых интересных, но наименее «продуктивных» элементов игры.

На фоне острой полемики Бин закрепил в руководстве метод, известный как «саберметрика» (аббревиатура англ. Society for American Baseball Research — Общество изучения американского бейсбола), который до этого не пользовался особой популярностью. Он бросил вызов догме скамейки запасных, как в свое время гелиоцентрические взгляды Галилея пошатнули авторитет католической церкви. В конечном счете этот метод дал возможность многострадальной команде Бина финишировать первой в Американской лиге сезона 2002 года, выиграв 20 игр подряд. С тех пор статистика вытеснила скаутов как крупных специалистов в спорте, а множество других команд стали усиленно перенимать саберметрику.

Подобным образом большие данные окажут существенное влияние на то, как решения, принимаемые на их основе, будут дополнять или отклонять человеческие суждения. Эксперты в предметной области и основные специалисты утратят часть своего блеска на фоне специалистов по статистике и аналитиков данных, которые не держатся за устаревшие способы ведения дел и позволяют данным «говорить». Эти новые сотрудники будут полагаться на корреляции без предубеждений и предрассудков. Точно так же Мори не принимал за чистую монету все, что умудренные опытом капитаны рассказывали о морских путях за кружкой пива в пабе. Выявляя практические истины, он полагался на объединенные данные. Метод Мори не объяснял, откуда берутся ветры и течения, но для моряков, которые ищут безопасный путь, вопрос почему был менее важен, чем что и где.

Авторитет экспертов в предметных областях ослабевает. Например, в СМИ контент, который создается и публикуется на сайтах, таких как Huffington Post и Gawker, систематически определяется данными, а не исключительно «нюхом» редакторов. Данные лучше, чем чутье опытных журналистов, показывают, что людям хотелось бы прочитать. Coursera, компания по дистанционному обучению, исследует все собираемые ею выбросы данных (например, какой раздел видеолекции студенты просматривали повторно), чтобы узнать возможные неясные или особенно интересные моменты, которые следует учесть в разработке курсов. Раньше у преподавателей не было такой возможности, но ситуация изменилась и педагогика уже не станет прежней. Как мы упоминали, Джефф Безо уволил штатных редакторов Amazon, когда данные показали, что рекомендации, выявленные алгоритмическим путем, стимулировали больше продаж.

Это означает, что навыки, необходимые для достижения успеха в работе, меняются, как и ожидания, возлагаемые на сотрудников организаций. Доктору Макгрегор, которая занимается проблемами недоношенных детей в Онтарио, не обязательно было становиться лучшим врачом в больнице или главным авторитетом в области наблюдения за беременными, чтобы добиться наилучших результатов в лечении своих пациентов. У нее даже нет медицинского образования, разве что степень доктора в области компьютерных наук. Но она поставила себе на службу данные о пациентах, собранные более чем за десятилетний период, которые обрабатываются компьютером, а затем с ее помощью преобразуются в рекомендации по лечению.[124]

Первопроходцы, проявившие себя в сфере больших данных, нередко являются специалистами из других областей: анализа данных, искусственного интеллекта, математики или статистики, которые применяют свои навыки в определенных отраслях. По словам главного исполнительного директора Kaggle Энтони Голдблума, победители конкурсов Kaggle (интернет-платформы для проектов на основе больших данных) редко приходят из сектора, в котором достигли высоких результатов: призовое место занял британский физик, разработавший алгоритмы для прогнозирования претензий по страхованию и выявлению неисправных подержанных автомобилей. Сингапурский страховой статистик победил в конкурсе с проектом прогноза биологических реакций химических соединений.[125] Инженеры отдела по машинному переводу Google отмечают свой успех в переводах на языки, которых никто из них не знает, а специалисты по статистике из отдела машинного перевода Microsoft шутят, что качество переводов улучшается всякий раз, когда команду покидает лингвист.

Разумеется, эксперты в предметных областях не вымрут, но они наверняка утратят свое превосходство. Теперь им придется делить свои лавры со специалистами в области больших данных, а простые корреляции потеснят величие причинно-следственных связей. Это изменит наше отношение к знаниям, ведь мы склонны считать, что люди с узкой специализацией более ценны, чем с широкой: успех сопутствует более глубокому знанию предмета. Экспертные знания, как и точность, подходят для области «малых данных», где вечно не хватает нужной информации, поэтому в поисках правильного пути приходится полагаться на интуицию и опыт. В таких условиях опыт играет важнейшую роль, поскольку только длительное накопление скрытых знаний, которые нельзя передать, вычитать в книгах или даже попросту осознать, может помочь в принятии более взвешенных решений.