Как ИИ искажает процесс принятия решений и делает диктаторов более опасными
В политических кругах дискуссии об искусственном интеллекте неизменно противопоставляют Китай и США в гонке за технологическое превосходство. Если ключевым ресурсом являются данные, то Китаю с его более чем миллиардом граждан и слабой защитой от государственного надзора, похоже, суждено победить. Кай-Фу Ли, известный ученый-компьютерщик, заявил, что данные — это новая нефть, а Китай — новая ОПЕК. Однако если передовые технологии обеспечивают преимущество, то у Соединенных Штатов с их университетской системой мирового класса и талантливой рабочей силой все еще есть шанс выйти вперед. Эксперты предполагают, что для любой страны превосходство в ИИ естественным образом приведет к более широкому экономическому и военному превосходству.
Но, рассматривая ИИ с точки зрения гонки за господство, мы упускаем из виду более фундаментальные способы, которыми ИИ меняет глобальную политику. ИИ не столько изменит соперничество между державами, сколько изменит самих соперников.
Соединенные Штаты — это демократия, а Китай — авторитарный режим, и машинное обучение бросает вызов каждой политической системе по-своему. Вызовы демократиям, таким как Соединенные Штаты, слишком очевидны. Машинное обучение может усилить поляризацию — перестроить онлайн-мир, чтобы способствовать политическому расколу. Это, безусловно, увеличит дезинформацию в будущем, создавая убедительные фальшивые речи в больших масштабах. Вызовы автократиям более тонкие, но, возможно, более губительные. Точно так же, как машинное обучение отражает и усиливает разделение демократии, оно может сбивать с толку автократии, создавая ложную видимость консенсуса и скрывая глубинные социальные разногласия, пока не станет слишком поздно.
Первые пионеры ИИ, включая политолога Герберта Саймона, поняли, что технология ИИ имеет больше общего с рынками, бюрократией и политическими институтами, чем с простыми инженерными приложениями. Другой пионер искусственного интеллекта, Норберт Винер, описал ИИ как «кибернетическую» систему, которая может реагировать и адаптироваться к обратной связи.
Ни Саймон, ни Винер не ожидали, что машинное обучение станет доминировать над ИИ, но его эволюция соответствует их образу мыслей. Facebook и Google используют машинное обучение в качестве аналитического механизма самокорректирующейся системы, которая постоянно обновляет свое понимание данных в зависимости от того, успешны или нет ее прогнозы. Именно эта петля между статистическим анализом и обратной связью из среды сделала машинное обучение такой огромной силой.
Гораздо менее понятно то, что демократия и авторитаризм также являются кибернетическими системами. При обеих формах правления правительства проводят политику, а затем пытаются выяснить, была ли эта политика успешной или неудачной. В демократиях голоса и голоса дают мощную обратную связь о том, действительно ли работает тот или иной подход. Исторически сложилось так, что авторитарным системам было гораздо труднее получить хорошую обратную связь. До наступления информационного века они полагались не только на внутреннюю разведку, но и на петиции и тайные опросы общественного мнения, пытаясь выяснить, во что верят их граждане.
Теперь машинное обучение подрывает традиционные формы демократической обратной связи (голоса и голоса), поскольку новые технологии облегчают дезинформацию и усугубляют существующие предубеждения, беря предрассудки, скрытые в данных, и уверенно превращая их в неверные утверждения. Между тем автократам, копающимся в темноте, машинное обучение кажется ответом на их молитвы. Такая технология может сказать правителям, нравится ли их подданным то, что они делают, без хлопот с опросами или политических рисков открытых дебатов и выборов. По этой причине многие наблюдатели беспокоятся, что достижения в области ИИ только укрепят позиции диктаторов и позволят им еще больше контролировать свои общества.
Правда сложнее. Предвзятость явно является проблемой для демократий. Но поскольку он более заметен, граждане могут смягчить его с помощью других форм обратной связи. Когда, например, расовая группа видит, что алгоритмы найма настроены против нее, они могут протестовать и добиваться возмещения ущерба с некоторым шансом на успех.
Авторитарные страны, вероятно, так же склонны к предвзятости, как и демократии, а может быть, и в большей степени. Большая часть этой предвзятости, вероятно, будет невидимой, особенно для лиц, принимающих решения наверху. Это значительно усложняет исправление, даже если лидеры видят, что что-то нужно исправить.
Вопреки общепринятому мнению, ИИ может серьезно подорвать автократические режимы, укрепляя их собственные идеологии и фантазии за счет более тонкого понимания реального мира. Демократические страны могут обнаружить, что, когда дело доходит до ИИ, ключевой задачей двадцать первого века является не победа в битве за технологическое превосходство. Вместо этого им придется бороться с авторитарными странами, которые оказались в агонии спирали заблуждений, питаемой искусственным интеллектом.
ПЛОХАЯ ОБРАТНАЯ СВЯЗЬ
Большинство дискуссий об ИИ связано с машинным обучением — статистическими алгоритмами, которые извлекают взаимосвязи между данными. Эти алгоритмы делают предположения: есть ли на этой фотографии собака? Выиграет ли эта шахматная стратегия партию за десять ходов? Какое следующее слово в этом полузаконченном предложении? Так называемая целевая функция, математический способ подсчета результатов, может вознаградить алгоритм, если он угадает правильно.
Именно так работает коммерческий ИИ. YouTube, например, хочет, чтобы его пользователи были вовлечены, просматривая больше видео, чтобы они продолжали видеть рекламу. Целевая функция предназначена для максимального вовлечения пользователей. Алгоритм пытается обслуживать контент, который удерживает взгляд пользователя на странице. В зависимости от того, была ли его догадка верной или ошибочной, алгоритм обновляет свою модель того, на что, скорее всего, отреагирует пользователь.
Способность машинного обучения автоматизировать этот цикл обратной связи практически без вмешательства человека изменила электронную коммерцию. Возможно, когда-нибудь это позволит создавать полностью самоуправляемые автомобили, хотя это продвижение оказалось гораздо более сложной проблемой, чем предполагали инженеры. Разработка автономного оружия — еще более сложная задача. Когда алгоритмы сталкиваются с действительно неожиданной информацией, они часто не могут ее понять. Информация, которую человек может легко понять, но которую машинное обучение неправильно классифицирует, известная как «состязательные примеры», может сильно испортить работу.
Например, черно-белые наклейки, размещенные на знаке «Стоп», могут помешать системе технического зрения беспилотного автомобиля распознать этот знак. Такие уязвимости предполагают очевидные ограничения полезности ИИ в военное время.
Погружение в сложности машинного обучения помогает разобраться в спорах о технологическом превосходстве. Это объясняет, почему некоторые мыслители, такие как ученый-компьютерщик Ли, считают, что данные так важны. Чем больше у вас данных, тем быстрее вы сможете улучшить производительность своего алгоритма, повторяя крошечное изменение за крошечным, пока не добьетесь решающего преимущества. Но машинное обучение имеет свои пределы. Например, несмотря на огромные инвестиции технологических фирм, алгоритмы гораздо менее эффективны, чем принято считать, в том, что касается того, чтобы заставить людей покупать один почти идентичный продукт вместо другого. Надежно манипулировать поверхностными предпочтениями сложно, и, вероятно, гораздо труднее изменить глубоко укоренившиеся мнения и убеждения людей.
Авторитарные правительства часто плохо понимают, как устроен мир.
Общий ИИ, система, которая может извлекать уроки из одного контекста и применять их в другом, как и люди, сталкивается с аналогичными ограничениями. Статистические модели склонностей и предпочтений пользователей Netflix почти наверняка отличаются от моделей Amazon, даже если обе компании пытаются моделировать одних и тех же людей, пытающихся принять аналогичные решения. Доминирование в одном секторе ИИ, например в показе коротких видеороликов, привлекающих внимание подростков (триумф приложения TikTok), нелегко перевести в доминирование в другом, например, в создании автономных систем вооружения на поле боя. Успех алгоритма часто зависит от тех самых инженеров-людей, которые могут извлечь уроки из различных приложений, а не от самой технологии. Пока эти проблемы остаются нерешенными.
Предвзятость также может проникнуть в код. Когда Amazon попыталась применить машинное обучение к набору персонала, она обучила алгоритм на данных из резюме, которые оценивали рекрутеры.
В результате система воспроизвела предубеждения, заложенные в решениях людей, дискриминируя резюме от женщин. Такие проблемы могут быть самоусиливающимися. Как отметила социолог Руха Бенджамин, если бы политики использовали машинное обучение, чтобы решить, куда направить полицейские силы, эта технология могла бы помочь им выделить больше полиции в районы с высоким уровнем арестов, в процессе направляя больше полиции в районы с расовыми группами, которые полиция продемонстрировала предубеждения против. Это может привести к большему количеству арестов, которые, в свою очередь, закрепят алгоритм в порочном круге.
Старая программная поговорка «мусор на входе, мусор на выходе» имеет другое значение в мире, где входные данные влияют на выходные и наоборот. Без надлежащей внешней коррекции алгоритмы машинного обучения могут приобрести вкус к мусору, который они сами производят, создавая цикл принятия неправильных решений. Слишком часто политики относятся к инструментам машинного обучения как к мудрым и беспристрастным оракулам, а не как к ошибочным инструментам, которые могут усугубить проблемы, которые они призваны решать.
ЗВОНОК И ОТВЕТ
Политические системы также являются системами обратной связи. В демократиях общественность буквально оценивает и оценивает лидеров на выборах, которые должны быть свободными и справедливыми. Политические партии дают обещания с целью завоевать власть и удержать ее. Легальная оппозиция освещает ошибки правительства, а свободная пресса сообщает о противоречиях и правонарушениях. Должностные лица регулярно встречаются с избирателями и узнают, заработали они или потеряли общественное доверие в постоянно повторяющемся цикле.
Но обратная связь в демократических обществах не работает идеально. У общественности может не быть глубокого понимания политики, и она может наказывать правительства за вещи, не зависящие от них. Политики и их сотрудники могут неправильно понять, чего хочет общественность. У оппозиции есть стимулы лгать и преувеличивать. Состязание на выборах стоит денег, а настоящие решения иногда принимаются за закрытыми дверями. Средства массовой информации могут быть предвзятыми или больше заботиться о том, чтобы развлечь своих потребителей, чем научить их.
Тем не менее, обратная связь делает возможным обучение. Политики узнают, чего хочет общественность. Общественность узнает, чего она может и чего не может ожидать. Люди могут открыто критиковать ошибки правительства, не попадая в тюрьму. По мере появления новых проблем могут организовываться новые группы, чтобы опубликовать их и попытаться убедить других решить их. Все это позволяет политикам и правительствам взаимодействовать со сложным и постоянно меняющимся миром.
Президент России Владимир Путин на конференции по искусственному интеллекту в Москве, ноябрь 2021 г.
Сергей Гунеев/Sputnik/Reuters В автократиях обратная связь работает совсем по-другому. Лидеров выбирают не посредством свободных и честных выборов, а посредством безжалостных сражений за преемственность и зачастую непрозрачных систем внутреннего продвижения по службе. Даже там, где оппозиция правительству формально легальна, ее подавляют, иногда жестоко. Если СМИ критикуют правительство, им грозит судебный иск и насилие.
Выборы, когда они происходят, систематически склоняются в пользу действующих лиц. Граждане, выступающие против своих лидеров, сталкиваются не только с трудностями при организации; им грозит суровое наказание за высказывание, включая тюремное заключение и смерть. По всем этим причинам авторитарные правительства часто не имеют четкого представления о том, как устроен мир или чего хотят они и их граждане.
Таким образом, такие системы сталкиваются с выбором между краткосрочной политической стабильностью и эффективной политикой; желание первых склоняет авторитарных лидеров к тому, чтобы не допускать посторонних к выражению политических мнений, тогда как необходимость вторых требует от них некоторого представления о том, что происходит в мире и в их обществах. Из-за жесткого контроля над информацией авторитарные правители не могут полагаться на граждан, средства массовой информации и голоса оппозиции для обеспечения корректирующей обратной связи, как это делают демократические лидеры.
В результате они рискуют потерпеть неудачу в политике, которая может подорвать их долгосрочную легитимность и способность править. Катастрофическое решение президента России Владимира Путина вторгнуться в Украину, например, похоже, было основано на неточной оценке украинского морального духа и силы его собственной армии.
Еще до изобретения машинного обучения авторитарные правители использовали количественные показатели как грубый и несовершенный показатель общественного мнения. Возьмем Китай, который на протяжении десятилетий пытался сочетать децентрализованную рыночную экономику с централизованным политическим контролем за некоторыми важными статистическими данными, в частности, за ВВП. Местные чиновники могли получить повышение, если в их регионах наблюдался особенно быстрый рост. Но ограниченное количественное видение Пекина давало им мало стимулов для решения назревающих проблем, таких как коррупция, долги и загрязнение окружающей среды. Неудивительно, что местные чиновники часто манипулировали статистикой или проводили политику, которая увеличивала ВВП в краткосрочной перспективе, оставляя долгосрочные проблемы своим преемникам.
Не существует такой вещи, как принятие решений без политики.
Мир мельком увидел эту динамику во время первоначального реагирования Китая на пандемию COVID-19, которая началась в провинции Хубэй в конце 2019 года. После кризиса атипичной пневмонии 2003 года Китай создал систему отчетности о заболеваниях через Интернет, но вместо Используя эту систему, местные власти в Ухане, столице провинции Хубэй, наказали врача, который первым сообщил о наличии инфекции, похожей на SARS. Правительство Ухани усердно работало над тем, чтобы информация о вспышке не достигла Пекина, постоянно повторяя, что «новых случаев не было» до тех пор, пока не завершились важные местные политические встречи. Врач Ли Вэньлян сам скончался от болезни и умер 7 февраля, вызвав бурное возмущение по всей стране.
Затем Пекин взял на себя ответные меры на пандемию, приняв подход «ноль COVID», который использовал принудительные меры для подавления подсчета случаев. В краткосрочной перспективе эта политика сработала хорошо, но с огромной трансмиссивностью варианта Omicron политика нулевого COVID, похоже, все чаще приводила только к пирровым победам, требуя массовых блокировок, которые оставили людей голодными, а экономику разорили.
Но он по-прежнему успешно достигал одного важного, хотя и грубого показателя — поддержания низкого числа инфекций.
Данные, кажется, обеспечивают объективные измерения, которые объясняют мир и его проблемы, без каких-либо политических рисков и неудобств, связанных с выборами или свободными СМИ. Но нет такой вещи, как принятие решений без политики. Беспорядочность демократии и риск нарушения процессов обратной связи очевидны для любого, кто обращает внимание на политику США. Автократии страдают от подобных проблем, хотя они менее заметны. Чиновники, придумывающие цифры, или граждане, отказывающиеся превратить свой гнев в широкомасштабные протесты, могут иметь серьезные последствия, повышая вероятность принятия неверных решений в краткосрочной перспективе и провал режима в долгосрочной перспективе.
ЭТО ЛОВУШКА?
Самый насущный вопрос заключается не в том, выиграют или проиграют США или Китай в гонке за господство ИИ. Именно так ИИ изменит различные циклы обратной связи, на которые полагаются демократии и автократии для управления своими обществами.
Многие наблюдатели предполагают, что по мере повсеместного распространения машинного обучения оно неизбежно нанесет ущерб демократии и поможет автократии. По их мнению, например, алгоритмы социальных сетей, которые оптимизируют взаимодействие, могут подорвать демократию, нанеся ущерб качеству отзывов граждан. Пока люди просматривают видео за видео, алгоритм YouTube предлагает шокирующий и тревожный контент, чтобы поддерживать их интерес. Этот контент часто включает теории заговора или экстремистские политические взгляды, которые заманивают граждан в темную страну чудес, где все перевернуто с ног на голову.
Машинное обучение, напротив, должно помочь автократиям, способствуя большему контролю над их людьми. Историк Юваль Харари и множество других ученых утверждают, что ИИ «одобряет тиранию». Согласно этому лагерю, ИИ централизует данные и власть, позволяя лидерам манипулировать обычными гражданами, предлагая им информацию, рассчитанную на нажатие их «эмоциональных кнопок». Предполагается, что этот бесконечно повторяющийся процесс обратной связи и реакции создает невидимую и эффективную форму социального контроля.
В этом случае социальные сети позволяют авторитарным правительствам следить за пульсом населения, а также завладевать его сердцем.
Но эти аргументы основаны на сомнительных основаниях. Хотя утечки из Facebook позволяют предположить, что алгоритмы действительно могут направлять людей к радикальному контенту, недавние исследования показывают, что алгоритмы сами по себе не меняют то, что ищут люди. Людей, которые ищут экстремальные видео на YouTube, скорее всего, направят к тому, чего они хотят, но люди, которые еще не заинтересованы в опасном контенте, вряд ли будут следовать рекомендациям алгоритмов. Если бы обратная связь в демократических обществах становилась все более ненормальной, машинное обучение не было бы полностью виновато; это только протянуло бы руку помощи.
Больше машинного обучения может привести к тому, что авторитарные режимы будут удваивать неверные решения.
Нет веских доказательств того, что машинное обучение позволяет осуществлять всеобщий контроль над разумом, который опустошит демократию и укрепит авторитаризм.
Если алгоритмы не очень эффективны в том, чтобы заставить людей что-то покупать, они, вероятно, гораздо хуже в том, чтобы заставить их изменить свое мнение о вещах, которые затрагивают близкие ценности, такие как политика. Утверждения о том, что Cambridge Analytica, британская политическая консалтинговая фирма, использовала какой-то магический метод, чтобы исправить результаты президентских выборов в США в 2016 году для Дональда Трампа, были опровергнуты. Предполагаемый секретный соус фирмы, предоставленный кампании Трампа, по-видимому, состоял из стандартных методов психометрического таргетинга — использования личностных опросов для категоризации людей — ограниченной полезности.
Действительно, полностью автоматизированный авторитаризм, управляемый данными, может оказаться ловушкой для таких государств, как Китай, которые концентрируют власть в руках крошечной изолированной группы лиц, принимающих решения. В демократических странах есть корректирующие механизмы — альтернативные формы обратной связи с гражданами, которые могут контролировать правительства, если они сбиваются с пути.
Авторитарные правительства, которые удваивают машинное обучение, не имеют такого механизма. Хотя повсеместная государственная слежка может оказаться эффективной в краткосрочной перспективе, опасность заключается в том, что авторитарные государства будут подорваны формами самоусиливающейся предвзятости, которым способствует машинное обучение. Поскольку государство широко использует машинное обучение, идеология лидера будет определять, как используется машинное обучение, цели, вокруг которых оно оптимизируется, и как оно интерпретирует результаты. Данные, которые появятся в результате этого процесса, скорее всего, отразят предубеждения лидера.
Как объяснил технолог Мацей Цегловски, машинное обучение — это «отмывание денег для предвзятости», «чистый математический аппарат, который придает статус-кво ауру логической неизбежности». Что произойдет, например, когда штаты начнут использовать машинное обучение, чтобы выявлять жалобы в социальных сетях и удалять их? Лидерам будет труднее увидеть и исправить политические ошибки, даже если эти ошибки наносят ущерб режиму.
Исследование, проведенное в 2013 году, показало, что Китай медленнее удаляет онлайн-жалобы, чем можно было бы ожидать, именно потому, что такое недовольство дает руководству полезную информацию. Но теперь, когда Пекин все больше внимания уделяет социальной гармонии и стремится защитить высокопоставленных чиновников, этот подход невмешательства будет труднее поддерживать.
Дезинформация, подпитываемая искусственным интеллектом, может отравить колодец как демократическим, так и автократическим государствам.
Президент Китая Си Цзиньпин знает об этих проблемах, по крайней мере, в некоторых областях политики. Он давно заявлял, что его кампания по борьбе с бедностью — попытка искоренить обнищание сельских жителей — стала знаковой победой, основанной на интеллектуальных технологиях, больших данных и искусственном интеллекте. Но с тех пор он признал недостатки кампании, в том числе случаи, когда чиновники выгоняли людей из их сельских домов и прятали их в городских квартирах, чтобы играть в статистику бедности.
Когда переселенцы снова погрузились в нищету, Си опасался, что «единые количественные целевые показатели» уровня бедности могут оказаться неправильным подходом в будущем. Данные действительно могут стать новой нефтью, но они могут скорее загрязнить, чем повысить способность правительства управлять.
Эта проблема имеет последствия для так называемой системы социального кредита Китая, набора институтов для отслеживания просоциального поведения, которое западные комментаторы изображают как идеально функционирующий «режим наблюдения с использованием ИИ, который нарушает права человека». Как отмечают эксперты по информационной политике, такие как Шазеда Ахмед и Карен Хао, система на самом деле гораздо более грязная. Китайская система социального кредита на самом деле больше похожа на кредитную систему США, которая регулируется такими законами, как Закон о достоверной кредитной отчетности, чем на идеальную оруэлловскую антиутопию.
Расширение возможностей машинного обучения может также привести к тому, что авторитарные режимы будут удваивать неверные решения.
Если машинное обучение будет обучено выявлять возможных диссидентов на основе записей об арестах, оно, скорее всего, будет генерировать самоусиливающиеся предубеждения, подобные тем, которые наблюдаются в демократиях, — отражая и подтверждая убеждения администраторов о неблагоприятных социальных группах и неумолимо закрепляя автоматические подозрения и негативную реакцию. В демократиях общественное противодействие, пусть и несовершенное, возможно. В авторитарных режимах сопротивляться гораздо труднее; без него эти проблемы невидимы для тех, кто находится внутри системы, где чиновники и алгоритмы разделяют одни и те же предубеждения. Вместо хорошей политики это приведет к нарастанию патологий, социальной дисфункции, обидам и, в конце концов, волнениям и нестабильности.
ВООРУЖЕННЫЙ ИИ
Международная политика ИИ не приведет к простой гонке за господство. Грубое представление о том, что эта технология является экономическим и военным оружием, и что данные — это то, что дает ей силу, скрывает большую часть реального действия.
На самом деле самые большие политические последствия ИИ связаны с механизмами обратной связи, на которые полагаются как демократические, так и авторитарные страны. Некоторые данные указывают на то, что ИИ нарушает обратную связь в демократических странах, хотя и не играет такой большой роли, как предполагают многие. Напротив, чем больше авторитарные правительства полагаются на машинное обучение, тем больше они будут продвигать себя в воображаемый мир, основанный на их собственных предубеждениях, основанных на технологиях. Классика политолога Джеймса Скотта 19В книге 98, Seeing Like a State , объяснялось, как государства двадцатого века были слепы к последствиям своих собственных действий отчасти потому, что они могли видеть мир только через бюрократические категории и данные. Как утверждали социолог Марион Фуркад и другие, машинное обучение может создавать те же проблемы, но в еще большем масштабе.
Эта проблема создает совершенно другой набор международных проблем для таких демократий, как Соединенные Штаты.
Россия, например, вкладывала средства в кампании по дезинформации, призванные посеять замешательство и смятение среди российской общественности, применяя те же инструменты в демократических странах. Хотя сторонники свободы слова долгое время утверждали, что ответом на скверную речь будет больше сквернословия, Путин решил, что лучший ответ на сквернословие — больше сквернословия. Затем Россия воспользовалась открытыми системами обратной связи в демократических странах, чтобы загрязнить их дезинформацией.
Демонстрация системы распознавания лиц китайской фирмы по искусственному интеллекту, Пекин, февраль 2022 г.
Флоренс Ло / Reuters Одна из быстро возникающих проблем заключается в том, как автократии, такие как Россия, могут использовать в качестве оружия большие языковые модели, новую форму ИИ, которая может создавать текст или изображения в ответ на словесную подсказку для создания масштабной дезинформации. Как предупредили ученый-компьютерщик Тимнит Гебру и ее коллеги, такие программы, как система GPT-3 компании Open AI, могут создавать плавный текст, который трудно отличить от обычного человеческого письма.
Bloom, новая модель большого языка с открытым доступом, только что была выпущена для всех. Его лицензия требует, чтобы люди избегали жестокого обращения, но полицейским будет очень трудно.
Эти события создадут серьезные проблемы для обратной связи в демократических странах. Нынешние онлайн-системы комментирования политики почти наверняка обречены, поскольку им требуется мало доказательств, чтобы установить, является ли комментатор реальным человеком. Подрядчики крупных телекоммуникационных компаний уже наводнили Федеральную комиссию по связи США фальшивыми комментариями, связанными с украденными адресами электронной почты, в рамках своей кампании против законов о сетевом нейтралитете. Тем не менее было легко распознать уловку, когда были опубликованы десятки тысяч почти идентичных комментариев. Сейчас или в самом ближайшем будущем будет тривиально просто заставить большую языковую модель написать, скажем, 20 000 различных комментариев в стиле колеблющихся избирателей, осуждающих сетевой нейтралитет.
Дезинформация, подпитываемая искусственным интеллектом, может отравить колодец и автократиям. По мере того, как авторитарные правительства наполняют свои собственные публичные дебаты дезинформацией, становится легче сломить оппозицию, но труднее сказать, во что на самом деле верит общественность, что значительно усложнит процесс принятия политических решений. Авторитарным лидерам будет все труднее избегать наживы за счет собственного предложения, что заставит их поверить в то, что граждане терпимы или даже любят крайне непопулярную политику.
ОБЩИЕ УГРОЗЫ
Каково было бы делить мир с авторитарными государствами, такими как Китай, если они все больше попадают в ловушку собственных нездоровых информационных петель обратной связи? Что происходит, когда эти процессы перестают обеспечивать кибернетическое руководство и вместо этого отражают собственные страхи и убеждения правителей? Одним из эгоистичных ответов демократических конкурентов было бы предоставление автократам самим себе, рассматривая все, что ослабляет авторитарные правительства, как чистую выгоду.
Однако такая реакция может привести к гуманитарной катастрофе. Многие из нынешних предубеждений китайского государства, такие как его политика по отношению к уйгурам, активно пагубны и могут стать намного хуже. Предыдущие последствия слепоты Пекина к реальности включают великий голод, унесший жизни около 30 миллионов человек в период с 1959 по 1961 год и вызванный идеологической политикой и скрытый нежеланием провинциальных властей сообщать точные статистические данные. Даже несгибаемые циники должны признать опасность внешнеполитических катастроф, вызванных искусственным интеллектом, в Китае и других странах. Например, усиливая националистические предубеждения, ИИ может легко усилить ястребиные группировки, стремящиеся к территориальному завоеванию.
Данные могут быть новой нефтью, но они могут скорее загрязнить, чем улучшить способность правительства управлять.
Возможно, что еще более цинично, у политиков на Западе может возникнуть соблазн использовать замкнутые контуры авторитарных информационных систем.
До сих пор Соединенные Штаты были сосредоточены на продвижении свободы Интернета в автократических обществах. Вместо этого он может попытаться усугубить авторитарную информационную проблему, усиливая петли предвзятости, которым подвержены эти режимы. Это можно сделать, искажая административные данные или дезинформируя авторитарные социальные сети. К сожалению, виртуальной стены, разделяющей демократические и авторитарные системы, не существует. В демократические общества могут просачиваться не только неверные данные и безумные убеждения из авторитарных, но и ужасные авторитарные решения могут иметь непредсказуемые последствия для демократических стран. Размышляя об ИИ, правительства должны осознавать, что мы живем во взаимозависимом мире, где проблемы авторитарных правительств, скорее всего, перерастут в демократию.
Таким образом, более разумный подход может заключаться в том, чтобы смягчить слабые стороны ИИ за счет общих механизмов международного управления. В настоящее время разные части китайского государства расходятся во мнениях относительно надлежащей реакции на регулирование ИИ.
Управление киберпространства Китая, его Академия информационных и коммуникационных технологий и его Министерство науки и технологий, например, имеют все предложенные принципы регулирования ИИ. Некоторые предпочитают модель «сверху вниз», которая может ограничить частный сектор и предоставить правительству полную свободу действий. Другие, по крайней мере косвенно, также признают опасность ИИ для правительства. Разработка общих принципов международного регулирования может помочь в распространении знаний о политических рисках ИИ.
Этот совместный подход может показаться странным в контексте растущего соперничества между США и Китаем. Но тщательно продуманная политика может сослужить хорошую службу Вашингтону и его союзникам. Одним из опасных путей для Соединенных Штатов было бы втягивание в гонку за доминирование ИИ, что еще больше расширило бы конкурентные отношения. Другой вариант — попытаться усугубить проблемы обратной связи авторитаризма. Оба рискуют катастрофой и возможной войной.
Поэтому гораздо безопаснее для всех правительств признать общие риски ИИ и работать вместе над их снижением.
Загрузка…
Пожалуйста, включите JavaScript для корректной работы сайта.
Спящие красавицы: эволюционные новшества, которые ждут миллионы лет, чтобы стать хорошими | Эволюция
Какие организмы самые успешные на планете? Некоторые люди могут подумать о высших хищниках, таких как львы и большие белые акулы. Другим на ум могут прийти насекомые или бактерии. Но мало кто упомянул бы семейство растений, которые мы видим вокруг себя каждый день: травы.
Травы соответствуют как минимум двум критериям впечатляющего успеха. Первое — это изобилие. Травы покрывают североамериканские прерии, африканские саванны и евразийские степи, простирающиеся на 5000 миль от Кавказа до Тихого океана. Вторым критерием является количество и разнообразие видов. С тех пор, как возникли травы, они превратились в более чем 10 000 видов с поразительным разнообразием форм, от сантиметровых пучков волосяной травы, адаптированных к морозу Антарктиды, до высоких трав северной Индии, которые могут укрывать целые стада слонов.
и к азиатским бамбуковым лесам с «деревьями», которые вырастают до 30 метров в высоту.
Но травы не всегда были столь впечатляющими. На протяжении десятков миллионов лет — фактически большую часть своей эволюционной истории — травы едва добывали себе пропитание. Их происхождение восходит к эпохе динозавров, более 65 миллионов лет назад. Но в течение многих миллионов лет, согласно летописи окаменелостей, их не было в изобилии. Фактически, менее 25 миллионов лет назад они стали доминирующим видом, который мы признаем сегодня.
Почему травам пришлось ждать 40 миллионов лет своего пресловутого места на солнце? Эта тайна углубляется, как только вы узнаете, что на раннем этапе эволюция наделила травы многочисленными инновациями, повышающими выживаемость. Среди них химические средства защиты, такие как лигнин и диоксид кремния, которые стачивают зубы пасущихся животных. Эти функции также защищают травы от засухи, как и сложные метаболические инновации, которые помогают им экономить воду.
С этими и другими нововведениями можно было подумать, что травы быстро стали доминирующими. Но их отсроченный успех содержит в себе глубокую правду о новых формах жизни. Успех зависит не только от какой-то внутренней характеристики новой формы жизни, такой как усовершенствование или новая способность, дарованная нововведением. Это зависит от мира, в котором рождается эта форма жизни.
Травы входят в число множества новых форм жизни, чей успех, измеряемый обилием или разнообразием видов, был отложен на миллионы лет. Первые муравьи появились на сцене 140 миллионов лет назад, но муравьи начали разветвляться на сегодняшние 11 000 или более видов только 40 миллионов лет спустя. Млекопитающие с различным образом жизни — живущие на земле, лазающие по деревьям, летающие или плавающие — возникли более 100 миллионов лет назад, прежде чем они стали успешными 65 миллионов лет назад. И одному семейству морских моллюсков пришлось ждать целых 350 миллионов лет, прежде чем оно достигло большого успеха, диверсифицируясь до 500 видов.
Эти и многие другие новые формы жизни оставались бездействующими, прежде чем бурно преуспеть. Они спящие красавицы биологической эволюции. Они ставят под сомнение многие широко распространенные представления об успехе и неудаче. И эти сомнения относятся не только к новшествам природы, но и к нововведениям человеческой культуры.
Чтобы жизнь развивалась, она должна была преодолевать трудности с помощью инноваций, например, как извлекать энергию из минералов, органических молекул и солнечного света или как убегать от хищников и выслеживать добычу. Каждая из этих проблем может быть решена разными способами, каждая из которых возникает как творческий продукт биологической эволюции, каждая воплощается в видах с уникальным образом жизни, а их миллионы, и число их увеличивается по мере продвижения эволюции.
Бамбуковый лес в Куньмине, Китай. Фотография: China News Service/Getty Images Инновации не остановились на биологической эволюции. Виды со сложной нервной системой, в том числе шимпанзе, дельфины и вороны, открыли простые технологии — инструменты, которые они используют для охоты или сбора пищи.
За 12 000 лет, прошедших после сельскохозяйственной революции, человеческая культура придумала революционные инновации, такие как математика и письмо, а также бесчисленное множество более мелких, от колеса до обоев. Среди них бесчисленное множество спящих красавиц. Они включают в себя прорывные технологии, такие как радар, который изначально игнорировался, и научные открытия, такие как генетические законы наследственности, которыми пренебрегали десятилетиями.
Конечно, природа и культура творят по-разному. Чернила и бумага в «Началах» Ньютона — это другой субстрат творчества, чем клетки, ткани и органы синего кита. Настойчивость писателя в борьбе с 15-м наброском главы — двигатель творчества, отличный от случайных мутаций ДНК. Коммерческая ценность патента — это другой показатель успеха, чем то, как часто ежедневно делится бактерия
Но за этими различиями скрывается глубокое сходство. Одна из них заключается в том, что большое количество инноваций появляется раньше времени.
Творческие продукты без видимых достоинств, ценности или полезности, но обладающие способностью преобразовывать жизнь при достаточном количестве времени, повсюду в природе и культуре. Спящие красавицы природы могут помочь нам понять, почему творить может быть легко, но успешно творить — это очень сложно. Это вне контроля создателя.
Гусеницы бабочек-монархов пристрастились к опасной пище. Они поедают листья молочая, многолетних трав, вырастающих до нескольких футов в высоту, с крошечными звездчатыми цветками, которые образуют привлекательные гроздья. Молочай может быть красивым, но не безобидным. Когда ротовой аппарат гусеницы врезается в лист молочая, каналы под давлением внутри поврежденного листа выделяют вещество молочно-белого цвета, отсюда и название молочая. Гусеницы знают, что это белое вещество означает неприятности, потому что они пытаются прорезать эти каналы и дать молоку стечь, прежде чем сожрут лист.
Научное название этого молока — латекс, сложная и липкая смесь химических веществ, предназначение которых сходно с назначением липких смол, подобных желтым выделениям сосен.
Латекс и смолы являются смертельным защитным оружием против голодных животных. Когда насекомые откусывают кусок растения, производящего латекс или смолу, липкий материал может обездвижить их ротовой аппарат и склеить их вместе. Он может даже поймать их целиком. Более 30% гусениц бабочки монарха, которые вылупляются на листьях молочая, погрязают в латексе растения, приклеиваются к листу и погибают. И такая ловушка — только одна линия защиты, воплощенная в латексе и смолах. Оба секрета могут также содержать токсичные химические вещества, такие как сердечные гликозиды.
Это химическое оружие также является примером эволюционных инноваций, так называемых, потому что они возникают в ходе эволюции вида и помогают виду выжить. И эти специфические нововведения были сделаны не только молочаями. Эволюция открывала их не один, не два и не несколько раз, а не менее 40 раз у совершенно разных видов. Более того, многие виды, обнаружившие их, также независимо развили сеть распространения этих токсичных выделений, сложную систему каналов, по которым липкое вещество доставляется туда, где растение подвергается нападению.
Латекс, смолы и их транспортные сети настолько важны, что биологи подняли их статус выше уровня простых инноваций. Мы называем их ключевыми инновациями. Это потому, что они делают больше, чем просто улучшают выживание одного вида растений. Они имеют более глубокие и долгосрочные последствия для эволюции.
Желтые муравьи. Фото: JH Photo/AlamyРастения, производящие латекс, меньше повреждаются насекомыми, растут быстрее и тратят больше энергии на размножение путем образования цветов и семян. Эти преимущества позволяют таким растениям распространяться дальше и колонизировать новые места обитания. В этих местах обитания они со временем образуют новые виды. Говоря языком биологии, такие ключевые инновации способствуют адаптивной радиации, прорастанию новых ветвей на древе жизни. Один вид размножается во многих, у каждого из них свой образ жизни, который лучше всего подходит для его собственной среды обитания.
Эволюционный потенциал этого химического оружия раскрывается в ходе исследования 16 семейств растений.
Каждое семейство не только производит латекс и смолы, но и имеет близкородственное семейство, не имеющее этой способности. Исследование показало, что в 13 из 16 семейств, производящих латекс, появилось больше видов — не просто в несколько раз больше, а в 100 раз больше, — чем в родственных семействах, не обладающих этой способностью.
Латекс — важная инновация, но сам он является продуктом гонки вооружений, которая началась с другой инновации, более старой, обнаруженной насекомыми. Этим нововведением стала фитофагия, способность употреблять растения в пищу.
Сотни миллионов лет назад примитивные насекомые охотились только на других животных или питались детритом, поедая трупы мертвых организмов. Переход от этой диеты к растениям не мог быть легким. Одним из препятствий для вегетарианского образа жизни является химическая защита растений, которая имеет решающее значение для их выживания, поскольку растения не могут ни бежать, ни прятаться. Еще одним препятствием является то, что растительные ткани и сок бедны питательными веществами, такими как азот и незаменимые аминокислоты, гораздо беднее, чем добыча животных или детрит.
Несмотря на эти препятствия, фитофагия также была обнаружена не раз, и не только два или три раза, но по крайней мере 50 раз разными видами. И это стало очень успешным, как доказали биолог Чарльз Миттер из Университета Мэриленда и его сотрудники. Эти исследователи показали, что ветви травоядных насекомых на древе жизни, как правило, производят больше видов, а иногда и намного больше, чем их собратья, не питающиеся растениями. Например, в семействе насекомых, также известном как 
Фитофагия — еще одно из ключевых нововведений эволюции.
Один из взглядов на адаптивное излучение состоит в том, что ключевое нововведение делает возможным излучение, а его отсутствие предотвращает излучение. Только с ключевой инновацией вид может использовать существующие возможности, такие как более теплый климат или новый источник пищи. С этой точки зрения любое адаптивное излучение должно ждать, возможно, в течение длительного времени, пока не возникнет правильная инновация. И необходимость ждать сдерживает эволюцию. Но такие инновации, как производство латекса и фитофагия, ставят под сомнение эту точку зрения, потому что они возникали очень много раз.
Возможно, эволюционные инновации проще, чем мы думаем? Может быть, эволюции не приходится ждать нововведений? Возможно, его творческий двигатель более мощный, чем мы думаем? Удивительная скорость, с которой эволюция может реагировать на новые возможности, предполагает такую возможность.
Примеры производства латекса и фитофагии оставляют нам две возможности.
Во-первых, эволюция — не более чем проворный новатор. Он своевременно реагирует на изменяющуюся среду и внимательно отслеживает многие такие изменения с течением времени. Если это так, то он обновляется только благодаря эволюционным возможностям, таким как подъем горного хребта или раскол континента. Вторая возможность более заманчива. Что, если многие инновации возникают раньше времени, но процветают только при подходящих условиях?
Если инновации легко приходят в эволюцию, они так же легко приходят и в культуру, и многочисленные открытия подтверждают это утверждение. Одним из древних примеров является сельское хозяйство, которое имеет по крайней мере 11 независимых источников, в том числе на Ближнем Востоке, в Китае, Африке и Новой Гвинее, с такими разными сельскохозяйственными культурами, как пшеница, рис и кукуруза. Многочисленные открытия латекса в биологической эволюции также имеют параллели в истории человечества: коммерчески полезная форма латекса, т.е. натуральный каучук.
Молочно-белый латекс, выделяющийся из раненых каучуковых деревьев, химически нестабилен. Чтобы создать из него полезный, стабильный натуральный каучук, требуется процесс, называемый вулканизацией. Когда изобретатель Чарльз Гудьир случайно открыл этот процесс в 1839 г., он вызвал коммерческую революцию продуктов из натурального каучука. Они стали настолько важными для промышленной революции, что столетие спустя президент Goodyear Tire & Rubber Company мог назвать каучук «подвижными мышцами и сухожилиями» индустриального общества. Ко времени Второй мировой войны танку требовалось 3600 кг резины, а линкору — сотни тонн. Каучук стал жизненно важным и чрезвычайно ценным товаром.
Кажется, взрывной успех каучука должен был дождаться единственного открытия. Фактически, американские индейцы доколумбовой эпохи опередили Чарльза Гудьира почти на 3500 лет. Они обнаружили, как нагревать сырой латекс с соком лозы ипомеи для достижения вулканизации. Резиновые изделия, которые они производили, включали фигурки, резиновые ленты и резиновые мячи для ритуальных игр с мячом, которые воплощали в жизнь мифы об их создании.
Но поскольку их новшество появилось слишком рано, его влияние на человечество было незначительным.
Примеров многочисленных открытий становится все больше по мере того, как мы приближаемся к настоящему, возможно, потому, что наши исторические записи становятся лучше, возможно, потому, что темпы инноваций ускоряются. Маятниковые часы изобретались не менее трех раз, термометр семь раз, телеграф четыре раза и радар шесть раз.
Многие изобретатели-одиночки возразят, что инновации даются легко. В конце концов, инновации кажутся трудными даже для некоторых из самых плодовитых изобретателей человечества. Томасу Эдисону пришлось перепробовать 6000 различных материалов, прежде чем он наткнулся на бамбук в качестве стабильной нити накала для ламп накаливания. Но то, что кажется трудным для отдельных новаторов, может выглядеть совсем иначе с более высокой точки зрения, например, с точки зрения историка, изучающего целую историческую эпоху.
С этой точки зрения, большинство изобретений и открытий — не единичные исторические события, добытые тяжелым трудом, а почти неизбежные продукты своего времени.
Примерно в трети изобретений между двумя независимыми открытиями прошло более 10 лет. Это намек на то, что ранние открытия часто игнорируются или забываются. Очевидный вопрос почему. Среди таких примеров — лекарство от цинги, смертельной болезни, которую наблюдатель 18-го века назвал «морской чумой», потому что она убила бесчисленное количество моряков, проводивших месяц за месяцем в открытом океане. Его симптомы начинаются достаточно безобидно с недостатка энергии и боли в деснах. Они перерастают в мышечные боли и расшатывание зубов. И достигают апогея в недомоганиях – гноящихся ранах, кровотечениях, судорогах – которые надежно закончатся смертью.
Число погибших от цинги стало наиболее очевидным в эпоху подробных военно-морских записей и наиболее драматичным, когда колониальные державы начали исследовать океаны в поисках новых территорий, все дальше и дальше от дома, а их корабли проводили все больше и больше времени вдали от суши.
Во время кругосветного плавания в 1520 году мореплаватель Магеллан потерял 208 из 230 человек. Двумя веками позже, в 1740 году, в экспедиции, преследующей испанцев в Тихом океане, британский флотоводец Джордж Энсон потерял 1300 из почти 2000 человек. В обеих экспедициях в большинстве смертей была виновата цинга.
Сильнодействующее лекарство от цинги – цитрусовые и свежие овощи – не просто открывали и забывали, но не раз открывали заново и заново забывали. Васко да Гама открыл его в 1497 году — вместе с морским путем в Индию — в виде апельсинов, но его знания не распространились. В 1614 году британский военно-морской справочник под названием «Помощник хирурга» также одобрил это, но его слова, должно быть, остались без внимания, потому что даже в 18 веке британский флот потерял больше моряков из-за болезней, чем в сражениях, и главный виновник была еще цинга.
Третье открытие произошло в форме решающего медицинского эксперимента, ставшего важной вехой в истории медицины. К сожалению, этот тоже ничего не изменил.
Эксперимент был первым контролируемым клиническим испытанием, испытанием потенциальных средств от цинги, проведенным военно-морским хирургом Джеймсом Линдом в 1747 году. В то время Линд служил на британском военном корабле, где 80 из 350 человек заболели цингой. Он изолировал 12 моряков, умиравших от цинги, и давал каждому из них базовую диету с добавлением одного из шести различных противоцинготных средств — потенциальных средств от цинги. Двое матросов получили апельсины и лимоны, еще двое уксус, еще двое сидр, четвертая пара выпила морскую воду и так далее. Через две недели первая пара почти полностью выздоровела. Среди остальных пар немного улучшились только те, кто получал сидр. Явный результат: цитрусовые могут вылечить цингу.
Линд резюмировал свои исследования в своем «Трактате о цинге» 1753 года. Он был хорошо связан с Адмиралтейством, что могло повлиять на санитарную политику флота, но даже при этом Адмиралтейство игнорировало связь между цитрусовыми и цингой еще полвека.
Некоторые историки утверждают, что Линд был подорван конкурентами, которые отдавали предпочтение другим противоцинготным средствам. Другие считали Линда слишком опережающим свое время интеллектуальным революционером, которого сдерживали бесчисленные реакционеры, возмущавшиеся его гением. Правда сложнее.
Долгие океанские путешествия лишали моряков не только свежих продуктов. Квартиры были сырыми и грязными, воздух спертый, а питьевая вода несвежая. Итак, когда моряки достигли земли и их здоровье улучшилось, кто должен был сказать, было ли это хорошей пищей, свежим воздухом или чистой водой? Сложность проблемы также сыграла на глубоко укоренившейся вере в медицину 18-го века. Это убеждение противоречило сегодняшнему мнению о том, что многие болезни имеют конкретные причины, будь то вирусная инфекция, генетическая мутация или дефицит витаминов. В то время врачи считали, что любое заболевание может иметь несколько причин; вы можете заболеть цингой из-за нечистой воды, сырого воздуха или грязных помещений, и фактическая причина будет зависеть от вашей конституции.
И если у болезней есть несколько причин, то у них также должно быть несколько способов лечения. По этой причине медицинский истеблишмент осуждал то, что называлось «специфическим» — средством от одной болезни, которое работало для всех людей. Если врач утверждал, что нашел его, часто следовали обвинения в шарлатанстве.
В конце концов здравый смысл победит медицинские предубеждения, но на это уйдет еще почти полвека. Важным подтверждением цитрусовых стала вспышка цинги в британском флоте в 1793 году. Вспышку удалось подавить, когда привезенный из порта лимонный сок помог вылечить страдающих моряков. К 1795 году официальной политикой стало снабжение всех кораблей флота лимонным соком, а в 1867 году эта практика была навязана и гражданским судам.
Лимонный сок мог вылечить цингу, но еще несколько десятков лет никто не знал почему. Окончательный ответ придет не раньше 1927, когда венгерский биохимик Альберт Сент-Дьёрдьи выделил молекулу, которую он назвал аскорбиновой кислотой, после того как другие показали, что она является окончательным специфическим противоцинготным средством.
Сегодня мы знаем его как витамин С.
Открытие лекарства от цинги было преждевременным: его успех должен был ждать других разработок. Другими словами, для успеха научных открытий, как и технологических инноваций, может потребоваться несколько строительных блоков.
Некоторые из этих строительных блоков даже не обязательно должны быть научными открытиями. Они могут исходить извне науки. Когда Александр Флеминг открыл пенициллин в 1928, он останется лабораторным диковинкой более 10 лет. Причина: обнаружить плесень, производящую антибиотики, — это одно, а превратить это открытие в полезное лекарство — совсем другое. В то время никто не проявлял особого интереса, поэтому сам Флеминг отказался от исследований пенициллина в 1929 году. Когда интерес к пенициллину в конце концов возник, одна из причин была совершенно ненаучной: бушевала вторая мировая война, и тысячи солдат умирали от инфицированных ран. . Но даже с такой мотивацией выделение, клинические испытания и массовое производство пенициллина потребовали многолетних усилий и междисциплинарных команд из Великобритании и США.