В 2008 году восходящие звезды Кремниевой долины собрались вокруг стола в конференц-зале. В будущем все они станут титанами технологического мира, однако в то время ни один из них не был уверен в успешности своего бизнеса.
Джефф Безос основал Amazon, который работал с чрезвычайно низкой маржой и не приносил прибыли. Лишь недавно был запущен сервис облачных вычислений, который впоследствии станет большим источником дохода для Amazon. Но тогда Безос еще не знал об этом.
Шон Паркер был вынужден уйти из Facebook и вернуться к должности управляющего партнера фонда Founders Fund, основанного Питером Тилем. До судьбоносных инвестиций в Spotify его отделяли еще несколько лет.
Справа от него находился Илон Маск, чья компания по производству электромобилей Tesla переживала финансовый кризис, а SpaceX потратила миллионы долларов на производство ракеты, которая уже трижды не запустилась.
Напротив них сидел Ларри Пейдж. В то время он с увлечением приобретал новые сервисы для Google, но находился в судебной тяжбе на 1 миллиард долларов с медиаконгломератом Viacom.
Еще в комнате сидел один из бывших сотрудников Google, молодой инженер-программист по имени Эван Уильямс, который недавно стал соучредителем новой компании под названием Twitter.
Они посвятили девять часов своего времени лекции нобелевских лауреатов о том, как работает механизм принятия решений у человека. Затем они применили эти знания, чтобы обеспечить преимущество перед конкурентами для своих технологических компаний. Впоследствии эта технология была названа искусственным интеллектом.
Вопрос о качестве данных тогда еще не стоял. Ученые, собравшиеся в конференц-зале, были поведенческими экономистами. Для них идея об агенте (будь то человек или машина), способном принимать абсолютно рациональные решения, была чем-то вроде фантазии, достойной критики и развенчания.
Ученые не говорили о том, как трудно получить идеальные данные, чтобы создать совершенные машины для принятия решений. Они не верили, что это возможно. Вместо того, чтобы устранить человеческий фактор в принятии решений, они пытались найти способы управлять им.
Все больше и больше данных
Пока Министерство обороны США собирало данные, оно тратило миллиарды долларов, пытаясь “очистить” их. Мечта о мозговом центре с текущими в нем потоками чистых и точных данных, помогающих правительству и военачальникам иметь четкое и детальное представление о ситуации в мире, так же стара, как и сами компьютеры. Франция пыталась этого добиться, в Чили хотели того же, Советский Союз предпринимал три попытки, Китай наверняка пробует это сделать прямо сейчас. Но независимо от того, сколько данных мы собираем, насколько быстрыми или мощными становятся машины, это кажется просто недосягаемым.
Как утверждают эксперты, специалисты по обработке данных тратят примерно 80 % своего времени на их очистку, а ключом к созданию централизованных командных центров на базе ИИ является разрушение барьеров между сервисами и создание операционно-совместимых потоков для моделей ИИ. По оценкам экспертов, министерство обороны США тратит $11–$15 млрд в год на персонал, который управляет данными той или иной степени чистоты.
После десятилетий инвестиций, мониторинга и разработки стандартов, направленных на достижение полного понимания ситуации с помощью компьютеризированного мозга, мы остаемся на том же уровне, что и в 1970-х годах. По мере того, как компьютеры становились все более продвинутыми, объем данных, заполонивший их системы, также увеличивался.
Вместо того, чтобы устранить человеческий фактор в принятии решений, ученые пытались найти методы управления этим фактором.
И дело не только в финансировании Минобороны США, которое не смогло решить эту проблему. $16 млрд инвестиций от влиятельных игроков Кремниевой долины все еще не приблизили нас к самоуправляемым автомобилям. Несмотря на миллиарды, вложенные в ИИ-модерирование, непотребный контент из крупнейших соцсетей по-прежнему в основном удаляется вручную.
Неудивительно, что правительство не может получить должную отдачу от инвестиций в ИИ. Однако, похоже, что высокие технологии тоже не позволяют на нее рассчитывать.
Возможно, мы решаем не ту проблему
При решении сложной проблемы стоит отталкиваться от первостепенных вопросов.
- Как предположения определяют задачи, которые нужно решить?
- Если бы предположения были иными, какие бы задачи мы решали?
- Каких результатов мы ожидаем от поставленных задач?
Результат, к которому стремятся все разработчики ИИ, — принятие оптимальных решений. Полная ситуационная осведомленность предоставит руководителям компаний доступ к большему количеству данных и принятию оптимальных решений. А это, в свою очередь, предельно сократит негативные последствия. Именно поэтому Facebook стремится не допускать оскорбительные высказывания на своей платформе.
Но исследования, проведенные учеными (подобными тем, которые выступали перед технологическими лидерами в том конференц-зале в 2008 году), подвергли сомнению ценность излишней информации. В реальной жизни лица, принимающие решения, стараются экономить усилия. Инструменты, минимизирующие командные усилия, необходимые для принятия решения, предпочтительней полной ситуационной осведомленности.
В конце концов, о решениях часто судят по результатам, достигнутым не без доли везения, а также благодаря корректному анализу. До получения этих результатов даже самая продуманная и тщательно построенная стратегия, подкрепленная абсолютно безупречными данными, не может гарантировать успех. И об этом знают все специалисты.
Вот почему процесс принятия решения связан не столько с объективным анализом данных, сколько с активным ведением переговоров между заинтересованными сторонами с обсуждением приоритетов и допусков по рискам. Данные используются не для прояснения ситуации, а для подстраховки заинтересованных сторон от нежелательных последствий. Использование полной информации — если это вообще возможно — либо не приносит никакой пользы, либо снижает качество решений, увеличивая уровень шума.
Казалось бы, полная информация должна автоматически улучшать процесс принятия решений. Но это не так, потому что избыток редко определяет организационную политику, лежащую в основе решения. ИИ может правильно идентифицировать контент, но решения, принимаемые на основе этого контента, опираются, прежде всего, на представления о норме и ожидания как пользователей, так и организации.
Если решения в командах принимаются с учетом интересов и мотиваций различных сторон, лучший путь к оптимизации этого процесса — не просто увеличение датчиков для получения большего количества данных. Необходимо оптимизировать коммуникацию между заинтересованными сторонами.
Возникает вопрос: нужно ли вкладывать миллиарды долларов в очистку данных и настройку датчиков, чтобы усовершенствовать ИИ?
Недоработанная модель ИИ — угроза безопасности
Наши представления о качестве данных вводят нас в заблуждение. Мы говорим о “чистых” данных, как будто существует одно состояние, в котором они являются одновременно точными (и непредвзятыми) и многократно используемыми. Чистота данных — не то же самое, что точность, а точность — не то же самое, что эффективность.
Проблемы на любом из этих векторов могут помешать разработке модели ИИ или повлиять на качество ее результатов. Есть множество причин, по которым данные, поступающие в модель, могут вызывать проблемы. Некоторые из них очевидны: данные могут быть фактически неверны, искажены или представлены в неожиданном формате. Другие проблемы не столь заметны, если данные:
- собраны в определенном контексте и используются повторно ненадлежащим образом;
- некорректно детализированы для задач, решаемых моделью;
- не стандартизированы, в результате чего одни и те же факты представлены или описаны по-разному.
Решить каждую из этих проблем с помощью одного источника данных достаточно сложно. Решить все перечисленные проблемы в крупной организации, конкуренты которой пытаются саботировать работу моделей, внедрив в них некорректные данные, практически невозможно. Наше представление об ИИ не позволяет игнорировать тот факт, что инновации создают не только возможности, но и уязвимости.
Изобретая новые способы решения проблем, ИИ будет подвергаться новым видам атак. Цифровизация электростанций, общественного транспорта и систем связи привела к появлению киберпреступлений. ИИ, в свою очередь, породит новое поколение злоумышленников, которые будут стремиться подорвать позиции оппонентов, атакуя инструменты ИИ. Методы маскировки или дезинформирования противника — от сенсорных атак до дипфейков и “подмены местоположения” в спутниковых данных — развиваются наряду с основными технологиями, уязвимыми для происков недоброжелателей.
Современные ИИ-системы полностью зависят от качества данных не потому, что страдают технологическим несовершенством. Просто мы создали их уязвимыми. Производственные системы искусственного интеллекта должны быть спроектированы так, чтобы гарантировать устойчивость к некорректным данным. Изменив проблему, которую мы пытаемся решить, мы изменим ИИ-проектирование, направив усилия на снижение рисков атак. Нам нужно сделать искусственный интеллект антирисковым.
Что такое антирисковый ИИ?
В системном мышлении “антирисковым” считается ИИ-проект, который после сбоя не только восстанавливается, но и способен набрать обороты мощи и эффективности. Создавая ИИ на основе того, что улучшит процесс принятия решений, мы закладываем фундамент для антирискового ИИ. Из исследований, проведенных в области когнитивной науки, мы знаем, что хорошие решения являются продуктом:
- своевременного формулирования предположений;
- структурирования тестов гипотез для проверки этих предположений;
- установления четких каналов связи между заинтересованными сторонами.
Многие из когнитивных отклонений, подверженных пресловутому человеческому фактору, являются результатом блокировки одного из этих трех условий.
- Если люди не могут четко сформулировать свои предположения, то применяют решения, неуместные в данных условиях.
- Если люди не проверяют свои предположения, то не могут адаптировать правильные решения к изменяющимся условиям.
- Если исполнители не в состоянии эффективно обмениваться информацией с руководителями или между собой, шансы определить изменяющиеся условия и подвергнуть сомнению прежние предположения резко убывают, от чего проигрывают все.
Почему ИИ настолько уязвим для некорректных данных? Потому что мы придаем слишком большое значение его применению при классификации и распознавании, недооценивая его использование при формулировании предположений и контекстуализации. Проще говоря, ИИ, принимающий решения за людей, можно легко и дешево саботировать.
Сложность создания антирискового ИИ заключается в следующем: установление грани между принятием результатов анализа алгоритма в качестве заключения и обработкой его как предложения или подсказки является проблемой проектирования. Помните, что лица, принимающие решения, склонны экономить усилия? Именно поэтому они примут результаты анализа ИИ-алгоритма в качестве заключения, если только пользовательский интерфейс не создаст им особых трудностей.
Эта тенденция лежит в основе катастрофических ошибок, которые мы уже видели при применении ИИ в уголовном правосудии и полицейской практике. Модель, созданная для контекстуализации, но с интерфейсом, предназначенным для сообщения о заключении, — продукт, чрезвычайно уязвимый для некорректных данных.
Между тем, медицинские приложения ИИ смогли улучшить качество принятия решений именно потому, что многие диагностические проблемы не имеют единственно правильного решения. При диагностике для любого набора симптомов характерен ряд возможных причин с различной степенью вероятности. Клиницист мысленно создает дерево поиска решений из всех возможностей, которые он может предположить, и тестов, которые исключат определенные возможности. Процесс диагностики пациента состоит из нескольких последовательных этапов:
- определение предположений;
- анализ тестовых результатов;
- сужение набора возможных ответов до нахождения верного решения.
Продукты, выполняющие роль “ассистента” врача, вслед за ментальными моделями и идентификационными тестами, открыли новые горизонты в медицине. Они позволяют ускорить постановку верного диагноза и демонстрируют прогресс в лечении пациентов несмотря на загрузку некорректных данных.
Продукты, которые пытаются превзойти врача — будь то дифференцирование раковых и нераковых опухолей или установление того, являются ли затемнения в легких следствием Covid-19 — страдают от проблем с некорректными данными.
Мощный ИИ в мире некорректных данных
Прежде чем понять, как наилучшим образом использовать искусственный интеллект, технологические лидеры должны четко определить предназначение этой перспективной технологии. Если целью ИИ является оптимизация процесса принятия решений, то он должен направлять лиц, принимающих решения, на проверку гипотез, а не пытаться превзойти экспертов. В противном случае он становится полностью зависимым от качества получаемых данных, создавая набор уязвимостей, которые могут дешево и легко использовать конкуренты.
Если цель ИИ — укрепить и поддержать действенные методы принятия решений, а не возвыситься за счет экспертов, то такая технология будет устойчивой к некорректным данным и антирисковой. Но и этот ИИ не принимает решений. Он лишь помогает людям справиться со следующими задачами:
- сформулировать предположения, лежащие в основе принятия решения;
- сообщить об этих предположениях другим заинтересованным сторонам;
- предупредить лиц, принимающих решения, о существенных изменениях условий, имеющих отношение к этим предположениям.
Такие решения способны повысить общую производительность команды, устраняя возникающие недостатки, а не изобретая новые на радость конкурентам.
Читайте также:
- Искусственный интеллект + распределённые реестры = оружие против фейковых новостей
- Как искусственный интеллект меняет финансовый сектор?
- Автоматическое создание музыки с помощью искусственного интеллекта
Читайте нас в Telegram, VK и Яндекс.Дзен
Перевод статьи Marianne Bellotti: A.I. Is Solving the Wrong Problem
