Представьте, что вы босс и у вас в штате два работника (человека):
- Кирилл Небрежный — это сплошное разочарование. Лишь в 70% случаев он справляется с поставленными задачами, а все остальное время тупит по полной. Наблюдать за тем, как Кирилл делает 10 неудачных попыток, более чем достаточно, чтобы заставить вас воскликнуть “О, боже!”.
- Максим Надежный — это совсем другая история. Вы видели Максима в действии более сотни раз и неизменно были приятно впечатлены.
А вот и вопрос на миллион долларов: какой работник более опасен для вашего бизнеса?
В задаче с высокими ставками ответом должен быть Максим. Но, возможно, не по той причине, которая пришла вам на ум первой.
Речь не о плохих проектах
Сверхнадежные работники могут быть опасны, если лицо, принимающее решения, невменяемо. Они “просто выполняют приказы”, даже если эти приказы абсурдны, поэтому становятся проводниками некомпетентности (или злобы). Это известный факт. Но сейчас посмотрим на ситуацию под другим углом.
Предположим, что у вас есть замечательный проект, способный изменить мир к лучшему, если все будет сделано как надо. Будет ли Максим Надежный самым сильным звеном в вашей команде?
Когда вы понимаете, что нельзя доверять
Вы знаете, что не должны доверять Кириллу Небрежному. Для вас это очевидно. Вы ожидаете подвоха и из-за этого не собираетесь делать ставку на Кирилла. Верно? Вы не позволите чужой некомпетентности застать вас врасплох, поэтому заранее подстрахуетесь. Вы будете достаточно мудры, чтобы подложить соломки в места неизбежных ляпов.
Вы также постараетесь держать ситуацию под контролем и тщательно следить за каждым шагом Кирилла Небрежного. Но Максим? Вы доверяете Максиму Надежному. Зачем проверять его или принимать страховочные меры? Максим безупречен, верно?
Остерегайтесь надежного работника
Максим не безупречен. Вы просто еще не сталкивались с его промахами — требуется больше времени, чтобы увидеть его в критической ситуации. Дело в том, что у вас не было возможности должным образом оценить, насколько катастрофическим может оказаться провал Максима Надежного.
Слишком большое доверие — это проблема. Когда система явно несовершенна, вы прогнозируете ее ошибки. Вы не полагаетесь на идеальное исполнение.
Есть принципиальная разница между хорошим и идеальным. Если руководитель этого не понимает, то самый ценный его работник может превратиться из “подарка судьбы” в сущее наказание.
При масштабировании все идеальное исчезает
Проблема заключается в следующем: вы думаете, что тщательно проверили Максима, но это не так. Требуется гораздо больше, чем 100 испытаний, чтобы стать свидетелем оплошности человека. Увеличьте масштаб операции по наблюдению — и будете неприятно удивлены.
Эти советы применимы не только по отношению к работникам-людям. Еще более актуальны они для систем искусственного интеллекта и других масштабируемых решений. Одна из самых опасных вещей в технологиях, основанных на математике и данных, заключается в том, что неспециалисты слишком доверяют им. Не будьте той легкой добычей, которая ищет совершенства в сложных задачах.
Лучше всего предположить, что нет ничего идеального. Даже самые безопасные системы могут выйти из строя, особенно когда вы предоставляете им много возможностей.
Как любят говорить инженеры по обеспечению надежности сайтов, “при увеличении масштаба вы обнаружите длинный хвост”.
Округление длинного хвоста
Даже если система была тщательно протестирована и оказалась на 99,99% правильной, это еще не значит, что она идеальна. Утратив бдительность, вы можете мысленно округлить эти 99,99% до 100%. Другими словами, вы отвергнете возможность ошибок, потому что их вероятность невелика. Это один из способов превратить высокоэффективную систему в более опасную, чем низкоэффективная, если вы ничего с этим не сделаете.
Не отвергайте *возможность* ошибок, когда их *вероятность* невелика.
Оставаться в безопасности
Что делает Максима Надежного опасным для вас, так это не его безупречная исполнительность. Угроза — в вашем чрезмерном доверии.
Итак, каково же решение? Как вам использовать все преимущества совершенства, не подвергая себя риску? Просто! Создайте для Максима систему подстраховки, как будто имеете дело с Кириллом Небрежным. Тогда вы не попадете в передрягу.
Тот факт, что вы еще не испытали сбоя системы, не означает, что она совершенна. Не исключайте неудачу и готовьте страховочные сети!
Независимо от того, кем решается задача — людьми или машинами, никогда не стоит недооценивать важности системы страхования. Позволять себе поддаваться ложному чувству безопасности, полагаться на вроде бы безупречную работу — это плохое качество лидера.
Доверять совершенству опасно. Думайте о нем как о приятном бонусе, но никогда не полагайтесь на него.
Чаще задавайте себе неприятные вопросы типа “что, если”. Что, если ваш главный хирург почувствует себя плохо во время операции? Что, если аппарат, контролирующий жизненно важные показатели пациента, выйдет из строя? Что, если водитель слишком устанет, чтобы смотреть на дорогу? Что, если автоматизированная система распознавания лиц при пограничном контроле неверно идентифицирует кого-то? Что, если человек, проверяющий паспорт, ошибется?
“Что будет дальше?”
При столкновении с провальными, пользующимися дурной славой ИИ-приложениями у меня редко возникают претензии к самой автоматизации. Блаженное неведение разработчиков об ошибках — вот что заставляет мои волосы вставать дыбом. Иногда такое невежество граничит с преступлением.
Ошибки *будут* случаться.
Неправильно ставить вопрос: “Произойдут ли ошибки?”. Они будут. Вместо этого, спросите следующее.
- Какие страховочные сети предусмотрены для защиты людей от последствий этих ошибок?
- Если вся система выйдет из строя вместе со страховочными и прочими сетями, каков план действий по исправлению ситуации?
Если нет плана по предотвращению и устранению ущерба, приготовьтесь к катастрофе. Специалисты, на которых лежит ответственность за подобные проекты, хуже, чем профаны. Они представляют угрозу для общества. Не будьте таким человеком.
Люди против машин
Если ошибка настолько критична, что грозит непоправимыми последствиями, не автоматизируйте задачу и не позволяйте никому это делать. Если же вы считаете меньшим злом ошибку работника-человека, а не работника-машины (суть многих дебатов об автономных транспортных средствах), используйте человекоцентрический подход “оператор в контуре управления”.
Лучше — не то же самое, что идеально.
Но что бы вы ни делали, знайте: ошибки возможны. Люди совершают ошибки, системы искусственного интеллекта тоже ошибаются. Даже если используемая вами ИИ-система совершает меньше ошибок, чем человек-оператор, помните: меньше — не то же самое, что ни одной. Лучше — не то же самое, что идеально.
Всякий раз, когда задачи сложны или входные данные вариативны, будут происходить ошибки.
Вера в миф о совершенстве может иметь ужасные последствия, поэтому не позволяйте математическому мышлению встать на пути здравого смысла. Всякий раз, когда задачи сложны или входные данные вариативны, будут происходить ошибки.
Вывод
Если у вас нет плана действий по исправлению ошибок, ждите катастрофы! Это может поразить вас гораздо сильнее, чем ошибка плохого исполнителя, которую вы не предусмотрели.
Поэтому выбирайте лучшую систему, но при этом создавайте страховочные сети так, будто это худшая система.
Читайте также:
- ИИ: постижение законов сверхразума
- Искусственный интеллект + распределённые реестры = оружие против фейковых новостей
- Искусственный интеллект оживит наших близких
Читайте нас в Telegram, VK и Яндекс.Дзен
Перевод статьи Cassie Kozyrkov: The AI reliability paradox
