Я провела консультации по сотням проектов машинного обучения и научилась замечать ранние признаки того, что клиент собственными руками пилит сук, на котором сидит.
Вот тройка основных “тревожных звонков”:
1. Завышенные ожидания от маркетинга
* Особый случай: стремление к запуску любой ценой
* Особый случай: отсутствие данных (и пренебрежение другими ключевыми требованиями)
2. Недооценивание разносторонних профессиональных навыков
* Особый случай: токсичный снобизм
3. Команда понятия не имеет, кто отвечает за проект
* Особый случай: некомпетентный босс
Рассмотрим подробней каждую из патовых ситуаций.
#1. Завышенные ожидания от маркетинга
Довольно часто авторы проектов становятся жертвами рекламной шумихи и околонаучного бреда об ИИ. Поэтому, когда клиенты приходят ко мне прямиком с последней телевизионной пресс-конференции (“…но если вы позвоните сейчас, мы добавим 50 бесплатных нейросетей глубокого обучения, которые вы сможете собрать в один адский клубок!”), я знаю, что мне нужно развеять разного рода нереалистические ожидания.
Научная фантастика — никудышный учитель… но лучший друг продаж.
Если вы считаете, что МО/ИИ — это нечто невероятное, то рискуете принимать проектные решения, эквивалентные превышению скорости без ремня безопасности. Давайте смотреть на вещи трезво, без розовых очков!
МО/ИИ — это скорее предоставление вашей команде альтернативного подхода к программированию. В отличие от традиционного, такой подход гораздо лучше отвечает некоторым (но не всем!) задачам. Вам предстоит и скрупулезная, и очень полезная работа… именно это мне в ней и нравится. Команда, которая способна трезво мыслить, я имею в виду, которая движима реалистичными целями, а не ослеплена несбыточными надеждами, с большей вероятностью преуспеет в ИИ.
Особый случай: стремление к запуску любой ценой
Некоторые команды не заботятся о решении реальных бизнес-проблем с помощью МО/ИИ. Вместо этого, они занимаются очковтирательством и ищут повод заявить о своем “бизнесе, основанном на искусственном интеллекте”. У таких горе-мастеров нет критериев качества, им безразлично, будет ли их “детище” работать. Они просто хотят запустить какой-нибудь яркий ИИ-проект.
Беда в том, что они не честны в своих намерениях. Если бы они не кривили душой, я бы посоветовала им разработать какое-нибудь простенькое приложение, не имеющее отношения к чему-нибудь важному и не способное кому-нибудь навредить, даже если бы оказалось так себе. По сути, это домашнее задание для старшеклассников. Я бы даже подкинула пару идей насчет впечатляющих — но совершенно безобидных, опять-таки, для пользователей — звуковых эффектов. От такого проекта выиграли бы все.
По сути, это домашнее задание для старшеклассников.
Однако знаю по опыту: амбициозные команды редко признаются в истинных целях, пока не становится слишком поздно. Иногда они даже себе в этом не признаются. Выбирая приложение, критичное (читай: впечатляющее) для выполнения миссии организации, они старательно игнорируют любые вопросы о работоспособности и надежности системы. (“О, чтобы обеспечить корректное функционирование, нужно повозиться. Я просто установлю планку производительности постфактум.”)
Было бы лучше для всех, если бы команды не скрывали истинных целей проектов МО/ИИ и разрабатывали стратегии в соответствии со своими замыслами. Тогда бы и к маркетинговым уловкам не приходилось прибегать.
Особый случай: отсутствие данных (и пренебрежение другими ключевыми требованиями)
Вы слышали, что машинное обучение — фантастическая сфера, привлекающая массу народа. Так почему бы и вам не попробовать себя в этом деле? Даже если у вас нет данных! Верно? Неверно!
Ваш проект должен соответствовать множеству условий, прежде чем вы можете всерьез рассчитывать на МО/ИИ. Этот чеклист из 22 пунктов поможет проверить, является ли ваш проект перспективным или он изначально обречен на провал. Воспользуйтесь этим тестом как бесплатным консультантом по стратегии МО/ИИ.
#2 Недооценивание разносторонних профессиональных навыков
Еще одним признаком приближения краха ИИ-проекта является узкий диапазон компетенций в команде разработчиков. Именно поэтому меня всегда выводит из равновесия вопрос: “Как бы вы описали идеального ИИ-специалиста?”
Не попадайтесь в ловушку чрезмерного сосредоточения на ролях, которые вступают в игру в середине процесса.
Мне очень не нравится этот вопрос, потому что он предполагает неверный ответ: прикладное МО/ИИ — это роль для героя-одиночки. Между тем, это командный вид спорта. Один здесь не воин. Никто не обладает всем комплексом навыков, необходимым для успеха. Для принятия решений в сфере ИИ требуется целая когорта разносторонне образованных людей (особенно когда речь идет о критически важных решениях, требующих высокой ответственности). Если в вашей команде не хватает узкопрофильных специалистов, все дело рухнет. Для выполнения работы с ИИ необходимы междисциплинарные компетенции, иначе ждите проблем.
Нанимая одного человека для решения всех задач, не жалуйтесь на нехватку профессиональных навыков!
Я трачу гораздо больше терпения и сил на консультации людей, которые думают, что их работники, как и они сами, талантливейшие и умнейшие (а все остальные — идиоты). Мне приходилось иметь дело с командами, которые, похоже, думают, что под разноквалифицированными работниками я подразумеваю профессионалов с докторской степенью в сфере компьютерных наук и ИИ. Я встречала команды, состоящие исключительно из инженеров, которые не понимали, почему было бы лучше, если бы биты проектирования пользовательского интерфейса обрабатывались UX специалистом. (Вы полагаете, что владеете навыками дизайна, потому что умеете кодировать? Разве у нас все еще 90-е годы на дворе?)
Обязательно набирайте работников с разносторонними навыками и убедитесь, что каждый член вашей команды хотя бы немного осведомлен о том, что делают все остальные. Узнайте больше о ролях в типичных проектах ИИ здесь: [1], [2], [3], [4]..
Особый случай: токсичный снобизм
Индустрия ИИ изобилует задаваками-снобами, которые делят коллег на две категории: полноправных участников ИИ-проектов, таких как они сами, и всяких прочих недоумков. Я часто общаюсь с вами, разработчики и инженеры искусственного интеллекта. Многие из вас — прекрасные люди, страстно желающие пополнить свой багаж профессиональных навыков разнообразным опытом коллег (бонусные баллы тем, кто тратит время на наставничество, чтобы ввести таких работников в курс дела), но некоторые из вас сидят и ворчат, что люди без докторской степени должны убираться с вашей ИИ-поляны.
Пожалуйста, одумайтесь.
Более разумно было бы овладеть широким спектром навыков, приобщить каждого работника к различным ролям, эффективно работать вместе и поощрять взаимное уважение. Научитесь восхищаться тем, в чем хороши ваши коллеги, даже если их таланты не имеют ничего общего с вашим собственным набором навыков. Не хотите поступать так, чтобы просто быть хорошим человеком — сделайте это ради успеха проекта. Сотрудничество с теми, кто отличается от нас, делает нас всех сильнее. И если это звучит как прекраснодушная мягкотелая бессмыслица, позвольте тогда направить вас к самому холодному бастиону трезвой рациональности: вашему учебнику по экономике. Откройте его на главе о сравнительной выгоде и начните читать… он скажет ровно то же самое (языком цифр, поскольку здравый смысл, похоже, ничего вам не говорит).
Прикладная сфера искусственного интеллекта требует множества различных типов полноправных участников, и — в зависимости от сложности вашего проекта — вам могут понадобиться они все. Даже если вы найдете “чудо-единорога”, обладающего всеми навыками (кого-то, кто одновременно является идеальным инженером, идеальным разработчиком машинного обучения, идеальным UX дизайнером, идеальным статистиком, идеальным менеджером по продуктам, идеальным руководителем команды, идеальным аналитиком, идеальным экспертом по предметной области, идеальным лицом, принимающим бизнес-решения, и всем остальным… все в одном флаконе), для него будет слишком много работы, чтобы справиться с ней в одиночку, и он будет вынуждены специализироваться. Так что нанимайте профильных специалистов сразу! Вам же не придет в голову мысль нанять олимпийских чемпионов, чтобы они передвинули вам мебель, верно? Держитесь той же тактики и со своими кадрами. Отказ уважать профессиональное мнение специалиста по этике на том основании, что у него нет второй докторской степени в области компьютерных наук (так бывает), — это глупо. Переступите через себя.
Вместо того, чтобы пытаться сделать все самостоятельно, научитесь проверять, корректно ли была передана эстафета между вашими товарищами по команде.
Чтобы работать в прикладном МО, не обязательно иметь профессорское звание. Нужно быть мастером в своем деле и знать, чем заняты члены вашей команды (но не брать на себя их обязанности). Например, ваш инженер по машинному обучению должен уметь понимать запросы, поступающие от бизнес-лидеров, оценивать их работу и корректировать процесс. Он не должен поступать необдуманно и импульсивно.
Если возникнет нехватка рабочей силы, придется нанимать новые кадры. Найдите время, чтобы подумать о том, как предотвратить попадание в команду личностей с синдромом токсического снобизма.
О, раз уж я затронула эту тему, упомяну еще об одном эффекте токсического буллинга и снобизма. Ситуация такая: скромные, но здравомыслящие новички изгоняются из команды — раздавленные синдромом самозванца и не успевшие пройти профобучение; бесстыдные и поверхностно образованные новички не пугаются буллинга и остаются. Это то, что мои друзья и я в шутку называем синдромом второго самозванца ИИ (выживание благоприятствует реальным самозванцам, поэтому непропорционально большая часть людей, которые остаются в команде, разговаривают на профессиональном сленге, не понимая смысла ни единого термина). Эффект Даннинга-Крюгера становится таким шокирующим, что впору вспомнить Фредди Крюгера. Я также рискну предположить, что это не способствует усилиям по разнообразию профессионалов в области ИИ.
#3 Команда понятия не имеет, кто отвечает за проект
Когда проекту не хватает квалифицированного руководителя, спонсора и лица, принимающего решения, усилия команды наверняка будут потрачены впустую… или еще хуже.
“А где ваше руководство?” — это то, о чем спрашивает каждый серьезный консультант по стратегии ИИ, когда все, кроме лидера проекта / ответственного лица, появляются на первой встрече.
Если есть ясность относительно того, кто здесь главный, нам повезло. Возможно, люди, которые оставили своего босса дома, проводят небольшое исследование / прототипирование, чтобы сэкономить время первого лица, принимающего решения (похвально!), или команда уже прошла шаг 1 (что еще лучше) и нуждается в квалифицированных рекомендациях.
К сожалению, довольно часто люди, обращающиеся за моими советами, не задумываются о том, кто будет исполнять роль лица, принимающего решения. Они, вероятно, надеются справиться со всеми проблемами машинного обучения с помощью ”волшебной пыли”, потому что все их друзья так делали. О-о-о! На самом деле лицо, принимающее решения, играет самую важную роль в проекте — узнайте больше здесь, — поэтому вы не должны начинать без него. Даже если вы придумаете что-то замечательное, есть большая вероятность, что ваши усилия пропадут даром.
Особый случай: некомпетентный босс
Частным случаем этого проигрышного сценария является неумелое руководство, вызывающее в памяти популярный комикс о Роговолосом Шефе. В такой ситуации можно наблюдать всю карикатурность извращенной корпоративной культуры: от причуд постоянно отсутствующего “лидера” до нелепой самодеятельности подчиненных. Квалифицированное руководство гораздо важнее в МО/ИИ, чем в традиционных ПО проектах. Чтобы узнать об этом больше, читайте мою статью, в которой я называю Роговолосового Шефа в сфере ИИ “одним из четырех всадников апокалипсиса”.
Читайте также:
- Сложные ИИ-модели созданы с помощью некачественных данных
- Конвейер BitBucket CI/CD для синхронизации веток с GitHub
- Парадокс надежности ИИ
Читайте нас в Telegram, VK и Яндекс.Дзен
Перевод статьи Cassie Kozyrkov, 3 signs that your AI project is doomed
