Разметка данных для машинного обучениянесет в себе ряд проблем и сложностей. Поэтому нам понадобится лучший подход, который ценит человеческий опыт и управляет расходами, а именно machine teaching (обучение машин). В этой статье мы обсудим совместные процессы и инструменты, укрепляющие роль machine teaching. Мы сосредоточимся на факторе смещения и усилим доверие к моделям данного метода.
Совместный процесс с самого начала
Мы пришли к выводу, что своевременное выявление смещения в наборах данных необходимо для machine teaching. Распознать смещение — сложно. Однако сейчас мы осознаем, что существенной частью является понимание того, что должна делать обученная модель в производстве.
Итак, для начала мы поработаем с ИИ-специалистами и экспертами, чтобы определить проблему и набор руководящих принципов. Как правило, этот процесс включает случайный сбор и разметку некоторых данных. Случайная разметка данных позволяет проверить, верны ли предположения о наборе данных, а также подтвердить, что руководящие принципы для задачи достаточно точны, чтобы получить желаемый результат обучения.
Разговоры с ИИ-специалистами по поводу исключительных случаев и шума в наборах данных поднимают интересные вопросы, которые могут возникнуть только при работе с данными на гранулярном уровне. Совместный подход учителей, отвечающих за обучение машин, ИИ-специалистов и разработчиков возможен либо благодаря тесной близости, либо через совместные системы коммуникации. Эти системы предлагают более подходящие обучающие наборы данных, нежели аутсорсинговые платформы для разметки задач.
Совместная работа позволяет нам следить за закономерностями и получать знания во время сбора и разметки. Это делается для того, чтобы на ранней стадии выявить смещение в наборе данных и в прогнозах модели до процесса развертывания.
Активное обучение: инструмент для улучшения machine teaching
Можно использовать разные инструменты, чтобы обнаружить смещения. Одним из них является активное обучение. Активное обучение — это метод, который нацелен на сокращение объема разметки данных. В нем используются машинные учителя, чтобы выделить метки для соотношения данных. Благодаря этим меткам, активное обучение оценивает прогноз неопределенности по оставшимся точкам данных. Это делается для того, чтобы выявить наиболее неопределенные сведения для назначения меток и «запросить» учителя для их вывода. Существует большое количество способов того, как распознать наиболее подходящего кандидата для разметки.
Активное обучение подходит для выполнения многих типов задач (поэтому мы рекомендуем использовать его при любой возможности). Такой способ помогает сфокусироваться на присвоении меток более важным данным для обучения модели (где существует высокая степень неопределенности), а не на случайной разметке всего набора данных и временных затратах (что часто является причиной, почему компании переходят на более дешевые рынки труда). При использовании глубокого обучения активное обучение позволяет нанять экспертов для выполнения учебных задач, а также способствует справедливой компенсации стоимости вклада.
Подход активного обучения уважает внутреннюю ценность людей в этом процессе. Учительский вклад оказывает воздействие на анонсирование прогнозов модели и снижает потребность в комментировании бесконечного объема данных с незначительной или нулевой ценностью для обучения (и с минимальным вознаграждением для учителя). Модельные прогнозы могут быть включены в инструмент разметки во время обучения. При этом у учителей есть шанс визуально оценить модель и выявить заметные смещения или шаблоны в прогнозах. При необходимости можно скорректировать эти прогнозы (техника, известная как совместное обучение).
Метод активного обучения позволяет оценить показатели производительности во время обучения (а не сразу после). Эти показатели включают точность, достоверность (если это применимо к методу обучения) и потери. Таким образом, учитель и ИИ-специалист наблюдают, когда показатели плато и ограниченная ценность достигаются путем назначения меток. Конечные усилия от этих совместных подходов начинают восприниматься как настоящее обучение.
Разрабатываем интерфейсы, которые способствуют machine teaching
Мы верим, что будущее работы (в особенности, будущее machine teaching) зависит от лучшего взаимодействия человека и техники. Принятие этого подхода улучшит понимание его моделей. Однако это произойдет только в том случае, если системы и интерфейсы будут предназначены для усиления роли учителей.
Простые изменения интерфейса помогают учителю найти ошибки и смещения в выходных данных модели и прогнозах. Во время извлечения текста мы обычно используем предварительно обученную модель Оптического распознавания символов (Optical Character Recognition — OCR). Такой подход помогает усилить роль и быстро выявить символы и слова, которые должны быть проверены учителем. Прогнозы модели OCR в интерфейсе разметки позволяют визуализировать и быстро понять, что модель OCR борется с такими символами, как 1, I, l, или |. Мы пришли к выводу, что наш интерфейс разметки ограничивает способность обнаружить ошибки, что способствует их появлению в выходных данных модели. При помощи изменения шрифта и цвета между цифровыми и буквенными символами нам быстро удалось различить ошибки в выходных данных модели OCR, исправить их и выстроить более точный обучающий набор данных.
Простое использование статических мер для оценки неопределенности, скорее всего, никогда не выявило бы ошибку, поскольку у модели может быть ошибочный прогноз. Таким образом, расширение возможностей учителей с помощью интерфейсов, которые обеспечивают визуальные подсказки, может улучшить их собственный стиль обучения и наблюдения. Учителя смогут легко оценить качество прогнозов модели. Сначала они обнаружат ошибки, затем исправят их, и в итоге смогут снизить вероятность их совершения, понимая, где и почему они возникают. Этот способ поможет создать новые более качественные учебные наборы данных или улучшит уже существующие.
Принятие структуры того, как учителя влияют на модели machine teaching, требует рассмотрения выполняемой задачи и целевых признаков, которые должны быть извлечены. Это в значительной степени зависит от концепции. Как правило, концепции неизменны.
Рассмотрим пример задачи активного обучения, которая связана с обнаружением дорожных дефектов. Задача подразумевала выявление таких дорожных особенностей, как трещины, выбоины и крышки канализационных люков. Концепция крышки люка выглядит вполне простой — темный цвет и круглая форма. Однако в реальности они могут быть разных цветов и размеров. Система, которая запрашивает описание понятий, может помочь определить, когда концепция объекта изменилась (т.е. нельзя сказать, что сейчас правильно исследовать только круглые крышки люка).
Добавление новой концепции канализационной решетки может повлиять на производительность модели. И снова по реальному опыту мы знаем, что канализационные решетки часто бывают квадратными и имеют разные формы или размеры. Понимание этих основ поможет нам осознать, почему возникает классовая путаница при обучении модели. С добавлением новой концепции, мы присваивали метки квадратным «крышкам люков». На самом деле это были канализационные решетки. Вероятно, набор данных даже не содержит достаточного количества образцов крышек люка, чтобы точно отличить их от канализационных решеток.
Машинные учителя отмечают эти идеи. Они уходят от нисходящей интерактивности и расширяют свои возможности, чтобы повысить отслеживание смены концепций. Необходима разработка систем, которые смогут легко получить представление об эволюции концепции. Такой подход может привести к практическому пониманию того, как были собраны данные (независимо от того, являются ли они показательными). Помимо этого, можно понять, как смещение данных повлияло на существующие метки в наборе данных, учитывая тот факт, что вводятся новые концепции.
Инструменты визуализации для разъяснения прогнозов модели
Сочетание модельных прогнозов, объяснение элементов и инструменты визуализации является темой многих последних исследований при использовании прогнозов модели в продукте machine teaching. Многие методы развиваются, чтобы ограничить степень непрозрачности того, как модель делает прогноз. Например, внедрение инструментов визуализации доверия в интерфейс.
Одним из таких методов является кластеризация результатов прогнозирования, чтобы визуализировать уверенность или классовую путаницу и быстро заметить, где находится источник путаницы. Другие интерактивные подходы включают изучение данных, которые составляют знания учителя (или недостаток знаний) о machine teaching, чтобы смягчить когнитивные искажения, возникающие в процессе обучения.
Особенно при выявлении модельных прогнозов, важно оценить, где учитель может быть подвержен влиянию модели и слишком уверен в ее прогнозах (известно, как эффект якоря), что может привести к усиленному смещению. В итоге объяснимые системы обучения должны будут уравновесить потребность человека в познании, понимании задач и знакомстве с machine teaching, обеспечивая обратную связь и укрепляя доверие.
Процессы и методы важны для обучения. Такие инструменты, как активное обучение, человеческие знания и другие методики (например, функции воздействия для отладки модельных прогнозов) помогают нам легче выявить смещение в наборе данных, разметку шума, классовую путаницу, дисбаланс или даже оценить объективность модели. Процессы совместно с методиками похожи на набор инструментов.
С помощью правильных инструментов мы можем укрепить доверие к модели во время обучения и подготовки. Извлечь пользу из такого подхода можно только, если пользовательский интерфейс разработан по принципу «job to be done». Правильный пользовательский интерфейс способствует тому, чтобы наши инструменты подходили для этой работы.
Читайте также:
- 5 минут на машинное обучение
- 7 Лучших курсов и книг по программированию на Rust для начинающих в 2021 году
- 5 типов алгоритмов машинного обучения, которые нужно знать
Читайте нас в Telegram, VK и Яндекс.Дзен
Перевод статьи Ross Young: How Interface Design and Visualization Tools Can Support Machine Teaching
