Итак, я создал собственного чат-бота Copilot для визуального распознавания в Azure (в Custom Vision — в пользовательском сервисе).
Как следует из приведенного выше изображения, сгенерированного ИИ, работник-человек (Pilot) сотрудничает с цифровым работником (Copilot) в дополненном ИИ стиле — для принятия обоснованных решений и их исполнения. В этом заключается философия экосистемы Copilot.
Выбор инструмента
Есть два инструмента, предлагающих графические среды разработки для создания Copilot на основе пользовательских данных с помощью генеративного ИИ. Вы можете выбрать любой из них или испробовать оба. Я называю такую возможность “двухвариантным путешествием”.
Вариант 1-й
Azure AI Studio может стать естественным выбором для тех, кто уже знаком с Azure OpenAI Service (сервисом OpenAI, предоставляющим доступ к LLM) или OpenAI Playground (испытательной площадкой OpenAI). Azure AI Studio позволит получить контроль высокого порядка над большой языковой моделью, используемой в Copilot, включая возможность оценивать и сравнивать различные версии модели, а также разрабатывать промпты для модели.
Вариант 2-й
Microsoft Copilot Studio может оказаться более удобным для тех, кто знаком с пакетом Power Virtual Agent и нуждается в более гибком функционале. Microsoft Copilot Studio обеспечивает предварительное определение завершенных диалогов для часто задаваемых вопросов и резервирование сгенерированных ответов.
Создание Copilot в Azure AI Studio
Я решил создать собственного чат-бота Copilot для визуального распознавания в Azure AI Studio с помощью Azure AI Vision.
Функция поиска и обобщения видео в Azure AI Vision использует комбинацию обработки естественного языка (NLP) и методов компьютерного зрения для анализа видеоконтента. Она позволяет быстро и лаконично обобщить основные моменты видео, а также находить конкретные видеокадры, что упрощает поиск соответствующего контента.
Вот полная схема рабочего процесса, которому я следовал при создании Copilot:
По завершении этого рабочего процесса я получил чат-бота Copilot, предназначенного для визуального распознавания и готового к использованию.
Как показано ниже, во время развертывания Azure AI Studio было создано несколько ключевых рабочих пространств:
Кроме того, в Azure AI Studio любые развертывания LLM декларативно интегрированы с оценкой, потоком промптов и т. д.
Пример использования Copilot
Развернута Azure AI Studio. Создан проект ByoCopilot. Выбрано “Build your own copilot” (“Разработка собственного copilot”), как показано на рис. 4.
В проекте ByoCopilot при открытии Playground и Deployments в настоящее время нет развертывания каких-либо LLM-сервисов. Вот как выглядит раздел Build (рис. 5). В данном случае я мог бы использовать GPT-4 Turbo Vision LLM.
В проекте ByoCopilot в разделе Explore выбраны возможности Azure AI Vision.
Ниже перечислены функциональные возможности Azure AI Vision. Меня особенно интересовала функция “Video retrieval” (“Поиск по видео”) для использования Copilot.
Функция поиска по видео в Azure AI Vision использует сочетание обработки естественного языка (NLP) и методов компьютерного зрения для анализа видеоконтента. Она позволяет быстро и кратко изложить основные моменты видео, а также находить конкретные видеофрагменты, облегчая поиск релевантного контента.
Когда я открыл раздел “Video retrieval”, он был пуст — никаких видеоданных не было загружено и проиндексировано, как показано здесь.
По этому случаю я снял видео в продуктовом магазине, находящемся вблизи моего дома. IMG_2778.MOV — мои видеоданные. После загрузки и индексации эти данные появились в библиотеке, как показано на рис. 9.
И вот, когда Copilot для распознавания видео был готов, я решил пообщаться с ним.
Я спросил Copilot о следующем:
- Сколько стоит пачка чипсов Tayto? Он точно показал кадр с чипсами Tayto и их цену — $2,95.
- Покажи рисовое печенье. Он показал кадр, на котором было рисовое печенье с ценником.
- Покажи полки с продуктами Great Value. Он показал кадр с секцией для продукции Great Value, а также все кадры (с разными временными метками), где появлялись секции бренда Great Value.
- Покажи Koka Chicken. Он точно показал кадр с лапшой со вкусом курицы Koka Chicken, а также все кадры с отметками времени, когда появлялись пакетики с этой лапшой.
Выводы
- Вы также можете создать собственного чат-бота Copilot для приложения на основе искусственного интеллекта.
- Для таких случаев можно использовать GPT-4 Turbo Vision.
- Можно создавать различные пользовательские чат-боты Copilot на основе собственных данных, выбирая соответствующие LLM и функции Azure AI.
- Чат-боты Copilot, созданные на базе Azure AI Vision, могут предназначаться для этических наблюдений, отчетов о событиях и мониторинга.
Читайте также:
- Как использовать GPT-3 для поиска и рекомендаций текстового контента
- Как автоанализ кода с помощью ИИ повышает безопасность приложений
- Развертывание приложений Python в Azure
Читайте нас в Telegram, VK и Дзен
Перевод статьи Vishal Anand: Copilot for Vision on Azure
