опыт evois.ru
Как будет развиваться голосовое управление автомобилями
Платформа для создания голосовых помощников с глубинным пониманием смысла Evois.ru
опыт evois.ru
Как будет развиваться голосовое управление автомобилями
Платформа для создания голосовых помощников с глубинным пониманием смысла Evois.ru
опыт evois.ru
Как будет развиваться голосовое управление автомобилями
Платформа для создания голосовых помощников с глубинным пониманием смысла Evois.ru
С расширением функциональности современных автомобилей водители сталкиваются с рядом новых проблем. Они обусловлены постоянным ростом количества информации, которую водитель должен удерживать в голове. Нужно помнить про конструктивные особенности, элементы управления, отвечающие за те или иные функции. Многие кнопки в автомобиле стали сенсорными и не дают обратной связи в момент срабатывания. Также усложняется и дорожная обстановка, растет количество отвлекающих факторов и общий информационный шум. Решением этой проблемы становится возможность голосового управления функциями автомобиля.
В этой статье расскажем наше видение того, как голосовое управление реализовано в платформе для создания узкоспециализированных голосовых помощников EVOIS и какое развитие получат голосовые интерактивные системы для автомобилей в ближайшем будущем.
В этой статье расскажем наше видение того, как голосовое управление реализовано в платформе для создания узкоспециализированных голосовых помощников EVOIS и какое развитие получат голосовые интерактивные системы для автомобилей в ближайшем будущем.
С расширением функциональности современных автомобилей водители сталкиваются с рядом новых проблем. Они обусловлены постоянным ростом количества информации, которую водитель должен удерживать в голове. Нужно помнить про конструктивные особенности, элементы управления, отвечающие за те или иные функции. Многие кнопки в автомобиле стали сенсорными и не дают обратной связи в момент срабатывания. Также усложняется и дорожная обстановка, растет количество отвлекающих факторов и общий информационный шум. Решением этой проблемы становится возможность голосового управления функциями автомобиля.
В этой статье расскажем наше видение того, как голосовое управление реализовано в платформе для создания узкоспециализированных голосовых помощников EVOIS и какое развитие получат голосовые интерактивные системы для автомобилей в ближайшем будущем.
В этой статье расскажем наше видение того, как голосовое управление реализовано в платформе для создания узкоспециализированных голосовых помощников EVOIS и какое развитие получат голосовые интерактивные системы для автомобилей в ближайшем будущем.
С расширением функциональности современных автомобилей водители сталкиваются с рядом новых проблем. Они обусловлены постоянным ростом количества информации, которую водитель должен удерживать в голове. Нужно помнить про конструктивные особенности, элементы управления, отвечающие за те или иные функции. Многие кнопки в автомобиле стали сенсорными и не дают обратной связи в момент срабатывания. Также усложняется и дорожная обстановка, растет количество отвлекающих факторов и общий информационный шум. Решением этой проблемы становится возможность голосового управления функциями автомобиля.
В этой статье расскажем наше видение того, как голосовое управление реализовано в платформе для создания узкоспециализированных голосовых помощников EVOIS и какое развитие получат голосовые интерактивные системы для автомобилей в ближайшем будущем.
В этой статье расскажем наше видение того, как голосовое управление реализовано в платформе для создания узкоспециализированных голосовых помощников EVOIS и какое развитие получат голосовые интерактивные системы для автомобилей в ближайшем будущем.
Голосовой помощник помогает меньше отвлекаться, сосредотачиваясь на дороге. Также голосовое управление обеспечивает равную доступность всех функций и настроек автомобиля, независимо от того, привязаны ли они к конкретным кнопкам и элементам управления.
Второе поколение
Голосовые системы второго поколения срабатывают на ключевые слова, то есть допускают вариации в формулировках запросов. Например, можно сказать: “Открой мне окошко, пожалуйста” и действием на данную команду будет открывание окна водителя. Оба варианта систем не предусматривают интерпретации смысла произнесенной фразы.
Представляет собой систему, которая срабатывает только на заранее запрограммированные команды, такие как “открыть окно”. Она исключает любые вариации и видоизменения фраз.
Первое поколение
Голосовой помощник третьего поколения подключает работу над смыслом произнесенной фразы. При поступлении команды “Проветри салон” (желаемый результат, команда) водителю будет задан вопрос: “Вы хотите включить вентилятор или открыть окно?”, и после получения ответа будет произведено соответствующее действие. В данном случае пользователь прямо указывает на желаемый результат или задает команду, и система умеет ее понимать. Именно к этому поколению относится наша платформа EVOIS. Но о ней позже.
Третье поколение
Говоря о четвертом поколении голосовых помощников, мы подразумеваем более глубинную работу со смыслом и срабатывание на основании “логического вывода”, сделанного системой. Пользователь может общаться не только в императивной форме, но и просто описать проблему, не обозначая конкретной команды. Так, при получении высказывания “мне не хватает воздуха, мне душно” система задаст уточняющий вопрос: “Вы хотите включить вентилятор или открыть окно?”. Далее на основании уточнения информации и анализа конкретной ситуации будет выполнено действие: “Включаю рециркуляцию и устанавливаю вентилятор на 4”.
Четвертое поколение
4
3
2
Мы выделяем четыре поколения специализированных голосовых помощников.
Эволюция голосовых помощников
1
Именно таким видим развитие голосовой платформы EVOIS
в ближайшие 3-5 лет. Далее в статье объясним, каким образом можно разработать такую систему и для чего это нужно.
4 ПОКОЛЕНИЕ
Как мы уже сказали, разработанная нами платформа для создания узкоспециализированных голосовых помощников EVOIS относится к третьему поколению подобных систем.
Система состоит из следующих компонентов:
Технология EVOIS
Специфика системы заключается в лингвистическом моделировании конкретной предметной области, в нашем случае это управление автомобилем. Одна и та же команда может быть сформулирована десятками различных фраз. Технология уникальна тем, что каждую команду не нужно программировать отдельно: сотни и тысячи вариаций фраз могут быть покрыты несколькими строками кода. За счет этого платформа разрабатывается в максимально сжатые сроки.
Корректное распознавание произнесенной фразы в реальных условиях с различными фоновыми шумами.
ASR
(Automatic Speech Recognition)
(Automatic Speech Recognition)
Формализация распознанного текста, понимание основного намерения или вопроса пользователя.
NLU
(Natural Language Understanding)
(Natural Language Understanding)
Действия на распознанные команды/вопросы, генерация текстового ответа.
LOGIC
(Business Logic)
(Business Logic)
TTS
(Text to speech)
(Text to speech)
Озвучивание ответа/текста.
Технология NLU позволяет голосовому помощнику поддерживать диалог, проясняя и уточняя запрос за счет понимания сложных и естественных фраз человека в режиме реального времени. Это отличает наш голосовой помощник от решений общей направленности, таких как Алиса или Siri.
У каждого автопроизводителя своя целевая аудитория и совершенно разные задачи и запросы. Поэтому универсальной голосовой системы быть не может. Наша разработка — это именно платформа полного цикла для быстрого создания бортовых интерактивных систем. В нее входят:
Шлюз для безопасного и надежного взаимодействия с внешними системами
Evois Gateway
Evois Studio*
Отладка
Рефакторинг
*Интегрированная среда разработки
Проверка синтаксиса
Навигация
Анализ кода
Запуск тестов
Умные подсказки
Evois Runtime
Высокоэффективная оптимизированная среда выполнения на бортовой ЭВМ / ШГУ*
*Штатное головное устройство
SDK (software development kit)*
*Комплект для разработки ПО
Профилирование
Формальная верификация
Трассировка
Компонент ввода
Построение
Запуск тестов
В данный момент технология NLU позволяет описать синтаксические структуры в интерпретацию формальных структур. На рисунке представлен пример работы помощника третьего поколения с неявным запросом: “окно запотело”. В нашем случае к этому запросу привязана команда “Включить обогрев переднего окна”. Далее подробнее рассмотрим, как мы видим переход к четвертому поколению в ближайшие 5 лет.
В данный момент технология NLU позволяет описать синтаксические структуры в интерпретацию формальных структур. На рисунке представлен пример работы помощника третьего поколения с неявным запросом: “окно запотело”. В нашем случае к этому запросу привязана команда “Включить обогрев переднего окна”. Далее подробнее рассмотрим, как мы видим переход к четвертому поколению в ближайшие 5 лет.
В данный момент технология NLU позволяет описать синтаксические структуры в интерпретацию формальных структур. На рисунке представлен пример работы помощника третьего поколения с неявным запросом: “окно запотело”. В нашем случае к этому запросу привязана команда “Включить обогрев переднего окна”. Далее подробнее рассмотрим, как мы видим переход к четвертому поколению в ближайшие 5 лет.
Пример работы помощника третьего поколения с неявным запросом
Пример работы помощника третьего поколения с неявным запросом
Пример работы помощника третьего поколения с неявным запросом
Будущее голосовых помощников
Будущее голосовых помощников
Будущее голосовых помощников
Итак, мы уже обладаем удобным инструментом для лингвистического моделирования предметной области, который позволяет быстро создавать новые домены, т.е. модули голосового помощника, относящиеся к конкретной функции автомобиля или теме (радио, навигация, кресла, зеркала, климат, свет).
Следующее поколение голосовых помощников — это дальнейшие операции со смыслом, где лингвистическая модель не строится. Создается одна большая модель русского языка, которая представляет собой логику того, “как говорят люди”, т.е. онтологическая модель предметной области. Определяются сущности, их свойства и связи между ними. Автомобиль — это сущность, которая является подклассом категории “средства передвижения” (куда также относятся мотоцикл, велосипед, автобус и т.д.). У средства передвижения есть функции, например, нагрев воздуха. Автомобиль управляется водителем, это — человек, у которого в модели еще огромное количество собственных атрибутов. Когда произносится фраза: “мне холодно”, система должна понимать, что “мне” — это говорит человек, и делать логический вывод о том, что прозвучала команда “нагреть воздух”. Кроме атрибутов есть логические правила, например: “если включить обогрев, воздух станет теплее”, “если сильно увеличить мощность, то станет жарко”.
Следующее поколение голосовых помощников — это дальнейшие операции со смыслом, где лингвистическая модель не строится. Создается одна большая модель русского языка, которая представляет собой логику того, “как говорят люди”, т.е. онтологическая модель предметной области. Определяются сущности, их свойства и связи между ними. Автомобиль — это сущность, которая является подклассом категории “средства передвижения” (куда также относятся мотоцикл, велосипед, автобус и т.д.). У средства передвижения есть функции, например, нагрев воздуха. Автомобиль управляется водителем, это — человек, у которого в модели еще огромное количество собственных атрибутов. Когда произносится фраза: “мне холодно”, система должна понимать, что “мне” — это говорит человек, и делать логический вывод о том, что прозвучала команда “нагреть воздух”. Кроме атрибутов есть логические правила, например: “если включить обогрев, воздух станет теплее”, “если сильно увеличить мощность, то станет жарко”.
Итак, мы уже обладаем удобным инструментом для лингвистического моделирования предметной области, который позволяет быстро создавать новые домены, т.е. модули голосового помощника, относящиеся к конкретной функции автомобиля или теме (радио, навигация, кресла, зеркала, климат, свет).
Следующее поколение голосовых помощников — это дальнейшие операции со смыслом, где лингвистическая модель не строится. Создается одна большая модель русского языка, которая представляет собой логику того, “как говорят люди”, т.е. онтологическая модель предметной области. Определяются сущности, их свойства и связи между ними. Автомобиль — это сущность, которая является подклассом категории “средства передвижения” (куда также относятся мотоцикл, велосипед, автобус и т.д.). У средства передвижения есть функции, например, нагрев воздуха. Автомобиль управляется водителем, это — человек, у которого в модели еще огромное количество собственных атрибутов. Когда произносится фраза: “мне холодно”, система должна понимать, что “мне” — это говорит человек, и делать логический вывод о том, что прозвучала команда “нагреть воздух”. Кроме атрибутов есть логические правила, например: “если включить обогрев, воздух станет теплее”, “если сильно увеличить мощность, то станет жарко”.
Следующее поколение голосовых помощников — это дальнейшие операции со смыслом, где лингвистическая модель не строится. Создается одна большая модель русского языка, которая представляет собой логику того, “как говорят люди”, т.е. онтологическая модель предметной области. Определяются сущности, их свойства и связи между ними. Автомобиль — это сущность, которая является подклассом категории “средства передвижения” (куда также относятся мотоцикл, велосипед, автобус и т.д.). У средства передвижения есть функции, например, нагрев воздуха. Автомобиль управляется водителем, это — человек, у которого в модели еще огромное количество собственных атрибутов. Когда произносится фраза: “мне холодно”, система должна понимать, что “мне” — это говорит человек, и делать логический вывод о том, что прозвучала команда “нагреть воздух”. Кроме атрибутов есть логические правила, например: “если включить обогрев, воздух станет теплее”, “если сильно увеличить мощность, то станет жарко”.
Итак, мы уже обладаем удобным инструментом для лингвистического моделирования предметной области, который позволяет быстро создавать новые домены, т.е. модули голосового помощника, относящиеся к конкретной функции автомобиля или теме (радио, навигация, кресла, зеркала, климат, свет).
Следующее поколение голосовых помощников — это дальнейшие операции со смыслом, где лингвистическая модель не строится. Создается одна большая модель русского языка, которая представляет собой логику того, “как говорят люди”, т.е. онтологическая модель предметной области. Определяются сущности, их свойства и связи между ними. Автомобиль — это сущность, которая является подклассом категории “средства передвижения” (куда также относятся мотоцикл, велосипед, автобус и т.д.). У средства передвижения есть функции, например, нагрев воздуха. Автомобиль управляется водителем, это — человек, у которого в модели еще огромное количество собственных атрибутов. Когда произносится фраза: “мне холодно”, система должна понимать, что “мне” — это говорит человек, и делать логический вывод о том, что прозвучала команда “нагреть воздух”. Кроме атрибутов есть логические правила, например: “если включить обогрев, воздух станет теплее”, “если сильно увеличить мощность, то станет жарко”.
Следующее поколение голосовых помощников — это дальнейшие операции со смыслом, где лингвистическая модель не строится. Создается одна большая модель русского языка, которая представляет собой логику того, “как говорят люди”, т.е. онтологическая модель предметной области. Определяются сущности, их свойства и связи между ними. Автомобиль — это сущность, которая является подклассом категории “средства передвижения” (куда также относятся мотоцикл, велосипед, автобус и т.д.). У средства передвижения есть функции, например, нагрев воздуха. Автомобиль управляется водителем, это — человек, у которого в модели еще огромное количество собственных атрибутов. Когда произносится фраза: “мне холодно”, система должна понимать, что “мне” — это говорит человек, и делать логический вывод о том, что прозвучала команда “нагреть воздух”. Кроме атрибутов есть логические правила, например: “если включить обогрев, воздух станет теплее”, “если сильно увеличить мощность, то станет жарко”.
К 2028 количество информации увеличится кратно, голосовые системы будут проактивно давать рекомендации, а водители смогут безопасно и комфортно пользоваться автомобилем в диалоге с умным ассистентом
Онтология
Онтология
Онтология
Оказывается, что онтологию создавать намного быстрее, чем прописывать лингвистические фразы, как в случае третьего поколения голосовых помощников. Если грамотно описать предметную область, все возможные фразы накладываются на нее как на карту. Остается только пометить целевые действия. Это позволяет еще быстрее разрабатывать голосовые помощники, и что самое главное — они становятся умными, поскольку система становится способна делать логические умозаключения как человек.
Оказывается, что онтологию создавать намного быстрее, чем прописывать лингвистические фразы, как в случае третьего поколения голосовых помощников. Если грамотно описать предметную область, все возможные фразы накладываются на нее как на карту. Остается только пометить целевые действия. Это позволяет еще быстрее разрабатывать голосовые помощники, и что самое главное — они становятся умными, поскольку система становится способна делать логические умозаключения как человек.
Оказывается, что онтологию создавать намного быстрее, чем прописывать лингвистические фразы, как в случае третьего поколения голосовых помощников. Если грамотно описать предметную область, все возможные фразы накладываются на нее как на карту. Остается только пометить целевые действия. Это позволяет еще быстрее разрабатывать голосовые помощники, и что самое главное — они становятся умными, поскольку система становится способна делать логические умозаключения как человек.
Концепция V2X (Vehicle to everything), когда автомобили общаются между собой и со всеми возможными устройствами, обсуждается уже много лет. Идея заключается в том, что автомобили можно будет оснастить сенсорами, считывающими всевозможную информацию о дорожной обстановке: ближайших транспортных средствах, погодных условиях, состоянии асфальта, дорожных знаках и др. На основе этих данных управление поездкой можно сделать существенно комфортнее и безопаснее.
Если температура окружающей среды упала до +4 градусов, самого отображения этого факта на приборной панели уже недостаточно. Нужно разъяснить пользователю, что при этой температуре возможно обледенение на дороге, а если автомобиль едет по трассе с высокой скоростью, его безопасность может быть под угрозой. Также есть огромное количество неочевидных фактов. Они касаются конструкции автомобиля, информации относительно состояния тормозных колодок, уровня тормозной жидкости и т.д. Постоянно меняется и ситуация на дорогах - случаются пробки, аварии, ухудшение качества дорожного покрытия, и эти факты также могут учитываться.
Вводные данные
Пример
Рассмотрим пример, когда автомобиль движется по трассе со скоростью 120 км/ч, температура на улице падает и стремится к нулю, впереди дефекты дорожного покрытия, резина автомобиля изношена, а на улице темно. Срабатывает умная система внутри автомобиля, происходит процесс “обдумывания” (логический вывод), и из него порождаются заключения (рекомендации). Голосовой помощник порекомендует сбросить скорость до 80 км/ч и в ближайшее время заменить покрышки. И такому объяснению человек поверит гораздо охотнее, чем оповещению о том, что температура за бортом упала до определенного значения.
Голосовой помощник 4 поколения: примеры
С постоянным увеличением количества информации в автомобиле, ее нужно не только воспринимать, но и перерабатывать. При этом нагрузка на водителя возрастает, и ему на помощь приходят различные умные системы. Одна из таких систем - узкоспециализированный голосовой помощник. Он способен собрать и интерпретировать потоки информации для безопасного и комфортного пользования автомобилем.
В ближайшие планы компании ENBISYS входит разработка концептуальной модели, описывающей все концепты, правила и атрибуты, которые действительны для всех марок автомобилей. Эта информация будет представлена в открытом международном формате и доступна для всеобщего использования. Мы работаем над формированием группы экспертов для совместной разработки умного автомобиля на нашей площадке и существующей платформе.
Дмитрий Бубнов
Генеральный директор ENBISYS
d.bubnov@enbisys.com
+7 3822 99 00 49
+7 3822 99 00 49
Что дальше
Напишите нам