Автономный робот, который взаимодействует с людьми с использованием естественного языка и обработки зрения. Исследователи Университета Пердью в Школе электротехники и вычислительной техники разрабатывают интегрированное программное обеспечение для языка и зрения, которое может позволить автономному роботу взаимодействовать с людьми в различных средах и выполнять навигационные задачи.

На фото: Исследователи Джаред Йохансен (слева) и Томас Ильевский (справа) оценивают автономного робота Хоша, рассматривая операционные системы в среде. Робот будет самостоятельно определять местонахождение комнаты, здания или отдельного человека с помощью интегрированного программного обеспечения для зрения и языка. Фото: Hope Sale / Фонд исследований Пердью.

«Общая цель проекта состоит в том, чтобы сказать роботу найти конкретного человека, комнату или здание и заставить робота взаимодействовать с обычными, неподготовленными людьми, чтобы спрашивать на естественном языке указания к конкретному месту», – сказал Джеффри Марк Сискинд, доцент ведущий исследовательский коллектив. «Чтобы выполнить эту задачу, робот должен безопасно работать в присутствии людей, побуждать их давать указания и использовать их информацию для нахождения цели».

Кандидаты в докторантуру Томас Ильевский и Джаред Йохансен работают с Siskind над разработкой робота по имени Хош, который может интегрировать графические и языковые данные в процесс навигации, чтобы найти определенное место или человека. Команда разрабатывает робота с помощью гранта, финансируемого Национальной исследовательской инициативой Национального научного фонда.

Этот робот может помогать автомобилям с самостоятельным вождением общаться с пассажирами и пешеходами или выполнять мелкие задачи в таких местах, как доставка почты. По прогнозам Boston Consulting Group, этот робот будет способствовать ожидаемому росту производства робототехники для потребителей к 1425 году на 14 миллиардов долларов.

Робот получит задание найти определенную комнату, здание или человека в известном или неизвестном месте. Затем робот объединит новый язык и визуальную обработку для того, чтобы ориентироваться в окружающей среде, запрашивать указания, просить открыть двери или нажимать кнопки лифта и достигать своей цели.

Исследователи разрабатывают программное обеспечение высокого уровня, чтобы дать роботу «знания здравого смысла», способность понимать объекты и окружающую среду с интуицией на уровне человека, позволяя ему распознавать навигационные соглашения. Например, робот будет включать в свой процесс навигации как устные заявления, так и физические жесты.

Автономный робот по имени Хош

Автономный робот по имени Хош будет ориентироваться в окружающей среде и взаимодействовать с людьми. На верхнем фото показан дисплей компьютера робота, включая карту, изображение камеры и дополнительное операционное программное обеспечение. Внизу показаны исследователи Джеффри Марк Сискинд (слева), Томас Ильевский (в центре) и Джаред Йохансен (справа) через компьютерное зрение робота. Фото: Hope Sale / Purdue Research Foundation image.

«Роботу нужна человеческая интуиция для понимания навигационных условностей», – сказал Ильевский. «Именно здесь приходит знание здравого смысла. Робот должен знать, что комнаты с нечетными и четными номерами расположены напротив друг друга в коридоре, или что комната 317 должна находиться на третьем этаже здания».

Чтобы развить знания здравого смысла робота, исследователи разработают интегративное программное обеспечение для обработки естественного языка и компьютерного зрения. Как правило, обработка естественного языка позволяет роботу общаться с людьми, в то время как программное обеспечение для компьютерного зрения позволяет роботу ориентироваться в окружающей среде. Тем не менее, исследователи продвигают программное обеспечение, чтобы информировать друг друга о движении робота.

«Робот должен понимать язык в визуальном контексте и видение в языковом контексте», – сказал Сискинд. «Например, при поиске конкретного человека робот может получать информацию в виде комментария или физического жеста и должен понимать оба в контексте своих навигационных целей».

Например, если ответ «Проверить этого человека в комнате 300», роботу потребуется обработать оператор в визуальном контексте и определить, в какой комнате он находится в настоящее время, а также лучший маршрут для достижения комнаты 300. Если Ответ: «Этот человек там» с физической подсказкой, робот должен будет интегрировать визуальную подсказку со значением заявления, чтобы идентифицировать Лицу А.

«Взаимодействие с людьми – это нерешенная проблема в искусственном интеллекте», – сказал Йохансен. «Для этого проекта мы пытаемся помочь роботу понять определенные соглашения, с которыми он может столкнуться, или предвидеть, что дюжина различных ответов может иметь одинаковое значение».

«Мы ожидаем, что эта технология будет действительно большой, потому что индустрия автономных роботов и автомобилей с автоматическим управлением становится очень большой», – сказал Сискинд. «Технология может быть адаптирована для автомобилей с самостоятельным вождением, позволяя автомобилям запрашивать указания или пассажиры запрашивать конкретное направление, как это делают люди».

Исследователи рассчитывают отправить робота в автономные миссии с усложнением по мере развития технологии. Сначала робот научится ориентироваться в помещении на одном этаже. Затем, чтобы перейти на другие этажи и здания, он попросит людей управлять лифтом или открыть для него двери. Исследователи надеются перейти к выполнению миссий на открытом воздухе весной.

По материалам phys.org