Введение. Роботы и коалиции роботов находят все более широкое применение в различных отраслях, переходящих на методологию цифровой экономики. При этом проблема управления роботами и коалициями роботов является одним из сдерживающих факторов, стоящих на пути внедрения роботов и мультиробототехнических комплексов. Можно выделить два основных направления по решению этой проблемы. Первое – повышение автономности роботов за счет применения элементов искусственного интеллекта, мультиагентного и роевого взаимодействия. Второе направление – совершенствование механизмов взаимодействия человека-оператора и управляемого им робота.В настоящее время элементами управления в интерфейсах человек-робот как правило являются различные комбинации рычагов/джойстиков, кнопок, педалей, сенсорных экранов. То есть человек-оператор использует свои руки (реже ноги) для воздействия на органы управления. Однако использование таких устройств ограничивает объем информации, передаваемый оператором роботу, а также увеличивает время реакции. Предлагается в качестве органов управления роботом использовать не только тактильный контакт рук и ног оператора с органами управления, но и глаза человека-оператора за счет анализа направления взгляда оператора, анализа закрытия глаз и времени сосредоточения на отдельном объекте. В качестве основы отображения информации в настоящем проекте предлагается использовать режим совмещения стереоинформации, получаемой с системы стереозрения робота, с дополненной реальностью, что позволит повысить точность позиционирования роботизированной системы и ускорить процесс получения информации от нее.Современные системы дополненных интерфейсов, использующие отслеживание направления взгляда [1, 2] («Eye gaze tracking», «айтрекинг») основываются на применении сложных систем, состоящих из одной или нескольких камер, систем дополнительной подсветки и компенсации бликов, что приводит к значительной стоимости готовых устройств и тем самым ограничивает области применения.Обзор известных подходов. В настоящее время активно ведутся исследования в области детектирования зрачков человека, определения направления взгляда и областей интереса пользователя по видеопоследовательности, получаемой с цифровой камеры. Системы, построенные на данном принципе, получают набор изображений с камеры, анализируя полученную последовательность определяют положение и перемещение зрачков пользователя, и используя данные калибровки определяют направление взгляда или область интереса пользователя. Камера должна быть расположена таким образом, чтобы глаз находился в прямой видимости без перекрытия посторонними объектами. При этом существует два варианта расположения камеры: в очках, или любом другом креплении недалеко от глаз, либо на некотором расстоянии от пользователя. В первом случае может быть достигнута более высокая точность определения положения зрачка из-за того, что камера находится в непосредственной близости от глаз, но при этом требуется специализированное оборудование (очки, миниатюрная камера, проводной или беспроводной канал передачи видео). Во втором случае, область глаз на изображении имеет намного меньший размер что приводит к необходимости использования более затратных в плане вычислений алгоритмов обработки изображений, с другой стороны, существует возможность использования обычных веб-камер, напрямую подключенных к вычислительному устройству для обработки получаемого видеопотока.В любом случае, использование отдельных камер для решения поставленной задачи намного более удобно для пользователя по сравнению с системами, требующими применения специальных датчиков, которые крепятся на лице пользователя.С учетом же активного развития алгоритмов и методов компьютерного зрения, системы, использующие цифровые камеры, удешевляются и могут быть использованы в более широком круге задач, в том числе и в задачах построения интеллектуального интерфейса дистанционного управления. На точность определения центров зрачков, а, следовательно, и области интереса пользователя, влияет два основных фактора: разрешение получаемого изображения, и условия съемки. Для повышения разрешения можно либо использовать более дорогостоящие камеры, либо располагать их ближе к лицу пользователя, при это оба решения приводят к удорожанию системы в целом. К условиям съемки следует отнести освещенность снимаемой сцены. При получении видеопоследовательности может использоваться как естественный свет (пассивное решение), так и дополнительная инфракрасная подсветка (активная подсветка) [3, 4]. При работе с естественным светом возникает множество проблем с определением центра зрачка глаза из-за бликов света. На рисунке 1 приведены примеры получаемых изображений при различных направлениях взгляда. Из рисунка видно, что при взгляде вперед блик может занимать значительную часть зрачка, что приведет к смещению детектируемого центра зрачка относительно реального, а, следовательно, к ошибке в оценке области интереса пользователя.Рис. 1. Блики света в области зрачка при различном направлении взглядаИзбавиться от негативного влияния бликов света на точность определения центра зрачка можно путем использования инфракрасной подсветки [5]. Во многих исследовательских работах и промышленных решениях активно применяют активную подсветку для достижения высокой точности детектирования. Наиболее оптимальным решением является использование инфракрасного источника света с длиной волны около 880 нм, которая невидима для глаза и может быть захвачена промышленными камерами [6]. Но даже с учетом использованием инфракрасной подсветки остаются проблемы, которые необходимо решить, например, изменяющаяся в зависимости от положения источника света засветка области зрачка на изображении [3, 7, 8].Для получения положения зрачка из видеопоследовательности и определения направления взгляда человека было разработано множество методов. Эти методы делятся на две основные группы [9, 10]: appearance-based [9–12] и feature-based [11, 13]. Также существуют model-based решения, предложенные в работах [4, 8].Appearance-based методы напрямую вычисляют особенности на изображении глаза и использует функцию преобразования полученных особенностей в область просматриваемой сцены. Такие методы основаны на использовании: многослойных нейронных сетей [14], линейной интерполяции [15], различного рода регрессий: линейной [12], Гаусса [16], случайных деревьев [11], Neighborhood Approximation Forests [17]. Набор обучающих изображений для этих методов получался путем регистрации изображений глаз в момент, когда пользователь смотрит на определенную точку экрана.Feature-based методы анализируют изображение глаза для выявления определенных характеристик, например, самого темного пикселя, который отвечает за зрачок или радужку. Использование инфракрасной подсветки упрощает этот процесс за счет усиления контраста между радужной оболочкой и зрачком глаза [6]. Большинство методов данной группы используют сегментацию изображений [18, 19]. В процессе обработки изображение приводится к формату градации серого и подвергается пороговой бинаризации для получения бинарного изображения, на котором зрачок представляет собой темную область. Порог определяется экспериментально для конкретных условий съемки. Центр масс темной области на изображении и будет представлять собой центр зрачка [19]. При обработке изображений, имеющих низкое разрешение или низкую контрастность, выполняют нормирование гистограммы яркости, что приводит к улучшению контрастности анализируемого изображения и позволяет подчеркнуть детали изображения. Еще одним представителем данной группы методов является работа [20] в которой для поиска центра зрачка используется векторное поле градиентов на изображении и отношение между градиентами в каждой точке изображения и в предполагаемом центре зрачка. Центр зрачка представляет собой точку пересечения наибольшего количество векторов градиентов.Model-based алгоритмы выполняют поиск наиболее подходящей модели на изображении. При работе алгоритмов данной группы производится поиск объектов круговой или эллиптической формы, которые наиболее точно описывают форму зрачка при выбранном ракурсе камеры. При нахождении подобного объекта на изображении можно вычислить центр зрачка, который будет находиться в центре данного объекта. Такой подход позволяет достаточно точно выделить зрачок на изображении, и сделать это даже в случаях, когда зрачок частично перекрыт ресницами. Недостатками же такого подхода является высокая вычислительная сложность алгоритма, что не позволяет использовать его в режиме реального времени. Кроме того, model-based алгоритмы могут находить локальные минимумы, тем самым некорректно находя центр зрачка.Существуют также гибридные алгоритмы [13], которые совмещают в себе feature- и model-based решения. К этой группе относятся: алгоритм Starburst [13], выполняющий поиск набора точек, описывающий контур зрачка с помощью RANSAC метода [21].Предлагаемый метод организации интеллектуального интерфейса дистанционного управления системой стереозрения робота посредством глаз оператораДля организации интеллектуального интерфейса дистанционного управления системой стереозрения робота посредством глаз оператора предлагается использовать очки, состоящие из специального корпуса, с устанавливаемым в него Android смартфоном. Такие очки могут выполнять следующие функции:- получать видеопоследовательность с фронтальной камеры смартфона для определения координат центра зрачка;- отображать интересующий пользователя контент, например, видео из галереи устройства;- определять точку на экране смартфона, в которую смотрит пользователь;- выполнять подстройку яркости экрана для повышения точности определения центра зрачков, а, следовательно, точности определения областей интереса на экране смартфона;- записывать получаемые в реальном времени данные во внутреннюю память устройства;- передавать получаемые данные по беспроводному каналу связи.Предлагаемое решение имеет ряд преимуществ по отношению к существующим системам оценки областей интереса пользователя. Смартфон выполняет все необходимые подзадачи: захват видео с фронтальной камеры, подстройка яркости внутри корпуса очков, отображение видеопоследовательности или любой другой информации на экране, обработка, хранение и передача данных. Следовательно, отпадает необходимость в использовании набора, состоящего из специальных очков, дополнительных цифровых камер, ноутбука или персонального компьютера для выполнения расчетов. В результате это приводит к снижению стоимости итоговой системы и возможности применения подобных систем при решении широкого спектра задач, так как нет необходимости в применении узкоспециализированного и дорогостоящего оборудования. Даже смартфона начального уровня достаточно для выполнения всех необходимых расчетов в режиме реального времени.Рассмотрим структуру предлагаемой системы. Система состоит из корпуса, который крепится на голову пользователя, и смартфона, выполняющего роль основного вычислительного устройства. На рисунке 2 показан корпус, с установленным смартфоном. Для установки смартфона в правой части корпуса предусмотрена специальная прорезь, предназначенная для смартфонов стандартной толщины. Поскольку в корпус могут быть установлены телефоны, имеющие диагональ более 4.5 дюймов, на дальней стенке корпуса предусмотрены фиксаторы, удерживающие смартфон. Рис. 2. Конструкция устройства: корпус (слева), корпус с установленным смартфоном (справа)Корпус имеет раздвижную конструкцию для корректировки расстояния между глазами оператора и экраном смартфона, что сделано для подстройки системы под зрение человека. Варианты с минимальным и максимальным расстоянием показаны на рисунке 3. Ремень используется для фиксации устройства на голове пользователя.Рис. 3. Изменение длины корпуса устройстваКорпус устройства может быть напечатан на 3D принтере, что вкупе с использованием смартфона на платформе Android позволит упростить процесс сборки подобных систем и расширить области их применения.Рассмотрим порядок работы с предложенной системой. На первом этапе на смартфон устанавливается специальное приложение, предназначенное для отображения видеоконтента, отслеживания областей интереса, обработки, хранения и передачи полученных результатов. В этом же приложении производится настройка основных блоков алгоритма обработки изображений (разрешение изображений, получаемых с фронтальной камеры; использование нейронных сетей для детектирования области глаза на изображении и особых точек вокруг глаза и т.д.).После установки и настройки приложения, смартфон фиксируется в корпусе и устройство крепится на голове пользователя. Для запуска приложения в таком режиме может использоваться обычный bluetooth джойстик, например, VR Box 2.При первом запуске пользователю необходимо откалибровать систему, для этого на отдельном экране приложения последовательно отображается набор точек, при взгляде на каждую из них, пользователю необходимо нажать на джойстике кнопку. При нажатии на кнопку система запоминает положение зрачка в момент, когда пользователь смотрит на отображаемую точку. Сохраненные данные в дальнейшем будут использованы для определения областей интереса на показываемом видео. По завершению калибровки пользователь может приступать к использованию системы.Разработанное программное обеспечение предлагает выбрать пользователю видео из галереи устройства и начать его показ (рис. 4). Рис. 4. Выбор видеофайла из галереи устройстваВо время показа видео на экране смартфона отображается маркер, указывающий на область интереса пользователя, и производится запись этой области во внутреннюю память телефона.Поскольку в корпусе не предполагается дополнительного источника света, то за регулировку уровня освещенности отвечает разработанное приложение. Получая кадр с фронтальной камеры, алгоритм производит оценку средней яркости изображения. В случае показа затемненного видео, света экрана может быть недостаточно для корректного детектирования центра зрачка, а, следовательно и определения области интереса пользователя. В таком случае по краям экрана отображается специальная рамка, задача которой состоит в подстройке яркости внутри корпуса устройства. На рисунке 5 показан пример кадра, с отображенной рамкой для подстройки яркости изображения.Рис. 5. Отображение рамки для адаптивной подстройки яркостиВыводы. В статье предложено использование расширенного интерфейса человек-робот с дополненной реальностью, основанное на принципах отслеживания взгляда человека-оператора при анализе видеоданных, поступающих от бортовой видеосистемы робота. Предложена конструкция очков дополненной реальности, отличающейся простотой и доступностью исполнения. Показан пример реализации программного обеспечения для такого интерфейса. Таким образом, можно сделать вывод о том, что применение расширенного интерфейса человек-робот с дополненной реальностью является перспективным направлением исследований. Дальнейшие направления исследований будут направлены на совершенствование алгоритма отслеживания взгляда оператора.