ИССЛЕДОВАНИЕ И РАЗРАБОТКА «УНИВЕРСАЛЬНОГО СЛОВАРЯ ОБРАЗОВ» ДЛЯ СОЗДАНИЯ ЧЕЛОВЕКО-МАШИННОГО ИНТЕРФЕЙСА
Аннотация и ключевые слова
Аннотация (русский):
Измерение популярности тематики в Интернете - запрос Паутине по теме проекта дает 18900 результатов, а новизна определяется конкретикой, например, запрос «Универсальный словарь образов» - дает «No results found for» и 1 результат M24.RU - 10 неизвестных: монстры, лестницы, воронки и ключи ... www.m24.ru/articles/112668/ … Предлагаемый проект предполагает создание банка уже существующих образов, имеющих широкое распространение и могущих стать средством межнационального общения для людей, у которых нет иного канала обмена информацией. В число таких образов могут входить распространенные жесты, знаки ориентировки на дорогах, в транспорте, на улице, в местах общего пользования и в государственных учреждениях. Они будут включать как отдельные образы, так и их комбинации, составляющие цельный понятийный комплекс (как вести себя за столом, в транспорте, на стадионе и пр.). Надо четко отметить, что предлагаемый словарь рассчитан на межличностное человеческое общение. Компьютерное распознание образов не может являться в данном случае основной целью реализации проекта. Ориентация на межличностное общение дает нам возможность выбирать образы для словаря и, что не менее важно, устанавливать практически выполнимые задачи на каждом этапе его создания.

Ключевые слова:
человеко-машинный интерфейс, универсальный словарь образов, системы визуализации, виртуальное окружение, контакты людей, ограниченные возможности, межнациональное общение
Текст
Текст произведения (PDF): Читать Скачать

Введение

 

Автоматизированная навигация помогает туристам ориентироваться в незнакомой местности [1]. Важно иностранному туристу не оказаться один на один с городом в малознакомой стране. С помощью различных информационных систем можно определить, местонахождение, выяснить окружающую обстановку, объекты. Это позволяет любому заезжему гостю эффективно функционировать в пространстве.

В незнакомой местности важно, чтобы человек не терялся и в нужный момент смог воспользоваться необходимой информацией  для достижения поставленной цели. Перечень параметров, предоставляемых гостю должен быть без лишней ин­формационной нагрузки.

Для ориентации иностранному гостю должна быть предоставлена следующая информация в графическом виде: широко масштабируемая карта местности, параметризация объектов карты с помощью информационных сообщений, наиболее оптимальные направления движения. При этом цель может включать перемещение из одной точки в другую, а может определять направление к культурному объекту, городской инфраструктуре.

Основные принципы организации автоматизированной системы управления движением: эффективность с точки зрения достижения цели, понятная и уместная графика с необходимым масштабированием, четкий разборчивый шрифт, анимация, дополняющая информационную обеспеченность ориентации в пространстве, соответствие международным стандартам отображения городского пространства и т.д.

Должна быть разработана унифицированная панорама знаком в качестве ключевого фактора навигационной системы. Однако важна их узнаваемость, поэтому необхо­димо опираться на основы (общепринятые элементы) графического изображения визуализации навигационных систем. Для узнаваемости и привлечения внимания было решено использовать яркую палитру и всем знакомые геометрические знаки - круг, квадрат, треугольник, ромб, прямоугольник.

Невозможно создать навигационный инструмент, не используя современный графический дизайн. Это и способ общения, коммуникации,  возможность отображения наиболее уместных с точки зрения конкретной ситуации объектов, целей. Доказано, что изображение несет значительно больше информации, чем текст. При этом оно должно быть информативным [3].

 

Использование пространства города

 

Важно, как городское окружение будет использовано при ориентации в пространстве [4]. Помимо графических средств отображения пространство должно дополняться не избыточными информационными комментариями, которые могут ненавязчиво привязываться к определенным объектам.

Нужно иметь информационные описания, которые соответствуют интересным историческим фактам конкретного места, культурного объекта и т.д. Интересными фактами можно увлечь гостей при использовании куль­турных и мифологических особенностей местности - как, например, Красная площадь (рис. 1). В городе к атмосферным местам можно отнести парки (рис. 2) или необычные кафе (из­вестная «Чебуречная» в Москве (рис. 3)). Значимое место может быть и в плохом состоянии, но ценность его от этого не теряется (остатки разрушенной крепости или церкви).

 

 

1_krasnaya_ploshchhad

Рис. 1. Красная площадь в Москве

AiM-Zolotarev_Khakimova_Berberova-Исследование и разработка-fig2

Рис. 2. Парк Горького в Москве

AiM-Zolotarev_Khakimova_Berberova-Исследование и разработка-fig3

Рис. 3. Чебуречная

 

 

Созданный образ окружающего пространства играет важную роль при осмотре достопримечательностей иностранными гостями. Очень важно как представлены культурные, исторические объекты, как они отображены в информационной системе, какими снабжаются комментариями текстовыми или голосовыми. Создается некоторый репрезентативный образ посещаемого объекта, и каждый человек представляет это по-своему. Важно не обмануть его ожиданий.

Так, в городах основными загрязнителями визуальной среды являются гомо­генные и агрессивные визуальные поля. Гомогенными называются объекты или множества объектов с минимальным количеством видимых элементов. В Москве к ним следует отнести высотные здания из стекла и бетона, серые и безликие многоэтажные строения. На их огромных голых стенах нет ничего, что могло бы привлечь внимание. Это вызывает у людей психо­логический дискомфорт [5].

Для анализа групп типичных стрессоров исследователи ввели некоторые термины: стресс в городе, потерянность в большом городе. Это приводит к негативным последствиям психику человека в незнакомом, часто враждебном городском пространстве.

Важно сформировать позитивный образ незнакомого пространства для иностранных гостей. От его привлекательности зависит эффективное функционирование города как туристического центра [6].

Рассмотрение факторов, оказывающих воздействие на имидж города, позво­лило структурировать их на две группы:

  • Объективные - культурные особенности, местоположение, мировой рейтинг культурного объекта, инвестиционный потенциал, информационное окружение и т.д.;
  • Субъективные – отношение местного населения к незнакомым иностранным посетителям, восприятие гостями культурны населения, местный менталитет и т.д.

На рис. 4 показаны факторы, влияющие на различные аспекты политики при формировании позитивного образа городского пространства.

Визуальная и психологическая атмосфера города во многом зависит от восприятия людей, осно­ванного на их жизненном опыте в привычной жизненной среде [7].

Важное зна­чение имеет графический дизайн как межнациональное средство коммуникации. Этот аспект необходимо учитывать при анализе коммуникационного поля и его адаптации к иностранным туристам в России и, в частности, в таком мегаполисе как Москва.

 

 

Рис. 4. Факторы, влияющие на построение позитивного

образа городского пространства

 

Основные проблемы ориентации иностранцев в городской среде

 

Огромный поток информации, влияющий на людей в современном мире, при­водит к тому, что бывает весьма проблематично ориентироваться в незнакомой местности. Это нужно учитывать в туристической деятельности, так как иностранные гости получают негативный опыт и формируют отрицательное отношение к городу [8]. Это затруднение может быть связанно с поиском определенных объектов, отсутствием нумерации домов и названий улиц, площадей, районов и т.д. Возникают проблемы при наличии противоречащих друг другу описаний. Все эти вопросы следует решать с помощью навигации, стараясь однозначно определять места, объекты, улицы и т.д., чтобы иностранные туристы не чувствовали себя потерянными в городе.

В контексте проблем навигации в городской среде особенно важно знать, как иностранные гости представляют себе незнакомый город, насколько для них являются доступными культурные объекты, насколько просто формируются маршруты, как предоставляется информация при описании навигации в городской среде. Нужно создать удобную, комфортную атмосферу.  Этому может помочь добродушное отношение местного населения, помощь подготовленных волонтеров, дополнительная информация в городском пространстве на международных языках общения, в частности, на английском.

Исследователи выделили основные проблемы, по которым туристы не желают посещать Россию [9]:

  1. Сложности в получении визы для въезда в Российскую Федерацию.
  2. Высокие цены на проживание и низкое качество обслуживания.
  3. Высокие цены на авиабилеты.
  4. Терроризм. Мафия. Люди не чувствуют себя в безопасности.
  5. Незнание страны.
  6. Незнание языка.
  7. Высокая стоимость пассажироперевозок.
  8. Плохо развитый внутренний туризм для регионов.

Для привлечения иностранных туристов нужно создать комфортную среду  (городскую, деревенскую, междугороднюю и т.д.). Для решения подобных вопросов необходимо определить и принять на самом высоком уровне ряд важных мер:

- повысить комфорт городской инфраструктуры для иностранных гостей, обеспечив их прекрасными возможностями для развлечений, принятия пищи, перемещения в городской среде;

- сохранить и восстановить наиболее значимые культурные исторические объекты;

- предложить туристам широчайшее разнообразие культурных программ и маршрутов, включая не только объекты исторического наследия, но и возможность получения дополнительной информации о стране;

- использовать и преумножать международный опыт других стран по созданию комфортной туристической базы.

 

 

Создание визуальных словарей

 

Визуальный словарь - это словарь, использующий картинки, образы, фото­графии, которые адаптируют материал к запоминанию через зрительное восприятие. Визуальные словари часто организованы по темам, а не являются алфавитным списком слов. Они помогают подключить к процессу запоминания зритель­ную память, образ воспринимаемого объекта при этом фиксируется в сознании бла­годаря зрительным впечатлениям.

Роль наглядных иллюстраций в словарях изучалась давно. Чтобы оценить и описать роль наглядных иллюстраций в словарях, необходимо понять механизм ко­гнитивной обработки видимых изображений.

Гипотеза вербальной петли  отводит ключевую роль скрытой вербализации и словесному хранению визуальных образов [10]. Согласно этой гипотезе, просматри­ваемое изображение переводится в последовательность слов, которые хранятся в памяти и используются в качестве основы для воспроизведения.

Двухступенчатый процесс восприятия предполагает мысленное представление для кодирования и хранения невербальных визуальных элементов. Объект или изображение может быть закодировано, то есть сохранено в невербальной форме. Верба­лизация, согласно этой точке зрения, входит в процесс только во время словесного декодирования визуального запаса [11].

Третья гипотеза основана на гештальт-теориях памяти, когда воспоминания сохраняются не в общий интерсенсорный склад, а в специфический для модально­стей, в которых они получены. Название объекта или изображения при просмотре приводит к тому, что устанавливаются как визуальные, так и словесные следы, но с просмотром изображения объект оставляет только визуальный след [10].

Эти три теории постулируют, что закодированный визуальный образ рас­шифровывается в словесную форму, но  визуальная форма при этом не теряется. Объект всегда извлекается в визуальной форме, а процесс вербализации просто по­могает, называя концепцию.

Все гипотезы утверждают, что информация, хранящаяся как в визуальной, так и в вербальной форме, будет лучше запоминаемой, чем информация, хранящаяся только в одной форме.

Таким образом, гипотеза двойного кодирования предсказывает, что образные посредники должны превосходить описательные, потому что двойное кодирование продвигается изобразительными, но не повествовательными посред­никами [10].

Наиболее эффективными устройствами для направления и мо­дификации внимания являются:

- стрелки, указывающие достопримечательности на рисунке;

- сокращение неактуальной информации в наглядной иллюстрации;

- позиционные правила, которые подразумевают, что самая важная часть изображения должна быть размещена в центре или в верхнем левом углу иллюстрации;

- иден­тификационные номера, которые соответствуют словесным модификаторам, таким как заголовок и подписи [12].

 

 

В последнее время активно развиваются технологии дополненной и вирту­альной реальности (ВР). Например, на рынке шлемов виртуальной реальности ком­пании HTC и Oculus уже в течение нескольких лет соперничают со своими продук­тами. Осенью 2016 года к этому соперничеству подключились компании Sony, LG и ASUS. Microsoft уже выпустила очки дополненной реальности Hololens, Google - Daydream и Google Glass. И это только известные и крупные брэнды. Кроме того, IDC утверждают, что рынок устройств дополненной и виртуальной реальности будет расти на 60% ежегодно, количество устройств достигнет почти 100 миллионов через год [13]. Такие устройства находят применение во многих областях: наука, медицина, проектирование, игровая индустрия, фотография, различные спортивные симуляторы и тренажеры. Для многих систем из этого списка актуальна задача обеспечения естественного и удобного интерфейса для управления виртуальными объектами. Для этого требуется точное позициони­рование объекта в виртуальной сцене, решить данную задачу могут системы от­слеживания и распознавания.

Существующие системы можно разделить на следующие типы (по фи­зическому принципу их устройства) [13]:

- Оптические (маркерные и безмаркерные). Данные устройства работают на основе определения образов. Это всем хорошо известные и распространенные сегодня повсеместно видеокамеры.

- Механические. В данных устройствах происходит механическое измерение, вводится система метрик и точка отсчета.

- Инерционные. В этих устройствах могут использоваться различные акселерометры и гиро­скопы. При этом, когда происходит расчет положения объекта, используются интегрированные выходные значения ги­роскопов, связанными с угловыми скоростями вокруг соответствующих осей.

- Акустические. В подобных устройствах могут быть использованы и микрофоны, и устройства, генерирующие звуки для определения местоположения.

- Магнитные\Электромагнитные. В подобных устройствах могут быть использованы специальные магнитные или электромагнитные устройства (катушки), определяющие напряженность магнитного поля.

В последнее время рынок оптических систем значительно вырос, а количество реализаций сопутствующих алгоритмов для распознавания жестов и отслеживания положения различных предметов увеличилось. Отдельный интерес представляют камеры и датчики глубины, так как они обладают высокой точностью и не влияют на степень восприятия виртуального окружения из-за отсутствия физического контакта. При этом реализация человеко-машинного интерфейса с возможностью проведения экспериментальных измерений степени восприятия виртуального пространства и точности позиционирования и манипуляции является актуальной задачей, начиная заниматься которой, требуется провести исследование технологий отслеживания и распознавания жестов и объектов. Таким образом, целью данной работы является выбор аппаратной и программной составляющей камер и датчиков глубины, осу­ществляющих оптический трекинг. Они будут использованы в последующем для решения вышеупомянутых задач по измерениям степени восприятия виртуального пространства.

 

 

Распознавание жестов

 

Из суще­ствующих типов устройств (оптические, механические, инерционные, акустические и магнитные) для целей данной работы подходят только оптические, так как они имеют достаточную точность и удобны в использовании [13]. Из оптических систем распознавание жестов для решения задач трекинга мелкой моторики рук лучше всего подходят два устройства: Leap Motion и Intel RealSense. У обоих отслеживание про­исходит в ближней зоне в пределах полусферического объема от 0.2 до 1 метра, они могут быть интегрированы с движком Unity, который используется для разработки AR-приложения и позволяют получать как данные абстрактных модулей, описы­вающие руки, так и «сырые» данные с камеры. Окончательный выбор пал на Leap Motion, так как он обладает меньшими размерами и его можно легко закрепить на очки дополненной реальности.

 

 

Результаты

 

Разработан макет приложения «Универсальный словарь образов».

Каждая тема (мы назвали отведенное ей место фреймом), получает для своей реализации одну либо несколько страниц. Страница включает один кадр (или ком­пьютерный макет), состоящий из нескольких картинок-образов. Получается иерар­хическая лестница простых и сложных словарных единиц, каждая из которых полу­чает специфическое название. Таким способом мы создаем профессиональную тер­минологию для нового вида лексикографии, где основным слагаемым служит образ.

Кроме содержательных единиц отражающих реальные объекты, в словарь включены пять синтаксических образов (стрелки, координаты, иконки  телефона, компьютерной мышки, кулак с поднятым большим пальцем - одобрение, с пальцем, обращенным вниз - неодобрение).

Некоторые макеты построены по принципу продолженного действия. Напри­мер, на макете обычных магазинов показано: как входить в магазин (одна картинка), выбрать тележку или корзинку для покупок (еще картинка), выбрать покупки из представленных на полках товаров, заплатить в кассе и запаковать покупку в ме­шочки (всего пять картинок). В будущих вари­антах словаря, компьютерном или смартфоновском, предложенные действия будут демонстрироваться в виде единого продолжающегося клипа. В нынешнем печатном словаре они показаны по-отдельности.

Первый вариант приложения разработан для Windows и доступно по адресу: https://bigwer.ru/zol/index.html. Оно построено по иерархическому признаку. Все переходы осуществляются либо по меню, либо по картинкам при наведении указателя. В верхней части экрана находится навигационное меню, по которому можно вернуться на более высокий уровень.

Пока приложение включает три категории: аэропорты, железнодорожные вокзалы, городской транспорт. Строки меню включают текст и поясняющую иконку. Тестовый вариант приложения разработан на русском и английском языках.

При выборе одной из категорий, выводится графическое меню, рисунки кото­рого интуитивно понятны даже для индивидуумов, не знакомых ни с русским, ни с английским языками. Картинки содержат пояснения. На третьем уровне приводится более подробная структура выбранной категории с дополнительными значка­ми-обозначениями и пояснениями к ним в нижней части экрана.

 

 

Выводы

 

При решении научно-технических задач возникло целое научное направление когнитивных методов, которые являются основой образного мышления, ранее используемого в области изобразительного искусства. Проект направлен на создание универсального (в значительной степени всеобъемлющего) словаря различных образов, используемых по всему миру в различных областях человеческой деятельности. Под образом мы понимаем знак, имеющий определенное значение и работающий на перенос внешних ощущений и впечатлений человека в мозг, где он обрабатывается физиологически и используется для сохранения его в памяти ради создания базы для последующих реакций человека на внешние раздражители и эффективные реакции. Образы создают базу для словесных обобщений и их передачу другим людям, то есть являются основой для межличностной коммуникации.

Образы первоначально индивидуальны для каждого человека, но обработанные словесно, могут стать общими для той или иной культурной среды. Тогда они становятся хранителями коллективного опыта, который реализуется для коммуникации между людьми внутри одной или разных культур в повседневных действиях каждого из нас. Мы намерены выбрать наиболее распространенные в мире образы, прокомментировать словесно либо другими синонимичными образами их понимание людьми разных культур и затем использовать эти данные в различных практических приложениях.

 

 

Благодарность

Работа над данной статьей проходила при поддержке Российского фонда фундаментальных исследований, гранты 18-07-00225, 18-07-01111 и 18-07-00909.

Список литературы

1. ГОСТ Р 57581-2017 Туристические услуги. Информационные знаки системы навигации в сфере туризма. Общие требования: утв. и введен в действие Приказом Федерального агентства по техническому регулированию и методологии от 08.08.2017г. № 823-ст // Национальный стандарт Российской Федерации: Техэксперт: электронный фонд правовой и нормативно-технической документации. - Режим доступа: http://docs.cntd.ru/document/1200146503

2. Сулейманова О., Холодова Д. Система городской навигации города Москвы как проблема мультикультурного моделирования лингвистического образа города //Joural of English Studies at NBU. 2015. Vol. 1. Iss. 1. p. 97-115. http://esnbu.org/data/files/2015/2015-1-8-suleimanova-holodova-pp97-115.pdf.

3. Шон А. Реальный путеводитель по суперграфике: графический дизайн в городской среде [перевод с англ. Натальи Томашевской]. М.: КоЛибри, cop. 2019. 384 с.

4. Кургузова М.А. Графический дизайн как способ ориентации в городском пространстве // Регионы. Города. Ракурсы и параллели: материалы VI Всероссийской науч.-практ. конф. 2018. С. 120-125.

5. Бычков Ю.А. Практическое применение графического дизайна - инфографики в городской среде // Архитектура и архитектурная среда: вопросы исторического и современного развития - 2018.: материалы международной науч.-практ. конф. 2018. С. 45-49.

6. Алексеева А.В., Жук С.И. Факторы, влияющие на формирование имиджа города // Форум молодых ученых. 2019. №5(33). С. 127-129.

7. Заграничный А.И., Кублин И.М., Санинский С.А. Особенности формирования имиджа города // Вестник Саратовского государственного социаль¬но-экономического университета. 2017. №3 (67). С. 52-57.

8. Гермогенова Л.Н. Российский туризм глазами иностранных туристов // Вестник современных исследований. 2018. № 11.5 (26). С.62-63.

9. Владимирова А.А. Проблемы, с которыми сталкиваются иностранные туристы в Москве // Современный менеджмент: проблемы, гипотезы, исследования. Сб. науч. Тр. VIII ежегодной науч. международ. конф. факультета бизнеса и менеджмента. 2017. С. 103-110.

10. Lilian Atieno Gangla. Pictorial illustrations in dictionaries. Pretoria, 2001. - 93 р.

11. Fleming L. Sheikhian M. 1972. Influence of Pictorial Attributes on Recognition Memory. Audio Visual Communication Review. 1972. Vol. 20. p 423-441.

12. Bergenholtz H. Tarp S.(eds) 1995. Manual of specialized lexicography: the preparation of specialised dictionaries. Amsterdam/Philadelphia: John Benjamins Pub¬lishing Company. P.195

13. В.А.Киселев, А.С.Клименко, С.В.Клименко, М.В.Михайлюк, В.И.Пестриков, М.А.Хламов, К.В.Чувилин, М.В.Фурса, Н.Л.Хаким, Т.К.Ши. Современные устройства трекинга для систем виртуального окружения: тр. науч. конф. CPT1617. Институт физико-технической инфор-матики. 2017. С. 114-120.

14. Хламов М.А., Киселев В.А., Чувилин К.В. Использование жестов в приложении дополненной реальности для обучения сотрудников АСУ ТП АЭС: тр. междунар. науч. конф. SCVRT2018. ИФТИ. 2018. С. 149-155.

Войти или Создать
* Забыли пароль?