Что вижу - о том пою (aragont) wrote,
Что вижу - о том пою
aragont

Киберреальность

Время от времени в американских фантастических фильмах появляются кадры, в которых штурман космического корабля в смешном громоздком шлеме, надвинутом на глаза, размахивает в воздухе руками и выдаёт команды: Запустить двигатели - (левая рука делает в воздухе "щёлк") - Увеличиваем тягу - (правая рука тянет воображаемый рычаг)... Дальше, в зависимости от сюжета, гиперпрыжок, стрельба по астероидам и т.п.

Сегодня я померил тот самый шлем, а поскольку разработчики системы попросили задокументировать впечатления, пишу их здесь.


Сначала технические подробности.

Среди популярных технических игрушек последнего времени часто встречаются названия: "виртуальная реальность" - объёмные игры в спецочках, с возможностью крутить головой во все стороны, и "дополненная реальность" - обычно смартфон с камерой, глядя сквозь который видишь видео с пририсованными к домам и предметам ярлычками или с переводами рекламы, вставленными в картинку поверх рекламы на чужом языке.

Наш сотрудник сделал дополненную виртуальную реальность - искусственные объекты, которые мало того, что висят прямо посреди комнаты, мало того, что полностью объёмны (с возможностью обойти вокруг них или заглянуть во внутрь) - они ещё и доступны к тыканью в них пальцами.

Технически, система состоит из двух гениальных компьютерных новинок прошлого года: 1 - это трёхмерные очки "Oculus Rift" второго поколения. 1' - вспомогательная камера, для отслеживания положения головы. 2 - распознаватель рук "Leap Motion" (кстати, зелёное крепление для него распечатано на 3D принтере). На ноутбуке крутится модель математического объекта "область достижимости", запрограммированная средствами игрового движка "Unity".


Первое ощущение, которое испытываешь надев шлем - попадание в сумрак. Дело в том, что разработчики используют в качестве видеосигнала о реальном мире камеру Leap Motion. Камера эта очень специализированная - широкоугольная, инфракрасная и с низким разрешением. В результате, реальный мир выглядит как телепередача на чёрно-белом телевизоре со "снегом" помех. Зато, на этом фоне чудесно смотрятся элементы дополненной виртуальной реальности. Кстати, на фотографии видно, что я смотрю прямо в объектив своим циклопическим глазом. Реальность действительно дополненная - сидя в очках, я вижу снимающую меня фотокамеру и нормально ориентируюсь в реальной обстановке.

Благодаря распознаванию с помощью Leap Motion кистей рук, они превращаются в некое подобие рыцарских стальных рукавиц, которые полностью повторяют движение рук реальных. Интересно, что пока руки находятся вне зоны распознавания, они выглядят мутноватыми белыми пятнами (см. выше про чб телевизор с помехами), а при в ходе в область распознавания неожиданно "материализуются". Чётко распознаются сжатые кулаки, растопыренная пятерня и выставленный вперёд указательный палец. В положении, "пальцы пистолетиком" указательный палец в точности повторяет движения настоящего, а вот остальные (поджатые к ладони) могут (на модели) нечаянно начать шевелиться, что создаёт ощущение неконтролируемой судороги.

У разработчика есть две демонстрационных программы. Первая, которую рассматриваю я - та самая "область достижимости" - трёхмерная поверхность, немного похожая на улитку. Модель расположена в 30-40 сантиметрах передо мной и она действительно объёмная. В отличие от 3D кино, где объём виден, но точка зрения задана оператором, в виртуальной реальности ощущение стереоэффекта возрастает во много раз, поскольку при движении вокруг модели меняется ракурс, и положение модели относительно фона.

На первом снимке я держу модель за края. Её нельзя сдвинуть с места, зато можно осмотреть почти со всех сторон, кроме обратной - там камера Oculus Rift теряет контроль за позицией головы и направлением взгляда. Если вы смотрели НФ фильмы, то там встречаются голограммы, которые начинают моргать, дёргаться, а потом исчезают - это тот самый случай потери контроля. Забавно, но внутрь этой модели можно засунуть голову и посмотреть поверхность изнутри. Сам объект чёрно-белый и состоит из мелких треугольников.

На экране монитора видна стереопара, которая транслируется в очки. На ней видны "железные руки" и "улитка".


Вторая демонстрационная программа показывает несколько стандартных компьютерных элементов управления, которые висят вокруг пациента человека на расстоянии вытянутой руки. Среди элементов - текст ("ВНИМАНИЕ: Если вы почувствуете себя плохо в виртуальной реальности, немедленно снимите очки"), который можно прокручивать "свайпом" как на планшете, кнопки, которые включают и выключают надписи, и ползунки, которые можно перемещать влево-вправо. Напомню, всё это почти метрового размера и висит в полуметре от вас с разных сторон.

Все элементы управления работают на удивление удобно, главное дотянуться до них рукой/виртуальной перчаткой. Отсутствие физического контакта не напрягает - визуальное совпадение руки, образа руки и движущегося рычажка получилось почти идеальным.

Немного видео


Из забавного. Из-за какого-то программного глюка красный, зелёный и синий цвета моделей оказались на разных виртуальных расстояниях. Реально это выглядело так, что в центре изображения всё было красиво, а по краям красный выползал каёмкой с одной стороны, а синий с другой. Хозяин очков даже был уверен, что это дефект линз (хроматическая аберрация), но я его сумел разубедить.

Надеюсь, что не раскрыл технологических секретов автора этого чуда. Если идея заинтересует - пишите - я постараюсь состыковать.
Tags: программы, стерео
Subscribe

  • Повербанка и поверчайник

    После того, как в Китае начали массово производить емкие переносные аккумуляторы — powerbank'и (повербанки), на рынке стали появляться разные гаджеты…

  • Как я взламывал освежитель воздуха

    У меня в туалете висит автоматический освежитель воздуха. Небольшая пластмассовая коробочка снаряжается двумя пальчиковыми батарейками и сменным…

  • Леда и лебедь

    Леда и лебедь от наших рекламщиков, надеюсь, что они знают о чём этот сюжет. Кстати, оказалось, что сфотографировать картинку с жк-панели очень…

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 0 comments