Как Oculus втиснул сложное отслеживание в аппаратную часть

Создание впечатления от виртуальной реальности было простым и портативным, и это было главной целью Oculus Quest. Но переход от вещей в комнате, отслеживающих вашу гарнитуру к гарнитуре, отслеживающих вещи в комнате, был сложным процессом. Я говорил с техническим директором Facebook Майком Шрёпфером («Schrep») о пути от «снаружи-внутрь» к «изнутри-снаружи».

Когда вы двигаете головой и руками, используя гарнитуру и контроллеры виртуальной реальности, какая-то часть системы всегда должна точно отслеживать, где находятся эти объекты. Есть два способа, как это обычно делается.

Один из подходов заключается в том, чтобы располагать датчики в комнате, в которой вы находитесь, внимательно наблюдая за устройствами и встроенными в них светодиодами, глядя снаружи внутрь. Другой способ заключается в том, чтобы располагать датчики на самой гарнитуре, которые отслеживают сигналы в помещении, глядя. шиворот навыворот.

У обоих есть свои достоинства, но если вы хотите, чтобы система была беспроводной, лучше всего делать ставку наизнанку, поскольку вам не нужно отправлять сигналы по беспроводной связи между гарнитурой и компьютером, выполняющим фактическое отслеживание позиции, что может добавить ненавистную задержку. к опыту.

Несколько лет назад Facebook и Oculus поставили перед собой цель добиться не просто отслеживания изнутри, но и сделать его таким же хорошим или лучшим, чем проводные системы, работающие на высококлассных ПК. И он должен был бы бежать где угодно, а не только в установленной сцене с границами, установленными маяками или чем-то еще, и делать это в течение нескольких секунд после включения. Результатом является впечатляющая гарнитура Quest, которая успешно справилась с этой задачей (хотя в других это не так уж и сложно).

В этом впечатляет не только то, что он может отслеживать объекты вокруг него и переводить его в точное трехмерное положение, но и то, что он может делать это в реальном времени на чипе с долей мощности обычного компьютера.

«Я не знаю ни о какой системе, которая была бы ниже этого уровня производительности», — сказал Шропфер. «В первые дни было много споров о том, будет ли это вообще работать или нет».

Смотрите так же

HTC Vive Cosmos VR практическая 699 долларов и отс... Новая гарнитура Cosmos VR устраняет необходимость в базовых станциях Lighthouse и в настройке. О, и это тоже модульная. HTC Vive Cosmos является прод...
FundamentalVR добавляет отслеживание своей симулят... FundamentalVR решает сделать моделирование хирургических процедур VR максимально мощным, убедительным и безвредным для окружающей среды. Не так давно,...

«На складе я могу убедиться, что у меня правильное освещение, я могу поставить на стене проверочные знаки, которые являются маркерами, которые могут помочь сбросить вещи, если я получу ошибки — это как существенное упрощение проблемы, понимаете?», — говорит Шропфер указал. «Я не прошу вас ставить проверенные надписи на ваших стенах. Мы не заставляем вас размещать QR-коды или точно расположенные GPS-координаты вокруг вашего дома ».

«Раньше она никогда не видела вашу гостиную, и она просто должна работать. И в относительно ограниченной вычислительной среде — в этом есть мобильный процессор. И большая часть этого мобильного процессора тоже идет на контент. Робот не играет в Beat Sabre, в то же время он путешествует по складу ».

Это сложная проблема в нескольких измерениях, поэтому команда работает над ней годами. В конечном счете, несколько факторов объединились. Одним из них было то, что мобильные чипы стали достаточно мощными, чтобы что-то подобное даже было возможно. Но Facebook не может взять на себя ответственность за это.

Важной была текущая работа в области компьютерного зрения, которую делала ИИ-подразделение Facebook под присмотром Янна ЛеКуна и других. Модели машинного обучения загружают большую часть обработки, необходимой для проблем компьютерного зрения, и получающиеся в результате механизмы вывода имеют меньший вес, если не обязательно хорошо поняты. Внедрение эффективного, ориентированного на края машинного обучения позволило решить эту проблему ближе к возможному решению.

Однако большая часть труда ушла на сложные взаимодействия множества систем, которые взаимодействуют в режиме реального времени для выполнения работы SLAM.

«Хотелось бы сказать вам, что это действительно умная формула, но есть много моментов, чтобы заставить ее работать», — сказал Шрепфер. «Например, у вас есть IMU в системе, инерциальная единица измерения, и она работает на очень высокой частоте, возможно, 1000 Гц, намного выше, чем в остальной системе [т.е. датчики, а не процессор]. Но в этом много ошибок. А затем мы запускаем трекер и маппер в отдельных потоках. И на самом деле мы являемся многопоточным картографом, потому что это самая дорогая часть. вычислительно]. Многопоточное программирование — это боль с самого начала, но вы делаете это через эти три, а затем они обмениваются данными интересными способами, чтобы ускорить процесс ».

Шрёпфер поймал себя здесь; «Мне пришлось бы потратить около трех часов, чтобы пройти через все безобразия».

Частью процесса создания Insight было также обширное тестирование, для которого в качестве наземной истины они использовали коммерческую установку для отслеживания движения. Они отслеживают пользователя, играющего с гарнитурой и контроллерами, и с помощью настройки OptiTrack измеряют точные сделанные движения.

Тестирование с системой OptiTrack

Как Oculus втиснул сложное отслеживание в аппаратную часть

Смотрите так же

FundamentalVR добавляет отслеживание своей симулят... FundamentalVR решает сделать моделирование хирургических процедур VR максимально мощным, убедительным и безвредным для окружающей среды. Не так давно,...
HTC Vive Cosmos VR практическая 699 долларов и отс... Новая гарнитура Cosmos VR устраняет необходимость в базовых станциях Lighthouse и в настройке. О, и это тоже модульная. HTC Vive Cosmos является прод...

Чтобы увидеть, как работают алгоритмы и сенсорная система, они в основном воспроизвели данные этого сеанса в имитированной версии: видео того, что увидела камера, данные из IMU и любые другие соответствующие метрики. Если симуляция была близка к истине, они были собраны внешне, хорошо. Если бы это было не так, инженеры отрегулировали бы параметры системы и снова запустили бы симуляцию. Со временем меньшая, более эффективная система становилась все ближе и ближе к получению тех же данных трекинга, которые записывала установка OptiTrack.

В конечном итоге он должен был быть таким же хорошим или лучше, чем стандартная гарнитура Rift. Спустя годы после оригинала никто не купил бы гарнитуру, которая была бы шагом вниз, независимо от того, насколько это было дешевле.

«Одно дело сказать, что мой уровень ошибок по сравнению с основополагающей правдой является чем угодно, но как это на самом деле проявляется с точки зрения всего опыта?», — сказал Шропфер. «Когда мы подошли к концу разработки, у нас на самом деле была пара увлеченных игроков Beat Sabre, и они играли в Rift и в Quest. И цель состояла в том, чтобы один и тот же человек мог получить такой же высокий балл или лучше. Это был хороший способ сбросить наши микрометрические показатели и сказать: ну, это то, что нам действительно нужно для достижения конечного опыта, которого хотят люди ».

«То, что мы сказали, было, можем ли мы стать такими же хорошими без этого? Потому что это резко снизит долгосрочную стоимость этого продукта », — сказал он. «Когда вы разговариваете здесь с командой по компьютерному зрению, они довольно оптимистичны в отношении камер, за которыми стоят действительно мощные алгоритмы, являющиеся решением многих проблем. Поэтому мы надеемся, что в долгосрочной перспективе для большинства потребительских приложений это будет отслеживание наизнанку ».

Я отметил, что виртуальная реальность не считается здоровой отраслью, и что технологические решения могут мало помочь в решении более многослойной проблемы.

Шрёпфер ответил, что с принятием виртуальной реальности существуют три основные проблемы: стоимость, трения и контент. Стоимость говорит само за себя, но было бы неправильно говорить, что с годами она стала намного дешевле. PlayStation VR уже давно установила недорогую новинку, но «настоящая» VR осталась дорогой. Разногласия — это то, как трудно «открыть коробку», чтобы «играть в игру», и исторически он был камнем преткновения для VR. Oculus Quest хорошо решает обе эти проблемы: 400, и, как отмечалось в нашем обзоре, его очень просто взять и использовать. Вся эта работа с компьютерным зрением была не зря.

Содержание все еще тонкое на земле, хотя. Было несколько хитов, таких как Superhot и Beat Sabre, но ничего толком не привлекло толпы к платформе (если это можно так назвать).

«Что мы видим, так это когда мы выпускаем эти наушники и в руки разработчиков, люди приходят с разными творческими идеями. Я думаю, что мы находимся на ранних стадиях — маринованию этих платформ требуется некоторое время », — признал Шропфер. «Я думаю, что все должны быть терпеливыми, это займет некоторое время. Но это то, к чему мы подходим, мы просто будем продолжать подключаться, создавать лучший контент, лучшие впечатления, лучшие наушники как можно быстрее ».

Смотрите так же

FundamentalVR добавляет отслеживание своей симулят... FundamentalVR решает сделать моделирование хирургических процедур VR максимально мощным, убедительным и безвредным для окружающей среды. Не так давно,...
HTC Vive Cosmos VR практическая 699 долларов и отс... Новая гарнитура Cosmos VR устраняет необходимость в базовых станциях Lighthouse и в настройке. О, и это тоже модульная. HTC Vive Cosmos является прод...