Google приближает AR и Lens к будущему поиска

Эксклюзив: как Google делает AR клей для просмотра реальности.

Представьте, что вы думаете о стульях, и вы решили попробовать Google в своей гостиной. Или вы просматриваете карту метро в Токио и видите предложения о том, какие маршруты выбрать неожиданно, переведенные на ваш родной язык. Google AR и Google Lens попадают туда быстрее, чем вы думаете.

Я нахожусь в Google Immersive Lab в Маунтин-Вью перед Google I / O 2019 и смотрю на меню ресторана на столе через объектив телефона в моей руке. Что выглядит интересным на заказ? Дисплей мерцал, и неожиданно для меня подсвечивались варианты.

Это не дикие танцующие драконы или голографические аватары, которые вы можете ассоциировать с AR и VR. Там нет покемонов, чтобы найти, или странные новые гарнитуры, чтобы примерить. Вместо этого в этом году видение дополненной реальности от Google представляет собой двойную дозу внимания к полезности и помощи, поскольку AR приходит к поиску Google, а Google Lens стремится помочь людям читать. Хотя это может показаться скромнее, чем в прошлые годы, и не так эффектно, как недавние проекты Google AR с участием Marvel и Childish Gambino, Google пытается быть законно полезной. После того, как десятки смарт-очков и гарнитур AR появились и исчезли, нам нужны реальные причины для использования этой технологии. Может ли Google найти путь вперед?

Прошло шесть лет с тех пор, как Google Glass впервые приобрел смарт-очки, пять лет с экспериментального AR-телефона Google Tango и два года с тех пор, как Google Lens предлагал способ сканирования мира с помощью камеры телефона. Взгляд Google на AR может меняться, и, возможно, это неизбежно. Поскольку AR в телефонах перешло от новизны к повсеместной реальности, следующая миссия Google, похоже, заключается в том, чтобы найти хорошее применение AR. по крайней мере, до тех пор, пока будущие смартфоны, гарнитуры или другие устройства не будут готовы использовать то, что узнал Google.

«Мы думаем, что благодаря технологиям, объединяемым, в частности, в дополненной реальности, у Google есть возможность быть намного более полезным». говорит Клэй Бавор, вице-президент по виртуальной и дополненной реальности, о разнообразных обновлениях AR, которые Google выпустит в этом году. , Вы также можете сказать, что Google закладывает основу для своей следующей большой вещи. Компания должна стать цифровым связующим звеном для мира услуг, которых пока не существует. Пока это означает, что компьютерное зрение должно работать еще больше, не только на Android, но и на iPhone. В этом году у Google появились новые экспериментальные идеи. Вот на что они похожи.

Google приближает AR и Lens к будущему поиска

Марсоход НАСА «Марс Curiosity», как видно по ссылке в поиске Google с поддержкой AR.

Поиск Google с AR выглядит как мгновенные голограммы

Я вижу кликабельный файл при поиске «тигра», который запускает анимированный 3D-файл с ревущим звуком. Затем я могу запустить его в AR в комнате, и эй, реалистичный тигр AR. Я могу бросить в комнату масштабную модель Марса Любопытного Марсохода НАСА или анатомическую модель человеческих костей и мускулатуры.

В этом году Google вводит AR для поиска, и вот как это работает: совместимые устройства Android и iOS будут видеть ссылки 3D-объектов в поиске, что приведет к появлению 3D-моделей, которые затем можно будет перетащить в реальный мир в нужном масштабе в AR. Поиск Google будет включать 3D-файлы, используя формат glTF, в отличие от формата Apple USDZ, используемого ARKit в iOS 12. Согласно Google, разработчикам потребуется добавить всего несколько строк кода, чтобы 3D-ресурсы появлялись в Поиске Google.

Смотрите так же

Как новая функция Google может помочь в борьбе с з... Новый инструмент под названием Focus Mode хочет свести к минимуму отвлекающие факторы при работе на телефоне. Вам нужно будет обновить до последней в...
Pixel 4 Все, что мы знаем о Google — следующ... За относительно короткое время телефоны Google Pixel стали популярным выбором для тех, кто предпочитает альтернативу iPhone iPhone. Пиксельные телефон...
Google — Детская пиксельная игровая площадка... Google идет ва-банк с Childish Gambino в качестве музыкального чемпиона по дополненной реальности, так как дуэт отказался от своего второго AR-сотрудн...

«Любой, у кого есть 3D-активы, и, как оказалось, многие розничные партнеры, такие как Wayfair или Lowe’s, делают только три строчки кода». говорит Апарна Ченнапрагада, вице-президент и генеральный менеджер по камере и AR продукты. «Поставщикам контента больше ничего не нужно делать». Google уже работает с NASA, New Balance, Samsung, Target, Visible Body, Volvo и Wayfair, чтобы включить 3D-ресурсы в поиск Google. Эффекты AR запускаются в новой функции Android под названием Scene Viewer.

Что меня поразило, когда я попробовал несколько демонстраций, так это простая мысль: я использую Поиск Google как расширение моего мышления. Если поиск AR с поддержкой может быть в конечном итоге добавлен к паре очков AR, возможно, это будет означать легкое наведение объектов в реальный мир без запуска каких-либо приложений вообще.

Объектив Google может выделять меню с популярным выбором, который ссылается на фотографии и подробности, связанные с Картами Google.

Объектив Google продолжает развиваться, начиная с обеденной помощи

Между тем использование Google Lens уже похоже на пару очков без очков. Приложение с камерой уже можно использовать для распознавания объектов, перевода, покупок и распознавания мира.

Но Google исследует совершенно новую волну функций объективов, которые продвигают объективы в 2019 году, начиная от мелкозернистых до далеко идущих, которые начинают более активно навязывать вещи в мире в AR. «Мы берем Google Lens и получаем его от« о, это инструмент идентификации, что это, покажите мне такие вещи »в браузере AR, то есть вы можете наложить информацию прямо на камеру». говорит Ченнапрагада.

Я воочию посмотрел на новейшие функции Google Lens, и они начинают чувствовать себя как способы трансформации реальности, так и толкования ее. Теперь объектив может показывать переводы с других языков, которые отображаются на знаки или объекты без шва и держатся там в пространстве, как будто текст действительно там. Это эволюция того, что было в Google Translate, но теперь Google будет анализировать контекст всех документов, начиная с меню ресторана.

Google I / O 2019

Я заглядываю в примерное меню, и вдруг в меню подсвечиваются блюда. Это популярные блюда, согласно информации ресторана Google Maps. Нажатие на пункты меню вызывает фотографии и обзор комментариев на лету. Это почти похоже на аннотированную реальность.

Аналогичная идея подходит для музеев. Google экспериментирует с музеем де Янга в Сан-Франциско, чтобы донести всплывающую всплывающую информацию на признанные произведения искусства, когда она анализируется с помощью Google Lens. Будут ли кураторы строить огороженные пространства, где объекты в этом пространстве будут кодировать информацию? Это идея.

Появились новые фильтры «Покупки», «Обеденный», «Перевод» и «Текст», помогающие объективу узнать, что делать в контексте, а также автоматический режим «Сделай сам». Фильтр покупок помогает, например, распознать растение на столе и найти места, где можно купить это растение, а не просто определить, какое это растение. Вот в чем проблема: если вы держите в руках волшебную линзу, которая видит все, как она интерпретирует то, что вам нужно?

Этот плакат оживляет (по крайней мере, в AR).

В Google Lens также есть несколько новых настроек AR. Страница рецепта из журнала Bon Appetit внезапно трансформируется, оживляя, показывая инструкции по приготовлению. Я держу трубку телефона, и на экране, с движущимися облаками, в Google Lens оживляет настоящий плакат Парижа. Google работает над тестовыми примерами, в которых подобные анимированные изображения могут работать с партнерами. Когда и как это проявится, еще неизвестно.

Google пока делает эти трюки с 2D-изображениями, а не с 3D, но откатывает эти преобразования без специальных кодов маркеров. Это похоже на то, каким может быть мир, наполненный дополненной реальностью: признаки, которые оживают с первого взгляда. Мне напомнили об этой анимированной коробке с хлопьями в Отчете о меньшинствах.

Объектив может переводить языки и читать текст на недорогих телефонах Android One.

Перевод Google Lens подходит для бюджетных телефонов

Смотрите так же

Отверстие LinkedIn позволило членам подать заявку ... Ложный список вакансий генерального директора Google исчез, и LinkedIn устранил проблему. Ошибка LinkedIn позволила пользователям создать поддельную ...
Как использовать Google Allo на вашем компьютере... Устали от разговоров в Алло на вашем телефоне? Вот как можно общаться в чате на вашем компьютере. Приложение Google Allo chat теперь доступно в Интер...
Google Photos только что получили удивительную фун... Google Фото - это одно из лучших приложений, которое вы могли установить на свой телефон, особенно если это устройство Android, и особенно это особый ...

Тем не менее, то, что Google Bavor и Chennapragada больше всего волнует. это использование Google Lens, которое подходит для бюджетных телефонов с программным обеспечением Android Go. Мгновенный перевод и помощь в чтении работают на телефонах, которые недостаточно мощны для ARCore, а вместо этого используют облачные сервисы. Я делаю фотографию знака, и теперь телефон читает мне то, что видит, выделяя каждое слово. Нажмите, и я могу перевести его на другой язык.

«Один из вопросов, который у нас возник, был, если мы можем научить камеру читать, можем ли мы использовать камеру, чтобы помочь людям читать?» говорит Ченнапрагада. «Это, очевидно, полезно в тех случаях, когда вы находитесь в чужом городе и не можете говорить на этом языке, но во многих частях мира люди не могут говорить или читать на своем родном языке». Ченнапрагада рассказывает о своем собственном опыте роста в Индии: «Я выросла в Индии, говоря на трех языках, кроме английского, но не на других 20 языках. Поэтому, если я приеду в соседний штат, я безнадежен, я просто смотрю в магазине вывеска и ничего не могу сделать «.

Я сразу же задаюсь вопросом, можно ли это каким-то образом использовать в качестве визуальной помощи слепым, чтобы читать мир. Ченнапрагада считает технологию «ситуативной грамотностью», и в будущем она вполне может быть не только наблюдателем, но и универсальным переводчиком и читателем. Что меня поразило на Android Go, я попробовал это на том, как это просто работает. и быстро тоже.

Новая функция запускается в приложении Google Go на Android Go одним нажатием кнопки. Отказ Google от использования высокопроизводительного оборудования для использования функций Lens даже на недорогом телефоне стоимостью 50 долларов США поднимает еще один вопрос: может ли это указывать на то, как Google собирается облегчить работу вспомогательной AR на будущих AR-гарнитурах с низким энергопотреблением?

«Будущие форм-факторы»

Бавор признает, что Google находится в фазе «глубокого RD» в направлении новых технологий помимо телефонов, но на данный момент цель состоит в том, чтобы сначала найти применение для телефона. Однако намеки на некоторые другие типы оборудования на горизонте есть.

«Если вы думаете о голосовом поиске, веб-ответы, которые вы пересылаете, так хорошо транслируются в Assistant. Мы используем тот же подход и говорим, какие функции и возможности действительно полезны в контексте смартфона, но потом Вперед очень хорошо переводят на будущие форм-факторы ». говорит Ченнапрагада. Ланс, по ее мнению, в этом году превращается в «AR-браузер»: «Это еще два или три кубика Lego по отношению к другим форм-факторам».

В связи с тем, что в этом году на устройствах ввода-вывода Google не появятся новые аппаратные средства VR или AR, акцент Google на сервисах и утилитах может указывать на то, что Lens может превратиться в браузер реальности для других платформ.

Пока это загадка. Бавор говорит, что пока нет приверженности таким платформам, как Microsoft HoloLens или Magic Leap, но он признает: «Вам даже не нужно щуриться, у этих вещей много общего, и я думаю, что у Google есть история создания Платформы и сервисы, которые широко доступны и стараются предоставить полезность и полезность как можно шире для всех. Я думаю, что мы воспользуемся аналогичной стратегией ».

В то же время все эти функции Google AR выглядят как продолжающиеся эксперименты, включая новые функции навигации Google AR в Картах. На конференции I / O этого года даже приложение I / O имеет встроенный AR, чтобы направлять посетителей на сессии. Эта функция может быть подсказкой того, где руководство AR может развиваться в будущем. Или, может быть, некоторые из этих функций не удастся. Может быть, это дарвиновский. И, возможно, это то, что нужно, чтобы понять, как AR преуспеет на телефонах и за ее пределами.

Помощник Google знакомится с вами поближе: новая функция «Личные ссылки» позволяет вашему телефону и умному оратору запоминать дополнительные контактные данные и дает персональные рекомендации.

Лучшие аккумуляторы и аккумуляторы для устройств Android. Ищете карманный аккумулятор для зарядки смартфона Android на ходу? Вот несколько лучших результатов.

Смотрите так же

Google Duplex теперь направляется на не-Pixel теле... Теперь больше телефонов могут бронировать ужин Google Duplex, расширение Google Assistant, которое призывает вас посетить рестораны и компании, чтобы...
В докладе говорится, что Alexa и Google Assistant ... Использовать голосовой помощник, чтобы включить телевизор? Возможно, хотите проверить свой счет за электроэнергию. NRDC обнаружил, что многие совреме...
Сенатор США предлагает расстаться с Amazon, Facebo... Кредит Фотографии: Reuters / Брайан Снайдер Уоррен подчеркнул ее планы разбить крупные компании на средней должности Особенности Уоррен ищет шир...