Google снимает новые проекты по доступности

Технический гигант использует технологии искусственного интеллекта и распознавания голоса, чтобы помочь людям с ограниченными возможностями жить более независимой и автономной жизнью.

Google использует технологию искусственного интеллекта, чтобы помочь людям с нарушениями речи легче общаться.

Google использует достижения в области искусственного интеллекта и распознавания голоса для разработки новых продуктов и приложений, предназначенных для облегчения жизни людей с ограниченными возможностями. Некоторые из этих работ были освещены во вторник на ежегодной конференции разработчиков I / O.

Во время своего основного выступления генеральный директор Google Сундар Пичай продемонстрировал новую функцию Live Caption, активированную Android Q, которая транскрибирует в режиме реального времени любое видео или аудио, воспроизводимое на вашем телефоне. Live Caption может работать в фоновом режиме, пока вы смотрите YouTube, слушаете подкасты или видео-чат через Skype. Он даже будет работать с аудио и видео, которое вы записываете.

Pichai также выделил три новые усилия, направленные на решение проблем доступности для людей с ограниченными возможностями. Проект Euphonia использует ИИ, чтобы помочь людям с нарушениями речи; Live Relay позволяет людям с нарушениями слуха или глухих совершать телефонные звонки; и Project Diva делает голосовых помощников более доступными для людей, которые не говорят.

Google уже давно работает над вопросами доступности. Например, у его команды Карт есть местные гиды, которые разыскивают места с пандусами и входами для людей в инвалидных колясках. В прошлом году на конференции разработчиков устройств ввода-вывода Google анонсировала приложение Android Lookout, которое помогает слабовидящим, давая устные подсказки об объектах, тексте и людях вокруг них.

«Создание для всех означает, что каждый может получить доступ к нашим продуктам». сказал Пичаи в своем выступлении. «Мы верим, что технологии могут помочь нам стать более инклюзивными, и ИИ предоставляет нам новые инструменты, которые значительно улучшают возможности людей с ограниченными возможностями».

Вот более внимательный взгляд на Live Caption и другие проекты доступности, объявленные на I / O.

Смотрите так же

Anker s Roav Bolt переносит помощника Google в роз... Эй, Гугл, сядь за руль. Если вы хотите вызвать Google Assistant в своем автомобиле, у вас есть два варианта: включить «Привет, Google» и Smart Lock н...
Motorola Moto G7 теперь доступен на Google Fi за 5... Бюджетный телефон Moto теперь доступен в сервисе Google. В пятницу Google объявил, что Motorola Moto G7 доступен на Google Fi, телефонной службе комп...
Функция Google Assistant для телефонных звонков до... Функция Google Assistant для телефонных звонков доступна не умным ораторам Google Мы не уверены, сколько людей используют функцию телефонных звонков ...

Видео: Live Caption добавляет субтитры к любому видео или аудио клипу
Живая Подпись

Live Caption обеспечивается благодаря прорыву, который позволяет машинному обучению обрабатывать мощность на устройствах. Это означает, что вся информация обрабатывается на устройстве и не требует отправки данных по беспроводной сети в облако. Это делает транскрипцию более безопасной и быстрой, потому что данные не покидают телефон. Эта функция работает, даже если громкость выключена или отключена. Но транскрипция не может быть сохранена. Он отображается только на экране во время воспроизведения контента, поэтому вы не можете сохранить его, чтобы просмотреть его позже.

Хотя эта функция была разработана с учетом интересов глухого сообщества, Пичай отметил, что эта функция может принести пользу всем при обстоятельствах, когда вы не можете увеличить громкость видео. Например, вы можете посмотреть видео, находясь в шумном метро или во время встречи.

Проект Евфония

Этот проект использует искусственный интеллект для обучения компьютеров понимать нарушения речи. Большинство из нас считают само собой разумеющимся, что, когда мы говорим, другие поймут нас. Но для миллионов людей, страдающих от неврологических состояний, таких как инсульт, БАС, рассеянный склероз, черепно-мозговые травмы или болезнь Паркинсона, попытка общаться и не быть понятой может быть чрезвычайно трудной и разочаровывающей.

Google работает над исправлением, которое может обучать компьютеры и мобильные телефоны, чтобы лучше понимать людей с нарушениями речи. Компания сотрудничает с некоммерческими организациями ALS Therapy Development Institute и ALS Residence Initiative, чтобы записать голоса людей, страдающих БАС. Программное обеспечение Google берет эти записанные образцы голоса и превращает их в спектрограмму или визуальное представление звука. Затем компьютер использует общие транскрибированные спектрограммы, чтобы обучить систему лучше распознавать этот менее распространенный тип речи.

В настоящее время алгоритмы ИИ работают только для носителей английского языка и только для нарушений, обычно связанных с БАС. Но Google надеется, что исследование может быть применено к большим группам людей и различным нарушениям речи.

Компания также обучает персонализированные алгоритмы ИИ для обнаружения звуков или жестов, которые затем могут выполнять такие действия, как генерация голосовых команд в Google Home или отправка текстовых сообщений. Это может быть особенно полезно для людей, которые вообще не могут говорить.

Проект Дива

Цифровые помощники, такие как Google Home, позволяют вам слушать любимую песню или фильм с помощью простой голосовой команды. Но для людей с ограниченными возможностями, которые могут не говорить, эта технология недоступна.

Смотрите так же

Финальная версия Android 10 от Google скоро выйдет... Google изменил свой брендинг для Android и отказывается от названия десертов и кондитерских изделий. Новая цветовая схема и брендинг для Android от G...
У Google были причины Zero-Day кричать об обновлен... Обновить. Сейчас. Сию минуту Не уходи, пока не сделаешь это. Это было напористое сообщение от Google в четверг. Эксплойт Zero-Day использовался против...
Утро после подготовки к событию Google s Pixel 4... Привет, доброе утро! Ты выглядишь невероятно. IPhone 11 и iPhone 11 Pro еще не здесь, но мы уже с нетерпением ждем события Google Pixel 4. Тем времен...

Лоренцо Каджони, стратегический инженер Google в Милане, решил изменить это. Лоренцо был вдохновлен своим братом Джованни, который родился с врожденной катарактой, синдромом Дауна и синдромом Веста и который не является речевым. Джованни любит музыку и фильмы, и, как и многие другие 21-летние, любит использовать новейшие гаджеты и технологии. Но из-за своей инвалидности он не может дать команду «ОК Google», чтобы активировать свой телефон Android или устройство Google Home.

Стремясь предоставить своему брату больше независимости и автономии, Лоренцо и некоторые его коллеги из миланского офиса Google создали Project Diva для создания устройства, которое будет запускать команды для помощника Google без использования его голоса. Они создали кнопку, которая подключается к телефону, ноутбуку или планшету с помощью разъема для проводных наушников, который затем можно подключить через Bluetooth для доступа к устройству Google Home.

Теперь, просто прикоснувшись к кнопке рукой, Джованни может слушать музыку на тех же устройствах и службах, что и его друзья и семья.

Лоренцо сказал, что устройство, которое он создал для Джованни, это только начало. Команда планирует прикрепить RFID-метки к объектам, связанным с командой, которая позволит людям, которые не говорят, получить доступ к другим вещам через Google Assistant.

На этом чертеже показано, как технология, созданная в Project Diva, может использоваться для предоставления альтернативных входных данных устройству, оснащенному активированным голосом Google Assistant.

Живое реле

Этот проект помогает глухим или слабослышащим людям совершать и принимать телефонные звонки. Используя распознавание речи на устройстве и преобразование текста в речь, программное обеспечение позволяет телефону слушать и говорить от имени пользователя во время набора текста. Поскольку ответы являются мгновенными и используют прогнозирующие варианты написания, набор текста достаточно быстр для удержания синхронного телефонного звонка.

Но Live Relay не только для людей, которые не могут слышать или говорить. Он также может использоваться людьми, которые могут быть на собрании или в метро и не могут принять вызов, но вместо этого они могут печатать. Google также рассматривает возможность интеграции возможностей перевода в режиме реального времени, чтобы вы могли позвонить кому угодно в мире и общаться независимо от языковых барьеров.

«Важным способом продвижения наших технологий является создание продуктов, которые работают лучше для всех нас». сказал Пичаи в своем основном докладе.

Смотрите так же

Платформа Google Shopping запущена в США, преследу... Индия получила новый опыт покупок в Google еще в декабре прошлого года. В попытке завоевать Amazon в растущем пространстве электронной коммерции Goog...
Отверстие LinkedIn позволило членам подать заявку ... Ложный список вакансий генерального директора Google исчез, и LinkedIn устранил проблему. Ошибка LinkedIn позволила пользователям создать поддельную ...
Входящие Google мертвы. Но вместо этого вы можете ... Приложения электронной почты Spark и Spike хотят узнать, где остановился любимый почтовый ящик Google. Входящие Google мертвы. Да здравствует Google ...