- 26,738
- 46
- 8 Ноя 2022
100-150 знаков в минуту, точность 88%, батарея на 12 часов.
В начале XX века бейсболист Уильям Хой сделал жесты частью игры задолго до появления умных гаджетов и систем распознавания движений. Хой был глухим и играл в Главной лиге бейсбола США, где быстрые подсказки на поле часто решают исход эпизода. Чтобы команда могла общаться с ним без голоса и не раскрывать планы соперникам, игроки начали использовать американский жестовый язык. Со временем жесты перекочевали и в судейство: именно после эпохи Хоя арбитры стали активнее показывать решения руками, чтобы стадион сразу понимал, что происходит на поле.
Спустя больше века жестовые языки остаются полноценным и очень быстрым способом общения, но за пределами сообщества глухих их понимают немногие. В мире существует около 300 жестовых языков, ими пользуются примерно 70 млн человек. Для многих бытовые ситуации до сих пор превращаются в проблему: заказать еду, поговорить с незнакомцем, познакомиться на мероприятии или быстро объяснить просьбу бывает сложно, если собеседник не знает жестов.
Южнокорейские исследователи решили сократить этот разрыв с помощью носимого переводчика , который не требует камер, проводов и тяжёлых перчаток с датчиками. Команда разработала набор из семи умных колец. Устройства надеваются на пальцы, отслеживают движения рук и переводят жесты в текст почти в реальном времени.
Разработчики сразу попытались уйти от проблем, которые годами мешали подобным системам выйти за пределы лабораторий. Старые устройства часто выглядели громоздко: кабели тянулись от датчиков к передатчику, перчатки ограничивали движения кисти, а сенсоры приходилось подгонять под конкретную руку. Для жестового языка это особенно критично. Даже небольшое смещение пальца или неудобная посадка могут ухудшить распознавание.
Новые кольца сделали беспроводными и растягивающимися под разные размеры пальцев. Внешне устройство скорее напоминает полупрозрачный пластырь, чем украшение или электронный аксессуар. Кольца размещают чуть ниже второго сустава, чтобы пальцы могли свободно двигаться во время разговора. Внутри находятся небольшие акселерометры — датчики движения, похожие на те, что давно используют в Apple Watch, Fitbit и других носимых устройствах.
Система следит за сгибанием, наклоном, поворотом и остановкой пальцев. Разработчики выбрали семь пальцев, которые сильнее всего участвуют в жестовой речи. Правый мизинец, левый средний палец и большой палец в финальную версию не вошли. Кроме сенсоров, внутри колец стоят компактные Bluetooth-передатчики, микросхемы управления питанием и сменные батарейки примерно на 12 часов работы.
Главная сложность оказалась не в распознавании отдельных движений, а в скорости общения. Люди, свободно владеющие жестовым языком, могут показывать примерно 100–150 знаков в минуту, то есть разговаривать почти на скорости обычной устной речи. Если система будет делать длинные паузы после каждого жеста, диалог быстро станет неестественным.
Чтобы избежать задержек, разработчики добавили механизм автодополнения на основе искусственного интеллекта. Принцип похож на подсказки во время набора текста на смартфоне: алгоритм анализирует предыдущие жесты и пытается предсказать следующее слово, чтобы быстрее собрать фразу целиком. Во время испытаний система автоматически достраивала простые предложения вроде family want beautiful animal.
Для обучения исследователи использовали 100 распространённых жестов американского жестового языка ASL и международного жестового языка ISL. Кольца научились распознавать не только статичные знаки вроде I или you, но и жесты с движением, например dance и fly. В тестах с людьми, которые раньше не пользовались системой, точность превысила 88% для ASL и ISL.
На рынке уже существуют похожие проекты, но почти у каждого подхода есть серьёзные ограничения. Камеры и компьютерное зрение хорошо работают в контролируемых условиях, но начинают ошибаться при плохом освещении, сложном фоне или неудачном угле съёмки. Носимые устройства обычно стабильнее, потому что считывают движение прямо с руки. Например, система WearSign анализирует электрическую активность мышц во время жестов. Но подобные решения часто требуют долгой настройки под конкретного пользователя.
Умные перчатки тоже пытались превратить жесты в текст, но сами мешали естественному движению кисти. Исследователи сравнивают ощущение от таких устройств с попыткой работать в толстой зимней перчатке. Плюс большинство моделей выпускают в одном размере с фиксированным расположением датчиков. Если рука отличается по размеру, сенсоры оказываются не на тех местах, а точность перевода падает.
При всех преимуществах кольца пока не решают главную проблему жестового языка целиком. Общение строится не только на движении пальцев. Выражение лица, положение плеч, движения губ, скорость жестов и ритм тоже несут смысл. Иногда именно мимика показывает эмоцию или меняет значение фразы. Без такого контекста перевод может получиться слишком буквальным или даже ошибочным.
Поэтому часть исследователей снова возвращается к системам с видеокамерами, но уже с более компактным оборудованием и мощными алгоритмами обработки. Камеры лучше видят всё тело и лицо, а носимые устройства точнее отслеживают движения пальцев. В будущем оба подхода могут начать работать вместе.
Южнокорейская команда считает, что умные кольца пригодятся не только для перевода жестового языка. Разработчики рассматривают использование системы в виртуальной и дополненной реальности, бесконтактном управлении интерфейсами и реабилитации пациентов, которым важно точно отслеживать движения кисти и пальцев.
В начале XX века бейсболист Уильям Хой сделал жесты частью игры задолго до появления умных гаджетов и систем распознавания движений. Хой был глухим и играл в Главной лиге бейсбола США, где быстрые подсказки на поле часто решают исход эпизода. Чтобы команда могла общаться с ним без голоса и не раскрывать планы соперникам, игроки начали использовать американский жестовый язык. Со временем жесты перекочевали и в судейство: именно после эпохи Хоя арбитры стали активнее показывать решения руками, чтобы стадион сразу понимал, что происходит на поле.
Спустя больше века жестовые языки остаются полноценным и очень быстрым способом общения, но за пределами сообщества глухих их понимают немногие. В мире существует около 300 жестовых языков, ими пользуются примерно 70 млн человек. Для многих бытовые ситуации до сих пор превращаются в проблему: заказать еду, поговорить с незнакомцем, познакомиться на мероприятии или быстро объяснить просьбу бывает сложно, если собеседник не знает жестов.
Южнокорейские исследователи решили сократить этот разрыв с помощью носимого переводчика , который не требует камер, проводов и тяжёлых перчаток с датчиками. Команда разработала набор из семи умных колец. Устройства надеваются на пальцы, отслеживают движения рук и переводят жесты в текст почти в реальном времени.
Разработчики сразу попытались уйти от проблем, которые годами мешали подобным системам выйти за пределы лабораторий. Старые устройства часто выглядели громоздко: кабели тянулись от датчиков к передатчику, перчатки ограничивали движения кисти, а сенсоры приходилось подгонять под конкретную руку. Для жестового языка это особенно критично. Даже небольшое смещение пальца или неудобная посадка могут ухудшить распознавание.
Новые кольца сделали беспроводными и растягивающимися под разные размеры пальцев. Внешне устройство скорее напоминает полупрозрачный пластырь, чем украшение или электронный аксессуар. Кольца размещают чуть ниже второго сустава, чтобы пальцы могли свободно двигаться во время разговора. Внутри находятся небольшие акселерометры — датчики движения, похожие на те, что давно используют в Apple Watch, Fitbit и других носимых устройствах.
Система следит за сгибанием, наклоном, поворотом и остановкой пальцев. Разработчики выбрали семь пальцев, которые сильнее всего участвуют в жестовой речи. Правый мизинец, левый средний палец и большой палец в финальную версию не вошли. Кроме сенсоров, внутри колец стоят компактные Bluetooth-передатчики, микросхемы управления питанием и сменные батарейки примерно на 12 часов работы.
Главная сложность оказалась не в распознавании отдельных движений, а в скорости общения. Люди, свободно владеющие жестовым языком, могут показывать примерно 100–150 знаков в минуту, то есть разговаривать почти на скорости обычной устной речи. Если система будет делать длинные паузы после каждого жеста, диалог быстро станет неестественным.
Чтобы избежать задержек, разработчики добавили механизм автодополнения на основе искусственного интеллекта. Принцип похож на подсказки во время набора текста на смартфоне: алгоритм анализирует предыдущие жесты и пытается предсказать следующее слово, чтобы быстрее собрать фразу целиком. Во время испытаний система автоматически достраивала простые предложения вроде family want beautiful animal.
Для обучения исследователи использовали 100 распространённых жестов американского жестового языка ASL и международного жестового языка ISL. Кольца научились распознавать не только статичные знаки вроде I или you, но и жесты с движением, например dance и fly. В тестах с людьми, которые раньше не пользовались системой, точность превысила 88% для ASL и ISL.
На рынке уже существуют похожие проекты, но почти у каждого подхода есть серьёзные ограничения. Камеры и компьютерное зрение хорошо работают в контролируемых условиях, но начинают ошибаться при плохом освещении, сложном фоне или неудачном угле съёмки. Носимые устройства обычно стабильнее, потому что считывают движение прямо с руки. Например, система WearSign анализирует электрическую активность мышц во время жестов. Но подобные решения часто требуют долгой настройки под конкретного пользователя.
Умные перчатки тоже пытались превратить жесты в текст, но сами мешали естественному движению кисти. Исследователи сравнивают ощущение от таких устройств с попыткой работать в толстой зимней перчатке. Плюс большинство моделей выпускают в одном размере с фиксированным расположением датчиков. Если рука отличается по размеру, сенсоры оказываются не на тех местах, а точность перевода падает.
При всех преимуществах кольца пока не решают главную проблему жестового языка целиком. Общение строится не только на движении пальцев. Выражение лица, положение плеч, движения губ, скорость жестов и ритм тоже несут смысл. Иногда именно мимика показывает эмоцию или меняет значение фразы. Без такого контекста перевод может получиться слишком буквальным или даже ошибочным.
Поэтому часть исследователей снова возвращается к системам с видеокамерами, но уже с более компактным оборудованием и мощными алгоритмами обработки. Камеры лучше видят всё тело и лицо, а носимые устройства точнее отслеживают движения пальцев. В будущем оба подхода могут начать работать вместе.
Южнокорейская команда считает, что умные кольца пригодятся не только для перевода жестового языка. Разработчики рассматривают использование системы в виртуальной и дополненной реальности, бесконтактном управлении интерфейсами и реабилитации пациентов, которым важно точно отслеживать движения кисти и пальцев.
- Источник новости
- www.securitylab.ru
