- 26,366
- 46
- 8 Ноя 2022
Машина поднимает тонну, но не может взять фишку пальцами. Пришло время исправить несправедливость.
Роботам до сих пор трудно делать руками то, что человек выполняет почти не задумываясь: аккуратно поднять монету, взять тонкую деталь, достать маленький предмет или удержать инструмент без лишнего давления. Новая система FingerEye пытается решить эту проблему за счёт датчика, который видит объект до касания и чувствует контакт после него.
Разработку представили исследователи из Национального университета Сингапура и RoboScience. FingerEye описан в препринте на arXiv как компактный зрительно-тактильный сенсор для ловкой манипуляции объектами. Под ловкой манипуляцией в робототехнике понимают не простое схватить и перенести, а точное управление предметом: повернуть, поддеть, поставить на ребро, вытащить из узкого места или удержать с нужной силой.
Большинство современных роботов уже умеют брать предметы и переносить их в заданную точку. Но более тонкие действия быстро выводят систему из зоны комфорта. Камера помогает увидеть объект, но не говорит, насколько сильно пальцы давят на поверхность. Тактильный датчик чувствует контакт, но часто начинает давать полезную информацию только после прикосновения. Из-за этого робот подходит к предмету почти вслепую в последние миллиметры, а планировать точное касание заранее сложно.
FingerEye объединяет оба канала восприятия. Внутри сенсора находятся две небольшие цветные камеры и мягкая кольцевая структура. Камеры непрерывно снимают близкие объекты и работают по принципу стереозрения: расстояние оценивается по различию между двумя точками обзора, примерно как у человеческих глаз. Благодаря этому робот получает визуальные подсказки ещё до контакта.
После прикосновения включается вторая часть системы. Мягкое кольцо деформируется под действием силы и крутящего момента. Сенсор отслеживает эти изменения с помощью маркеров и по деформации оценивает, как именно палец взаимодействует с предметом. В результате робот получает не отдельные фрагменты информации, а непрерывный поток данных: сначала видит объект, затем отслеживает момент касания, после этого чувствует давление и движение.
Такой переход важен для реальных задач. Манипуляция предметом состоит не из одного захвата, а из последовательности мелких решений. Роботу нужно понять, где находится край, под каким углом подвести палец, когда замедлить движение, как распределить усилие и как скорректировать хват, если объект сместился. FingerEye даёт системе данные на всех этапах взаимодействия, а не только после уже совершённой ошибки.
Исследователи также обучили модель, которая использует данные от нескольких датчиков FingerEye. Подход основан на имитационном обучении: робот учится по демонстрациям, где нужное действие уже выполнено человеком или другой системой. Разработчики объединили реальные примеры с дополненными симуляциями, чтобы модель меньше зависела от внешнего вида предметов и лучше переносила навык на новые объекты.
Для обучения команда создала цифровую копию датчика и платформу для настройки роботизированных навыков в разных задачах. Такой цифровой двойник позволяет проверять движения в симуляции, добавлять варианты освещения, формы и внешнего вида предметов, а затем переносить результат на физический робот. Это снижает объём дорогих реальных экспериментов и помогает быстрее подбирать стратегии манипуляции.
FingerEye уже проверили в симуляциях и на реальных роботизированных захватах. Сенсор помог роботам выполнять задачи, где одного зрения или одного касания обычно недостаточно. Среди примеров были постановка монеты на ребро, захват тонкой фишки, извлечение буквы и работа со шприцем. Все эти действия требуют точного контакта, потому что небольшая ошибка в угле или силе быстро срывает результат.
Разработчики подчёркивают компактность и сравнительно низкую стоимость сенсора. Конструкция не требует громоздкой оптики или сложной внешней системы наблюдения, а данные поступают прямо с пальца робота. Дизайн FingerEye и программный код открыты на GitHub, поэтому другие лаборатории смогут воспроизвести систему или доработать её под собственные платформы.
Перспективы у такого сенсора шире лабораторных трюков. Домашним роботам нужна способность брать посуду, одежду, лекарства и мелкие предметы без повреждений. В медицине похожее восприятие может пригодиться при работе с инструментами и расходниками. В промышленности зрительно-тактильные датчики помогут обслуживать линии, где детали различаются по форме, положению и жёсткости.
FingerEye пока остаётся исследовательской разработкой, а не готовым промышленным стандартом. Но направление выглядит практичным: роботам нужно не просто видеть мир и не просто чувствовать касание, а связывать два канала в один непрерывный поток. Без этого машинные пальцы будут сильными, но недостаточно аккуратными.
Роботам до сих пор трудно делать руками то, что человек выполняет почти не задумываясь: аккуратно поднять монету, взять тонкую деталь, достать маленький предмет или удержать инструмент без лишнего давления. Новая система FingerEye пытается решить эту проблему за счёт датчика, который видит объект до касания и чувствует контакт после него.
Разработку представили исследователи из Национального университета Сингапура и RoboScience. FingerEye описан в препринте на arXiv как компактный зрительно-тактильный сенсор для ловкой манипуляции объектами. Под ловкой манипуляцией в робототехнике понимают не простое схватить и перенести, а точное управление предметом: повернуть, поддеть, поставить на ребро, вытащить из узкого места или удержать с нужной силой.
Большинство современных роботов уже умеют брать предметы и переносить их в заданную точку. Но более тонкие действия быстро выводят систему из зоны комфорта. Камера помогает увидеть объект, но не говорит, насколько сильно пальцы давят на поверхность. Тактильный датчик чувствует контакт, но часто начинает давать полезную информацию только после прикосновения. Из-за этого робот подходит к предмету почти вслепую в последние миллиметры, а планировать точное касание заранее сложно.
FingerEye объединяет оба канала восприятия. Внутри сенсора находятся две небольшие цветные камеры и мягкая кольцевая структура. Камеры непрерывно снимают близкие объекты и работают по принципу стереозрения: расстояние оценивается по различию между двумя точками обзора, примерно как у человеческих глаз. Благодаря этому робот получает визуальные подсказки ещё до контакта.
После прикосновения включается вторая часть системы. Мягкое кольцо деформируется под действием силы и крутящего момента. Сенсор отслеживает эти изменения с помощью маркеров и по деформации оценивает, как именно палец взаимодействует с предметом. В результате робот получает не отдельные фрагменты информации, а непрерывный поток данных: сначала видит объект, затем отслеживает момент касания, после этого чувствует давление и движение.
Такой переход важен для реальных задач. Манипуляция предметом состоит не из одного захвата, а из последовательности мелких решений. Роботу нужно понять, где находится край, под каким углом подвести палец, когда замедлить движение, как распределить усилие и как скорректировать хват, если объект сместился. FingerEye даёт системе данные на всех этапах взаимодействия, а не только после уже совершённой ошибки.
Исследователи также обучили модель, которая использует данные от нескольких датчиков FingerEye. Подход основан на имитационном обучении: робот учится по демонстрациям, где нужное действие уже выполнено человеком или другой системой. Разработчики объединили реальные примеры с дополненными симуляциями, чтобы модель меньше зависела от внешнего вида предметов и лучше переносила навык на новые объекты.
Для обучения команда создала цифровую копию датчика и платформу для настройки роботизированных навыков в разных задачах. Такой цифровой двойник позволяет проверять движения в симуляции, добавлять варианты освещения, формы и внешнего вида предметов, а затем переносить результат на физический робот. Это снижает объём дорогих реальных экспериментов и помогает быстрее подбирать стратегии манипуляции.
FingerEye уже проверили в симуляциях и на реальных роботизированных захватах. Сенсор помог роботам выполнять задачи, где одного зрения или одного касания обычно недостаточно. Среди примеров были постановка монеты на ребро, захват тонкой фишки, извлечение буквы и работа со шприцем. Все эти действия требуют точного контакта, потому что небольшая ошибка в угле или силе быстро срывает результат.
Разработчики подчёркивают компактность и сравнительно низкую стоимость сенсора. Конструкция не требует громоздкой оптики или сложной внешней системы наблюдения, а данные поступают прямо с пальца робота. Дизайн FingerEye и программный код открыты на GitHub, поэтому другие лаборатории смогут воспроизвести систему или доработать её под собственные платформы.
Перспективы у такого сенсора шире лабораторных трюков. Домашним роботам нужна способность брать посуду, одежду, лекарства и мелкие предметы без повреждений. В медицине похожее восприятие может пригодиться при работе с инструментами и расходниками. В промышленности зрительно-тактильные датчики помогут обслуживать линии, где детали различаются по форме, положению и жёсткости.
FingerEye пока остаётся исследовательской разработкой, а не готовым промышленным стандартом. Но направление выглядит практичным: роботам нужно не просто видеть мир и не просто чувствовать касание, а связывать два канала в один непрерывный поток. Без этого машинные пальцы будут сильными, но недостаточно аккуратными.
- Источник новости
- www.securitylab.ru
