- 27,398
- 46
- 8 Ноя 2022
Вместо аккуратной физики ему дали хаос. Так робот научился играть в аэрохоккей в реальном мире.
Три студента Университета Британской Колумбии научили робота играть в аэрохоккей без тысяч ударов по настоящей шайбе и долгих тренировок у физического стола. Команда сначала подготовила ИИ в цифровой копии игры, а затем перенесла готовую модель в реального робота. После виртуальной подготовки машина сразу вышла против человека и сыграла как полноценный соперник, а не как демонстрационный стенд.
Обычно роботы осваивают подобные задачи через пробы и ошибки в реальном мире. Машина снова и снова проигрывает, промахивается, бьет не туда, задевает механизмы и постепенно улучшает поведение. Метод работает, но требует много времени и может повредить оборудование. В аэрохоккее проблема заметна особенно сильно: шайба движется быстро, отскакивает от бортов под разными углами и реагирует на малейшие изменения стола, ракетки и покрытия.
Студенты перенесли самые дорогие ошибки в симуляцию. Команда собрала точную цифровую модель стола и добавила в виртуальную среду неровные направляющие, перекошенную поверхность, нестабильные отскоки, просадки питания, задержки камеры, вибрации механизмов и неточное отслеживание шайбы.
Метод называют рандомизацией домена. ИИ учится не ждать идеальной физики, а работать с хаосом настоящей игры. Вместо расчета единственной правильной траектории система оценивает диапазон возможных положений шайбы и заранее выбирает движение, которое повышает шанс отбить удар.
Для обучения команда не стала использовать обычные физические движки вроде Unity или Unreal. Разработчики выбрали алгоритм обучения с подкреплением Soft Actor-Critic. В такой схеме ИИ выполняет действие, получает награду за удачную игру или штраф за ошибку, а затем постепенно улучшает стратегию. За миллионы виртуальных партий система научилась атаковать, защищаться и реагировать на нестабильные отскоки.
После обучения разработчики перенесли модель в настоящего робота для аэрохоккея . Во время игры система использовала камеру над столом и шайбу с ретроотражающей лентой, чтобы точнее видеть движение на скорости 120 кадров в секунду. Роботу все равно приходилось учитывать задержки моторов, работу камеры, колебания напряжения и неточности механики, но виртуальная подготовка помогла справиться с реальной партией без предварительной тренировки за физическим столом.
Команда поясняет , что ИИ не пытается угадать точную точку будущего отскока. Система рассчитывает несколько вероятных вариантов, выбирает подходящее движение и реагирует почти как игрок, которому приходится принимать решение за доли секунды. Видео проекта показывает, как робот отслеживает шайбу, двигает ракетку и отвечает на удары человека.
Проект важен не только для аэрохоккея. Перенос навыков из симуляции в физическую систему может ускорить обучение дронов, автономных машин и промышленных роботов. Если цифровая среда заранее учитывает задержки, вибрации и ошибки, похожие на реальные, разработчикам нужно меньше опасных и дорогих испытаний с железом. Ошибки, которые раньше ломали механизмы, можно сначала прогнать на виртуальной копии. Подробности проекта доступны на GitHub .
Три студента Университета Британской Колумбии научили робота играть в аэрохоккей без тысяч ударов по настоящей шайбе и долгих тренировок у физического стола. Команда сначала подготовила ИИ в цифровой копии игры, а затем перенесла готовую модель в реального робота. После виртуальной подготовки машина сразу вышла против человека и сыграла как полноценный соперник, а не как демонстрационный стенд.
Обычно роботы осваивают подобные задачи через пробы и ошибки в реальном мире. Машина снова и снова проигрывает, промахивается, бьет не туда, задевает механизмы и постепенно улучшает поведение. Метод работает, но требует много времени и может повредить оборудование. В аэрохоккее проблема заметна особенно сильно: шайба движется быстро, отскакивает от бортов под разными углами и реагирует на малейшие изменения стола, ракетки и покрытия.
Студенты перенесли самые дорогие ошибки в симуляцию. Команда собрала точную цифровую модель стола и добавила в виртуальную среду неровные направляющие, перекошенную поверхность, нестабильные отскоки, просадки питания, задержки камеры, вибрации механизмов и неточное отслеживание шайбы.
Метод называют рандомизацией домена. ИИ учится не ждать идеальной физики, а работать с хаосом настоящей игры. Вместо расчета единственной правильной траектории система оценивает диапазон возможных положений шайбы и заранее выбирает движение, которое повышает шанс отбить удар.
Для обучения команда не стала использовать обычные физические движки вроде Unity или Unreal. Разработчики выбрали алгоритм обучения с подкреплением Soft Actor-Critic. В такой схеме ИИ выполняет действие, получает награду за удачную игру или штраф за ошибку, а затем постепенно улучшает стратегию. За миллионы виртуальных партий система научилась атаковать, защищаться и реагировать на нестабильные отскоки.
После обучения разработчики перенесли модель в настоящего робота для аэрохоккея . Во время игры система использовала камеру над столом и шайбу с ретроотражающей лентой, чтобы точнее видеть движение на скорости 120 кадров в секунду. Роботу все равно приходилось учитывать задержки моторов, работу камеры, колебания напряжения и неточности механики, но виртуальная подготовка помогла справиться с реальной партией без предварительной тренировки за физическим столом.
Команда поясняет , что ИИ не пытается угадать точную точку будущего отскока. Система рассчитывает несколько вероятных вариантов, выбирает подходящее движение и реагирует почти как игрок, которому приходится принимать решение за доли секунды. Видео проекта показывает, как робот отслеживает шайбу, двигает ракетку и отвечает на удары человека.
Проект важен не только для аэрохоккея. Перенос навыков из симуляции в физическую систему может ускорить обучение дронов, автономных машин и промышленных роботов. Если цифровая среда заранее учитывает задержки, вибрации и ошибки, похожие на реальные, разработчикам нужно меньше опасных и дорогих испытаний с железом. Ошибки, которые раньше ломали механизмы, можно сначала прогнать на виртуальной копии. Подробности проекта доступны на GitHub .
- Источник новости
- www.securitylab.ru
