- 27,411
- 46
- 8 Ноя 2022
Асинхронный ИИ: включается только там, где нужно — и почти не ест энергию.
Учёные из Массачусетского университета в Амхерсте предложили архитектуру ИИ, которая должна тратить намного меньше энергии, чем современные большие модели. Их работа описывает ANT - Asynchronous Neural Turing networks, или асинхронные нейронные сети Тьюринга. Команда Хавы Сигельманн пытается приблизить вычисления ИИ к одному важному принципу работы мозга: не вся система должна включаться одновременно ради каждой операции.
Проблема становится всё заметнее из-за роста моделей. Современные ИИ-системы требуют огромных дата-центров, дорогого оборудования и большого количества электричества. При обучении крупнейших моделей речь может идти о десятках миллионов ватт. Человеческий мозг работает иначе: около 86 млрд нейронов выполняют множество задач параллельно, но потребляют примерно 20 ватт, почти как небольшая светодиодная лампа.
Главная разница в способе работы. Мозг не обновляет все нейроны по единому расписанию. В конкретной задаче участвует только часть клеток, остальные не тратят энергию на лишнюю активность. Современные глубокие нейросети устроены иначе. В них вычисления чаще идут синхронно: множество искусственных нейронов обновляются по общему такту, даже если задача не требует работы всей сети.
Такой подход хорошо работал, пока модели оставались относительно небольшими. Но сети с миллиардами и триллионами параметров постоянно требуют больше энергии не только на полезные вычисления, но и на поддержание общей синхронизации. Для дата-центров это означает расходы и нагрузку на энергосистему. Для роботов, автономных машин и устройств на краю сети проблема ещё жёстче: батарея не может кормить модель, которая думает как серверная ферма.
Раньше исследователи уже пробовали строить энергоэффективный ИИ на импульсных нейронных сетях. Они по своей сути чуть ближе к биологическому мозгу: нейроны передают сигналы отдельными импульсами, а не непрерывным потоком чисел. Но у этого подхода есть слабое место. Импульсные сети сложнее обучать теми методами, которые сделали успешными современные нейросети. В первую очередь речь об обратном распространении ошибки, когда модель постепенно корректирует связи по результатам своих просчётов.
ANT пытается соединить два подхода. Новая архитектура убирает общий такт, но сохраняет возможность обучать сеть мощными градиентными методами. Проще говоря, сеть не обязана синхронно обновлять все узлы, но при этом не теряет способность нормально учиться на данных. Для разработчиков это важно: энергоэффективность не должна покупаться ценой полной потери привычных методов обучения.
В такой системе обновляются только те нейроны, которые нужны на конкретном шаге вычисления. Если часть сети не участвует в задаче, она не расходует энергию впустую. По оценке авторов, такой принцип может снизить энергопотребление на порядки, то есть даже в десятки или даже сотни раз в зависимости от реализации и задачи.
Кстати, в основе работы лежит более старая линия исследований Сигельманн. Ещё в 1995 году она показала, что рекуррентные нейронные сети могут обладать вычислительной мощностью, сопоставимой с машинами Тьюринга. Новая статья развивает эту идею уже в сторону асинхронных вычислений: авторы показывают, что нейронным сетям с такой вычислительной силой не обязательно нужен глобальный тактовый сигнал.
Если ИИ научится эффективно работать без огромной инфраструктуры, сложные модели можно будет переносить ближе к устройствам: в роботов, автомобили , промышленные системы, медицинские приборы и небольшие вычислительные узлы. Там важны не только точность и скорость, но и возможность работать долго без постоянного подключения к мощному дата-центру.
Команда продолжает дорабатывать ANT. Следующая цель - повысить энергоэффективность и расширить возможности непрерывного обучения в реальном времени. Современные модели обычно сначала долго обучают, а потом используют в готовом виде. Мозг учится иначе: он постоянно подстраивается под новую информацию. Исследователи хотят приблизить ИИ к этому режиму, но без энергетической цены, которую сегодня платят большие нейросети.
Учёные из Массачусетского университета в Амхерсте предложили архитектуру ИИ, которая должна тратить намного меньше энергии, чем современные большие модели. Их работа описывает ANT - Asynchronous Neural Turing networks, или асинхронные нейронные сети Тьюринга. Команда Хавы Сигельманн пытается приблизить вычисления ИИ к одному важному принципу работы мозга: не вся система должна включаться одновременно ради каждой операции.
Проблема становится всё заметнее из-за роста моделей. Современные ИИ-системы требуют огромных дата-центров, дорогого оборудования и большого количества электричества. При обучении крупнейших моделей речь может идти о десятках миллионов ватт. Человеческий мозг работает иначе: около 86 млрд нейронов выполняют множество задач параллельно, но потребляют примерно 20 ватт, почти как небольшая светодиодная лампа.
Главная разница в способе работы. Мозг не обновляет все нейроны по единому расписанию. В конкретной задаче участвует только часть клеток, остальные не тратят энергию на лишнюю активность. Современные глубокие нейросети устроены иначе. В них вычисления чаще идут синхронно: множество искусственных нейронов обновляются по общему такту, даже если задача не требует работы всей сети.
Такой подход хорошо работал, пока модели оставались относительно небольшими. Но сети с миллиардами и триллионами параметров постоянно требуют больше энергии не только на полезные вычисления, но и на поддержание общей синхронизации. Для дата-центров это означает расходы и нагрузку на энергосистему. Для роботов, автономных машин и устройств на краю сети проблема ещё жёстче: батарея не может кормить модель, которая думает как серверная ферма.
Раньше исследователи уже пробовали строить энергоэффективный ИИ на импульсных нейронных сетях. Они по своей сути чуть ближе к биологическому мозгу: нейроны передают сигналы отдельными импульсами, а не непрерывным потоком чисел. Но у этого подхода есть слабое место. Импульсные сети сложнее обучать теми методами, которые сделали успешными современные нейросети. В первую очередь речь об обратном распространении ошибки, когда модель постепенно корректирует связи по результатам своих просчётов.
ANT пытается соединить два подхода. Новая архитектура убирает общий такт, но сохраняет возможность обучать сеть мощными градиентными методами. Проще говоря, сеть не обязана синхронно обновлять все узлы, но при этом не теряет способность нормально учиться на данных. Для разработчиков это важно: энергоэффективность не должна покупаться ценой полной потери привычных методов обучения.
В такой системе обновляются только те нейроны, которые нужны на конкретном шаге вычисления. Если часть сети не участвует в задаче, она не расходует энергию впустую. По оценке авторов, такой принцип может снизить энергопотребление на порядки, то есть даже в десятки или даже сотни раз в зависимости от реализации и задачи.
Кстати, в основе работы лежит более старая линия исследований Сигельманн. Ещё в 1995 году она показала, что рекуррентные нейронные сети могут обладать вычислительной мощностью, сопоставимой с машинами Тьюринга. Новая статья развивает эту идею уже в сторону асинхронных вычислений: авторы показывают, что нейронным сетям с такой вычислительной силой не обязательно нужен глобальный тактовый сигнал.
Если ИИ научится эффективно работать без огромной инфраструктуры, сложные модели можно будет переносить ближе к устройствам: в роботов, автомобили , промышленные системы, медицинские приборы и небольшие вычислительные узлы. Там важны не только точность и скорость, но и возможность работать долго без постоянного подключения к мощному дата-центру.
Команда продолжает дорабатывать ANT. Следующая цель - повысить энергоэффективность и расширить возможности непрерывного обучения в реальном времени. Современные модели обычно сначала долго обучают, а потом используют в готовом виде. Мозг учится иначе: он постоянно подстраивается под новую информацию. Исследователи хотят приблизить ИИ к этому режиму, но без энергетической цены, которую сегодня платят большие нейросети.
- Источник новости
- www.securitylab.ru
