- 22,252
- 46
- 8 Ноя 2022
Инструмент, имитирующий опечатки и траекторию курсора, выносит приговор современной социологии.
В научном сообществе усиливается тревога из-за работы, представленной в журнале PNAS. Автор исследования, преподаватель Дартмутского колледжа и руководитель Polarization Research Lab Шон Вествуд создал систему, которая под видом обычного участника способна проходить любые онлайн-опросы. Этот автономный синтетический респондент, как назван инструмент, разрушает основу современной интернет-социологии, поскольку практически полностью скрывается от механизмов распознавания ботов .
Разработанная схема показала способность обходить существующие защитные механизмы с точностью 99.8%. Вествуд отмечает, что на основании новых данных нельзя быть уверенным, что результаты опросов формируются живыми людьми. В публикации подчеркивается, что массовое использование подобных автоматизированных схем приводит к загрязнению научного фундамента, на котором строятся выводы многих социальных исследований.
Современные методы проверки строятся на нескольких уровнях. Используются вопросы для контроля внимания, поведенческие сигналы, анализ последовательности ответов, а также специальные задания, рассчитанные на выявление автоматических систем. Эти подходы устаревают, поскольку агент Вествуда учитывает логику всех упомянутых методик. В работе подробно описано, как инструмент обходит даже нестандартные вопросы, которые намеренно формулируются так, чтобы вводить модели в тупик, но оставаться понятными человеку.
Ключевой элемент схемы — система из двух уровней. Первый уровень отвечает за принятие решений, второй имитирует поведение реального пользователя. Он подбирает время чтения текста с учётом уровня образования выбранной личности, создаёт траекторию движения курсора, печатает ответы по символу с характерными ошибками и поправками. Вествуд также заложил поддержку обхода антибот-барьеров, включая reCAPTCHA . Отдельно выделена возможность моделирования целостного образа респондента. Инструмент способен воспроизвести характеристики личности, подходящие под нужный социальный профиль, что позволяет направленно искажать результаты любых массовых исследований.
Опасность усугубляется тем, что влияние на большие опросы можно оказать минимальным количеством подставных ответов. В пресс-релизе приводятся расчёты: семь ключевых национальных опросов перед выборами 2024 года могли изменить прогноз при добавлении от 10 до 52 подобных ответов. Создание одного такого ответа стоит примерно пять центов, тогда как живым участникам обычно платят около $1.50 за прохождение анкеты.
Агент не привязан к конкретной модели. Он создан на Python и может работать через API крупных разработчиков или с локальными открытыми моделями. Вествуд тестировал агент с использованием OpenAI o4-mini, но также проверял DeepSeek R1, Mistral Large, Claude 3.7 Sonnet, Grok3 и Gemini 2.5 Preview. Инструменту передается промпт объёмом около 500 слов, формирующий личность и стиль поведения в опросах.
В статье приводятся варианты защиты, но каждый из них связан с ограничениями. Усиленная проверка личности участников требует более жёсткого контроля, что вызывает опасения по поводу конфиденциальности. Специалисты также должны чётче раскрывать способы набора аудитории и чаще использовать контролируемые подходы, включая набор через адресные базы или списки избирателей. Авторы подчёркивают, что на фоне стремительного развития технологий необходимо пересматривать подходы к сбору данных, чтобы сохранить достоверность опросов и устойчивость научных выводов.
В научном сообществе усиливается тревога из-за работы, представленной в журнале PNAS. Автор исследования, преподаватель Дартмутского колледжа и руководитель Polarization Research Lab Шон Вествуд создал систему, которая под видом обычного участника способна проходить любые онлайн-опросы. Этот автономный синтетический респондент, как назван инструмент, разрушает основу современной интернет-социологии, поскольку практически полностью скрывается от механизмов распознавания ботов .
Разработанная схема показала способность обходить существующие защитные механизмы с точностью 99.8%. Вествуд отмечает, что на основании новых данных нельзя быть уверенным, что результаты опросов формируются живыми людьми. В публикации подчеркивается, что массовое использование подобных автоматизированных схем приводит к загрязнению научного фундамента, на котором строятся выводы многих социальных исследований.
Современные методы проверки строятся на нескольких уровнях. Используются вопросы для контроля внимания, поведенческие сигналы, анализ последовательности ответов, а также специальные задания, рассчитанные на выявление автоматических систем. Эти подходы устаревают, поскольку агент Вествуда учитывает логику всех упомянутых методик. В работе подробно описано, как инструмент обходит даже нестандартные вопросы, которые намеренно формулируются так, чтобы вводить модели в тупик, но оставаться понятными человеку.
Ключевой элемент схемы — система из двух уровней. Первый уровень отвечает за принятие решений, второй имитирует поведение реального пользователя. Он подбирает время чтения текста с учётом уровня образования выбранной личности, создаёт траекторию движения курсора, печатает ответы по символу с характерными ошибками и поправками. Вествуд также заложил поддержку обхода антибот-барьеров, включая reCAPTCHA . Отдельно выделена возможность моделирования целостного образа респондента. Инструмент способен воспроизвести характеристики личности, подходящие под нужный социальный профиль, что позволяет направленно искажать результаты любых массовых исследований.
Опасность усугубляется тем, что влияние на большие опросы можно оказать минимальным количеством подставных ответов. В пресс-релизе приводятся расчёты: семь ключевых национальных опросов перед выборами 2024 года могли изменить прогноз при добавлении от 10 до 52 подобных ответов. Создание одного такого ответа стоит примерно пять центов, тогда как живым участникам обычно платят около $1.50 за прохождение анкеты.
Агент не привязан к конкретной модели. Он создан на Python и может работать через API крупных разработчиков или с локальными открытыми моделями. Вествуд тестировал агент с использованием OpenAI o4-mini, но также проверял DeepSeek R1, Mistral Large, Claude 3.7 Sonnet, Grok3 и Gemini 2.5 Preview. Инструменту передается промпт объёмом около 500 слов, формирующий личность и стиль поведения в опросах.
В статье приводятся варианты защиты, но каждый из них связан с ограничениями. Усиленная проверка личности участников требует более жёсткого контроля, что вызывает опасения по поводу конфиденциальности. Специалисты также должны чётче раскрывать способы набора аудитории и чаще использовать контролируемые подходы, включая набор через адресные базы или списки избирателей. Авторы подчёркивают, что на фоне стремительного развития технологий необходимо пересматривать подходы к сбору данных, чтобы сохранить достоверность опросов и устойчивость научных выводов.
- Источник новости
- www.securitylab.ru
