ИИ научился распознавать токсичные комментарии в соцсетях

Исследование было представлено на Международной конференции по инновациям и интеллектуальным технологиям 2024 года. Разработчики уверены, что их алгоритм превосходит существующие системы, многие из которых часто ошибаются и помечают безобидные сообщения как вредоносные.

По словам ведущего автора исследования Афии Ахсан, рост числа агрессивных комментариев в интернете приводит к серьезным психологическим последствиям, включая тревожность, депрессию и даже самоубийства. Несмотря на усилия социальных платформ по ограничению токсичного контента, проверка вручную невозможна из-за огромного количества пользователей.

Команда протестировала три алгоритма машинного обучения на комментариях на английском и бенгальском языках, собранных из разных соцсетей. Оптимизированная версия модели показала наивысшую точность — 87,6%, опередив другие алгоритмы с результатами 69,9% и 83,4%.

Разработчики планируют улучшить модель с помощью нейросетей и добавить поддержку большего количества языков. Ведутся переговоры с социальными платформами о внедрении технологии для автоматической фильтрации комментариев.