ИИ научился распознавать токсичные комментарии в соцсетях

Ученые из Австралии и Бангладеш представили новую модель машинного обучения, способную выявлять токсичные комментарии в социальных сетях с точностью 87%. Технология может помочь сократить уровень кибербуллинга и ненависти в интернете. Исследование было представлено на Международной конференции по инновациям и интеллектуальным технологиям 2024 года. Разработчики уверены, что их алгоритм превосходит существующие системы, многие из которых часто ошибаются и помечают безобидные сообщения как вредоносные. По словам ведущего автора исследования Афии Ахсан, рост числа агрессивных комментариев в интернете приводит к серьезным психологическим последствиям, включая тревожность, депрессию и даже самоубийства. Несмотря на усилия социальных платформ по ограничению токсичного контента, проверка вручную невозможна из-за огромного количества пользователей. Команда протестировала три алгоритма машинного обучения на комментариях на английском и бенгальском языках, собранных из разных соцсетей. Оптимизированная версия модели показала наивысшую точность — 87,6%, опередив другие алгоритмы с результатами 69,9% и 83,4%. Разработчики планируют улучшить модель с помощью нейросетей и добавить поддержку большего количества языков. Ведутся переговоры с социальными платформами о внедрении технологии для автоматической фильтрации комментариев.