Популярный социальный ресурс «Одноклассники» интегрировал на сайт новый инструмент, основанный на искусственном интеллекте, для отслеживания разжигания ненависти и агрессии в комментариях. При этом система способна анализировать как текстовые комментарии, так и добавленные изображения.
В официальном пресс-релизе отмечается, что новая функция позволит обеспечить пользователям комфортное общение. При обнаружении токсичного контента алгоритм автоматически отправляет соответствующее уведомление модераторам. Далее проводится ручная проверка подозрительного сообщения, если выявляются нарушения правил социальной сети, активируется временная блокировка пользователя. Если заблокированный пользователь попытается отправить новый комментарий, отобразится информация о наличии ограничений, а также ссылка на описание работы нового алгоритма. Нововведение уже добавлено в веб-версию сайта, в ближайшее время аналогичный функционал будет добавлен в приложения для Android и iOS.
В процессе анализа текстовых сообщений алгоритм фиксирует наличие ненависти и ксенофобии, ненормативной лексики, а также явные угрозы другим пользователям. Изображения также анализируется на наличие насилия и шокирующего контента.
В компании отметили, что внедренная технология, основанная на ИИ, является очередным этапов в масштабной программе создания комфортной среды общения в сети «Одноклассники». На предыдущих этапах (в феврале) был запущен Центр безопасности сообщений.