Влияние токсичного и вредоносного контента на бренды, их команды и клиентов

Интернет-токсичность может быть разрушительной для брендов, сказываться на благополучии их сотрудников и оказывать реальное коммерческое влияние на бренды, если их клиенты подвергаются ей. Итак, как компании могут работать, чтобы смягчить негативные последствия?

Здесь Матье Бутар, президент и соучредитель Bodyguard.ai, описывает преимущества и проблемы модерации контента и исследует, как компании могут использовать смешанный подход для достижения наилучших результатов.

В связи с тем, что законопроект о безопасности в Интернете должен вступить в силу в Великобритании в ближайшие месяцы, большое внимание было уделено негативному влиянию социальных сетей на их пользователей.

Цель законопроекта — выполнить обещание правительства сделать Великобританию самым безопасным местом в мире для работы в Интернете. Однако для эффективного достижения этой цели потребуется найти критический баланс.

По данным Департамента цифровых технологий, культуры, СМИ и спорта (DCMS), он направлен на обеспечение безопасности детей, прекращение расовой ненависти и защиту демократии в Интернете, а также на то, чтобы люди в Великобритании могли свободно выражать свое мнение и участвовать в плюралистических и активных дебатах. .

Законопроект налагает на организации новые обязательства по удалению незаконного или вредоносного контента. Кроме того, фирмы, которые не соблюдают эти новые правила, могут быть оштрафованы на сумму до 18 миллионов фунтов стерлингов или 10% от их годового мирового оборота — в зависимости от того, какая сумма окажется выше.

Такие меры могут показаться радикальными, но они становятся все более необходимыми. Интернет-токсичность широко распространена, охватывая все каналы связи, от социальных сетей до внутриигрового чата.

Изучая масштабы проблемы, мы недавно опубликовали первый технический документ, в котором исследуется онлайн-токсичность, направленная на предприятия и бренды за 12 месяцев, закончившихся в июле 2022 года.

В ходе этого процесса мы проанализировали более 170 миллионов единиц контента по 1200 каналам брендов на шести языках и обнаружили, что 5,24% всего контента, создаваемого онлайн-сообществами, является токсичным. Действительно, 3,28% могут быть классифицированы как ненавистные (оскорбления, ненависть, женоненавистничество, угрозы, расизм и т.д.), а 1,96% могут быть классифицированы как нежелательные (мошенничество, мошенничество, троллинг и т.д.).

Три ключевые проблемы модерации контента

К сожалению, растущая распространенность ненависти и токсичного контента в Интернете все больше проникает в каналы коммуникации, основанные на брендах, такие как форумы клиентов, страницы в социальных сетях и доски объявлений.

Для брендов это может иметь значительное коммерческое влияние. Действительно, одно исследование предполагает, что до четырех из десяти потребителей покинут платформу после первого знакомства с нецензурной лексикой. Кроме того, они могут поделиться своим неудачным опытом с другими, создавая эффект домино непоправимого ущерба бренду.

Поэтому важно, чтобы бренды модерировали свой контент в социальных сетях, чтобы удалять токсичные комментарии. Однако сделать это эффективно — непростая задача, и есть несколько потенциальных проблем.

Во-первых, это может быть очень ресурсоемкой и утомительной задачей для выполнения вручную. Обученному модератору-человеку обычно требуется 10 секунд, чтобы проанализировать и модерировать один комментарий.

Поэтому, если одновременно публикуются сотни или тысячи комментариев, управление потоком ненавистных комментариев в режиме реального времени может стать невыполнимой задачей. В результате многие модераторы контента морально устают от объема работы.

Кроме того, постоянное столкновение с ненормативной лексикой, токсичными видео и вредоносным контентом может оказать психологическое воздействие на модераторов. Действительно, психическое здоровье этих людей нельзя игнорировать, в то время как дальнейшее выгорание из-за токсичности может дорого обойтись бизнесу, потенциально ускоряя текучесть кадров.

В-третьих, при модерировании компании должны соблюдать тонкую грань, чтобы их не обвинили в цензуре. Каналы брендов, такие как социальные сети, часто являются основным источником взаимодействия клиентов с брендами, предоставления отзывов и привлечения брендов к ответственности. Те, кто создает впечатление, что они просто удаляют любые критические или негативные комментарии, также могут подвергнуться критике.

Смешанный подход для сбалансированных результатов

К счастью, технологии искусственного интеллекта и машинного обучения начинают решать некоторые проблемы, с которыми сталкиваются модераторы-люди. Однако здесь есть и другие проблемы, которые необходимо решить.

Было показано, что алгоритмы машинного обучения, используемые в настоящее время социальными платформами, такими как Facebook и Instagram, имеют частоту ошибок, которая может достигать 40%. В результате, по данным Европейской комиссии, в настоящее время из социальных сетей удаляется только 62,5% ненавистнического контента, в результате чего остаются большие объемы немодерируемого контента, который может легко повлиять на людей и бизнес.

Более того, эти алгоритмы также изо всех сил пытаются справиться с деликатным вопросом свободы выражения мнений. Не имея возможности обнаруживать лингвистические тонкости, они могут слишком сильно склоняться на сторону цензуры, поскольку алгоритмы склонны к чрезмерной реакции.

Поскольку и человеческая модерация, и решения на основе ИИ имеют свои ограничения, требуется смешанный подход. Действительно, объединив интеллектуальное машинное обучение с командой людей, состоящей из лингвистов, контролеров качества и программистов, бренды смогут быстрее и эффективнее удалять ненавистные комментарии.

Конечно, выбор правильного решения здесь будет ключевым. В идеале бренды должны стремиться принять решение, которое достаточно продвинуто, чтобы распознавать разницу между друзьями, взаимодействующими с «красочным» языком, и враждебными комментариями, направленными на бренд.

Соблюдение этого баланса жизненно важно. Чтобы поощрять участие и укреплять доверие в онлайн-взаимодействии, крайне важно, чтобы бренды работали над тем, чтобы токсичность не загрязняла каналы связи, а также предоставляли потребителям платформу для критики и дискуссий.

К счастью, при правильном подходе модерация может быть эффективной. На самом деле речь должна идти не о запрете свободы слова, а о предотвращении попадания токсичного контента к потенциальным получателям, чтобы сделать Интернет более безопасным местом для всех.