ブランド、そのチーム、顧客に対する有毒で有害なコンテンツの影響

オンラインの有害性はブランドに損害を与える可能性があり、最前線のスタッフの幸福に影響を与え、顧客がそれにさらされた場合、ブランドに真の商業的影響をもたらします. では、企業はどのようにして悪影響を軽減することができるのでしょうか?

ここでは、Bodyguard.ai の社長兼共同創設者である Matthieu Boutard が、コンテンツ モデレーションの利点と課題を概説し、企業が最良の結果を達成するためにどのように混合アプローチを取ることができるかを探ります。

オンライン安全法案が今後数か月で英国の法律に制定される予定であるため、ソーシャルメディアがユーザーに与える悪影響に多くの注意が払われています.

この法案の目的は、英国をオンラインで世界で最も安全な場所にするという政府の宣言を実現することです。 ただし、これを効果的に達成するには、重要なバランスを取る必要があります。

デジタル、文化、メディア、スポーツ省 (DCMS) によると、英国の人々が自由に自分自身を表現し、多元的で活発な議論に参加できるようにすると同時に、子供たちを安全に保ち、人種差別を止め、オンラインで民主主義を保護することを目的としています。 .

この法案は、違法または有害なコンテンツを削除する新たな義務を組織に課すものです。 さらに、これらの新しい規則を順守しない企業は、最大 1,800 万ポンドまたは世界の年間売上高の 10% のいずれか高い方の罰金に直面する可能性があります。

このような対策は思い切ったものに見えるかもしれませんが、ますます必要になってきています。 オンラインの有害性は、ソーシャル メディアからゲーム内チャットまで、あらゆるコミュニケーション チャネルに広がっています。

問題の範囲を調査するにあたり、最近、2022 年 7 月までの 12 か月間に企業やブランドを対象としたオンラインの有害性を調査した最初のホワイトペーパーを公開しました。

この過程で、6 つの言語で 1,200 のブランド チャネルにわたる 1 億 7000 万を超えるコンテンツを分析した結果、オンライン コミュニティによって生成されたすべてのコンテンツの 5.24% が有毒であることがわかりました。 実際、3.28% は憎悪 (侮辱、憎悪、ミソジニー、脅迫、人種差別など) に分類される可能性があり、1.96% はジャンク (詐欺、詐欺、トローリングなど) に分類される可能性があります。

コンテンツ モデレーションの 3 つの主な課題

残念なことに、オンラインのヘイトや有毒なコンテンツの蔓延は、顧客フォーラム、ソーシャル メディア ページ、メッセージ ボードなどのブランドベースのコミュニケーション チャネルにますます浸透しています。

ブランドにとって、これは商業的に大きな影響を与える可能性があります。 実際、ある調査によると、消費者の 10 人に 4 人が、有害な言葉に初めて触れた後、プラットフォームを離れます。 さらに、彼らは自分の悪い経験を他の人と共有する可能性があり、取り返しのつかないブランドの損傷というドミノ効果を生み出します.

したがって、ブランドがソーシャル メディアのコンテンツを管理して有害なコメントを削除することが重要です。 ただし、これを効果的に行うのは簡単なことではなく、潜在的な課題がいくつかあります。

まず、手動で完了するには、リソースを大量に消費し、負担の大きいタスクになる可能性があります。 訓練を受けた人間のモデレーターは、通常、1 つのコメントを分析してモデレートするのに 10 秒かかります。

そのため、同時に何百、何千ものコメントが投稿された場​​合、ヘイトコメントの流れをリアルタイムで管理することは不可能な作業になる可能性があります。 その結果、多くのコンテンツ モデレーターは、大量の作業から精神的に疲れ果てたままになります。

さらに、悪い言葉、有毒なビデオ、有害なコンテンツに繰り返しさらされることは、モデレーターに心理的な影響を与える可能性があります. 実際、これらの個人の精神的健康は見逃すことはできませんが、毒性によるさらなる燃え尽き症候群は企業にとってコストがかかり、従業員の離職を加速させる可能性があります.

第三に、企業は検閲で告発されないようにモデレートする際に細心の注意を払う必要があります。 ソーシャル メディアなどのブランド チャネルは、多くの場合、顧客がブランドと関わり、フィードバックを提供し、ブランドに責任を負わせるための主要な情報源です。 批判的または否定的なコメントを単に削除しているという印象を与えるものも、攻撃を受ける可能性があります.

バランスの取れた結果を得るための混合アプローチ

幸いなことに、AI と機械学習を利用したテクノロジーは、人間のモデレーターが直面しているいくつかの課題に対処し始めています。 ただし、ここで解決する必要があるさらなる問題があります。

Facebook や Instagram などのソーシャル プラットフォームで現在使用されている機械学習アルゴリズムは、エラー率が 40% に達することが示されています。 その結果、欧州委員会によると、現在ソーシャル ネットワークから削除されているヘイト コンテンツは 62.5% にすぎず、モデレートされていない大量のコンテンツが人々やビジネスに影響を与えやすいままになっています。

さらに、これらのアルゴリズムは、表現の自由というデリケートな問題の管理にも苦労しています。 言語の機微を検出する能力がないため、アルゴリズムが過剰に反応する傾向があるため、検閲の側に偏りすぎる可能性があります。

人間によるモデレーションと AI 主導のソリューションの両方に限界があるため、混合アプローチが必要です。 実際、インテリジェントな機械学習を言語学者、品質管理者、プログラマーで構成される人間のチームと組み合わせることで、ブランドはヘイトコメントをより迅速かつ効果的に削除できるようになります。

もちろん、ここで適切なソリューションを選択することが重要です。 理想的には、ブランドは、「カラフルな」言葉でやり取りする友人と、ブランドに向けられた敵対的なコメントとの違いを認識するのに十分なほど高度なソリューションの採用を検討する必要があります。

このバランスを取ることが重要です。 エンゲージメントを促進し、オンライン インタラクションへの信頼を構築するためには、ブランドが毒性によってコミュニケーション チャネルを汚染しないようにすると同時に、消費者に批判や議論の場を提供することが重要です。

ありがたいことに、適切なアプローチがあれば、節度は効果的です。 実際、それは表現の自由を禁止することではなく、有毒なコンテンツが潜在的な受信者に届くのを防ぎ、インターネットをすべての人にとってより安全な場所にすることであるべきです.