유해하고 유해한 콘텐츠가 브랜드, 해당 팀 및 고객에게 미치는 영향

온라인 독성은 브랜드에 해를 끼칠 수 있으며 일선 직원의 복지에 영향을 미치고 고객이 이에 노출될 경우 브랜드에 실질적인 상업적 영향을 미칩니다. 그렇다면 회사는 부정적인 영향을 완화하기 위해 어떻게 노력할 수 있습니까?

여기에서 Bodyguard.ai의 사장 겸 공동 창립자인 Matthieu Boutard는 콘텐츠 조정의 이점과 과제를 설명하고 기업이 최상의 결과를 달성하기 위해 혼합된 접근 방식을 취할 수 있는 방법을 탐구합니다.

온라인 안전 법안이 앞으로 몇 달 안에 영국 법에 도입될 예정이므로 소셜 미디어가 사용자에게 미치는 부정적인 영향에 많은 관심을 기울였습니다.

이 법안의 목표는 영국을 세계에서 온라인에서 가장 안전한 곳으로 만들겠다는 정부의 선언적 약속을 이행하는 것입니다. 그러나 이를 효과적으로 달성하려면 중요한 균형을 유지해야 합니다.

디지털, 문화, 미디어 및 스포츠부(DCMS)에 따르면, 영국 사람들이 자유롭게 자신을 표현하고 다원적이고 강력한 토론에 참여할 수 있도록 동등하게 보장하면서 어린이를 안전하게 보호하고 인종적 증오를 중지하며 온라인에서 민주주의를 보호하는 것을 목표로 합니다. .

이 법안은 불법적이거나 유해한 콘텐츠를 제거하기 위해 조직에 새로운 의무를 부여합니다. 또한 이러한 새로운 규정을 준수하지 않는 기업은 최대 1,800만 파운드 또는 연간 글로벌 매출의 10% 중 높은 금액의 벌금을 물을 수 있습니다.

이러한 조치는 과감해 보일 수 있지만 점점 더 필요해지고 있습니다. 소셜 미디어에서 게임 내 채팅에 이르기까지 모든 커뮤니케이션 채널에 온라인 독성이 만연해 있습니다.

문제의 범위를 알아보기 위해 우리는 최근 2022년 7월에 종료된 12개월 동안 기업과 브랜드를 겨냥한 온라인 독성을 조사하는 첫 번째 백서를 발표했습니다.

이 과정에서 우리는 1,200개 브랜드 채널에서 6개 언어로 된 1억 7천만 개 이상의 콘텐츠를 분석한 결과 온라인 커뮤니티에서 생성된 모든 콘텐츠의 5.24%가 유해하다는 사실을 발견했습니다. 실제로 3.28%는 혐오(모욕, 증오, 여성혐오, 위협, 인종차별 등)로 분류될 수 있는 반면, 1.96%는 정크(사기, 사기, 트롤링 등)로 분류될 수 있습니다.

콘텐츠 조정의 세 가지 주요 과제

불행하게도 온라인 혐오 및 유독성 콘텐츠의 확산이 점점 더 고객 포럼, 소셜 미디어 페이지 및 게시판과 같은 브랜드 기반 커뮤니케이션 채널에 스며들고 있습니다.

브랜드의 경우 이는 상당한 상업적 영향을 미칠 수 있습니다. 실제로 한 연구에 따르면 소비자 10명 중 4명은 유해한 언어에 처음 노출된 후 플랫폼을 떠날 것이라고 합니다. 또한 자신의 좋지 않은 경험을 다른 사람과 공유하여 돌이킬 수 없는 브랜드 손상이라는 도미노 효과를 일으킬 수 있습니다.

따라서 브랜드는 유해한 댓글을 제거하기 위해 소셜 미디어 콘텐츠를 조정하는 것이 중요합니다. 그러나 이를 효과적으로 수행하는 것은 쉬운 일이 아니며 몇 가지 잠재적인 문제가 있습니다.

첫째, 수동으로 완료하는 것은 매우 리소스 집약적이고 과중한 작업이 될 수 있습니다. 숙련된 인간 조정자는 일반적으로 단일 댓글을 분석하고 조정하는 데 10초가 필요합니다.

따라서 수백, 수천 개의 댓글이 동시에 올라오면 악성 댓글의 흐름을 실시간으로 관리하는 것이 불가능한 작업이 될 수 있습니다. 결과적으로 많은 콘텐츠 조정자는 작업량으로 인해 정신적으로 지쳐 있습니다.

또한 욕설, 유해한 동영상, 유해한 콘텐츠에 반복적으로 노출되면 중재자에게 심리적 영향을 줄 수 있습니다. 실제로 이러한 개인의 정신 건강을 간과할 수 없으며 독성으로 인한 추가 소진은 기업에 비용이 많이 들고 잠재적으로 직원 이직을 가속화할 수 있습니다.

세 번째로, 회사는 검열 혐의를 받지 않도록 조정 시 미세한 선을 밟아야 합니다. 소셜 미디어와 같은 브랜드 채널은 고객이 브랜드에 참여하고 피드백을 제공하며 브랜드에 책임을 묻기 위한 주요 소스인 경우가 많습니다. 단순히 비판적이거나 부정적인 댓글을 삭제하는 것처럼 보이는 이들도 비난을 받을 수 있습니다.

균형 잡힌 결과를 위한 혼합 접근법

다행스럽게도 AI 및 기계 학습 기반 기술은 인간 중재자가 직면한 몇 가지 문제를 해결하기 시작했습니다. 그러나 여기서 해결해야 할 추가 문제가 있습니다.

현재 Facebook 및 Instagram과 같은 소셜 플랫폼에서 사용하는 기계 학습 알고리즘은 최대 40%에 이르는 오류율을 보이는 것으로 나타났습니다. 그 결과 유럽 위원회(European Commission)에 따르면 증오성 콘텐츠의 62.5%만이 현재 소셜 네트워크에서 제거되어 사람들과 기업에 쉽게 영향을 미칠 수 있는 많은 양의 조정되지 않은 콘텐츠가 남아 있습니다.

게다가 이러한 알고리즘은 표현의 자유라는 민감한 문제를 관리하는 데에도 어려움을 겪고 있습니다. 언어의 미묘함을 감지하는 능력이 부족하여 알고리즘이 과잉 반응하는 경향이 있으므로 검열에 지나치게 의존할 수 있습니다.

사람의 중재와 AI 기반 솔루션 모두 한계가 있으므로 혼합 접근 방식이 필요합니다. 실제로 지능형 기계 학습을 언어학자, 품질 관리자 및 프로그래머로 구성된 인간 팀과 결합함으로써 브랜드는 증오성 댓글을 보다 빠르고 효과적으로 제거할 수 있습니다.

물론 여기에서 올바른 솔루션을 선택하는 것이 중요합니다. 이상적으로는 브랜드는 "다채로운" 언어로 상호 작용하는 친구와 브랜드에 대한 적대적인 댓글 사이의 차이점을 인식할 수 있을 만큼 충분히 발전된 솔루션을 채택해야 합니다.

이 균형을 맞추는 것이 중요합니다. 참여를 장려하고 온라인 상호 작용에 대한 신뢰를 구축하려면 브랜드가 독성이 통신 채널을 오염시키지 않도록 하는 동시에 소비자에게 비판하고 토론할 수 있는 플랫폼을 제공하는 것이 중요합니다.

고맙게도 올바른 접근 방식을 사용하면 절제가 효과적일 수 있습니다. 실제로 표현의 자유를 금지하는 것이 아니라 모든 사람에게 더 안전한 인터넷 공간을 만들기 위해 유해한 콘텐츠가 잠재적 수신자에게 도달하지 못하도록 방지해야 합니다.