El impacto del contenido tóxico y dañino en las marcas, sus equipos y clientes

La toxicidad en línea puede ser perjudicial para las marcas, ya que afecta el bienestar de su personal de primera línea y crea un impacto comercial real para las marcas si sus clientes están expuestos a ella. Entonces, ¿cómo pueden trabajar las empresas para paliar los efectos negativos?

Aquí, Matthieu Boutard, presidente y cofundador de Bodyguard.ai, describe los beneficios y desafíos de la moderación de contenido y explora cómo las empresas pueden adoptar un enfoque combinado para lograr los mejores resultados.

Con el proyecto de ley de seguridad en línea listo para entrar en la ley del Reino Unido en los próximos meses, se ha prestado mucha atención al impacto negativo de las redes sociales en sus usuarios.

El objetivo del proyecto de ley es cumplir con el compromiso manifiesto del gobierno de hacer del Reino Unido el lugar más seguro del mundo para estar en línea. Sin embargo, deberá lograr un equilibrio crítico para lograr esto de manera efectiva.

Según el Departamento de Digital, Cultura, Medios y Deporte (DCMS), su objetivo es mantener a los niños seguros, detener el odio racial y proteger la democracia en línea, al mismo tiempo que garantiza que las personas en el Reino Unido puedan expresarse libremente y participar en debates sólidos y plurales. .

El proyecto de ley impondrá nuevas obligaciones a las organizaciones para eliminar contenido ilegal o dañino. Además, las empresas que no cumplan con estas nuevas reglas podrían enfrentarse a multas de hasta 18 millones de libras esterlinas o el 10 % de su facturación global anual, lo que sea más alto.

Tales medidas pueden parecer drásticas, pero se están volviendo cada vez más necesarias. La toxicidad en línea es abundante y abarca todos los canales de comunicación, desde las redes sociales hasta el chat en el juego.

Al explorar el alcance del problema, recientemente publicamos un documento técnico inaugural que examina la toxicidad en línea dirigida a empresas y marcas en los 12 meses que terminaron en julio de 2022.

Durante este proceso, analizamos más de 170 millones de piezas de contenido en 1200 canales de marca en seis idiomas y descubrimos que hasta el 5,24 % de todo el contenido generado por las comunidades en línea es tóxico. De hecho, el 3,28 % podría clasificarse como odioso (insultos, odio, misoginia, amenazas, racismo, etc.), mientras que el 1,96 % podría clasificarse como basura (estafas, fraudes, trolling, etc.).

Tres desafíos clave de la moderación de contenido

Desafortunadamente, la creciente prevalencia del odio en línea y el contenido tóxico se está filtrando cada vez más en los canales de comunicación basados ​​en marcas, como foros de clientes, páginas de redes sociales y tableros de mensajes.

Para las marcas, esto puede tener un impacto comercial significativo. De hecho, un estudio sugiere que hasta cuatro de cada 10 consumidores dejarán una plataforma después de su primera exposición al lenguaje dañino. Además, pueden compartir su mala experiencia con otros, creando un efecto dominó de daño irreparable a la marca.

Por lo tanto, es importante que las marcas moderen su contenido en las redes sociales para eliminar los comentarios tóxicos. Sin embargo, hacer esto de manera efectiva no es una tarea fácil y existen varios desafíos potenciales.

En primer lugar, puede ser una tarea exigente y que requiere muchos recursos para completarla manualmente. Un moderador humano capacitado normalmente necesita 10 segundos para analizar y moderar un solo comentario.

Por lo tanto, si hay cientos o miles de comentarios publicados al mismo tiempo, puede convertirse en una tarea imposible gestionar el flujo de comentarios de odio en tiempo real. Como resultado, muchos moderadores de contenido quedan mentalmente agotados por el volumen de trabajo.

Además, estar expuesto repetidamente a malas palabras, videos tóxicos y contenido dañino puede tener un efecto psicológico en los moderadores. De hecho, la salud mental de estas personas no puede pasarse por alto, mientras que un mayor agotamiento por toxicidad puede ser costoso para las empresas, lo que podría acelerar la rotación de empleados.

En tercer lugar, las empresas deben andar con cuidado al moderar para asegurarse de que no sean acusadas de censura. Los canales de marca, como las redes sociales, suelen ser una fuente principal para que los clientes interactúen con las marcas, brinden sus comentarios y hagan que las marcas rindan cuentas. Aquellos que dan la impresión de que simplemente están eliminando cualquier comentario crítico o negativo también pueden ser criticados.

Un enfoque combinado para resultados equilibrados

Afortunadamente, las tecnologías impulsadas por la IA y el aprendizaje automático están comenzando a abordar algunos de los desafíos que enfrentan los moderadores humanos. Sin embargo, hay más problemas que deben resolverse aquí.

Se ha demostrado que los algoritmos de aprendizaje automático utilizados actualmente por plataformas sociales como Facebook e Instagram tienen una tasa de error que puede llegar al 40 %. Como resultado, solo el 62,5% del contenido de odio se elimina actualmente de las redes sociales según la Comisión Europea, lo que deja grandes volúmenes de contenido sin moderar que puede afectar fácilmente a las personas y las empresas.

Además, estos algoritmos también luchan por manejar el delicado tema de la libertad de expresión. Al carecer de la capacidad de detectar sutilezas lingüísticas, pueden inclinarse demasiado del lado de la censura, ya que los algoritmos son propensos a reaccionar de forma exagerada.

Dado que tanto la moderación humana como las soluciones impulsadas por IA tienen sus limitaciones, se requiere un enfoque combinado. De hecho, al combinar el aprendizaje automático inteligente con un equipo humano compuesto por lingüistas, controladores de calidad y programadores, las marcas estarán bien posicionadas para eliminar los comentarios de odio de manera más rápida y efectiva.

Por supuesto, seleccionar la solución correcta aquí será clave. Idealmente, las marcas deberían buscar adoptar una solución que sea lo suficientemente avanzada para reconocer las diferencias entre amigos que interactúan con un lenguaje "colorido" y comentarios hostiles dirigidos a una marca.

Lograr este equilibrio es vital. Para fomentar el compromiso y generar confianza en las interacciones en línea, es crucial que las marcas trabajen para garantizar que la toxicidad no contamine los canales de comunicación y, al mismo tiempo, brinden a los consumidores una plataforma para criticar y debatir.

Afortunadamente, con el enfoque correcto, la moderación puede ser efectiva. De hecho, no debería tratarse de prohibir la libertad de expresión, sino de evitar que el contenido tóxico llegue a los destinatarios potenciales para hacer de Internet un lugar más seguro para todos.