Carolina Ortega 
In el otoño de 2019, Facebook lanzó un esfuerzo masivo para combatir el uso de sus plataformas para la trata de personas. Trabajando día y noche, sus empleados buscaron en Facebook y su subsidiaria Instagram palabras clave y hashtags que promovieran la servidumbre doméstica en el Medio Oriente y en otros lugares. En el transcurso de unas pocas semanas, la compañía eliminó 129,191 piezas de contenido, deshabilitó más de 1,000 cuentas, reforzó sus políticas y agregó nuevas formas de detectar este tipo de comportamiento. Una vez que terminaron, los empleados se felicitaron entre sí por un trabajo bien hecho.
Eso era Un trabajo bien hecho. Solo llegó un poco tarde. De hecho, un grupo de investigadores de Facebook centrados en Oriente Medio y África del Norte había descubierto que numerosos perfiles de Instagram se utilizaban como anuncios de sirvientes domésticos víctimas de trata ya en marzo de 2018. “Indonesio traído con visa de turista”, un pie de foto en una imagen de una mujer lee, en árabe. “Tenemos más de ellos”. Pero estos perfiles no fueron “procesados”, deshabilitados o eliminados, un informe interno lo explicaría, porque las políticas de Facebook “no reconocieron la violación”. Un año y medio después, un investigación encubierta de la BBC reveló el alcance total del problema: una amplia red que traficaba ilegalmente con trabajadoras del hogar, facilitada por plataformas de Internet y con la ayuda de hashtags reforzados algorítmicamente. En respuesta, Facebook prohibió un hashtag y eliminó unos 700 perfiles de Instagram. Pero según otro informe interno, “el contenido de servidumbre doméstica permaneció en la plataforma”.
No fue hasta el 23 de octubre de 2019 cuando cayó el martillo: Apple amenazó con retirar Facebook e Instagram de su App Store debido al informe de la BBC. Motivado por lo que los empleados describen en un documento interno como “consecuencias potencialmente graves para el negocio” que resultarían de una prohibición de la App Store, Facebook finalmente se puso en marcha. El documento deja en claro que la decisión de actuar no fue el resultado de nueva información: “¿Facebook conocía este problema antes de la investigación de la BBC y la escalada de Apple? Sí.”
El documento fue parte de la divulgación hecha a la Comisión de Bolsa y Valores y entregada al Congreso en forma redactada por Frances Haugen, la denunciante y ex científica de datos de Facebook. Un consorcio de más de una docena de organizaciones de noticias, incluidas El Atlántico, ha revisado las versiones redactadas.
Leer estos documentos es como ir al oculista y ver el mundo enfocado de repente. En los Estados Unidos, Facebook ha facilitado la difusión de información errónea, discursos de odio y polarización política. Ha surgido algorítmicamente información falsa sobre teorías de conspiración y vacunas, y fue fundamental en la capacidad de una mafia extremista para intentar un golpe violento en el Capitolio. Eso es ahora dolorosamente familiar.
Pero estos documentos muestran que Facebook que tenemos en los Estados Unidos es en realidad la plataforma en su mejor momento. Es la versión hecha por personas que hablan nuestro idioma y comprenden nuestras costumbres, que se toman en serio nuestros problemas cívicos porque esos problemas también son de ellos. Es la versión que existe en Internet gratis, bajo un gobierno relativamente estable, en una democracia rica. También es la versión a la que Facebook dedica más recursos de moderación. En otros lugares, muestran los documentos, las cosas son diferentes. En las partes más vulnerables del mundo, lugares con acceso limitado a Internet, donde un número menor de usuarios significa que los malos actores tienen una influencia indebida, las compensaciones y los errores que comete Facebook pueden tener consecuencias mortales.
Ade acuerdo con los documentos, Facebook es consciente de que sus productos se utilizan para facilitar el discurso de odio en el Medio Oriente, los cárteles violentos en México, la limpieza étnica en Etiopía, la retórica extremista antimusulmana en la India y el tráfico sexual en Dubai. También es consciente de que sus esfuerzos para combatir estas cosas son insuficientes. Un informe de marzo de 2021 señala: “Con frecuencia observamos una actividad intencional altamente coordinada … por parte de actores problemáticos” que es “particularmente frecuente — y problemática — en países y contextos en riesgo”; el informe reconoce posteriormente que “las estrategias de mitigación actuales no son suficientes”.
En algunos casos, los empleados han tomado medidas con éxito para abordar estos problemas, pero en muchos otros, la respuesta de la empresa ha sido lenta e incompleta. Tan recientemente como a fines de 2020, un informe interno de Facebook encontró que solo el 6 por ciento del contenido de odio en idioma árabe en Instagram fue detectado por los sistemas de Facebook. Otro informe que circuló el invierno pasado encontró que, del material publicado en Afganistán que se clasificó como discurso de odio dentro de un rango de 30 días, solo el 0.23 por ciento fue eliminado automáticamente por las herramientas de Facebook. En ambos casos, los empleados culparon al liderazgo de la empresa por una inversión insuficiente.
En muchas de las naciones más frágiles del mundo, una empresa que vale cientos de miles de millones de dólares no ha invertido lo suficiente en la inteligencia artificial y el personal específicos del idioma y dialecto que necesita para abordar estos problemas. De hecho, el año pasado, según los documentos, solo el 13 por ciento de las horas del personal de moderación y desinformación de Facebook se dedicó a los países no estadounidenses en los que opera, cuyas poblaciones comprenden más del 90 por ciento de los usuarios de Facebook. (Facebook se negó a decirme en cuántos países tiene usuarios). Y aunque los usuarios de Facebook publican en al menos 160 idiomas, la compañía ha construido una detección robusta de inteligencia artificial en solo una fracción de esos idiomas, los que se hablan en grandes y de alto perfil. mercados como Estados Unidos y Europa: una opción, según muestran los documentos, que significa que rara vez se detecta contenido problemático.
Los intercambios granulares, procedimentales, a veces banales, de ida y vuelta registrados en los documentos revelan, con un detalle sin precedentes, cómo la empresa más poderosa de la Tierra toma sus decisiones. Y sugieren que, en todo el mundo, las elecciones de Facebook están constantemente impulsadas por la percepción pública, el riesgo empresarial, la amenaza de la regulación y el espectro de “incendios de relaciones públicas”, una frase que aparece una y otra vez en los documentos. En muchos casos, Facebook ha tardado en responder a las crisis en desarrollo fuera de Estados Unidos y Europa hasta que su mano se ve obligada. “Es un secreto a voces … que las decisiones a corto plazo de Facebook están motivadas en gran medida por las relaciones públicas y el potencial de atención negativa”, escribió una empleada llamada Sophie Zhang en un memorando interno de septiembre de 2020 sobre la incapacidad de Facebook para actuar frente a las amenazas de desinformación global. (La mayoría de los nombres de los empleados se han redactado por razones de privacidad en estos documentos, pero Zhang dejó la empresa y se presentó como denunciante después de escribir este memorando).
A veces, incluso la atención negativa no es suficiente. En 2019, el grupo de derechos humanos Avaaz descubrió que los musulmanes bengalíes en el estado de Assam en India estaban “enfrentando un extraordinario coro de abuso y odio” en Facebook: las publicaciones que llamaban a los musulmanes “cerdos”, violadores “y” terroristas “se compartieron decenas de miles. de veces y se fue a la plataforma porque los sistemas de inteligencia artificial de Facebook no se construyeron para detectar automáticamente el discurso de odio en asamés, que es hablado por 23 millones de personas. Facebook eliminó 96 de los 213 “ejemplos más claros” de discurso de odio que Avaaz señaló para la compañía antes de publicar su informe. Facebook aún no cuenta con tecnología para detectar automáticamente el discurso de odio en Asamés.
En un memorando con fecha de diciembre de 2020 y publicado en Workplace, el tablón de mensajes interno de Facebook muy parecido a Facebook, un empleado argumentó que “la toma de decisiones de Facebook sobre la política de contenido está habitualmente influenciada por consideraciones políticas”. Para escuchar a este empleado decirlo, el problema era estructural: los empleados que tienen la tarea principal de negociar con los gobiernos sobre la regulación y la seguridad nacional, y con la prensa sobre las historias, estaban autorizados a intervenir en las conversaciones sobre la creación y el cumplimiento de las reglas de Facebook con respecto al contenido cuestionable. alrededor del mundo. “Una y otra vez”, el memorando cita a un investigador de Facebook que dice: “He visto intervenciones prometedoras … ser reprimidas prematuramente o severamente restringidas por tomadores de decisiones clave, a menudo basadas en temores de las respuestas públicas y de las partes interesadas en las políticas”.
Entre las consecuencias de ese patrón, según el memo: el político nacionalista hindú T.Raja Singh, quien publicó ante cientos de miles de seguidores en Facebook pidiendo que se fusilara a los musulmanes rohingya de la India, en violación directa de las pautas de discurso de odio de Facebook. Se le permitió permanecer en la plataforma a pesar de las repetidas solicitudes para prohibirlo, incluso de los propios empleados de Facebook encargados de monitorear el discurso de odio. A 2020 Wall Street Journal artículo informó que el principal ejecutivo de políticas públicas de Facebook en India había expresado su preocupación por una reacción violenta si la compañía lo hiciera, diciendo que tomar medidas enérgicas contra los líderes del partido gobernante podría dificultar la gestión del negocio. La compañía finalmente prohibió a Singh, pero no antes de que sus publicaciones pasaran por todo el mundo de habla hindi.
En un hilo de Workplace aparentemente destinado a abordar la frustración de los empleados después de la diario Cuando se publicó el artículo, un líder explicó que los equipos de políticas públicas de Facebook “son importantes para el proceso de escalada ya que brindan información sobre una variedad de temas, incluida la traducción, el contexto sociopolítico y los riesgos regulatorios de las diferentes opciones de aplicación”.
Los empleados no se tranquilizaron. En decenas y decenas de comentarios, cuestionaron las decisiones que había tomado Facebook con respecto a qué partes de la empresa involucrar en la moderación de contenido y plantearon dudas sobre su capacidad para moderar el discurso de odio en India. Calificaron la situación de “triste” y la respuesta de Facebook “inadecuada”, y se preguntaron sobre la “conveniencia de considerar el riesgo regulatorio” cuando se trata de discursos violentos.
“Tengo una pregunta muy básica”, escribió un trabajador. “A pesar de tener procesos tan sólidos en torno al discurso del odio, ¿cómo es que hay tantos casos en los que hemos fallado? Habla de la eficacia del proceso “.
Otros dos empleados dijeron que habían denunciado personalmente ciertas cuentas indias por publicar discursos de incitación al odio. Aun así, uno de los empleados escribió, “todavía continúan prosperando en nuestra plataforma arrojando contenido de odio”.
“No podemos estar orgullosos como empresa”, escribió otro, “si seguimos permitiendo que tal barbarie florezca en nuestra red”.
Ten conjunto, Frances Haugen Los documentos filtrados muestran a Facebook por lo que es: una plataforma atormentada por información errónea, desinformación, pensamiento conspirativo, extremismo, discurso de odio, intimidación, abuso, trata de personas, pornografía de venganza e incitaciones a la violencia. Es una empresa que ha perseguido el crecimiento mundial desde sus inicios, y luego, cuando los reguladores, la prensa y el público lo solicitaron para resolver los problemas que ha creado su tamaño, ha afirmado que su escala hace que sea imposible abordar esos problemas por completo. . En cambio, la fuerza laboral global de 60,000 personas de Facebook está involucrada en un juego sin fronteras, interminable y cada vez más grande de golpear un topo, uno sin ganadores y con muchos brazos doloridos.
Sophie Zhang era una de las personas que jugaba a ese juego. A pesar de ser una científica de datos de nivel junior, tenía la habilidad de identificar “comportamientos no auténticos coordinados”, el término de Facebook para las cuentas falsas que han explotado sus plataformas para socavar la democracia global, defraudar a los usuarios y difundir información falsa. En su memorando, que se incluye en los documentos de Facebook pero que fue previamente filtrado a Noticias de BuzzFeed, Zhang detalla lo que encontró en sus casi tres años en Facebook: campañas de desinformación coordinadas en docenas de países, incluidos India, Brasil, México, Afganistán, Corea del Sur, Bolivia, España y Ucrania. En algunos casos, como en Honduras y Azerbaiyán, Zhang pudo vincular las cuentas involucradas en estas campañas directamente con los partidos políticos gobernantes. En el memorándum, publicado en Workplace el día en que Zhang fue despedida de Facebook por lo que la compañía alegó fue un desempeño deficiente, ella dice que tomó decisiones sobre estas cuentas con una supervisión o apoyo mínimos, a pesar de las reiteradas súplicas a la alta dirección. En múltiples ocasiones, dijo, le dijeron que priorizara otro trabajo.
Facebook no ha cuestionado las afirmaciones fácticas de Zhang sobre su tiempo en la empresa, aunque sostiene que controlar El abuso de su plataforma es una prioridad absoluta. Un portavoz de Facebook dijo que la compañía intenta “mantener a las personas seguras incluso si esto afecta nuestros resultados finales”, y agregó que la compañía ha gastado $ 13 mil millones en seguridad desde 2016. “Nuestro historial muestra que tomamos medidas enérgicas contra los abusos en el extranjero con la misma intensidad que aplicamos en EE. UU. “
Sin embargo, el memorando de Zhang pinta una imagen diferente. “Nos enfocamos en regiones dañadas y prioritarias como Estados Unidos y Europa Occidental”, escribió. Pero finalmente, “se volvió imposible leer las noticias y monitorear los eventos mundiales sin sentir el peso de mi propia responsabilidad”. De hecho, Facebook prioriza explícitamente ciertos países para la intervención clasificándolos en niveles, muestran los documentos. Zhang “optó por no priorizar” a Bolivia, a pesar de la evidencia creíble de actividad no auténtica en el período previo a las elecciones del país de 2019. Esa elección se vio empañada por denuncias de fraude, que alimentó protestas generalizadas; más de 30 personas murieron y más de 800 resultaron heridas.
“Tengo las manos manchadas de sangre”, escribió Zhang en el memo. Cuando dejó Facebook, tenía problemas para dormir por la noche. “Considero que me han puesto en un lugar imposible, atrapado entre mi lealtad a la empresa y mi lealtad al mundo en general”.
In febrero, poco más de un año después de la barrida de alto perfil de Facebook por la trata de sirvientes domésticos del Medio Oriente y el norte de África, un informe interno identificó una red de actividad similar, en la que las mujeres estaban siendo traficadas desde Filipinas hasta el Golfo Pérsico, donde estaban encerradas. sus hogares, se les niega el pago, se mueren de hambre y se los maltrata. Este informe encontró que el contenido “debería haberse detectado” por violar las políticas de Facebook, pero no lo había sido, porque el mecanismo que habría detectado gran parte del mismo se había desactivado recientemente. El título del memo es “Servidumbre doméstica: esto no debería suceder en Facebook y cómo podemos solucionarlo”.
Lo que sucedió en Filipinas, y en Honduras, Azerbaiyán, India y Bolivia, no fue solo que una empresa muy grande no manejara el contenido publicado en su plataforma. Fue que, en muchos casos, una empresa muy grande sabía lo que estaba sucediendo y no intervino de manera significativa.
Que Facebook haya priorizado repetidamente la solución de problemas para Facebook sobre la solución de problemas para los usuarios no debería sorprender. La empresa está bajo la constante amenaza de regulación y mala prensa. Facebook está haciendo lo que hacen las empresas, evaluando y actuando en su propio interés.
Pero Facebook no es como otras empresas. Es más grande y lo que está en juego en sus decisiones es mayor. En América del Norte, recientemente nos hemos vuelto muy conscientes de los riesgos y daños de las redes sociales. Pero el Facebook que vemos es la plataforma en su mejor momento. Cualquier solución deberá aplicarse no solo a los problemas que todavía encontramos aquí, sino también a aquellos con los que el otro 90 por ciento de los usuarios de Facebook luchan todos los días.
