Código de Conducta Universal/Consultas de 2021/Investigación
Con el fin de apoyar al comité de redacción de la fase 2 del Código de Conducta Universal, la Fundación Wikimedia ha llevado a cabo un proyecto de investigación centrado en las experiencias de acoso en los proyectos Wikimedia.
Esta investigación tomó la forma de una encuesta y varias entrevistas en profundidad. La encuesta, que se distribuyó principalmente entre los afiliados de Wikimedia, se centró en las percepciones de los encuestados, su conocimiento y compromiso con los sistemas de cumplimiento y denuncia existentes. Las entrevistas, realizadas a miembros de la comunidad que habían contactado con el departamento de Confianza y Seguridad en el pasado por casos relacionados con el acoso, se centraron en las experiencias de los usuarios que habían sido objeto de un acoso grave y continuado.
Descubrimos que existen varios obstáculos clave que limitan el compromiso con estos sistemas, entre los que destacan el confuso sistema de denuncia y el miedo a las reacciones públicas. Sin embargo, el sentimiento general sigue siendo positivo y los miembros de la comunidad quieren seguir comprometiéndose con los sistemas de cumplimiento comunitarios y de la Fundación Wikimedia, a pesar de estos contratiempos.
Métodos de investigación
Uno de los principales obstáculos de la investigación es el hecho de que, al tener un sistema no estructurado de notificación, nos es muy difícil recopilar métricas sobre dicha notificación. Además, queríamos capturar más datos sobre opiniones relacionadas con nuestros sistemas de cumplimiento, en lugar de información sobre la frecuencia y el tipo de informes.
Para esta investigación, optamos por un enfoque dividido. Llevamos a cabo una encuesta, que principalmente distribuimos a organizaciones afiliadas, así como entrevistas semiestructuradas de miembros de la comunidad que habían contactado anteriormente con el equipo de Confianza y Seguridad por cuestiones relacionadas con el acoso.
Encuesta
La encuesta, titulada «Encuesta del sistema de denuncia de la comunidad Wikimedia», incluía 37 preguntas y estuvo disponible en inglés, español e hindi. Antes de su puesta en práctica, la encuesta obtuvo la pre aprobación de un grupo de voluntarios del grupo afiliado Wiki LGBT+. La encuesta se realizó en Qualtrics y se administró mediante un enlace anónimo, con objeto de recopilar la menor cantidad posible de información identificativa. Estuvo disponible durante cuatro semanas, del 15 de abril al 7 de mayo de 2021.
Principalmente, la encuesta se envió por correo electrónico a una serie de organizaciones afiliadas, sobre todo a grupos LGBT+ que trabajaban en labores de edición, así como a varios grupos de mujeres dentro del movimiento. También se enviaron correos electrónicos de invitación a los comités de arbitraje de las Wikipedias en inglés, francés, ruso y alemán. También se publicaron avisos para esta encuesta en Cafés (o su equivalente) en las Wikipedias en italiano, español, francés, alemán, polaco y árabe.
En lugar de centrarse en el acoso en sí mismo, esta encuesta se diseñó para centrarse en las percepciones que nuestra comunidad tenía sobre los sistemas de cumplimiento existentes. Concretamente, algunos de los temas clave que se trataron fueron los siguientes:
- Comprensión de los sistemas de supervisión: ¿conocen los usuarios cuáles son las formas de informar sobre incidentes en nuestros proyectos? ¿Saben cómo utilizar estos sistemas? ¿Cómo aprendieron a utilizar estos sistemas en un primer momento?
- Implicación con los sistemas de supervisión: ¿utilizan los miembros de la comunidad estos sistemas de forma habitual? ¿En qué medida es habitual utilizar estos sistemas?
- Percepción de los sistemas de supervisión: ¿gozan estos sistemas de una buena reputación? ¿Creen los usuarios que vale la pena utilizarlos?
- Privacidad y transparencia: ¿qué partes del sistema creen los usuarios que deberían estar a disposición del público? ¿Qué información sobre todo el aparato de supervisión debería estar disponible para el público?
En total, obtuvimos 85 respuestas de la encuesta. De estas, 68 (el 80 %) se cumplimentaron en su totalidad y 17 (el 20 %) se completaron solo parcialmente. En lo que respecta a los idiomas, 53 encuestas (el 62 %) se hicieron en inglés, mientras que 31 (el 36 %) se entregaron en español. Solo una persona realizó la encuesta en hindi.
La mayoría de las personas que completaron nuestra encuesta se encontraban en Europa. La mayoría de ellas, se identificaron como mujeres, y la franja de edad más común fue la de 30-44 años. Alrededor de un cuarto de las personas encuestadas se identificó como parte de la comunidad LGBT+.
Casi todas las personas encuestadas han pasado más de un año en proyectos de Wikimedia y, aproximadamente, un tercio de estas han comunicado contar con más de una década de experiencia en nuestros proyectos. El 39 % de las personas encuestadas tenían, bien ahora o en el pasado, derechos de administración, mientras que algo más de la mitad —el 55 %— había colaborado en labores de organización de eventos o de grupos de Wikimedia en el pasado. La mayoría de las personas encuestadas —el 73 %— afirma estar contribuyendo en uno o hasta tres proyectos distintos.
Aunque en la encuesta se facilitaba la opción para que las personas menores de 18 años revelaran su edad, no recogimos ninguna información de aquellas personas que se declararan menores de edad, de modo que, al seleccionar esta opción, se redirigía directamente a esas personas hasta el final de la encuesta.
En comparación con el informe de 2018, Información sobre la participación de la comunidad, hubo una participación mucho mayor de mujeres entre las personas encuestadas en este estudio, con una edad media y una ubicación geográfica similares. Si tomamos como referencia el conjunto de datos de comparación de la Wiki, de nuestras 100 wikis principales, clasificadas en función de su tamaño, la media mensual de personas con labores administrativas activas representa, aproximadamente, el 7 % de la media total mensual de personas activas en labores de edición (9 personas activas en labores de administración al mes y 129 activas en edición, también al mes). Se trata de un resultado esperado, debido a nuestro método de reclutar, principalmente, participantes de organizaciones afiliadas, ArbComs y miembros de la comunidad con suficiente experiencia como para encontrar Cafés o páginas similares.
Entrevistas
Para complementar los datos de la encuesta, realizamos cuatro entrevistas semiestructuradas. Todos los participantes se habían puesto en contacto anteriormente con el equipo de Confianza y Seguridad. De nuestras seis invitaciones iniciales, se programaron cuatro entrevistas en total. Una de ellas se llevó a cabo con un miembro del personal de la Fundación Wikimedia, aunque el enfoque de la entrevista se centró en su experiencia como persona voluntaria antes de empezar a trabajar como miembro de la Fundación.
Limitaciones
Debido al pequeño tamaño de muestra y al grupo encuestado no representativo con los que hemos trabajado, esta investigación debe entenderse como un estudio piloto y las conclusiones extraídas de ella no pueden generalizarse. Sabemos que las personas encuestadas suelen tener más experiencia y que han pasado más tiempo en proyectos Wikimedia que la comunidad general, y que disponemos de muchas más personas con labores administrativas que de comunidad general. Sin embargo, las conclusiones aquí planteadas son importantes por algunas razones clave:
- Se trata de preguntas que no se habían respondido en investigaciones anteriores o que, directamente, no se habían formulado anteriormente.
- Esta investigación supone un reto inicial que resulta útil para aquellas presunciones sobre cómo se perciben los sistemas de supervisión.
- Estos resultados subrayan cuáles son las áreas que convendría priorizar en futuras investigaciones.
- Dado que sabemos que las personas encuestadas tienen, de media, más experiencia, podemos deducir que los usuarios en general están menos familiarizados con los sistemas de notificación y supervisión, y se necesita ajustar nuestras presunciones para que coincidan con la realidad.
Conclusiones principales
De forma abrumadora, los participantes declararon que nuestros actuales sistemas de cumplimiento son demasiado complicados y difíciles de entender.
Write-in survey responses noted the existence of loopholes, unclear redirections, the expectation that one may be asked to make reports to the very people one wished to report, and an utter lack of clear instructions on how to report. One of our interviewees noted that it took three years and a chance in-person meeting with a trustee before they even knew about any formal reporting channels. Other frustrations expressed by participants included the fact that only a sliver of problematic behaviour can be reported under their community’s rules; for example, insults directed at a minority group rather than a specific individual are hard to report.
“A disaster. We must endure and be silent.”
El actual sistema de denuncia expone a los informadores a represalias, reacciones negativas o a un cuestionamiento público indebido.
Many of our write-in responses specifically named fear of reprisal as a major negative in our current system. Some of them used a specific jargon term, “boomerang”, to refer to this phenomenon, suggesting that this is so common as to warrant a special name for it.
Administrators and Arbitration Committees are also aware of, and suffer due to this flaw. One interviewee pointed out that the “half-transparent” cases (those where public evidence of harassment was supplemented with private evidence) handled by the Arbitration Committee were especially draining to handle. They described how onlookers would speculate on these private details and proceed to scrutinize or even harass the supposed reporters, and ArbCom members, on the basis of this speculation.
“There is no assurance that the community will handle the problem in a respectful manner towards the person who has suffered the aggression, making the reporting process intimidating.”
Una discreta mayoría de los encuestados nunca ha presentado una denuncia.
54% of survey respondents have never made a report. This includes 40% of respondents who have, or had, held administrator rights.
Seis de cada diez encuestados han decidido deliberadamente no denunciar los incidentes.
Reasons given include a fear of backlash or reprisal, belief that the outcome would be ineffective, and the process of making reports being too confusing or difficult. Write-in answers also indicated that occasionally, the people in charge of receiving reports are the very people that are the subject of complaints.
Dos tercios de los encuestados que no son administradores no están seguros o no saben cómo denunciar un comportamiento problemático.
By contrast, current or former administrator respondents were far more confident in their knowledge of how to report – 83% reported that they did know how to report such behaviour.
“You have to be an expert to know how to use [the reporting system], and if you have that much knowledge you are already an admin.”
This difference exists even among survey respondents who had made reports in the past. 80% of current or former admins who had made reports before report understanding the process. Only 31% of non-admins who had made reports in the past report that they understand the process.
Entre los participantes en la investigación, existe un deseo generalizado de disponer de un canal de denuncia privado en la wiki.
When survey respondents were asked what venues should be available for reports, the most common option chosen was “other private route”; the third most common choice was “on a separate private channel, on-wiki”.
Se tarda demasiado en resolver los casos de acoso.
All of these factors combine to make report resolution a very lengthy process, which itself becomes yet another factor that discourages community members from reporting.
Las comunidades interconectadas con un cumplimiento desconectado permiten a los miembros de la comunidad con un historial de acoso continuar con esas acciones y evadir las consecuencias.
Without prompting, we routinely heard from respondents about certain communities with a bad reputation for being especially combative or hostile. What they had in common was a lack of guidelines around behavior or reporting and a general “blind eye” attitude towards their community members’ histories of rule-breaking behavior, especially if paired with a long history of contribution.
In at least one case, Wikimedia Commons, multiple interviewees pointed out that users with long histories of abuse, to the point of being banned from other Wikimedia projects, were allowed to engage in similar behaviors on Commons.
Los participantes estuvieron divididos en cuanto a cuál debería ser el papel preciso de la Fundación Wikimedia en los sistemas de cumplimiento.
While there is broad consensus within the Wikimedia community that the Foundation should be responsible for certain cases involving minors or credible threats of violence, this consensus breaks down when it comes to most other matters.
Survey respondents alternately decried the Foundation’s involvement while also viewing it as a needed route that bypasses local reporting systems that are being handled by the people they wish to report. Others wanted the Foundation to act as a “backup” option if there were no global administrators, oversighters or stewards available. Still others were upset that the burden of handling harassment reports, especially while organizing Wikimedia events, was shifted to volunteers rather than the Foundation.
Los encuestados deseaban tener acceso a las estadísticas globales y a los resúmenes de los casos, pero no necesariamente a los detalles completos de los mismos.
Our current systems provide full public visibility of all cases made on-wiki. However, when asked what information the general public should see with regards to reporting on Wikimedia projects, more respondents chose aggregate statistics and summaries over full case details. This was true of both administrators and non-administrators.
A pesar de todo, los encuestados siguen considerando, en general, que vale la pena denunciar.
While users were much more likely to view the entire enforcement process as ambiguously useful at best, survey respondents were still generally positive about local admins, the WMF, and event organizers’ likelihood of addressing reports. Slightly over half of survey respondents said that it was “definitely” or “probably” worthwhile to make a report. Two of our interviewees also noted that, even though they knew (or believed) that the people they reported to were powerless to act on their reports, they still wanted to make them. This suggests that the act of reporting is itself an action that people wish to perform, regardless of outcome.
Recomendaciones
Based on these key findings, and supported by the conclusions of previous research on harassment and reporting on Wikimedia projects, we suggest these recommendations for the Universal Code of Conduct phase 2 drafting committee.
Proporcionar un sistema de denuncia anónimo o privado en la wiki.
The outsized fear of reprisal for reporting makes it all the more astonishing that slightly over half of the survey respondents still believe the system is worthwhile. In order not to corrode this trust, on which the entire system relies, we need to provide a way for reporters to privately report incidents.
Whether this is done anonymously or privately (that is, limiting who can see the identity of the reporter), it should be our absolute priority to provide either a technical solution or a policy one to accommodate this clear and pressing need.
Aclarar y agilizar el proceso de denuncia, tanto para los denunciantes como para los administradores.
Our mix of different reporting systems for local admin, global admin, and Foundation-handled events is deeply confusing.
We should provide a means for community members, especially newcomers, to clearly find the appropriate channel and reporting body for the incidents they wish to report. This is especially important for cases of harassment since being the target of sustained harassment already makes it difficult to seek out help in a timely manner.
Clarity, in this sense, means clarifying several factors:
- Recipient of reports: who will receive and address it.
- Pathways for reporting: which is best suited to a specific situation, and where to go to do so.
- Necessary information in a report: how to provide the necessary information to make a report high-quality that allows administrators to act on it/
- Visibility of the report: who will be able to see said report.
- Process of enforcement: how are judgements reached and how are these judgements enforced.[note 1]
Facilitar la presentación de incidentes de acoso a los administradores.
Participants in this research indicate that it is extremely difficult to find where to report, figure out who should receive the report, and finally learn how to structure the report appropriately.
This severely limits the ease of reporting, which may limit opportunities to de-escalate disagreements before they become much harder to address. It may also help make reporting a less stressful action overall and improve rates of engagement, which is necessary in a system that relies on community goodwill and trust in local administrators to function.
Proporcionar resultados más flexibles y variados para las denuncias.
Currently, the outcomes of reports tend to be limited to no administrator action, or some level of escalating restriction on editing. While the Foundation has tried to provide more granular options for administrators to restrict editing, we should look into opportunities to broaden the outcomes of reports.
This could include allowing reporters to have input on the outcome of reports, providing ways for subjects of reports to apologize or make amends, and other non-block dependent outcomes. Alternatively, this could involve greater inter-project coordination to place sanctions on an editor’s behavior across a wider number of projects, or a pathway to escalate reports to other authorities outside of local administrators.
Hacer que el proceso de denuncia sea transparente y no solo visible.
Our existing local reporting systems are by and large fully publicly visible. Nevertheless, this does not mean that they are transparent.
This is a barrier for would-be reporters, who can not only see how complex their reports are expected to be, but also shows them evidence of past backlash and reprisal against other reporters.
For administrators, our completely unstructured reporting systems make it difficult to find archives of reports with the same subject, especially if this happens across projects. It also makes it difficult to address reports as they vary wildly in quality.
Lastly, observers have no access to useful statistics since the current system’s unstructured nature makes it impossible to gather accurate or reliable metrics on reporting, and these reports’ heavy use of jargon makes them hard for observers or laypeople to understand.
Proporcionar mejores directrices o formación específica para que los administradores puedan resolver los desacuerdos evitando que se conviertan en un acoso manifiesto.
Our interviews, and prior research on the topic, point to a link between disagreements over content and escalation into harassment or abuse. However, as prior research has indicated, we have few mechanisms to turn past administrative actions into actual guidelines or precedent for future incidents.
One interviewee also noted that their years-long experience of harassment actually started with a minor disagreement over categorization, and part of how this harassment intensified came about when other users were brought in supposedly to provide “consensus” on the categorization disagreement. Another interviewee’s experience of harassment started with an editor unilaterally bringing up a procedural concern using spurious evidence and drawing in other editors to provide their opinions.
In a healthy community, we could expect such procedural or technical concerns to be separate from the possibility of harassment. To this end, we should make an effort to allow administrators or other trusted community members to diffuse tensions and resolve disagreements, while avoiding aggressive behavior in the process.
Otras investigaciones
This study raises a few avenues of research that may be worth further exploration.
¿Se extienden estas conclusiones a los usuarios en general de los proyectos Wikimedia? ¿Existen diferencias significativas en función del tamaño?
While our targeted survey and interviews provided important perspectives for the work of the committee, it would be useful to know if these findings hold true for the general population. Since many of the concerns raised in this research seem linked to the size and capacity of the local administrators, it would be worthwhile to see if these issues exist across wikis regardless of size or if they change accordingly.
¿Cuál es el estado de nuestros sistemas de denuncia y cumplimiento a nivel global o entre wikis?
This research focused largely on the experiences of community members on a handful of wikis, with issues of harassment generally also limited to those same spaces. We did hear about incidents of off-wiki or cross-wiki harassment, but they were not the focus of this research. Therefore, this seems like a logical expansion for this line of research.
¿Cómo abordan los desacuerdos nuestros sistemas actuales de resolución de conflictos? ¿Hasta qué punto facilitan o mitigan la progresión hacia el acoso?
This line of research would look at potential structural issues regarding our consensus-driven policy process, and the ways in which low-level disagreements are usually treated. If the underlying issues driving harassment are structural rather than incidental – that is, if the ways in which users are encouraged to interact makes it easier or more likely for people to engage in aggressive ways – tackling misconduct will require a very different approach than if the issue lies with a population of people choosing to act aggressively.
¿Influyen los sistemas de denuncia privados en los índices de denuncia? ¿Influye esta privacidad en los índices de cumplimiento?
While the author of this report would argue for a moral imperative to provide private reporting pathways, it would also be prudent to investigate how implementing such a system might impact reporters, subjects of reports and administrators on Wikimedia projects.
¿Es realmente transparente el estado actual del sistema de denuncia? ¿Quién hace uso actualmente de la información de denuncia disponible públicamente?
Publicly visible reports are the current standard of our reporting system, and this is usually justified in the name of transparency. However, we have conducted minimal research into whether or not such visibility actually means the system itself is transparent, nor what the community means by “transparency”. We should investigate how visibility and transparency relate in terms of Wikimedia reporting systems.
A second key question is to figure out who this current state of visibility best serves. As this Targets of Harassment project indicates, would-be reporters are badly served by this publicly visible system. Therefore, we ought to figure out who benefits, if anyone, from this system, and how they make use of this publicly visible information.
¿Cómo se gestionan actualmente las apelaciones? ¿Es este sistema una exigencia realista para las personas que desean apelar?
While we have conducted research on many aspects of enforcement and reporting on Wikimedia projects, we have yet to pay close attention to our unban and appeals process. Investigating these parts of our enforcement process would also be a logical extension of research into enforcement overall.
Notes
- ↑ n.b. There are strong reasons to want to obscure the details of how administrator actions function. In this case, clarity should not override operational security concerns. Clarity may be achieved by providing an outline of actions rather than full details.
- ↑ In particular, refer to Reaching the Zone of Online Collaboration.
Further reading
For a full bibliography of prior research on harassment and reporting on Wikimedia projects, directed by the WMF, please see below. Unlinked documents marked “internal report” are currently limited to WMF staff and contractors, and may be available on individual request. All linked documents are in English.
Lee, Han A., and Crupi, Joseph. Reaching the Zone of Online Collaboration: Recommendations on the Development of Anti-Harassment Tools and Behavioral Dispute Resolution Systems for Wikimedia. Harvard Negotiation and Mediation Clinical Program, 12 Dec. 2017, p. 50.
Lo, Claudia. Reporting System Rubrics: A Comparison of Peer-Dependent Reporting Systems. Wikimedia Foundation, Feb. 2019, p. 62.
Lo, Claudia “Take It to AN/I”: Summary of Existing Research about Reporting Systems. Internal report, Wikimedia Foundation, Nov. 2018, p. 12.
Poore, Sydney. AN/I Survey Summary. Internal report, Wikimedia Foundation, 22 Mar. 2018.
“Wikipedia:Community Health Initiative on English Wikipedia/Administrator Confidence Survey/Results.” Wikipedia, 28 Nov. 2017.
Raish, Michael. Admin Confidence Survey 2019 Preliminary Results. Internal report, Wikimedia Foundation, 20 Aug. 2019, p. 50.
Raish, Michael. Identifying and Classifying Harassment in Arabic Wikipedia: A “Netnography.” Internal report, Wikimedia Foundation, 21 Dec. 2018, p. 23.
Support & Safety Team. Harassment Survey 2015 Results Report.
“User Reporting System/Wikimania 2018 Notes – Meta.” Meta-Wiki, 20 July 2018.