Общественная инициатива в области здравоохранения/Набор показателей

Набор показателей общественного здоровья — это проект, который исследуется командой Доверие и безопасность в сотрудничестве с Инициативой общественного здоровья Фонда Викимедиа. Конечная цель - создание общедоступного набора статистических данных, документирующих относительное состояние сообществ Викимедиа в рамках каждого проекта. Этот проект был исследован в 2018-2019 финансовом году и послужит основой для дальнейшей разработки показателей сообщества в будущем.

Предыстория

Как движение, викимедийцы всегда оценивали различные аспекты жизни своих сообществ. Регулярно собирались такие данные, как уровень активности редакторов, количество новых пользователей и количество удерживаемых редакторов. Хотя эти показатели дают некоторые полезные сведения о состоянии проекта, они не дают существенного представления о проблемах и конкретных областях, требующих улучшения. Инициатива по охране общественного здоровья основана на результатах работы с показателями, уже проделанной отдельными участниками, партнерскими группами, учеными и исследователями, а также Фондом Викимедиа.

Этот проект преследует две основные цели:

1. регулярно обновлять количественные статистические данные, которые дают полезную информацию об аспектах здоровья населения, и
2. предоставлять более качественные возможности для поиска информации, которая не может быть эффективно измерена с помощью количественных подходов.

Этот набор и содержащиеся в нем данные будут ориентированы на две основные аудитории:

1. Местным и глобальным сообществам, чтобы убедиться в относительном благополучии их проектов и легче выявлять ранние признаки нездорового сообщества; и
2. Фонд Викимедиа, который может использовать эти данные (которые теперь собраны в одном централизованном месте) для лучшего выявления тенденций в области общественного здравоохранения и направления усилий в области развития на решение проблем.

Где мы сейчас находимся: Консультация

Процесс

Дата	Этап
Июль-август 2018	Определение показателей; мозговой штурм; внутренняя реклама
Сентябрь 2018	Участие в проектировании; определение местоположения; консультации с сообществом по метрикам
Октябрь-декабрь 2018	Дальнейшая работа над дизайном; обсуждение в сообществе продолжится
Январь-март 2019	Техническая реализация, прототипирование
До конца июня 2019 года	Запуск Набора показателей

В настоящее время этот проект находится на стадии проектирования и консультаций. На данный момент у нас есть приблизительное представление о том, для кого предназначен этот проект (члены местного сообщества, заинтересованные в оценке относительного состояния своих сообществ/проектов, и сотрудники Фонда Викимедиа, заинтересованные в мониторинге этого состояния для таких целей, как разработка инструментов или политики). У нас также есть примерный список показателей, которые мы хотели бы включить в комплект. Именно здесь нам нужна ваша помощь.

Как дать обратную связь

Несмотря на то, что мы создали для этого основу и изложили наши идеи, этот проект пострадает без знаний и опыта сообщества. Здесь мы просим вас высказать свое мнение о наших идеях и предложить свои собственные.

Пожалуйста, используйте страницу обсуждения этого проекта для сбора ваших отзывов. Чтобы упростить задачу, мы создали несколько разделов, посвященных тем аспектам этого проекта, о которых нам больше всего хотелось бы услышать ваше мнение. Один из этих разделов называется «Другие отзывы», потому что в противном случае мы могли бы что-то упустить. Пожалуйста, не стесняйтесь оставлять свои комментарии и предложения в одном, нескольких или во всех разделах! Заранее благодарим вас за ваши содержательные замечания!

Как вовлечься глубже

Помимо получения отзывов о том, что мы делаем, мы также ищем волонтеров, которые хотели бы более тесно сотрудничать с нами в рамках проекта. Если вам интересно, вы можете принять участие несколькими способами:

• Вы можете сотрудничать с нами, чтобы усовершенствовать способ сбора данных в одном или нескольких полях для всех вики-сообществ
• Вы можете помочь найти ошибки, которые мы можем допустить
• Вы можете заручиться нашей поддержкой, чтобы лучше понять ваше собственное сообщество с помощью показателей работоспособности сообщества
• Вы можете помочь распространить знания об этих новых показателях по всей викивселенной.

Если вы заинтересованы инвестировать время в этот проект по одному или нескольким из этих вопросов на среднесрочной или долгосрочной основе, пожалуйста, зарегистрируйтесь в соответствующем разделе страницы обсуждения!

Как мы будем использовать полученные результаты

Ваши отзывы на данном этапе напрямую повлияют на наше отношение к этому проекту. Мнение сообщества, как одной из основных аудиторий этой работы, естественно, неоценимо. Таким образом, все это будет взято на вооружение и использовано для определения будущего этого проекта, поскольку мы сосредоточимся на его дизайне и вариантах использования.

Метрики

В настоящее время мы изучаем показатели, отражающие состояние здоровья сообщества. Они будут основаны на комментариях и предложениях, высказанных в ходе этой консультации, а также на опросах отдельных пользователей и других методах исследования дизайна. Прямо сейчас мы рассматриваем показатели, отражающие такие вещи, как:

• Статистика активных администраторов и пользователей;
• Статистика невыполненных работ (в сравнении с количеством людей, работающих над ними);
• Статистика, которая уже используется для сравнения проектов Викимедиа друг с другом (например, Википедия:Глубина);
• Количество случаев вандализма, блокировок и других административных задач;
• Другие показатели, которые мы еще не разработали :)

Дизайн

Два скриншота из прототипа в том виде, в каком он существует на данный момент.

Мы потратили немного времени на обдумывание того, как этот набор в конечном итоге может выглядеть и использоваться членами сообщества. Наши требования к этому проекту заключаются в том, чтобы он был:

• Доступный для просмотра: членам сообщества должно быть легко находить его и использовать в своей работе.
• Читаемый/доступный: Информацию, которую он пытается донести, должно быть легко читать и усваивать.
• Актуальный: он должен обновляться в режиме реального времени (или, по крайней мере, регулярно), автоматически и с минимальными затратами на техническое обслуживание.
• Переводимый: Он должен быть доступен пользователям на как можно большем количестве языков (в идеале, начиная со стандартных языков ООН), и пользователи должны иметь возможность предоставлять переводы там, где их нет.

Прямо сейчас мы думаем о размещении этих данных на Toolforge, поскольку этот вариант удовлетворил бы большинство вышеуказанных требований. Мы отдаем себе отчет в том, что многие показатели, которых мы хотели бы достичь в этом наборе, уже собраны Викистатистикой, и мы предполагаем, что готовый продукт, скорее всего, будет очень похож на этот по внешнему виду, ощущениям и целевой аудитории.

Первоначальные планы

Опираясь на существующую работу

Некоторые аналитические материалы сообщества высшего уровня доступны на портале Викистатистики. Эта платформа предоставляет данные о:

• Общее количество уникальных устройств
• Самые просматриваемые статьи
• Новые зарегистрированные пользователи
• Новые страницы
• Правки
• Редакторы
• Отредактированные страницы
• Разница в чистых байтах
• Абсолютная разница в байтах

Исследование информации о вовлечении Сообщества дает представление о ряде аспектов общественного здравоохранения, а также предоставляет полезную демографическую информацию.

Отдельные проекты и участники использовали различные подходы и запросы к API, чтобы получить конкретную информацию о конкретных рабочих процессах и проблемах. В качестве примеров можно привести AdminStats в английской Википедии и этот анализ количества администраторов и их соотношения в разных Википедиях.

Существует большое количество прошлых исследовательских проектов, которые в основном касались вопросов общественного здравоохранения или рассматривали смежные аспекты и проблемы.  Мы собрали некоторые из них здесь, в этой таблице; если мы что-то упустили, пожалуйста, добавьте на эту подстраницу!

Research name	Date begun	Date published	Qual. or Quant.?	Topic	Contact/Author	Relevance
How much do Wikipedians value editing Wikipedia?	2017-12	2018-05	Qualitative	Editor satisfaction	Jana Gallus; Avinash Gannamaneni; Aaron Halfaker	High
Growth and diversity of Technology team audiences	2017-11	2018-05	Qualitative	Technical contributors satisfaction	Jonathan Morgan	High
Holder Administration in anderen Sprachversionen AdminCon 2018	N/A	2018-03	Quantitative	Administrators	User:Holder	High
The Keilana Effect: Visualizing the closing coverage gaps with ORES	N/A	2017-08	Quantitative	Gender gap	Aaron Halfaker; Emily Temple-Woods	High
Wikimedia CH Community Survey 2016	2016-12	2017-02	Qualitative	Community Survey	Wikimedia CH	High
New editor support strategies	2016-05	2016-10	Qualitative	New Editors	Jonathan Morgan; Joe Matazzoni; Pau Giner	High
Becoming Wikidatians: evolution of participation in a collaborative structured knowledge base	2016-05	2016-10	Qualitative	New Editors	Alessandro Piscopo, et al.	High
Impact of The Wikipedia Adventure on new editor retention	2014-11	2016-10	Qualitative	New Editors	Sneha Narayan, et al.	Medium
Online Community Conduct Policies	2016-03	2016-06	Qualitative	Conduct policies in other online communities	Patrick Earley; Karen Brown	Medium
Teahouse long term new editor retention	2015-11	2016-05	Qualitative	Editor satisfaction	Rebecca O’Neill	High
Survey of user in Ireland	2015-09	2016-05	Both	Editor retention	Jonathan Morgan; Aaron Halfaker	High
Wikimedia Nederlands survey (2015)	N/A	2016-04	Qualitative	Community Survey	Wikimedia Nederland	High
Wikimedia CH Community Survey 2015	2016-01	2016-02	Qualitative	Community Survey	Verena Linder	High
Wikimedia Deutschland Editor Survey 2016	2015-06	2016-02	Qualitative	Community Survey	Wikimedia CH	High
Monthly wikimedia editor activity dataset	2015-04	2015-08	Quantitative	Editor activity	Aaron Halfaker	Medium
Active editor spike 2015 (July update)	N/A	2015-07	Qualitative	General - Community Health	Haitham Shamma; María Cruz	High
Community Health learning campaign	2015-07	2015-07	Quantitative	Editor activity	Aaron Halfaker	Medium
VisualEditor's effect on newly registered editors (May 2015 study)	2015-06	2015-05	Quantitative	New editors	Aaron Halfaker	Medium
Active editor spike 2015	2015-03	2015-04	Quantitative	Editor activity	Aaron Halfaker; Dario Taraborelli	Medium
Global South User Survey 2014	2014-09	2015-02	Qualitative	Community Survey	Haitham Shammaa	High
Talk Sentiment Analysis: Editor Retention and Editing Prediction	2014-10	2014-12	Qualitative	Editor retention	Sergio Martinez-Ortuno; Lars Roemheld; Deepak Menghani; Leila Zia	Medium
The Role of Wikipedia Mentorship Programs in the Newcomer Experience	2014-07	2014-12	Qualitative	New Users	Gabriel Mugar with Chris Schilling and Aaron Halfaker	Medium
Wikipedia Gender Inequality Index	2014-06	2014-12	Quantitative	Gender Gap	Piotr Konieczny	Medium
Communicating on Wikipedia while female	2014-11	2014-11	Qualitative	Gender gap	Laura Hale	High
Framing Support for Newcomers	2014-07	2014-10	Qualitative	New Users	Yla Tausczik; Jonathan Morgan	Low
Asking anonymous editors to register	2014-03	2014-10	Qualitative	New Users	Aaron Halfaker	Medium
Non-finite Processes in Human Social Phenomena	2012-10	2014-10	Qualitative	Cooperation	Simon DeDeo	High
Women and Wikipedia	2014-01	2014-09	Qualitative	Gender Gap	Amanda Menking; Jonathan Morgan	High
Women and Wikipedia: Contributions in a Collaborative Online Space	2012-03	2014-05	Quantitative	Gendergap	Melanie Kill	Low
Wikimedia Community Visualization	N/A	2013-12	Quantitative	Editor activity	Haitham Shammaa	High
Newcomer survival models	2013-09	2013-09	Qualitative	Editor retention/New editors	Aaron Halfaker	High
Onboarding new Wikipedians/OB6	2013-09	2013-09	Quantitative	New Editors	Aaron Halfaker	Low
Exploring editing dynamics in different language Wikipedias – Towards a substantive grounded theory	2013-05	2013-08	Qualitative	Social dynamics	Pasko Bilic	High
Getting to know the grassroots	N/A	2013-07	Qualitative	Community Survey	Wikimedia Nederland	High
VisualEditor's effect on newly registered editors/June 2013 study	2013-06	2013-07	Quantitative	New Editors	Aaron Halfaker	Low
Gender micro-survey	2013-06	2013-07	Quantitative	Gender	Howie Fung	Low
WikiProjects as virtual Teams	2013-01	2013-07	Quantitative	Social dynamics	Jonathan Morgan	High
Notifications	2013-05	2013-05	Quantitative	Impact of Technical Feature	Aaron Halfaker	Medium
Anonymity and conformity over the net	2012-01	2013-03	Quantitative	Effects of anonymity	Aaron Halfaker	Medium
Post-registration editor survey	2012-11	2012-12	Quantitative	Editor motivation	Steven Walling	Medium
Wikipedia Editors Survey 2012	2012-06	2012-11	Both	Community Survey	Tilman Bayer	High
Wikipedia Editor Satisfaction Survey	2009-09	2012-10	Both	Editor satisfaction	Denis Barthel; Manuel Merz	High
MoodBar/Email confirmation	2012-07	2012-08	Quantitative	Communication	Dario Taraborelli	Low
Editor Lifecycles	2012-06	2012-07	Quantitative	Editor retention	Shilad Sen	High
Master Thesis Cultural differences in motivations to contribute to Wikipedia	2012-05	2012-07	Quantitative	Editor Motivation	Sjarlot Stal; Nick Geurts	Low
Editor milestones	2012-05	2012-07	Quantitative	New Editors	Shilad Sen; Aaron Halfaker	Low
Shallow Entry: A problem-centric approach to new editor orientation	2012-04	2012-07	Quantitative	Editor Motivation	Maryana Pinchuk	Medium
[1]	2012-04	2012-06	Quantitative	Editor Motivation	Aaron Halfaker	High
Motivations to Contribute to Wikipedia	2012-03	2012-06	Unclear	Editor Motivation	Audrey Abeyta	Low
Necromancy	2012-04	2012-05	Quantitative	Editor Retention	Steven Walling	Medium
Wikipedia Editors Survey 2011 November	2011-04	2011-11	Quantitative	Community Survey	Barry Newstead	High
Women and Wikimedia Survey 2011	2011-05	2011-10	Qualitative	Gender gap	Sarah Stierch	High
Summer of research 2011	N/A	2011-08	Both	mostly New editors, but also Editor retention		Medium
Wikipedia Editors Survey 2011 April	N/A	2011-04	Quantitative	Community Survey	Mani Pande	High
Expert participation survey	2010-12	2011-02	Quantitative	Expert participation	Dario Taraborelli	High
Hebrew Wikipedia satisfaction survey	2007	2007-07	Qualitative	Community Survey	Wikimedia HE	High
100 Questions for Wikipedians	2005	2005-02	Qualitative	Community Survey	Aphaia	Medium
Teahouse group dynamics	2017-05	Ongoing	Quantitative	Impact of harassment	Yiqing Hua; Dario Taraborelli; Leila Zia; Lucas Dixon; Nithum Thain; Cristian Danescu-Niculescu-Mizil	Medium
Detox	2017-01	Ongoing	Quantitative	New Editors	Ellery Wulczyn	High
Study of harassment and its impact	2016-05	Ongoing	Qualitative	Social dynamics	Jonathan Morgan	Medium
Good Faith Newcomer Prediction	2016-05	Ongoing	Qualitative	Social Dynamics	Anna Filippova, et al.	High
Understanding the Dynamics of Hackathons for Science	2016-04	Ongoing	Qualitative	Time commitment and workflow	Kevin Schiroo	Medium
Measuring editor time commitment and workflow	2016-01	Ongoing	Quantitative	Toxic language	Ellery Wulczyn	Medium
Beyond the Gender Gap: Understanding Women's Participation in Wikipedia	2015-10	Ongoing	Qualitative	Gender gap	Danielle McDonald Corple	Low
Online harassment resource guide	2015-07	Ongoing	Qualitative	harassment	J. Nathan Matias, et al.	Medium
Editor Behaviour Analysis & Graphs	2015-06	Ongoing	Quantitative	Editor statistics	Jeph Paul	High
Wikipedia Equality Sweden	2014-10	Ongoing	Quantitative	New Users	Aaron Halfaker	Low
HHVM newcomer engagement experiment	2014-08	Ongoing	Qualitative	Gendergap	Björn Helgeson; Jonathan Morgan	Medium
The sudden decline of Italian Wikipedia	2014-05	Ongoing	Quantitative	Editor Activity Decline	Nemo with Aaron Halfaker	Medium
Dynamics of Online Interactions and Behavior	2012-01	Ongoing	Both	Roles and Functions	Ofer Arazy; Dario Taraborelli	High
Wikipedian and Internet addiction	2010-09	Ongoing	Both	Social dynamics	Dario Taraborelli	Medium
Measuring editor labor hours	2016-04	N/A	Qualitative	Addiction?	OppidumNissenae; Geoide; Alexmar983	Low
Roles and Functions within Online Production Communities	2015-08	N/A	Quantitative	Editor activity	Aaron Halfaker	Low

Основные направления деятельности

Мы начали этот проект с анализа того, что уже собрано, а что нет, и определения того, какие точки данных и области должны быть приоритетными для этого проекта. Это будет включать как сбор новых показателей, так и использование существующих показателей по-другому (например, предоставление новых соотношений и сравнений уже собранной информации). Некоторые из основных областей, которые мы рассмотрели для включения в набор показателей:

• Демография
• Статистика администратора
• Статистика пользователей
• Новые учетные записи
• Уровни активности
• Уровень удержания
• Распространенность вандализма, троллинга, домогательств
• Фильтр нарушений, сообщения о вандализме
• Культурные, этнические, гендерные барьеры
• Предвзятое отношение к содержанию
• Языковые барьеры
• Доступ к инструментам
• Доступ к Интернету
• Доступ к библиотекам и информационным ресурсам

Планы на будущее: Все больше и проще проводить качественную геодезию

Опираясь на проведенный инициативой Community Health initiative анализ Доски объявлений/инцидентов администраторов английской Википедии. В рамках этого проекта был проведен опрос пользователей об их опыте работы с важной доской объявлений. Мы хотим улучшить работу по проведению опросов - помочь сообществам проводить опросы самостоятельно с помощью легко адаптируемых форм опроса, эффективных методов привлечения респондентов и помощи в анализе результатов.