学習と評価/事例集/WWHM
WikiWomen's History Month Edit-a-thons
この評価報告書が扱う2件のイベントはどちらも題名が「ウィキウィメン・エディタソン」といいます。開催時期は2012年3月と2012年6月、開催地はカリフォルニア州サンフランシスコでした。ウィキメディア財団の事業所内にお借りした会場で実施しました。これらのイベント開く意欲は、ウィキペディアの女性編集者を増やしたいと考えたことに始まります。ウィキペディアのジェンダー格差は明白で - 編集活動をする男性のほうが女性より多く、コンテンツの偏重のシステム化が起こっています。両イベントとも、より多くの女性をウィキペディアの編集に招き入れ、英語版ウィキペディアに既存の女性史ならびに関連の主題を改善することに置きました。
課題と動機
この節はイベントごとの要点と成果をまとめてあります。
第1回開催のまとめ
The first event, held in March 2012, came out of the idea of WikiWomen's History Month (WWHM), which was developed by Wikimedia Foundation Community Fellow Sarah Stierch and Wikimedia New York City President Pharos. WWHM takes place every year during Women's History Month in the United States, Australia, and the United Kingdom. This international event calls upon volunteers throughout the Wikimedia community to host edit-a-thons focused around writing and improving articles related to women's history on any language Wikipedia. Stierch led the planning for the Wikimedia Foundation (WMF) event remotely, as she working out of Washington, D.C. at the time.
The team consisted of six volunteers total, who spent approximately 51 hours of volunteer time planning and executing the event. The team was able to secure $250 in support from WMF for food and drinks. Volunteers developed to-do lists for participants of articles needing creation and improvement and also gathered the appropriate reliable secondary sources needed to contribute to Wikipedia. They worked with the WMF Information Technology (IT) department, who donated their time to making sure internet access, power strips and laptops, participants who needed them could borrow, were available. In total, 36 participants were recorded as attending. The event consisted of 33.3% new editors. Participants added over 30,000 characters to the English Wikipedia article space, totaling 247 edits. Those contributions total 20 standard sheets of paper. A total of 11 new articles were written and 22 articles were improved. This first event inspired the planning of a second event.
第2回開催のまとめ
初回の開催に刺激を受けたボランティアから同年6月に第2回を開く案が出され、サラ・スティアチ Sarah Stierch の勤務先がサンフランシスコであったことから、企画作成で主導的な役割を引き受けて基本案をまとめ、他のボランティア3名の協力を得たことと初回の経験知を生かせたことから、準備期間を短縮、ボランティアののべ活動時間はおよそ31時間、リーダーの企画にかかった時間はおよそ20時間でした。
第2回は初回から引き継いだ要素が多く、ウィキメディア財団から受給された補助金250アメリカドル（飲食費）ならびに財団の技術部門からラップトップPCと電源コード、安定したネット回線への接続の提供を受けています。ボランティアの手で「やることリスト」がまとまり、英語版ウィキペディアに掲載済みの女性誌に関する記事を改訂するにあたり、必要なリソースを整えました。参加者31人がエディタソン当日に集まり、その内訳は編集経験者の率が際立って増え、エディタソン以前にウィキペディアの編集をしたことがある人が96.7%を占めました。参加者中編集初心者として記録されたのは1名のみであり、特定できる投稿は1件、またイベント終了後の編集活動は見られません。ところが編集経験者の多さの割に、実際に編集を行った人は参加者の35.4%止まりで、文字数にして 23,000 文字、編集件数は合計 250 を貢献しました。文字数はプリントアウトした場合、15枚相当に当たります。女性史と関連の主題について、新規立項は5本、既存の記事改善が24本でした。
ウィキウィメン・エディタソンの論理モデル
作業手順
この節では段階を追ってプログラム実施手順を説明します。
初回の開催
事前準備
- ウィキウィメン歴史月間の開催発表と参加募集をウィキメディア・サンフランシスコ協会のメーリングリストWikimedia-SFで告知すると、ボランティア (6名) からエディタソンの企画に興味があると打診がありました。
- そのボランティアは通常の活動報告メーリングリストとは別に独自のメールのスレッドを作り、イベント準備は主にこの経路で話し合われました。
- 準備は開催日選びと、ウィキメディア財団の事務所内に場所を借りられるかどうか、人事部門（human resources）との交渉から始まりました。財団内のイベント日程表にエディタソン開催を載せ、使用スペースが予約済みであると周知されました。
- エイト版ウィキペディア上にウィキウィメン・エディタソン特設ページ event page を開設、活動中心の「ウィキウィメン歴史月間」の日程表ページからリンクを設定。
- ボランティア1名が担当となり、カリフォルニア州北部地域の利用者に向けてウィキペディアのトークページ経由で参加募集をかけました。
- ボランティア2名はウィキペディアに利用者登録をしていない人々向けに EventBrite にイベント情報を掲出、参加受付を開始。
- イベント告知には各種メーリングリスト（サンフランシスコのベイエリア技術リスト、女性運動・フェミニスト活動リスト、ウィキメディアのリスト）を活用、SNS として Twitter や Facebook も利用。
- 財政面ではボランティアがウィキメディア財団から活動資金の補助（250アメリカドル）を確保し、イベント当日のお菓子類と酒類を除く飲み物の予算に充当。
- 機材面では財団の技術部門と調整し、当日、参加者に貸し出すラップトップを準備。イベント開催の日時を打ち合わせ、電源延長コードとワイファイアクセスを手配。
- イベント当日に発表するため、ボランティア数名が担当して「やることリスト」 to-do list を作成、女性史関連で新規立項もしくは改訂が必要な既存の記事をウィキペディアから抽出。このリストに基づき、その後も WWMH に関与した国内外のボランティアが整備しています。# イベント開催数日前には、ボランティアから財団の人事部門に連絡を取り（250アメリカドルの寄付者）参加者の予定人数分の食事の出前を頼みました。実際には予定参加者数より多めに発注し、もし当日までの間に申込者数が増えても対応できるようにしました。
- ボランティアの手で案内表示が作られ、財団事務所内のイベント会場まで続く廊下やエレベーター内に掲出。
- 財団の宣伝用商材（お土産）を購入。
イベント当日
- Volunteers arrived one hour before the start time to prepare the space. (19:00)
- To-do lists were printed out for participant use, with specific tasks being needed (i.e. "these articles need to copyediting")
- Guidance signs were printed out and posted for attendees.
- Caterers arrived and catering was set up.
- Tables were set up with specific tasked themes, so experienced editors could help new editors - i.e. "how to make an account," and "how to copyedit". Signs were placed on tables.
- Swag was placed at the sign in table and distributed on tables throughout the event area.
- Event starts! (20:00-00:00)
イベントの開催中
- Experienced editors helped new editors at specific tables guiding them in various tutorials.
- Volunteers maintained that the space was clean and tidy throughout the event.
- Volunteers and participants made sure that the event page was updated with who attended and what articles were worked on.
- Volunteers took photographs of the event to document it.
- Volunteers rotated at the door downstairs to let attendees in. WMF is located on the 6th floor of an office building, and the main door is locked on the weekends for security.
イベント終了後
- 開催の様子を伝える写真をウィキメディア・コモンズに投稿
- イベント用特設ページでは成果 Outcomes の欄で情報を更新。
- ボランティアのリーダーたちでイベントの反省点を共有。この過程を「実績と課題」 lessons learned and successes のページに反映。
- 参加者に対応するボランティアは、最初の受付で歓待するところから、助けが欲しい時にウィキペディアのどこを見れば良いか、案内。（例）
- ボランティアの第2回を希望する声で開催が決定。
第2回開催
A few changes were made to the process for the second event. Here we will list the changes. Sarah had relocated to San Francisco and was able to take on the majority of planning herself. Also, the Wikimedia Foundation remained as the sponsor and location of the event.
The only changes that took place from the original planning process were:
事前準備
- Decision to do a second event and the date selection took place on a private email thread, not a public mailing list.
- Three volunteers created a to-do list, since this event wasn't associated with WikiWomen's History Month.
- The same signs used for the first event were used again, after being saved to a shared drive for future use.
- View the Eventbrite invitation here and the on wiki event page here.
イベント当日
変更点なし。
イベント開催中
- イベントを記録する写真を撮影しなかった。
イベント終了後
- Outcomes section was updated.
- A third event was not immediately planned after the second event was completed.
- Sarah added templates to the pages created and improved at the event, reminding experienced editors that a new editor might have created it, and to be friendly and helpful if making changes or suggestions. Example here.
結果
この節ではイベントの結果 - 参加者と成果について述べます
参加者
第1回、第2回とも出席した参加者のでーたをまとめてあります。
- Experienced editors, in this evaluation, is defined as an editor having more 100+ edits before the event.
- Participants with accounts before the event are editors who had Wikipedia accounts, regardless of it they have edited in the article space or not.
- New editors are defined as those who did not have accounts until the day of the event.
| データ | 第1回エディタソン | 全体に占める割合（%） | 第2回エディタソン | 全体に占める割合（%） | 総合計 |
|---|---|---|---|---|---|
| 参加者総数 | 36 | — | 31 | — | 67 |
| 編集歴が長い人 | 13 | 65.0 % | 20 | 64.5 % | 33 |
| イベント開催前に利用者登録済み | 25 | 69.4 % | 30 | 96.7 % | 55 |
| 編集初心者 | 12 | 33.3 % | 1 | 3.2 % | 13 |
| イベント当日に編集 | 26 | 72.2 % | 11 | 35.4 % | 37 |
- 主な成果
Event #2 had an overwhelming majority of participants who had edited Wikipedia before. In fact, 42% of the participants who attended event #2 had attended event #1. Event #1 was more successful in attracting new editors, who totaled 33.3% of the participants. Event #1 also had a higher participant editing rate, meaning more people actively edited during the event, despite a 13.8% difference in total attendance between the events.
- 質問
- What about event #2 attracted about the same amount of attendees, but less new editors?
- Event #2 was successful at retaining attendees from the previous event. What motivated them to be repeat attendees?
- Why did such a less number of people edit at event #2? Do editors who have edited before edit less at events than new editors?
直接の実績
文字数と編集回数の関係
この表はイベントで収集した結果をまとめてあります。
| データ | 第1回エディタソン | 全体に占める割合（%） | 第2回エディタソン | 全体に占める割合（%） | 総合計 |
|---|---|---|---|---|---|
| 過密文字数の総計（参加者全員） | 30,594 | — | 23,251 | — | 53,845 |
| 新人編集者が加筆した総文字数 | 5,977 | 19.5 % | 1 | 0.0 % | 5,978 |
| 合計加筆文字数（イベント開催前に利用者登録済みの参加者） | 24,740 | 80.8 % | 23,250 | 99.9 % | 47,991 |
| 平均加筆文字数（イベント参加者全員） | 849 | — | 750 | — | 1,599 |
| 参加者全員の編集総数 | 247 | — | 250 | — | 505 |
- 主な成果
At both events, participants with accounts before the event edited significantly more, which is understandable due to the skill set of editing that they bring to the event. With less editors editing during the second event, they still contributed a total of 15 pages of paper to the Wikipedia article space, just 5 pieces of paper short of event #1. The one new editor who attended the second event was significantly unproductive compared to others at the event. They only contributed one edit, totaling one character.
In total, the combined events totaled 40 pages of standard copy paper.
- 質問
- この規模のエディタソン（参加者32人）が平均してどれくらいの成果をあげるか測定する前なのに、平均以上か以下か、どうやって判断するのですか？
- 第2回開催の新人編集者は編集件数も加筆した文字数もあんなに少ないのはなぜですか？
主題の改善 =
| データ | 第1回エディタソン | 全体に占める割合（%） | 第2回エディタソン | 全体に占める割合（%） | 総合計 |
|---|---|---|---|---|---|
| 合計新規立項件数 | 11 | — | 5 | — | 16 |
| 女性関連の新規立項合計 | 9 | 81.8% | 3 | 60 % | 12 |
| 合計改訂記事数 | 22 | — | 24 | — | 46 |
| 女性関連の合計改訂記事数 | 15 | 68.1 % | 9 | 37.5 % | 24 |
- 主な成果
総合すると、両開催をつうじて新規立項した記事16本、内容を改善した既存の記事は合計46本でした。目指した成果は新人編集者の獲得にとどまらず、女性史ならびに関連分野の既存の記事改善も目指していました。どちらの開催も、主催者に記事の本数という到達目標はなかったものの、後者の目的は十分に達成しました。両方の開催では、書き下ろしの記事の主題の多くは女性を主題にしています。第1回の22件と比べると、第2回の時は改善した記事数が2件増えて合計24本でした。イベントで編集を初体験した人数は初回開催で36人中26人であり、同類の参加者が11人（全31人）だった第2回と比べると新規記事でも、女性関連の既存の記事の改善でも、成果の記事数で下回っています。
- 新規立項記事の品質
| Event #1 | Event #2 | Total | |
|---|---|---|---|
| Good article | 0 | 1 | 1 |
| Did You Know | 1 | 0 | 1 |
- 質問
- 第1回開催と第2回を比べると、初回のほうが女性に関する記事をすごくおしたきじをさくせいしていますが、理由は？
- 第2回開催は、前よりも改善した記事数が多いのではないですか、編集歴が長い参加者の数が多いでしょう？
- 特定のテーマを決めたり、具体的に「やることリスト」を設けたほうが、何もしないイベントよりも影響力が大きいんですか？
- 英語版ウィキペディアのエディタソンを見回すと、新規記事作成と既存の記事編集の平均件数はわかりますか？
Retention
This evaluation used Wiki Metrics to see if participants at both events edited one month and six months after each event, with the intention of understanding the retention of editors.
One month
- A retained editor is considered an editor that makes 5+ edits a month.
| Data | 第1回エディタソン | 全体に占める割合（%） | 第2回エディタソン | 全体に占める割合（%） | 総合計 |
|---|---|---|---|---|---|
| Total attendees | 36 | — | 31 | — | — |
| その後も活動を続ける編集者数 | 17 | 47.2 % | 17 | 54.9 % | 34 |
| Total editors that were retained who were new at event | 3 | 17.6 % | 0 | 0.0 % | 3 |
| Total characters added by all participants | 277,020 | 184.7 sheets of paper | 190,431 | 127 sheets of paper | 467,451 |
| 平均加筆文字数（イベント参加者全員） | 7,695 | — | 6,143 | — | — |
| Total characters added by participants that were new at event | 1,371 | 0.5 % | 333 | — | 1,704 |
| 平均加筆文字数（イベント開催時に初心者だった編集者） | 114 | — | 333 | — | — |
| Total characters added by participants who had accounts before event | 275,649 | 99.5 % | 190,098 | 99.8 % | — |
| 平均加筆文字数（イベント開催前に利用者登録済みの参加者） | 11,025 | — | 6,336 | — | — |
| 参加者全員の編集の総数 | 1,732 | — | 1,338 | — | 3,070 |
| Total edits made by participants that were new at event | 62 | 3.6 % | 1 | 0.07 % | 63 |
| 編集総数（イベント開催前に利用者登録していた） | 1,670 | 96.4 % | 1,337 | 99.9 % | 3,007 |
- 主な成果
Both events retained the same number of users, with possible overlap due to 42% of the attendees from event #1 attending event #2. However, event #1 had three new editors successfully retained after one month, when the one new editor who attended event #2 made 1 edit, totaling 333 characters, but did not make further edits to be considered retained. For both events, editors who had accounts before the events contributed over 99% of the characters added after one month. They did contribute more characters and make more edits after the first event.
In total, combined character additions from both events equals 314.7 pages of standard copy paper. That's enough pages to fill one copy of the first Harry Potter book, Harry Potter and the Philosopher's Stone, US edition!
- 質問
- 第1回開催の参加者3名が引き続き参加した理由は？
- 両開催で新人編集者の編集件数がゼロだが、1カ月後でも記録に残る編集ができなかった理由は？
- 第2回開催の新人編集者が、333文字の編集を1件だけ手がけたきっかけは？ そのあとは編集をしなかった理由は？
- 第1回開催から1カ月後に編集をした参加者のほうが投稿したバイト数や件数が多めな理由と、第2回開催でイベント後も編集活動を続けた17名を上回っている理由は？
Six months
| Data | 第1回エディタソン | 全体に占める割合（%） | 第2回エディタソン | 全体に占める割合（%） | 総合計 |
|---|---|---|---|---|---|
| Total attendees | 36 | — | 31 | — | — |
| Total retained editors | 16 | 44.4 % | 18 | 58.1 % | 34 |
| Total editors that were retained who were new at event | 1 | 2.7 % | 0 | 0.0 % | 1 |
| Total characters added by all participants | 1,594,906 | 1,063.3 sheets of paper | 2,214,464 | 1,476.3 sheets of paper | 3,809,370 |
| 平均加筆文字数（イベント参加者全員） | 44,302 | — | 71,434 | — | — |
| Total characters added by participants that were new at event | 1,505 | 0.9 % | 0 | 0.0 % | 1,505 |
| 平均加筆文字数（イベント開催時に初心者だった編集者） | 125 | — | 0 | — | 125 |
| Total characters added by participants who had accounts before event | 1,593,401 | 99.9 % | 2,214,464 | 100.0 % | 3,807,865 |
| 平均加筆文字数（イベント開催前に利用者登録済みの参加者） | 63,736 | — | 73,815 | — | — |
| 参加者全員の編集の総数 | 11,152 | — | 13,170 | — | 24,322 |
| Total edits made by participants that were new at event | 67 | 0.6 % | 0 | 0.0 % | 67 |
| 編集総数（イベント開催前に利用者登録していた） | 11,085 | 99.3 % | 13,170 | 100 % | 24,255 |
- 主な成果
Little changed outside of the one month retention rate of 17. The events retained 16 and 18 editors, respectively. The count of new editors retained declined, from three to one from event #1, and stayed at zero from event #2. However, that one retained editor made more edits than the three previously retained editors did in one month. Event #1 participants averaged about the same contribution wise, over six months, than they did one month later. Editors from event #2 were more productive after six months time. They added 38.8% more characters to the English Wikipedia article space, and their monthly average was 11,905, higher than the one month later average of 6,336. They made up for their lower productivity seen one month after.
In total, combined character additions from both events, six months later, equals 2,539.6 pages of standard copy paper. These contributions could fit into two copies of War and Peace with a little text left over. That is an average of about 423 sheets of paper (bigger than that Harry Potter book!) written a month.
- 質問
- Why did that one editor retain after six months?
- Why did those two editors fail to be retained?
- Why did the event #2 retained editors "make up" for their lower contribution numbers that appeared one month later.
Limitations
- Lack of data on the average of characters added and edits made at edit-a-thons around the world, of this average size (30-35 participants). This would allow us to learn more about the impact of individual events and gain a broader sense of if these events meet their goals (i.e. retaining new editors, exciting experienced editors, people have fun, content gets improved)
- On occasion, editors create new accounts (perhaps due to losing password information, socks, (legal and not legal), bots, etc.) and we're unable to track those changes. So, we are unaware if perhaps a new editor who edited at the event, made a new account after the event and was retained.
- It was very hard to do an evaluation almost a year after the event took place. It's best to do it in the "present" of the event time.
Next steps and reflection
What worked well
- Having experienced editors on hand to help train and work with new editors as needed.
- Reaching out to non-Wikimedia channels, such as universities and organizations, can help bring new and curious participants.
- Pre-preparing materials such as print outs and templates (even the event page template) is helpful, which made the second event take less time to prepare.
- Having refreshments and giveaways always makes an event more enjoyable!
- Taking photographs at the event makes for helpful images to promote the event in the future.
- Having a to-do list prepared is helps participants make easy decisions on what to edit.
- Allowing people to bring children, especially at women-centric events where it might be hard for someone to find child care.
- Having regular events - we held the events with a few months of each other around the same time of the month which makes consistency in the event and can attract same attendees.
What didn't work well
- Properly track who does attend the event. Both events failed to track all attendees. Which can lead to data being incorrect.
- Parents brought children, but, no child care was provided and children eventually got bored.
- Not evaluating throughout the entire process. Thus an evaluation over a year later.
- We only took photographs at one event. Always take photos.
What data we would seek next time
- Complete listing of who attended and made accounts.
- Survey participants before (perhaps brief survey upon arrival) and a post-event survey to learn about:
- General attitude and feeling about event
- Learn about participants skill, experience and knowledge with Wikipedia
- Learn about what participants want to experience at the event
- Learn if participants believe they will edit after the event
- Gender/background information
- Reach out personally to participants, especially new editors, not just on talk pages (email, phone) to see why or why not they have edited.
- Return on investment.
Conclusion
With intended goals to improve women related articles and to teach and retain new women editors, these two events succeeded easily at one, and struggled at the other. In total, both events created 12 new articles and improved a total of 24 existing articles. Article subjects that were created include American journalist and activist Eva Valesh and feminism in Russia, the latter which became a good article. Improved articles include the core article women's history and the biography of Russian writer Irina Ratushinskaya. Additional articles were also written and improved. Total article creations and improvements for both events were 16 and 24, respectively.
The intended outcome of retaining new editors who attended the events was a clear struggle. Event #1 had a total of 36 attendees with 33.3% being new editors, event #2 struggled to attract new editors, bringing only one who made an account at the event. The event #2 failed to retain that editor. However, event #1, after one month, succeeded at retaining three out of their 12 new editor participants. Averaging 114 characters added each, those three declined to one retained editor, after six months time. However, that one editor averaged 125 character contributions each month, that is a higher average than those three editors had after one month!
まだ答えが出ていない質問は多く、例えば成果をお祝いするとして何を祝うのかという問いかけもあります。イベント後も編集活動を続ける1名の存在か、あるいは編州をやめなかった理由か。たとえばウィキペディアの編集をする人には特定の性格があり - それが何にせよ - その型にたまたまピッタリだったのか？ あるいはまたイベントで刺激を受けてコミュニティにも関わったのかどうか？ 編集初学者にTeahouseその他、手助けを得る仕組みの案内を取り入れたことが、1名の定着に結びついたのか？ 現状では質問するほかありません。もちろん女性関連の記事に注目する編集者がイベントに参加して寄せた貢献はお祝いに値しますし、編集経験の長さに無関係に（初学者はたった1名でも）、イベント後も世界最大の無料の百科辞典を築き改善している人たちを祝福したいものです。
エディタソンはしばしば固有の目的を置いて開かれ、たとえばウィキペディアの編集に興味がある人同士が集まれる気軽な機会や、これから編集者として活動をしそうな初心者を教えたり、多くの場合はテーマを絞り込んだ開催にして編集者を励ましながら短時間でコンテンツを投稿するコツを伝えるなどしています。すべて善意のもとに進みます。ただ、エディタソンという仕掛けそのものが果たして目標に適していてほんとうに影響力を発揮しているのかどうか、根本から評価する作業はまだ実現していません。そしておろらくゴール達成が不可能であれば活動している間に実感するでしょうし、その他の成功ポイント - 参加者が楽しみ知り合いを増やして帰っていく、あるいは好奇心にひかれて参加した新人編集者が実際に編集をするウィキメディアンの姿に触れてウィキペディアをもっと理解したり、開催後、主催者がやってよかったという特別な気持ちになるなどが認められるかもしれません。これらの成功はどれが重要でどれは軽視できるというものではなく、新人編集者が増えたか、コンテンツが改善されたかと重みに差はないのです。どの使命にエネルギーをつぎ込むのか、計画から実施までエディタソンの構想を見つめ直すを示すのみです。