Programa Catalisador do Brasil/Planejamento 2012-2013/Análise de Dados e Experimentos

Nessa página faremos uma primeira coleta de informações sobre demandas de tarefas e priorizaremos as ações a serem realizadas.

Sabemos que não poderemos realizar tudo que queremos ao mesmo tempo, portanto é importante que urgências e questões prioritárias sejam destacadas juntamente de suas motivações.

Introdução

Olá todos, como muitos já sabem a Wikimedia Foundation contratou em Fevereiro de 2013 Henrique Andrade como consultor em análise de dados e experimentos para atuar no Programa Catalisador do Brasil. O detalhamento da vaga foi construido colaborativamente através da Wiki e agora chegou a hora de planejarmos nossas ações.

Nos primeiro dias de trabalho Henrique Andrade passou pelo processo de onboarding, estudando o funcionamento das ferramentas da Wimimedia Foundation e ajudou na realização de tarefas que já estavam em curso. Durante esse processo algumas tarefas foram pensadas e elas estão listadas nesse documento servindo como um primeiro passo para nosso planejamento.

Metodologia

Iremos durante a semana listar as tarefas que podem ser realizadas nessa página, justificando sua motivação e seu grau de prioridade. Na sexta-feira, iremos debater sincronamente no canal #wikipedia-pt as sugestões aqui colocadas e na segunda-feira seguinte as propostas serão sistemazidas em um plano de trabalho.

Durante toda a semana Henrique irá reservar pelo menos 2 horas de seu dia (entre 17h e 19h de Brasília) para ler e responder todas as edições feitas nessa página.

Cronograma

Data	Ação
Primeira Semana de Março	Debate nessa página sobre o planejamento
08 de Março	Conversa no canal #wikimedia-br às 17h (horário de Brasília) sobre as atividades propostas
15 de Março	Conversa no canal #wikimedia-br às 17h (horário de Brasília) sobre priorização das atividades propostas
15 de Março	Definição de uma tarefa prioritária
29 de Março	Organização de agenda de trabalho baseada nas prioridades debatidas na página

Tarefas

Para organizarmos melhor a página as tarefas foram dividas em 4 categorias: Ações Sistemáticas, Ações Eventuais, Experimentos e Ações do Programa Catalizador do Brasil.

As tarefas que envolverem trabalho de programação serão sempre que possível realizadas no Toolserver de forma que demais pessoas possam ter acesso ao código e contribuir com o trabalho.

Ações Sistemáticas

Aqui serão listadas ações que devem ser repetidas ao longo do tempo. Essas ações devem preferencialmente ser automatizadas para rodarem sistematicamente gerando páginas com relatórios de fácil acesso, quando for o caso.

Monitorar acessos diários à Wikipédia e outros projetos em português

• O número de acessos de cada projeto já é disponibilizado em um pacote tar com arquivos separados por hora. A estrutura desses arquivos está bem documentada e eles podem ser usados para popular uma base que gere relatórios dinâmicos de fácil consulta.
• Importância: observar se ações como workshops ou notícias na mídia impactam o número de acesso no momento de sua realização.

Atualizar planilha de estatísticas PT:WP

• Existe uma planilha no google docs que é atualizada a partir dos dados divulgados na página de estatísticas da Wikipédia em Português. Esses dados podem ser armazenados em um banco de dados auxiliar no toolserver de forma automatizada, permitindo a fácil geração de análises desses dados.
• Importância: com o passar do tempo alguns meses não aparecem mais no comparativo do stats. Mantendo os dados armazenados em outro local garantimos a possibilidade de análise de séries históricas.

Atualizar estatísticas anuais

• A partir dos dados da página de estatísticas foi feita uma análise da variação de alguns índices ao longo dos últimos anos. Esses dados podem ser gerados automaticamente a partir da base proposta acima e inclusive permitir em uma página dinâmica a geração de análises por períodos de tempo customizados.
• Importância: a planilha citada anteriormente permite uma visualização de variações mensais nos índices de uso da Wikipédia, porém para uma visão macro da evolução desses números (seja anual, semestral, por temporada etc.) que permita visualizar tendências sólidas se faz necessária essa outra forma de visualização.

Geolocalização dos acessos

• Os dados referentes a geolocalização dos acessos a wikipedia não são abertos por questões de privacidade. Porém, um sistema automatizado pode acessar esses dados e oferecer a usuários telas de consulta que informem a concentração de ações por região, sem expor os IPs dos usuários.
• Importância: saber de quais cidades partes os acessos a Wikipédia, ajudando a avaliar retorno de ações presenciais assim como apontando potencialidades para planejamento de futuras ações.

Ações Eventuais

Aqui serão listadas ações que devem ser realizadas apenas uma vez, que não demandem repetições ao longo do tempo.

Quantas perguntas em páginas de discussão não são respondidas

• Medir quantas perguntas em páginas de discussão não recebem resposta e buscar relações entre esse rentenção de usuários e falta de respostas.
• Importância: saber qual o impacto de uma pergunta não respondida para a retenção de um editor.

Criar espaço multiusuário no Toolserver

• Quando um usuário cria uma conta no Toolserver ele ganha um espaço de trabalho acessível apenas por seu usuário. Porém, o Toolserver oferece a possibilidade de criação de Multi-maintainer projetcs, onde vários usuários podem participar do mesmo projeto.
• Importância: Permitir que equipe WMF e comunidade trabalhem de forma conjunta na constução de soluções dentro do Toolserver.

Medir votações apertadas e consensos e a efetividade das decisões

• Algum decisões apesar de tomadas não são seguidas por todos. Popularmente, existem "leis que não pegam". Será que a forma de decisão de uma regra pode impactar em sua real aplicabilidade futura? Podemos monitorar cmo decisões foram tomadas e fornecer uma interface para a comunidade apontar quais regras estão funcionando bem ou não, compararando essas duas informações e buscando padrões.
• Importância: saber se a forma de decisão impacta na real efetividade das regras decididas.

Implementar o Snuggle na PT:WP

• Na Wikipédia em inglês já está em uso o Snuggle, um sistema que permite wikipedistas avaliarem a ação de novos editores e marcá-los como de boa fé ou vândalos.
• Importância: Esse sistema pode auxiliar tutores a se aproximarem de editores de boa fé e facilitar a identificação de vândalos.

Experimentos

Aqui serão listados experimentos que desejemos realizar que demandem monitoramento de dados para análise de sua efetividade.

Monitorar Experimentos feitos com o CAPTCHA Done - por vias meio tortas, não como tínhamos planejado, mas acabamos medindo (sem separar grupos A/B) quando o CAPTCHA foi removido pela comunidade do MediaWiki.

• Está prevista no planejamento a realização de experimentos ligados ao uso do CAPTCHA. Esses experimentos devem ser planejados de forma que dados relevantes sejam coletados antes e durante o experimentos, para que seus prós e contras possam ser apontados.
• Importância: Reunir dados que possam apontar variações no volume tanto de vandalismo como de retenção de novos editores durante experiências com o CAPTCHA.

Retenção de novos editores x Uso de Páginas de Testes

• A partir desse debate surgiu a ideia de medir quais novos usuários estão usando as páginas de teste pessoais, quais estão usando páginas de testes gerais e quais os que não usam páginas de teste nenhuma e cruzar essa informação com atividade e retenção desses editores.
• Importância: Mensurar a efetividade do uso de páginas de teste na retenção de usuários e a partir desses resultados planejar futuras campanhas e/ou ações.

Monitorar campanha para IPs criarem contas

• Está prevista no planejamento a realização de uma campanha para IPs criarem contas.
• Importância: Medir a efetividade da campanha.

Monitorar editores que participam da força tarefa do programa de tutoria

• Está prevista no planejamento a realização de uma força tarefa no programa de tutoria. Podemos medir qual a efetividade do programa de tutoria, quanto o índice de rentenção de usuários que participam do programa é diferente dos que não participam e o quanto esses índices variaram durante a força tarefa.
• Importância: Mensurar a efetividade da força tarefa do programa de tutoria e apontar diferenças de atividade e rentenção entre usuários que participam e não participam do mesmo.

Testar retenção com grupo A e B (recebendo mensagem de boas-vindas ou não recebendo mensagem de boas-vindas)

• Atualmente, existe uma recomendação ou hábito ^{[citation needed]} de só se dar boas-vindas a quem faz uma contribuição relevante quando se registra. No entanto, muitos entram imaginando que a Wikipédia funciona de uma forma (diferentemente da realidade), ou serve a determinados propósitos (diferentes daqueles a que de fato servem). Dessa forma, ou ficam perdidos e não sabem como começar, ou cometem erros básicos. Parece lógico que muitos, mesmo recebendo a mensagem, não colaborarão - ou editarão fora de conformidade com as regras. Mas haverá uma porcentagem significativa que, se recebesse a mensagem, teria melhores condições de contribuir? Centenas de contas são criadas diariamente por pessoas que nunca editam ou, quando editam, cometem erros de tal ordem que a primeira mensagem que recebem é a de eliminação de página ou de erro etc. Seria possível separar em 3 grupos: um que não recebe, outro que recebe mensagem enviada por outro colaborador e outro que recebe mensagem enviada por bot, para vermos se isso aumentaria o número de novos usuários e retenção deles?
• Importância: Mensurar os efeitos de mensagens de boas-vindas assinadas por pessoas e enviadas por bot em comparação com o não envio de mensagens.

Tomada de decisão por consenso

• Experimentar novos processos de tomada de decisão por consenso, abrindo possibilidade de outras respostas diferentes de SIM e NÃO e avaliação de grau de adesão das regras e sensação de satisfação com decisão tomada.
• Importância: Sam Kaner, consultor especialista em processos colaborativos de tomada de decisão, aponta como um dos erros comuns em processos deliberativos colaborativos as perguntas que exigem respostas SIM ou NÃO, sem gradação entre elas. E sugere que se abra gradações: 1) concordo plenamente/gosto muito, 2) não está perfeito, mas ok; 3) acordo com reservas; 4) abstenção; 5) mais discussão é necessária; 6) não concordo/não gosto, mas não quero segurar o grupo de tomar uma decisão; 7) Não concordo, mas apoiarei se necessário; 8) Discordo totalmente. Ou até mesmo outras categorias, algumas mais simplificadas, outras mais complexas. De qualquer forma, ele sugere que o SIM X NÃO sugere uma polarização e não aponta o real sentimento de necessidade de mais discussão ou não. E sugere, ainda, que, dependendo da natureza da decisão e do número de apoios pra cada tipo de gradação, uma discussão pode ser encerrada ou deve ser prolongada. Como já foi sugerido por algumas pessoas, decisões "apertadas" em votações pode não ser as mais eficientes (baixo índice de adesão? Sensação constante de insatisfação? Pouca empatia com regras e sistema e consequente afastamento?). Experimentar outros processos de tomada de decisão pode ser interessante para a comunidade.

Ações do Programa Catalizador do Brasil

Aqui serão listadas ações que já estão previstas no Planejamento do Programa Catalisador do Brasil.

Retenção de editores em workshops

• O Planejamento do Programa Catalisador do Brasil prevê uma meta de retenção de 20% dos usuários que participem de workshops de edição. Pode ser criado um sistema onde os usuários dos participantes dos workshops sejam inseridos e suas atividades sejam monitoradas.
• Importância: Permitir não só a avaliação do resultado da atividade perante a meta como permitir que o responsável pelo workshop, que teve contato pessoalmente com esses editores, possa acompanhar de forma simples o envolvimento deles com o projeto ao longo do tempo e facilitar possíveis ações direcionadas pós-workshops para estimular retenção.

Criar página de acompanhamento dos Outcome Targets

• No Planejamento do Programa Catalisador do Brasil estão previstas algumas metas (média de usuários ativos, número de novos usuários, quantidade de artigos, artigos marcados como bons e em destaque, número de acessos) que poderiam ser acompanhadas de forma automática e centralizada em uma única página.
• Importância: Essa página faria o acompanhamento da evolução dos indicadores previstos para o programa, permitindo tanto a equipe WMF como a comunidade avaliarem durante o processo se as ações realizadas estão sendo eficazes para o alcanço das metas estabelecidas.

Programa Educacional

Monitorar edições de IPs vindas de universidades que estão no projeto educacional

• Estudantes envolvidos no programa educacional podem estar editando as páginas propostas anonimamente. Utilizando a API do WikiWatchdog podemos essas edições.
• Importância: Saber se as edições anônimas feitas nos artigos participantes do programa educacional estão sendo feitas de dentro das universidades.

Criar página de acompanhamento dos artigos envolvidos em parcerias de traduções

• Criar uma página centralizando informações como número de edições e bytes adicionados nos artigos selecionados para as parcerias que estão sendo feitas com instuições para tradução de boas páginas da wikipédia em inglês para o português.
• Importância: Acompanhar a evolução do trabalho com cada parceiro e avaliar a efetividade da ação.

Criar página de acompanhamento das métricas de reativação do WikiProjeto Medicina

• Seguindo o Planejamento do Programa Catalisador do Brasil está sendo realizada a reativação do WikiProjeto Medicina, e esta tarefa tem previstas algumas métricas de acompanhamento (número de wikipedistas veteranos participando, número de novos contribuidores que se tornam ativos, número de tópicos com discussão, número de artigos melhorados, número de bytes inseridos, número de artigos em destaque) que poderiam ser acompanhadas de forma automática e centralizada em uma única página.
• Importância: Essa página faria o acompanhamento da evolução das métricas elaboradas para a reativação do WikiProjeto, permitindo a todos os envolvidos avaliarem durante o processo se as ações realizadas estão sendo eficazes para o alcanço das metas estabelecidas.

Contatos

Henrique pode ser encontrado nas wikis como User:HAndrade (WMF), no freenode como HenriqueCrang e no toolserver como henriquecrang.

Sugestões de Leitura

Para escrever o primeiro rascunho desse planejamento Henrique leu várias páginas com histórico de debates e experimentos realizados pela comunidade, mas com certeza não leu tudo e coisas importantes podem ter sido esquecidas. Caso você ache que existe um material que nosso consultor em análise de dados e experimentos não possa deixar de ler, deixe aqui o link!

• Como disse ter lido os experimentos realizados pela comunidade, estou supondo que leu a maioria das pesquisas desta página, e também que já deve ter lido as contribuições do Aaron (que são particularmente interessantes) [1] [2][3] [4][5]. Sendo assim acho que só posso indicar esse vídeo: [6] que pode eventualmente influenciar algum levantamento sobre a percepção dos leitores sobre a confiabilidade da Wikipédia e as consequências etc. - Raylton P. Sousa (talk) 21:42, 7 March 2013 (UTC)