Wikimedia Enterprise
| Le personnel et les employés de la Fondation Wikimédia contribuent à maintenir le contenu de cette page aux côtés de la communauté des bénévoles. |  |
Wikimedia Enterprise est un service de Wikimedia Foundation proposé sur enterprise.wikimedia.com. L'objectif est de créer des services pour les utilisations commerciales du contenu Wikimedia à haut-volume. Le service est annoncé en mars 2021 (Billet de blog) et lancé en octobre 2021 (communiqué de presse, article OpenFutures).
| Wikimedia Enterprise | |
|---|---|
 Building new opportunities for both revenue generation and free knowledge dissemination through partnerships and earned income. | |
| enterprise.wikimedia.com | |
| Projet |
|
| Détails techniques | |
L’accent est mis sur les organisations qui souhaitent réutiliser le contenu Wikimedia dans d’autres contextes, en fournissant des données à grande échelle de manière plus rapide, plus complète, plus fiable et plus sécurisée. Wikimedia Enterprise vise à améliorer l'expérience utilisateur des lecteurs de Wikimedia au-delà de nos propres sites web ; à augmenter la portée et la découvrabilité du contenu ; et à améliorer la notoriété et la facilité d'attribution et de vérifiabilité par les organisations qui réutilisent le plus les donnée des projets Wikimedia, tout cela à travers des services qui s’autofinancent.
Il existe une barrière d’entrée très élevée pour l'utilisation des données du projet Wikimédia en dehors des cas d'utilisation courants de lecture ou d'édition. En effet, le contenu est difficile à segmenter et à comprendre pour les machines, ce qui affecte à son tour la portée du contenu Wikimédia au-delà de notre propre écosystème, ainsi que l'ampleur de l'impact qu’il peut avoir.
Les deux recommandations de la stratégie de mouvement « Augmenter la durabilité de notre mouvement » et « Améliorer l'expérience utilisateur » invitent respectivement à « Explorer de nouvelles opportunités pour la génération de revenus et la diffusion gratuite des connaissances grâce à des partenariats et des services facturés, par exemple ... par la mise en place d’API pour les entreprises » et « Rendre la panoplie d'API Wikimedia plus complète, fiable, sécurisée et rapide, en partenariat avec des utilisateurs à grande échelle… et améliorer la notoriété et la facilité d'attribution et de vérifiabilité pour les réutilisateurs de contenu ».
Il est bien connu que quelques grandes entreprises utilisent les données de nos projets. Ces entreprises reconnaissent que sans les projets Wikimedia, elles ne pourraient pas offrir une expérience aussi riche ou fiable à leurs propres utilisateurs. Les membres de la communauté ont depuis longtemps le sentiment que ces entreprises devraient réinvestir davantage dans les communautés Wikimedia en échange des avantages qu'elles tirent du contenu et des ressources qu'elles utilisent.
Cela a conduit à l'idée de développer une nouvelle approche plus durable à long terme et offrant une relation beaucoup plus claire entre Wikimédia et les utilisateurs en entreprise. La majeure partie des avantages financiers pour Wikimédia ne viendrait probablement que d’un très petit nombre d'utilisateurs commerciaux intensifs, et se répercuterait sur le mouvement Wikimédia.
Au fur et à mesure que cette idée s’est développée, il est devenu clair qu'il est de notre responsabilité de démocratiser notre contenu pour les organisations qui n’ont pas autant de ressources que les utilisateurs les plus intensifs. Cela afin de favoriser un Internet sain et équitable, et ne pas renforcer les monopoles. Un tel service ne devrait pas seulement avantager les startups ou les alternatives aux géants de l'internet, mais aussi les universités et chercheurs universitaires, les archives et archivistes, et le mouvement Wikimedia dans son ensemble.
Aperçu
Wikimedia Enterprise se concentre sur les entreprises qui réutilisent notre contenu, généralement à grande échelle, par exemple quand elles l’intègrent dans des bases de connaissances, des moteurs de recherche, des assistants vocaux, des cartes, des actualités, des outils communautaires, des applications tierces et des études de corpus complet. Augmenter les nombreux ensembles de données de Wikimedia pour structurer notre contenu non structuré permettra à tous nos réutilisateurs de répondre à leurs besoins individuels tout en nous permettant de créer de nouveaux outils et services à l'avenir, accessibles à tous. Les réutilisateurs de notre contenu recherchent trois composants principaux:
- Fréquence : instantanés réguliers des projets Wikimedia
- Fiabilité : infrastructure fiable et accessible
- Qualité : « meilleure version la plus récente »
Mettre l'accent sur des services qui s’autofinancent permet à l'équipe API de Wikimedia (distincte de Wikimedia Enterprise) de se concentrer, comme auparavant, sur les bénévoles, les équipes et les organisations qui cherchent à accéder (et, surtout, à interagir avec) nos ensembles de données. Cela inclut la majorité des outils communautaires de contribution, qui ne seront pas concernés par ce service. Pour plus d'informations sur les améliorations apportées aux API Wikimedia existantes, consultez la page du service sur l'initiative « API Gateway ».
Objectifs du programme :
- Contenu : Rendre le contenu créé par notre mouvement davantage disponible dans des formats cohérents et lisibles par des machines, et disponibles gratuitement pour tous les chercheurs et réutilisateurs.
- Charge serveur : Faire en sorte que les réutilisateurs les plus intensifs (en termes de fréquence et volume) n’aient pas besoin d’interroger nos serveurs principaux en permanence pour en lire notre contenu
- Revenu : Offrir aux plus grands réutilisateurs un moyen plus clair et plus cohérent de réinvestir dans le mouvement les bénéfices qu’ils en dérivent, au lieu de faire des dons occasionnels dont la taille varie.
Communauté
Contactez l'équipe si vous souhaitez organiser une conversation au sujet de ce service avec votre communauté, à l'heure et sur la plateforme logicielle de rencontre de votre choix.
Précédentes réunions publiques : mars 2021 #1 & mars 2021 #2, avril 2021, juin 2022, février 2023
Et également : la conférence EMWCon Spring 2021 (vidéo); les rencontres du Réseau stratégique des affiliés Wikimédia de mars et juillet 2022 ; Wikimedia Clinic en mai 2021 et Wikimania 2021.
Les paragraphes suivants sont extraits d'un essai communautaire beaucoup plus détaillé.
Les projets Wikimedia sont libres, ont toujours été libres, et resteront toujours libres. En tant que mouvement, nous épousons les principes des œuvres culturelles libres, selon lesquels n'importe qui peut utiliser Wikimedia sans restriction, y compris à des fins commerciales. C’est pourquoi nous rejetons les licences « non commerciales », car elles limiteraient les types de réutilisation possibles. Et c'est pourquoi nous considérons la réutilisation commerciale comme un moyen important de diffuser les connaissances auprès des publics.
De même, les projets Wikimedia sont gratuits, ont toujours été gratuits, et resteront toujours gratuits. La possibilité d'accéder librement aux connaissances disponibles dans tous les projets Wikimedia a toujours été au cœur de la mission de la Fondation et du mouvement. Nous fournissons cet accès non seulement aux personnes qui visitent nos sites web, mais également aux programmes qui interrogent nos serveurs afin que notre contenu puisse être réutilisé dans d'autres environnements. Le corpus complet du contenu de Wikimedia a toujours été mis à disposition pour une réutilisation sous diverses formes, et continuera de l'être (notamment via des sauvegardes de bases de données, des API, et le web scraping) sans frais.
Par conséquent, notre contenu est souvent réutilisé par des organisations commerciales qui en dépendent pour soutenir leurs modèles commerciaux et qui en tirent ainsi des revenus. En dehors des dons corporatifs effectués volontairement à la Fondation Wikimedia, le mouvement n'a jamais reçu de bénéfices de ces revenus grâce à un retour sur investissement. En reconnaissance de cela, sous l’égide de la « Durabilité de notre mouvement », le processus de stratégie du mouvement a demandé à la Wikimedia Foundation d'explorer, entre autres, « des API pour les entreprises [et] des modèles pour les réutilisateurs commerciaux grande échelle, en prenant soin d'éviter la dépendance des revenus ou toute autre influence extérieure indue dans la conception et le développement des produits. » En outre, sous l’égide de l'expérience utilisateur, une autre recommandation invite à « Rendre la panoplie d'API Wikimedia plus complète, fiable, sécurisée et rapide, en partenariat avec des utilisateurs à grande échelle, là où cela correspond à notre mission et à nos principes, pour améliorer l'expérience utilisateur de nos utilisateurs directs et indirects, augmenter la portée et la découvrabilité de notre contenu et le potentiel de retour de données, et améliorer la connaissance et la facilité d'attribution et de vérifiabilité pour les réutilisateurs de contenu. »
L'équipe du projet Enterprise développe une nouvelle ressource destinée aux réutilisateurs commerciaux de contenu, qui ont des exigences en matière de produits, de services et de systèmes qui vont au-delà de ce que nous fournissons gratuitement. L'utilisation de cette offre ne sera pas requise pour la réutilisation commerciale du contenu ; les sociétés peuvent continuer à utiliser gratuitement les outils actuellement disponibles. Tous les revenus de l'API Enterprise seront utilisés sans équivoque pour soutenir la mission Wikimedia, par exemple pour financer des programmes Wikimedia ou aider à développer le fonds de dotation Wikimedia (Wikimedia Endowment).
Ce projet représente un nouveau type d'activité à la Fondation. Le projet est à un stade très précoce qui devrait être considéré comme une période d'apprentissage. Nous aurons des succès, nous ferons des erreurs et nous devrons adapter nos stratégies. L'équipe s'engage à écouter, à s'engager et, dans la mesure du possible, à intégrer les commentaires que nous recevons sur notre travail. Ce document est organique et reflète la réflexion actuelle de l'équipe ; nous essayons de documenter notre travail de façon publique autant que possible. Jusqu'à présent, notre travail a été façonné par une série d'entretiens initiaux avec des membres de la communauté, le conseil d’administration et le personnel de la Wikimedia Foundation, des chercheurs et des réutilisateurs.
... continuez à lire le reste de l'essai communautaire. Voir également la FAQ et les principes.
Compte tenu de la nature du service, la prise de décision principale incombera à la Wikimedia Foundation. Nous recherchons la contribution de la communauté, en particulier de la communauté technique et de ceux qui ont été impliqués dans le processus de stratégie, tout au long de la vie du service. Des commentaires techniques ont été recueillis auprès de collègues de la Wikimedia Foundation, de partenaires industriels et de recherche, de partenaires techniques à travers le mouvement et avec les communautés techniques via Phabricator. Les contributions au volet commercial du service suivront un schéma similaire. Nous continuerons à recueillir des commentaires via des entretiens et des panels, ainsi que des commentaires sur Meta conformément à nos principes.
Accès
Il existe plusieurs méthodes pour obtenir l’accès aux données de l'API Enterprise :
.
All content is freely-licensed (see also the project's principles).
- Accès payant
- API en temps réel (par lot et en flux) and exports quotidiens au format NDJSON, via le site web dédié de l’API Enterprise $url.
- Accès gratuit
- Creating an account via the Enterprise API product website includes 5,000 on-demand API requests that refresh monthly (including the Structured Contents endpoint) and twice-monthly snapshot API files in NDJSON format at no cost (refreshes on the 2nd and 21st of each month).
- Several datasets are available outside of the WME website. An update of the Enterprise API data is provided for all every two weeks on the Wikimedia Dumps site. Several Beta datasets are also available on HuggingFace.
- API des instantanés + en temps réel (par lot) via les services de données, disponible pour quiconque dispose d’un compte Wikimedia cloud services.
- Those who have a non-commercial and mission-relevant use-case, which cannot be fulfilled by existing free-access APIs/dumps etc, can request expanded access to the API service at either reduced cost or no cost depending on usage and application.
Détails techniques
Toutes les informations sur le fonctionnement du produit sont dans la documentation principale sur MediaWiki.org et dans la sous-page de documentation de l’API.
Au fil du temps, le « produit » grandira et s’améliorera. Ces informations sont exactes à date de février 2023.
Overview
All of our APIs return the same structured JSON (or ND-JSON) response format making it easy to augment one API with another. Three APIs; same data, different retrieval methods:
- Retrieve bulk data with the Snapshot API
- Receive changes instantly with Realtime API streaming
- Retrieve single articles with the On-demand API
API responses include article data such as summary, image, Wikidata QID, license, and more. Also included is data specific to the last revision, such as editor, size of change, and credibility score with revert probability.
API à la demande
Reusers that use an infrastructure reliant on the EventStream platform depend on services like RESTBase to pull HTML from page titles and current revisions to update their products. High-volume reusers have requested a reliable means to gather this data, as well as structures other than HTML when incorporating our content into their KGs and products.
The Wikimedia Enterprise On-demand API allows users to retrieve single articles from any Wikimedia project at anytime.
- Make standard HTTP requests to retrieve documents by ID or name from all projects and languages, or use filters to limit response
- Request the latest page data anytime to augment your Realtime or Snapshot API data
- A wide range of commercial and consolidated schemas under SLAs
Realtime API
High-volume reusers currently rely heavily on the changes that are pushed from our community to update their products in real time, using EventStream APIs to access such changes. High-volume reusers are interested in a service that will allow them to filter the changes they receive to limit their processing, guarantee stable HTTP connections to ensure no data loss, and supply a more useful schema to limit the number of api calls they need to make per event.
The Enterprise Realtime API allows users to stream updates in real-time from any Wikimedia project.
- Streaming: Receive streaming updates (firehose) of every change as they occur in real-time
- Batch: Download compressed snapshot files of incremental updates every hour
- Instant updates for new content, any edits, deletions, and breaking news events including community-curated visibility changes
- Filtering of events by Project or Revision Namespace
- A wide range of commercial and consolidated schemas under SLAs with guaranteed connections
Snapshot API
For high volume reusers that currently rely on the Wikimedia Dumps to access our information, we have created a solution to ingest Wikimedia content in near real time without excessive API calls (On-demand API) or maintaining hooks into our infrastructure (Realtime).
The Enterprise Snapshot API allows users to retrieve entire Wikimedia projects as a database dump file.
- Download a compressed file containing everything in any project, in any language
- Article body in HTML as well as Wikitext
- Up to a daily snapshots cadence
- 24-hour JSON, Wikitext, or HTML compressed dumps of "text-based" Wikimedia projects
- A hourly update file with revision changes of "text-based" Wikimedia projects
- A wide range of commercial and consolidated schemas under SLAs
- SLA and Support
Contracted accounts receive 99% SLA and support response time guarantees. All accounts have access to our introductory onboarding resources and help center faqs.
Équipe
The Wikimedia Foundation staff who work specifically on this project:
Business
-
Lane Becker
Responsable d’affaires -
-
Product
-
Christopher Petrillo
Gestionnaire de produit -
Stephanie Delbecque
Gestionnaire de produit -
-
Engineering
-
Haroon Shaikh
Directeur de l’ingénierie -
-
Ricardo Esquito
Software Engineering -
Luvo Dlulisa
Software Engineering -
Ruairi O'Donnell
Software Engineering -
Ehi Enabulele
Software Engineering -
Program
Names in bold indicate management.
De nombreuses personnes de différentes équipes de WMF ont également contribué significativement à ce projet : les équipes juridique, partenariats d’ingénierie, design, communications, etc. Par ailleurs, un travail contractuel supplémentaire a été fournit par : [$SandF Speed & Function] (assistance en ingénierie) ; PartnerHero (service d’assistance clientèle) ; Vuurr (assistance du processus de vente) et Super Natural Design (conception du site du projet).
Governance
Le conseil d'administration de la société LLC supervisant le projet est constitué de la sous direction ex officio de Wikimedia Foundation, représentant leurs rôles de salarié au sein de Wikimedia Foundation. Cela inclut la directrice de la progression Lisa Seitz-Gruwell ; la conseillère générale Stephen LaPorte ; la directrice produit et technologie Selena Deckelman et Lane Becker qui tient le rôle de présidente. La société LLC est soumise à la gouvernance du conseil d’administration de Wikimedia Foundation conformément à la déclaration du conseil d’administration de Wikimedia Foundation sur les principes des revenus de Wikimedia Enterprise.
Tous les comptes-rendus et documents officiels de LLC sont publiées sur une page dédiée de Wikimedia Enterprise sur le site Gouvernance de Wikimedia Foundation. Par simplicité, les rapports annuels sont aussi liés ici.:
Dossier de presse
| Commercial launch - October 2021 | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|
|
Wikimedia Foundation Press release Of particular note:
|
| First customers - June 2022 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Press Release Of particular note:
|
Voir aussi
- API:Main page – la documentation de l’API action de MediaWiki.
- Wikitech: portail de services de données — Une liste de services destinés à la communauté qui permettent un accès direct aux bases de données et aux dumps de bases de données, ainsi que des interfaces Web pour les requêtes et l'accès automatisé aux bases de données.
- Hub Enterprise — une page pour ceux qui souhaitent utiliser le logiciel MediaWiki dans des contextes d'entreprise :
- MediaWiki Stakeholders group - une organisation affiliée indépendante qui défend les besoins des utilisateurs de MediaWiki en dehors de la Wikimedia Foundation, y compris les entreprises commerciales.
- Enterprise MediaWiki Conference — une série de conférences indépendantes pour cette communauté.