Wikimedia Enterprise
| Freie und festangestellte Mitarbeitende der Wikimedia Foundation kümmern sich gemeinsam mit Mitgliedern der Community um die Pflege des Inhalts dieser Seite. |  |
Wikimedia Enterprise ist ein neues departmentsübergreifendes Projekt der Wikimedia Foundation. Das Ziel des Projekts ist es, Dienste zu hoch-frequentierten Weiterverwendung von Wikimedia-Inhalten aufzubauen, die unter Umständen kostenpflichtig sind. Das Projekt war zuvor als „Okapi“ bekannt.
| Wikimedia Enterprise | |
|---|---|
 Building new opportunities for both revenue generation and free knowledge dissemination through partnerships and earned income. | |
| enterprise.wikimedia.com | |
| Beschreibung |
|
| Technical | |
Der Fokus liegt auf Organisationen und Unternehmen, die Wikimedia-Inhalte in anderen Kontexten wiederverwenden wollen, indem sie Datendienste in großem Umfang bereitstellen, so dass diese schneller und umfassender, wie auch zuverlässiger und sicherer sind. Wikimedia Enterprise zielt darauf ab, die Nutzererfahrung der Wikimedia-Leserschaft auch über unsere eigenen Webseiten hinaus zu verbessern; die Reichweite und Auffindbarkeit der Inhalte zu erhöhen sowie das Bewusstsein und die korrekte Urhebernennung bzw. Überprüfbarkeit der Inhalte durch die Unternehmen zu verbessern, die Wikimedia-Inhalte am meisten wiederverwenden - durch selbstfinanzierende Dienste.
Es gibt eine sehr hohe Einstiegshürde für die Nutzung von Wikimedia-Daten, vor allem außerhalb der üblichen Anwendungsfälle des Lesens oder Bearbeitens. Das liegt daran, dass die Inhalte für Maschinen schwer zu strukturieren und zu verstehen sind. Das wirkt sich wiederum darauf aus, wie weit die Wikimedia-Daten über unser eigenes „Ökosystem“ hinausreichen und wie groß der Einfluss sein kann, den sie haben können.
In den Empfehlungen des Movement Strategy-Prozesses „Verbesserung der Nachhaltigkeit unserer Bewegung“ und „Verbesserung der Benutzungserfahrung“ heißt es entsprechend: „Durch Partnerschaften und erhaltene Einnahmen neue Möglichkeiten für sowohl die Generierung von Einnahmen als auch für die Verbreitung von freiem Wissen untersuchen, zum Beispiel ... Aufbau von APIs auf Unternehmensebene“ und „Die Wikimedia API-Suite umfassender, zuverlässiger, sicherer und schneller machen, in Zusammenarbeit mit Großbenutzenden.... und die Einfachheit der Zuordnung und Überprüfbarkeit für Nachnutzende von Inhalten zu verbessern.“
Es ist bekannt, dass einige große Unternehmen die Daten unserer Projekte nutzen. Diese Unternehmen wissen, dass sie ohne die Wikimedia-Projekte nicht in der Lage wären, ihren eigenen Nutzerinnen und Nutzern so gut, umfangreiche und zuverlässige Produkte bzw. Dienstleistungen anzubieten. Es gibt seit langem das Gefühl in den Wikimedia-Communitys, dass diese Unternehmen mehr tun sollten für die Vorteile, die sie aus den von ihnen genutzten Inhalten ziehen, und daher etwas zurückgeben sollten.
Dies führte zu der Idee, einen neuen Ansatz zu entwickeln, der langfristig nachhaltiger ist und eine viel klarere Beziehung zwischen Wikimedia und den Unternehmen bietet. Jeglicher finanzieller Nutzen für Wikimedia würde wahrscheinlich sowieso nur von einer sehr kleinen Handvoll starker, kommerzieller Nutzer kommen und würde an Wikimedia zurückfließen.
Im Zuge der Ideeentwicklung wurde klar, dass es hierbei eine Verantwortung gibt, unsere Daten auch für Organisationen (also nicht nur Unternehmen) zur Verfügung zu stellen, die nicht über die Ressourcen dieser Unternehmen verfügen. Wir wollen damit sicherstellen, dass Chancengleichheit gewahrt bleibt und ein gesundes Internet gefördert wird, ohne dabei Monopole zu verstärken. Die Vorteile eines solchen Dienstes sollten nicht nur für Startups zur Verfügung stehen, oder den Alternativen zu den Internetgiganten, sondern auch für Universitäten und Forschende an Universitäten; Archive und Archivare; zusammen mit der breiteren Wikimedia-Bewegung.
Übersicht
Der Fokus von Wikimedia Enterprise liegt auf Unternehmen, die unsere Inhalte wiederverwenden, typischerweise in großem Umfang - z. B. integriert in „Knowledge Graphs“, Suchergebnissen, Sprachassistenten, Karten, Nachrichtenberichten, Community-Tools, Anwendungen von Drittanbietern und Vollkorpus-Forschungsstudien. Die Erweiterung der vielen Datensätze von Wikimedia (und damit Strukturierung unserer unstrukturierten Inhalte), wird es allen Nutzern unserer Inhalte ermöglichen, ihre individuellen Anforderungen zu erfüllen. Das wird uns gleichzeitig in die Lage versetzen, in der Zukunft neue Werkzeuge und Dienste zu entwickeln, die für alle verfügbar sind. In der Wiederverwendung unserer Inhalte spielen folgende drei Komponenten eine wichtige Rolle:
- Häufigkeit: Regelmäßige aktuelle „Schnappschüsse“ (snapshots) von Wikimedia-Projekten
- Verlässlichkeit: Zuverlässige, zugängliche Infrastruktur
- Qualität: „beste letzte Version“
Indem diese speziellen Anwendungsfälle sich selbst finanzieren, kann das Wikimedia-API-Team sich auf die breiteren Anwendungsfälle von Ehrenamtlichen, Teams und Organisationen zu konzentrieren, und, was am wichtigsten ist, auch mit ihnen interagieren und in einen Dialog treten. Dies schließt die Mehrheit der Community-Editierwerkzeuge ein, die für dieses Projekt nicht in Frage kommen. Weitere Informationen zu Verbesserungen der bestehenden Wikimedia-APIs findest Du auf der Projektseite „API Gateway"-Initiative.
Ziele des Projekts:
- Inhalte: Mehr Wikimedia-Inhalte in konsistenten maschinenlesbaren Formaten verfügbar machen, die für alle Forschenden und Nutzenden frei zugänglich sind.
- Ressourcen-Belastung: Bedarf an hochintensivem „Site-Scraping“ durch Großnutzende mit höchster Frequenz und größten Volumen senken, da die derzeit unsere Server besonders belasten.
- Fundraising: Angebot einer klareren und konsistenteren Möglichkeit für Großnutzende „durch uns“ erwirtschaftete Gewinne an Wikimedia zurückzugeben, anstatt gelegentliche Spenden zu leisten, die in ihrer Größe variieren.
Community
Contact the team if you would like to arrange a conversation about this service with your community, at a time and meeting software platform of your choice.
Past public meetings:
März 2021 #1 & März 2021 #2, April 2021, Juni 2022, Februar 2023
...and also at the EMWCon Spring 2021 conference (video); March and July 2022 Strategic Wikimedia Affiliates Network (SWAN) meetings; the May 2021 Wikimedia Clinic; at Wikimania in 2021 and 2023.
Das sind die Einleitungssätze eines viel längeren, detaillierten „Community-Essays“, in dem ausführlich die Begründung dieses Projekts erklärt wird.
„Libre“ und „Gratis“ sind die beiden Bedeutungen von „frei“ im Englischen, die üblicherweise mit dem Satz „free as in speech, or free as in beer“ (in etwa: Frei wie Meinungsfreiheit oder Frei wie Freibier)
Wikimedia-Projekte sind, waren und werden immer frei (im Sinne von libre) bleiben. Die Prinzipien freier Kulturwerke bedeuten, dass jeder Wikimedia ohne Einschränkung nutzen kann, auch kommerziell. Als Wikimedia-Movement gehen wir das auch proaktiv an. Deshalb lehnen wir „nicht-kommerzielle“ Lizenzen ab, da sie die möglichen Arten der Wiederverwendung einschränken würden. Und es ist der Grund, warum wir die kommerzielle Wiederverwendung als ein wichtiges Mittel zur Verbreitung von Wissen betrachten.
Ebenso sind die Wikimedia-Projekte frei im Sinne von gratis (kostenlos), waren es immer und werden es immer bleiben. Die Möglichkeit des freien Zugriffs auf das in allen Wikimedia-Projekten verfügbare Wissen war schon immer ein Kernpunkt der Mission der Wikimedia Foundation und Gesamt-Wikimedia. Wir bieten diesen Zugang nicht nur Einzelpersonen, die unsere Webseiten besuchen, sondern auch für Maschinen, damit unsere Inhalte in anderen Kontexten wiederverwendet werden können. Der gesamte Korpus der Wikimedia-Inhalte wurde und wird auch in Zukunft für die Wiederverwendung in verschiedenen Formen (einschließlich, aber nicht beschränkt auf Datenbank-Dumps, APIs und Scraping) kostenlos zur Verfügung gestellt.
Aufgrund dessen werden unsere Inhalte oft von kommerziellen Unternehmen weiterverwendet, die darauf angewiesen sind, um ihre Geschäftsmodelle zu unterstützen, und die folglich Einnahmen daraus erzielen. Abgesehen von freiwilligen Unternehmensspenden an die Wikimedia Foundation hat die Bewegung noch nie einen Nutzen aus diesen Einnahmen in Form von Rückinvestitionen erhalten. In Anerkennung dessen hat der Movement-Strategieprozess unter der Überschrift „Verbesserung der Nachhaltigkeit unserer Bewegung“ die Wikimedia Foundation aufgefordert, unter anderem APIs auf Unternehmensebene ... Modelle für kommerzielle Wiederverwender im Unternehmensmaßstab zu ermöglichen, wobei darauf zu achten ist, dass keine Abhängigkeiten von Einnahmen oder andere unangemessene externe Einflüsse auf Produktdesign und -entwicklung entstehen. Unter der Überschrift „Verbesserung der Benutzungserfahrung“ lautet eine weitere Empfehlung: Die Wikimedia API-Suite umfassender, zuverlässiger, sicherer und schneller machen, in Zusammenarbeit mit Großbenutzenden, wenn dies mit unserer Mission und unseren Prinzipien im Einklang steht, die Benutzungserfahrung sowohl unserer direkten als auch indirekten Benutzenden zu verbessern, die Reichweite und Entdeckbarkeit unserer Inhalte und das Potenzial für Datenrückflüsse zu erhöhen und das Bewusstsein für und die Einfachheit der Zuordnung und Überprüfbarkeit für Nachnutzende von Inhalten zu verbessern.
Das Enterprise-Projektteam entwickelt eine neue Anwendung, die sich an kommerzielle Großnutzer richtet, die Produkt-, Service- und Systemanforderungen haben, die über das hinausgehen, was wir kostenlos anbieten. Die Nutzung dieses Angebots wird für die kommerzielle Wiederverwendung von Inhalten nicht erforderlich sein; Unternehmen können weiterhin die aktuellen, kostenlos verfügbaren Werkzeuge nutzen. Alle Einnahmen aus der Enterprise-API werden eindeutig zur Unterstützung der Wikimedia-Mission verwendet - zum Beispiel, um Wikimedia-Projekt zu finanzieren oder das Wikimedia-Endowment (das Wikimedia-Stiftungskapital) zu vergrößern.
Dieses Projekt ist etwas, was die Wikimedia Foundation in der Form vorher noch nicht gemacht hat. Das Projekt befindet sich in einem sehr frühen Stadium, das als Lernphase betrachtet werden sollte. Wir werden Erfolge haben, wir werden Fehler machen, und wir werden unsere Strategien anpassen müssen. Das Team ist bestrebt, zuzuhören, sich einzubringen und, wo möglich, das Feedback, das wir zu unserer Arbeit erhalten, zu berücksichtigen. Dieses Dokument ist organisch und spiegelt die aktuellen Überlegungen des Teams wider; wir versuchen, so viel Arbeit wie möglich offen zu dokumentieren. Bis jetzt wurde unsere Arbeit durch eine Reihe von ersten Gesprächen mit Community-Mitgliedern, dem Board of Trustees und Mitarbeitenden der Wikimedia Foundation, Forschenden und Nutzenden geprägt.
… Du kannst den Rest des Community-Essaya hier weiterlesen. Siehe auch die FAQ und die Prinzipien..
Angesichts der Art des Projekts wird die primäre Entscheidungskompetenz für das Projekt bei der Wikimedia Foundation liegen. Wir möchten über die gesamte Laufzeit des Projekts um Input und Feedback aus den Communitys bitten, insbesondere aus der technischen Community und von denjenigen, die am Strategieprozess beteiligt waren. Technisches Feedback zum Projekt wurde von Kolleginnen und Kollegen bei der Wikimedia Foundation, Industrie- und Forschungspartnern, technischen Partnern in der gesamten Bewegung und mit der breiteren technischen Gemeinschaft über Phabricator gesammelt. Der Input für die Finanzentwicklung des Projekts wird einem ähnlichen Muster folgen. Wir werden weiterhin Input über Forschungsinterviews und Fokusgruppen sammeln, ebenso wie Feedback hier auf Meta (siehe dazu auch unsere Prinzipien.).
Zugang
Um Zugriff auf die Enterprise-API-Datensätze zu erhalten, gibt es drei Wege:
.
All content is freely-licensed (see also the project's principles).
- Bezahlt
- ** Daten in Echzeit und Daten in großer Menge. Über die dedizierte Enterprise-API-Produktwebsite, sobald diese gestartet ist.
- Kostenlos
- Creating an account via the Enterprise API product website includes 5,000 on-demand API requests that refresh monthly (including the Structured Contents endpoint) and twice-monthly snapshot API files in NDJSON format at no cost (refreshes on the 2nd and 21st of each month).
- Several datasets are available outside of the WME website. An update of the Enterprise API data is provided for all every two weeks on the Wikimedia Dumps site. Several Beta datasets are also available on HuggingFace.
- ** Echzeit: Das Wikimedia-Enterprise-Team arbeitet mit Wikimedia Technical Engagement zusammen, um bis Juni 2021 kostenlose Community-Unterstützung durch Cloud-Dienste hinzuzufügen.
- Those who have a non-commercial and mission-relevant use-case, which cannot be fulfilled by existing free-access APIs/dumps etc, can request expanded access to the API service at either reduced cost or no cost depending on usage and application.
Technisches
For full information about the product, see the regular technical updates on MediaWiki.org and the documentation page.
Over time, the "API product" being offered will grow and improve. This information is accurate as of September 2024.
Overview
All of our APIs return the same structured JSON (or ND-JSON) response format making it easy to augment one API with another. Three APIs; same data, different retrieval methods:
- Retrieve bulk data with the Snapshot API
- Receive changes instantly with Realtime API streaming
- Retrieve single articles with the On-demand API
API responses include article data such as summary, image, Wikidata QID, license, and more. Also included is data specific to the last revision, such as editor, size of change, and credibility score with revert probability.
On-demand API
Reusers that use an infrastructure reliant on the EventStream platform depend on services like RESTBase to pull HTML from page titles and current revisions to update their products. High-volume reusers have requested a reliable means to gather this data, as well as structures other than HTML when incorporating our content into their KGs and products.
The Wikimedia Enterprise On-demand API allows users to retrieve single articles from any Wikimedia project at anytime.
- Make standard HTTP requests to retrieve documents by ID or name from all projects and languages, or use filters to limit response
- Request the latest page data anytime to augment your Realtime or Snapshot API data
- A wide range of commercial and consolidated schemas under SLAs
Realtime API
High-volume reusers currently rely heavily on the changes that are pushed from our community to update their products in real time, using EventStream APIs to access such changes. High-volume reusers are interested in a service that will allow them to filter the changes they receive to limit their processing, guarantee stable HTTP connections to ensure no data loss, and supply a more useful schema to limit the number of api calls they need to make per event.
The Enterprise Realtime API allows users to stream updates in real-time from any Wikimedia project.
- Streaming: Receive streaming updates (firehose) of every change as they occur in real-time
- Batch: Download compressed snapshot files of incremental updates every hour
- Instant updates for new content, any edits, deletions, and breaking news events including community-curated visibility changes
- Filtering of events by Project or Revision Namespace
- A wide range of commercial and consolidated schemas under SLAs with guaranteed connections
Snapshot API
For high volume reusers that currently rely on the Wikimedia Dumps to access our information, we have created a solution to ingest Wikimedia content in near real time without excessive API calls (On-demand API) or maintaining hooks into our infrastructure (Realtime).
The Enterprise Snapshot API allows users to retrieve entire Wikimedia projects as a database dump file.
- Download a compressed file containing everything in any project, in any language
- Article body in HTML as well as Wikitext
- Up to a daily snapshots cadence
- 24-hour JSON, Wikitext, or HTML compressed dumps of "text-based" Wikimedia projects
- A hourly update file with revision changes of "text-based" Wikimedia projects
- A wide range of commercial and consolidated schemas under SLAs
- SLA and Support
Contracted accounts receive 99% SLA and support response time guarantees. All accounts have access to our introductory onboarding resources and help center faqs.
Team
The Wikimedia Foundation staff who work specifically on this project:
Business
Product
-
Christopher Petrillo
Product Management -
Stephanie Delbecque
Product Management -
-
Engineering
-
-
-
Ricardo Esquito
Software Engineering -
Luvo Dlulisa
Software Engineering -
Ruairi O'Donnell
Software Engineering -
Ehi Enabulele
Software Engineering -
Program
Names in bold indicate management.
Many people from different teams also contribute significantly, including from the WMF Legal, Engineering, Partnerships, Design, Communications teams etc. Additional contract work provided by: PartnerHero provide customer support services; Vuurr are assisting our sales process; and Super Natural Design are the designers of the project website.
Governance
Der Vorstand der LLC (der Tochtergesellschaft), der das Projekt beaufsichtigt, besteht aus Mitgliedern der WMF-Führungsebene: Grant Ingersoll, Chief Technical Officer; Lisa Seitz-Gruwell, Chief Advancement Officer, Tony Sebro, Deputy General Counsel; und Lane Becker.
Letztlich untersteht die LLC (die Tochtergesellschaft) der Leitung des Board of Trustees der Wikimedia Foundation.
All reports and official documents of the LLC are published on a dedicated Wikimedia Enterprise page on the Wikimedia Foundation Governance website. For convenience, annual reports are also linked here:
Press
| Commercial launch - October 2021 | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|
|
Wikimedia Foundation Press release Of particular note:
|
| First customers - June 2022 | ||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
Press Release Of particular note:
|
Siehe auch
- API:Main page - die zentrale Auflistung aller Wikimedia-APIs.
- Wikitech: Data Services - Eine Liste von Diensten für die Community, die den direkten Zugriff auf Datenbanken und Dumps ermöglichen, sowie Web-Interfaces für Abfragen und programmatischen Zugriff auf Datenspeicher.
- Enterprise hub - eine Seite für diejenigen, die daran interessiert sind, die MediaWiki-Software in Unternehmenskontexten zu verwenden:
- MediaWiki Stakeholders group - eine unabhängige Wikimedia-User Group, die sich für die Bedürfnisse von MediaWiki-Nutzern außerhalb der Wikimedia Foundation einsetzt, darunter auch kommerzielle Unternehmen.
- Enterprise MediaWiki Conference - eine unabhängige Konferenzreihe für die MediaWiki-Community.