Commons Mineventory experimentexperiment

Commons Mineventory

Detecteer objecten in een Commons-afbeelding. Vind ze, snijd ze uit en beschrijf ze met AI. Detect objects in a Commons image. Find, cut out and describe them with AI.

Broncode op GitHubSource code on GitHub Bekijk de rondleidingTake the tour DocumentatieDocumentation (Dutch)
Dit is een experiment en nog geen openbare dienst: de app draait voorlopig alleen lokaal. Deze pagina laat zien wat hij doet; de app zelf heeft een Python-server nodig en draait straks op Wikimedia Toolforge. This is an experiment and not yet a public service: for now the app only runs locally. This page shows what it does; the app itself needs a Python server and will later run on Wikimedia Toolforge.

Wat de app doetWhat the app does

Elk Commons-bestand openenOpen any Commons file

Via de URL, de titel of de M-id. Ook pagina's uit PDF, DjVu en TIFF, en originelen boven 100 megapixel. By URL, title or M-id. Also pages from PDF, DjVu and TIFF, and originals above 100 megapixels.

Objecten vinden met SAM 3.1Find objects with SAM 3.1

Met een zoekterm, met AI-suggesties voor de hele afbeelding, of door aan te wijzen. Elk object krijgt een kader en de vorm (masker). With a search term, with AI suggestions for the whole image, or by pointing. Every object gets a box and its shape (mask).

Regio's die al op Commons staanRegions already on Commons

De gele rechthoeken van beeldt af met positie en bestandsnotities worden gratis objecten, elk apart uit te snijden. The yellow depicts rectangles with a position, and file notes, become free objects, each to be cut out separately.

Beschrijven met Muse SparkDescribe with Muse Spark

Wat staat hierop? In het Nederlands en Engels, met de tekst in het beeld. AI-teksten zijn herkenbaar en met de hand aan te passen, met versies. What is on this? In Dutch and English, with the text in the image. AI texts are marked and can be edited by hand, with versions.

Uitsnijden in volle resolutieCut out at full resolution

Als JPG (de rechthoek) of transparante PNG (de vorm), los of als zip, altijd uit het origineel. As JPG (the rectangle) or transparent PNG (the shape), one by one or as a zip, always from the original.

‘Beeldt af’ lokaliserenLocate ‘depicts’ items

Items die op Commons al als ‘beeldt af’ staan, maar zonder plek, laat je door de AI op de afbeelding zoeken. Een woord dat al gezocht is, komt gratis uit de cache; of vraag SAM opnieuw. Items already on Commons as ‘depicts’, but without a place, are located on the image by the AI. A word searched before comes free from the cache; or ask SAM anew.

Terug naar het origineelBack to the original

Naar Commons: ‘beeldt af’ met het kader dat je vond, nieuwe items als voorstellen en bijschriften, voor de hele afbeelding. Eerst een concept; je bevestigt alles zelf. To Commons: ‘depicts’ with the box you found, new items as proposals, and captions, for the whole image. A draft first; you confirm everything yourself.

Overzicht en exportOverview and export

Objecten, prullenbak, changelog en verbruik met facetten, zoeken en sorteerbare kolommen; exporteren naar JSON, CSV en Excel. Elke keuze staat in het adres. Objects, trash, changelog and usage with facets, search and sortable columns; export to JSON, CSV and Excel. Every choice is kept in the address.

Klaar voor CommonsReady for Commons

Per uitsnede een concept zoals de bestandspagina: bestandsnaam, captions, licentie, categorieën, {{Extracted from}} en gestructureerde gegevens. For each cut-out a draft like the file page: file name, captions, licence, categories, {{Extracted from}} and structured data.

Zo werkt hetHow it works

  1. OpenOpen Plak een bestand van Wikimedia Commons.Paste a file from Wikimedia Commons.
  2. VindFind Laat de AI objecten zoeken, neem regio's van Commons over, of teken zelf.Let the AI find objects, take over regions from Commons, or draw your own.
  3. BeschrijfDescribe Vraag een beschrijving, controleer en verbeter hem.Ask for a description, check it and improve it.
  4. PubliceerPublish Sla uitsneden op en zet ze na je bevestiging als nieuwe bestanden op Commons (fase 2).Save cut-outs and, after your confirmation, put them on Commons as new files (phase 2).

Een verdieping op CropToolGoing beyond CropTool

CropToolCommons Mineventory
SelectieSelection Eén rechthoek, met de handOne rectangle, by hand Veel objecten tegelijk, gevonden met AIMany objects at once, found with AI
VormShape RechthoekRectangle Rechthoek (JPG) of de vorm van het object (PNG)Rectangle (JPG) or the object's shape (PNG)
ResultaatResult Origineel overschrijven of één nieuw bestandOverwrite the original or one new file Altijd nieuwe bestanden, nooit het origineel overschrijvenAlways new files, never overwriting the original
BeschrijvingDescription Die van het origineelThe original's Een nieuwe per uitsnede, plus de gegevens van het origineelA new one per cut-out, plus the original's data

Status

KlaarDone

Fase 1: lokaalPhase 1: local

Openen, detecteren, beschrijven, uitsnijden, Commons-concept, ‘beeldt af’ lokaliseren, REST-API, tweetalige interface (versie 0.38.0).Open, detect, describe, cut out, Commons draft, locating ‘depicts’ items, REST API, bilingual interface (version 0.38.0).

LaterLater

Fase 3: livePhase 3: live

Op Wikimedia Toolforge, en de eerste echte uploads.On Wikimedia Toolforge, and the first real uploads.

LaterLater

Fase 4: verdiepingPhase 4: going further

Regio's terugschrijven, hele categorieën, IIIF-annotaties.Writing regions back, whole categories, IIIF annotations.

Techniek en documentatieTechnology and documentation

  • Python 3.11+ · Flask
  • Vue 3
  • Codex 2
  • Vite
  • SAM 3.1 · Muse Spark (Meta Model API)
  • libvips
  • REST API · OpenAPI