MinIO
MinIO ist ein Cloud-Speicher zur Ablage von Dateien und Objektdaten. Er kann genutzt werden, um Daten für den Data Hub zur Verfügung zu stellen.
Was ist MinIO?
Objektbasierter Speicher für große und kleine Dateien
MinIO ist ein leichtgewichtiges, hochperformantes Open Source-Objektspeicher-System, welches das S3-Protokoll implementiert. MinIO übernimmt die Aufgabe, Dateien in verschiedensten Formaten sicher und versioniert abzulegen und zu teilen. Durch S3-Kompatibilität lassen sich bestehende Werkzeuge und Bibliotheken direkt anbinden.
MinIO im Data Hub
MinIO bildet zusammen mit den Datenbanken das Dateispeicher-Rückgrat des Data Hub. Es ist der zentrale Ablageort für Rohdaten, Export-Dateien aus Fachverfahren, Container-Images, Modelle oder große Geodatenpakete. Die Vorteile liegen in einfacher Integration (S3 API), feingranularer Zugriffssteuerung und der Möglichkeit, Daten sowohl intern als auch für externe Projekte sicher freizugeben. Eine unkomplizierte Ablage für beliebige Dateitypen (Data Lake-Charakter) ist durch eine webbasierte Benutzeroberfläche für Upload, Download und Management der Dateien sichergestellt.
Funktionen & Einsatzgebiete
MinIO bietet im Data Hub insbesondere folgende Mehrwerte:
- Cloud-Speicherort für bestehende Daten, die im Data Hub verfügbar gemacht werden sollen und für die keine andere Möglichkeit zur Speicherung besteht (z.B. weil schlichtweg keine entsprechende IT-Infrastruktur vorhanden ist).
- Zugriff über S3-API für automatisierte Workflows von ELT-Prozessen
- Cloud-Speicherort für neue Daten, die durch ETL-Prozesse im Data Hub generiert oder veredelt wurden und als Dateien zur Verfügung gestellt werden sollen.
„Monitoring von Kita-Plätzen“ 📂
Ein Fachamt legt jeden Monat einen Datensatz mit Auslastungszahlen für Kitas in MinIO ab. Die Daten stehen so für einen konfigurierten ETL-Prozess zur Verfügung. Dieser berechnet automatisch Kennzahlen wie freie Plätze pro Bezirk, Belegungsquoten und wartet den Datensatz mit Geokoordinaten der Einrichtungen auf. Der aufbereitete Datensatz wird zurück in MinIO gespeichert und steht dort nun anderen Abteilungen mit berechtigtem Zugriff für eigene Planungen und Berichte zur Verfügung.
Wie nutzt man MinIO?
Skill-Level & Anforderungen
MinIO ist bewusst benutzerfreundlich gehalten: Für einfaches Ablegen, Löschen oder Herunterladen von Dateien reicht die Web-Oberfläche. Für das Aufsetzen von Automatisierung sind Basiskenntnisse in HTTP/S und S3-Konzepten hilfreich.
Technisches Know-How notwendig: ●●○○○
Komplexität bzw. Einarbeitungszeit: ●●○○○
👉 Für Verwaltungsmitarbeitende heißt das: Dateiuploads und das Teilen von Links funktionieren wie bei bekannten Cloud-Services. Für das Anlegen von automatisierten Prozessen, ETL-Anbindungen oder Rechtekonfiguration sollten das IT- oder das Data Hub-Kompetenzteam eingebunden werden.
Input & Output
- Input
- Output
Input
Typische Inputs in MinIO sind:
- Excel-, CSV-, XML- und JSON-Dateien mit Fachdaten
- GeoJSON, Rasterdaten und Kartenkacheln
- Datei-Exporte aus Fachverfahren
- Backups von Datenbanken, Konfigurations- oder Container-Artefakten
- Trainingsdaten und Artefakte aus Data Science-Workflows
Output
Aus MinIO heraus entstehen oder werden bereitgestellt:
- Direkt downloadbare Dateien für Fachabteilungen und Projektpartner
- Zeitlich begrenzte, signierte URLs für sichere Freigabe (Pre-signed URLs)
- Quelle/Ziel für ETL-Prozesse (z. B. Airflow oder NodeRED lädt Rohdaten aus MinIO und speichert sie in eine der Datenbanken des Data Hub)
- Speicher von Artefakten, die von Analyse-Tools (z. B. Superset, Jupyter-Notebooks) verwendet werden.
Beispiele
MinIO kommt unter anderem in drei unserer Pilotprojekte zum Einsatz, um Rohdaten in Form von CSV-Dateien initial im Data Hub abzulegen, und diese somit für die anschließenden Datenverarbeitungsprozesse und dann für Visualisierungen zur Verfügung zu stellen: