Zum Hauptinhalt springen

Node-RED

Node-Red bietet eine visuelle Oberfläche zur Verbindung verschiedener Datenquellen und zur Automatisierung von Abläufen durch Workflows.

Was ist Node-Red?​

Visuelle Programmierung von Datenflüssen​

Node-Red ist ein Low-Code-Tool, das Datenströme über eine grafische Oberfläche erstellt, steuert und überwacht. Nutzende verbinden Bausteine für Eingangsquellen, Verarbeitungsknoten und Ausgaben zu sogenannten "Flows", die dann auf Klick oder bei bestimmten Events ausgeführt werden können.

Node-Red Logo

Node-Red im Data Hub​

Im Data Hub wird Node-Red eingesetzt, um Daten aus MinIO, Datenbanken oder APIs zu verarbeiten, ETL-Prozesse zu steuern oder Daten an die PostgreSQL-Datenbanken des Data Hub weiterzuleiten, welche wiederum die Daten den Analyse- und Visualisierungstools wie Superset zur Verfügung stellt. Über Programmcode-Elemente im Node-Red-Flow können die Daten zu einem gewissen Grad vorverarbeitet oder geprüft werden. Dadurch können Verwaltungsprozesse automatisiert und wiederholbare Workflows ohne tiefe Programmierkenntnisse erstellt werden.

Beispielflow in Node-Red
Beispielflow in Node-Red

Funktionen & Einsatzgebiete​

Node-Red wird im Data Hub insbesondere für folgende Dinge eingesetzt:

  • Verbindung von Datenquellen, APIs und Tools über grafische Flows, um die Daten in die Datenbanken des Data Hub zu schreiben.
  • Aufsetzen von Trigger-basierten Verarbeitungen (z. B. bei neuen Dateien oder Zeitplänen)
  • Monitoring von Datenflüssen und Logging von Ereignissen sowie Datenqualitätsprüfungen
Fiktives Praxisbeispiel

„Bezirkliche Datensammlung mit automatischer Vereinheitlichung“ 🗂️
Alle 12 Bezirke laden regelmäßig eine geupdatete Datentabelle in MinIO zu einem gemeinsamen Thema hoch, zum Beispiel zu Sozialraumindikatoren. Sobald ein Bezirk neue Daten ablegt, startet automatisch ein Prozess in Node-Red: Die Struktur des Datensatzes wird geprüft und die Daten werden in eine konsolidierte Datenbank geschrieben. Diese versorgt Berichte und Dashboards für die Senatsverwaltung.

Wie nutzt man Node-Red?​

Skill-Level & Anforderungen​

Auch wenn Node-RED als Low-Code-Tool über eine einfach aufgebaute grafische Oberfläche und viele vorgefertige Bausteine verfügt, ist ein Verständnis von Datenstrukturen, APIs und SQL-Kenntnissen für die meisten Anwendungsfälle nötig, um funktionierende Flows aufzubauen.

Technisches Know-How notwendig: ●●●○○
Komplexität bzw. Einarbeitungszeit: ●●○○○

👉 Für Verwaltungsmitarbeitende heißt das: Das initiale Aufsetzen von Flows sollte durch IT- oder Daten-Spezialisten oder das Data Hub-Team durchgeführt werden, insbesondere bei komplexen Workflows, Anbindungen an mehrere Systeme oder wenn Daten transformiert oder geprüft werden sollen.

Input & Output​

Input

Typische Inputs für Node-Red-Flows im Data Hub sind:

  • Rohdaten aus MinIO (CSV, JSON, GeoJSON)
  • Datenbanktabellen
  • REST- oder SOAP-APIs von Fachverfahren
  • Open Data aus Simple Search oder anderen Quellen

Beispiele​

Node-RED kommt unter anderem in diesen Pilotprojekten zum Einsatz, um Rohdaten in Form von CSV-Dateien aus MinIO auszulesen und in die Datenbank zu schreiben, und diese somit für die anschließenden Datenverarbeitungsprozesse und dann für Visualisierungen zur Verfügung zu stellen:

Weiterführende Informationen​