Tools
Eigene oder integrierte Werkzeuge werden über Adapter und begrenzte Berechtigungen eingebunden.
ToolsAI & ML Engineering Lab · Data Engineering
Data Quality Factory
Datenprofiling, Validierung, Schema-Checks, Duplikate, Missing Values, Qualitätsregeln.
DQFAMEL Factory
Aufgabe
Eine klar abgegrenzte Capability.
Datenprofiling, Validierung, Schema-Checks, Duplikate, Missing Values, Qualitätsregeln. Die Factory ist dem Bereich „Data Engineering“ zugeordnet und wird innerhalb des AI & ML Engineering Lab über versionierte Verträge eingebunden.
Ziel und Vision
Fachliche Tiefe, anschlussfähig an die Plattform.
Diese Factory wird als Plugin des AMEL-Lab-Microservice verstanden. Sie ist kein eigenständiger Lab-Microservice, sondern wird vom AMEL Core über Factory Manager, Manifest, Permissions und Capability Contracts installiert, versioniert, autorisiert und ausgeführt. Interne Kommunikation erfolgt über definierte API-/Contract-Schichten.
Orthevs soll sich zu einem einheitlichen und erweiterbaren Engineering-Ökosystem für Software Engineering, AI/ML, Data Engineering, Cybersecurity, Cloud Infrastructure und weitere IT-Disziplinen entwickeln. Fachliche Fähigkeiten werden in Labs gekapselt und über dokumentierte Verträge wiederverwendbar gemacht.
Technische Ausführung
Factory, Tool und Engine haben unterschiedliche Rollen.
Die Factory kapselt die fachliche Capability und ihren Lifecycle. Tools stellen bedienbare technische Funktionen bereit; Engines übernehmen spezialisierte Verarbeitung oder Ausführung. Konkrete Zuordnungen werden je Factory-Konzept und Release ausgewiesen.
Engines
Wiederverwendbare Ausführungskomponenten arbeiten hinter dem Factory Contract und bleiben austauschbar.
EnginesPraxis
Einsatzmöglichkeiten
- Datenprofiling, Validierung, Schema-Checks und Qualitätsregeln reproduzierbar ausführen.
- Duplikate, Missing Values und andere Qualitätsrisiken als Findings erfassen.
- Qualitätsberichte für Dataset-, Training-, Pipeline- und Governance-Prozesse bereitstellen.
- Qualitätsgrenzen unabhängig von Ingestion und Dataset-Verwaltung modellieren.
Ergebnisse
Geplante Artefakte und Verantwortung
Die Dokumentation beschreibt das fachliche Zielbild. Konkrete Implementierungen sollen typisierte, versionierte und prüfbare Ergebnisse liefern.
Geplante Artefakte
- factory.manifest.yaml für Identity, Version, Runtime, Permissions, Capabilities und Dependencies.
- contracts/ für OpenAPI-, gRPC- oder Event-Verträge.
- schemas/ für typisierte Eingaben, Ausgaben, Artefakte und Provenance.
- src/ für Factory-Logik, Adapter und Runtime-Integration.
- tests/ für Contract-, Lifecycle-, Security- und Integrationsprüfungen.
Fachliche Verantwortung
- Datenprofiling, Validierung, Schema-Checks und Qualitätsregeln reproduzierbar ausführen.
- Duplikate, Missing Values und andere Qualitätsrisiken als Findings erfassen.
- Qualitätsberichte für Dataset-, Training-, Pipeline- und Governance-Prozesse bereitstellen.
- Qualitätsgrenzen unabhängig von Ingestion und Dataset-Verwaltung modellieren.
Integration
Factory-Vertrag
Die Capability bleibt installierbar und austauschbar, indem Identität, Lifecycle, Schnittstellen, Security und Observability ausdrücklich beschrieben werden.
- Identity & Manifest mit Factory-ID, Name, Version, Typ, Maintainer, Lizenz und Vertrauensherkunft.
- Lifecycle mit Install, Initialize, Start, Stop, Upgrade, Uninstall sowie Health/Readiness.
- Capability/API über versionierte Plugin-, OpenAPI-, gRPC- oder Event-Contracts inklusive Fehlercodes und Timeouts.
- Artifact-Verträge für typisierte Eingaben und Ausgaben, Schemas, Versionen, Checksums und Provenance.
- Execution-Angaben zu Plugin-Runtime, CPU/RAM/GPU, Storage, Job-Modell, Skalierung und Timeouts.
- Security-Regeln für Permissions, Secrets-Scopes, Network Egress, Isolierung und Audit Events.
- Observability über Logs, Metrics, Traces, Health, Job-Status und Korrelations-IDs.
- Frontend-Erweiterungspunkte mit Routing, Berechtigungen und Versionskompatibilität.
- Dependencies auf benötigte Platform-/Lab-Versionen, andere Capabilities und Backend-Services.
Verantwortungsgrenzen
Abgrenzung und Zusammenspiel
DIF übernimmt Quellkonnektivität und Importprozesse; DSF verwaltet fachlich nutzbare, versionierte Datensätze; DQF stellt unabhängige Datenqualitätsprüfungen bereit. DSF kann einfache Validierungen selbst enthalten, ohne DQF vorauszusetzen.
Orthevs Factory Portfolio
Capabilities im Zusammenhang denken.
Factories werden über gemeinsame Verträge zu nachvollziehbaren Engineering-Abläufen verbunden — vom fachlichen Entwurf bis zum Betrieb.