Tools
Eigene oder integrierte Werkzeuge werden über Adapter und begrenzte Berechtigungen eingebunden.
ToolsAI & ML Engineering Lab · Quality, Security & Governance
Model Evaluation Factory
Qualität, Robustheit, Benchmarks, Regression und domänenspezifische Evaluierungen.
MEFAMEL Factory
Aufgabe
Eine klar abgegrenzte Capability.
Qualität, Robustheit, Benchmarks, Regression und domänenspezifische Evaluierungen. Die Factory ist dem Bereich „Quality, Security & Governance“ zugeordnet und wird innerhalb des AI & ML Engineering Lab über versionierte Verträge eingebunden.
Ziel und Vision
Fachliche Tiefe, anschlussfähig an die Plattform.
Diese Factory wird als Plugin des AMEL-Lab-Microservice verstanden. Sie ist kein eigenständiger Lab-Microservice, sondern wird vom AMEL Core über Factory Manager, Manifest, Permissions und Capability Contracts installiert, versioniert, autorisiert und ausgeführt. Interne Kommunikation erfolgt über definierte API-/Contract-Schichten.
Orthevs soll sich zu einem einheitlichen und erweiterbaren Engineering-Ökosystem für Software Engineering, AI/ML, Data Engineering, Cybersecurity, Cloud Infrastructure und weitere IT-Disziplinen entwickeln. Fachliche Fähigkeiten werden in Labs gekapselt und über dokumentierte Verträge wiederverwendbar gemacht.
Technische Ausführung
Factory, Tool und Engine haben unterschiedliche Rollen.
Die Factory kapselt die fachliche Capability und ihren Lifecycle. Tools stellen bedienbare technische Funktionen bereit; Engines übernehmen spezialisierte Verarbeitung oder Ausführung. Konkrete Zuordnungen werden je Factory-Konzept und Release ausgewiesen.
Engines
Wiederverwendbare Ausführungskomponenten arbeiten hinter dem Factory Contract und bleiben austauschbar.
EnginesPraxis
Einsatzmöglichkeiten
- Qualität, Robustheit, Benchmarks, Regression und domänenspezifische Evaluierungen durchführen.
- Evaluationsberichte als prüfbare Artefakte erzeugen und versionieren.
- Acceptance Criteria und Qualitäts-Gates für Modellfreigaben unterstützen.
- Evaluationsergebnisse an Registry, Lifecycle und Governance übergeben.
Ergebnisse
Geplante Artefakte und Verantwortung
Die Dokumentation beschreibt das fachliche Zielbild. Konkrete Implementierungen sollen typisierte, versionierte und prüfbare Ergebnisse liefern.
Geplante Artefakte
- factory.manifest.yaml für Identity, Version, Runtime, Permissions, Capabilities und Dependencies.
- contracts/ für OpenAPI-, gRPC- oder Event-Verträge.
- schemas/ für typisierte Eingaben, Ausgaben, Artefakte und Provenance.
- src/ für Factory-Logik, Adapter und Runtime-Integration.
- tests/ für Contract-, Lifecycle-, Security- und Integrationsprüfungen.
Fachliche Verantwortung
- Qualität, Robustheit, Benchmarks, Regression und domänenspezifische Evaluierungen durchführen.
- Evaluationsberichte als prüfbare Artefakte erzeugen und versionieren.
- Acceptance Criteria und Qualitäts-Gates für Modellfreigaben unterstützen.
- Evaluationsergebnisse an Registry, Lifecycle und Governance übergeben.
Integration
Factory-Vertrag
Die Capability bleibt installierbar und austauschbar, indem Identität, Lifecycle, Schnittstellen, Security und Observability ausdrücklich beschrieben werden.
- Identity & Manifest mit Factory-ID, Name, Version, Typ, Maintainer, Lizenz und Vertrauensherkunft.
- Lifecycle mit Install, Initialize, Start, Stop, Upgrade, Uninstall sowie Health/Readiness.
- Capability/API über versionierte Plugin-, OpenAPI-, gRPC- oder Event-Contracts inklusive Fehlercodes und Timeouts.
- Artifact-Verträge für typisierte Eingaben und Ausgaben, Schemas, Versionen, Checksums und Provenance.
- Execution-Angaben zu Plugin-Runtime, CPU/RAM/GPU, Storage, Job-Modell, Skalierung und Timeouts.
- Security-Regeln für Permissions, Secrets-Scopes, Network Egress, Isolierung und Audit Events.
- Observability über Logs, Metrics, Traces, Health, Job-Status und Korrelations-IDs.
- Frontend-Erweiterungspunkte mit Routing, Berechtigungen und Versionskompatibilität.
- Dependencies auf benötigte Platform-/Lab-Versionen, andere Capabilities und Backend-Services.
Verantwortungsgrenzen
Abgrenzung und Zusammenspiel
Security und Governance der gesamten Plattform bleiben Plattformverantwortung. ASF und AGVF liefern die AI-spezifischen Prüfungen, Assessments und Evidenzen.
Orthevs Factory Portfolio
Capabilities im Zusammenhang denken.
Factories werden über gemeinsame Verträge zu nachvollziehbaren Engineering-Abläufen verbunden — vom fachlichen Entwurf bis zum Betrieb.