AI & ML Engineering Lab · Generative AI & LLM Engineering

LLM Factory

LLM-Integration, Konfiguration, Adaption und Fine-Tuning-Rezepte.

LLMFAMEL Factory

Aufgabe

Eine klar abgegrenzte Capability.

LLM-Integration, Konfiguration, Adaption und Fine-Tuning-Rezepte. Die Factory ist dem Bereich „Generative AI & LLM Engineering“ zugeordnet und wird innerhalb des AI & ML Engineering Lab über versionierte Verträge eingebunden.

Ziel und Vision

Fachliche Tiefe, anschlussfähig an die Plattform.

Diese Factory wird als Plugin des AMEL-Lab-Microservice verstanden. Sie ist kein eigenständiger Lab-Microservice, sondern wird vom AMEL Core über Factory Manager, Manifest, Permissions und Capability Contracts installiert, versioniert, autorisiert und ausgeführt. Interne Kommunikation erfolgt über definierte API-/Contract-Schichten.

Orthevs soll sich zu einem einheitlichen und erweiterbaren Engineering-Ökosystem für Software Engineering, AI/ML, Data Engineering, Cybersecurity, Cloud Infrastructure und weitere IT-Disziplinen entwickeln. Fachliche Fähigkeiten werden in Labs gekapselt und über dokumentierte Verträge wiederverwendbar gemacht.

Technische Ausführung

Factory, Tool und Engine haben unterschiedliche Rollen.

Die Factory kapselt die fachliche Capability und ihren Lifecycle. Tools stellen bedienbare technische Funktionen bereit; Engines übernehmen spezialisierte Verarbeitung oder Ausführung. Konkrete Zuordnungen werden je Factory-Konzept und Release ausgewiesen.

Tools

Eigene oder integrierte Werkzeuge werden über Adapter und begrenzte Berechtigungen eingebunden.

Tools

Engines

Wiederverwendbare Ausführungskomponenten arbeiten hinter dem Factory Contract und bleiben austauschbar.

Engines

Praxis

Einsatzmöglichkeiten

  • LLM-Integration, Modellkonfiguration, Adaption und Fine-Tuning-Rezepte verwalten.
  • Provider, lokale Modelle, Kontextgrenzen, Kostenparameter und Fähigkeiten beschreiben.
  • LLM-Nutzung mit Prompt Engineering, RAG, Agenten und Monitoring verbinden.
  • Austauschbare Provider- und Backend-Adapter ermöglichen.

Ergebnisse

Geplante Artefakte und Verantwortung

Die Dokumentation beschreibt das fachliche Zielbild. Konkrete Implementierungen sollen typisierte, versionierte und prüfbare Ergebnisse liefern.

Geplante Artefakte

  • factory.manifest.yaml für Identity, Version, Runtime, Permissions, Capabilities und Dependencies.
  • contracts/ für OpenAPI-, gRPC- oder Event-Verträge.
  • schemas/ für typisierte Eingaben, Ausgaben, Artefakte und Provenance.
  • src/ für Factory-Logik, Adapter und Runtime-Integration.
  • tests/ für Contract-, Lifecycle-, Security- und Integrationsprüfungen.

Fachliche Verantwortung

  • LLM-Integration, Modellkonfiguration, Adaption und Fine-Tuning-Rezepte verwalten.
  • Provider, lokale Modelle, Kontextgrenzen, Kostenparameter und Fähigkeiten beschreiben.
  • LLM-Nutzung mit Prompt Engineering, RAG, Agenten und Monitoring verbinden.
  • Austauschbare Provider- und Backend-Adapter ermöglichen.

Integration

Factory-Vertrag

Die Capability bleibt installierbar und austauschbar, indem Identität, Lifecycle, Schnittstellen, Security und Observability ausdrücklich beschrieben werden.

  1. Identity & Manifest mit Factory-ID, Name, Version, Typ, Maintainer, Lizenz und Vertrauensherkunft.
  2. Lifecycle mit Install, Initialize, Start, Stop, Upgrade, Uninstall sowie Health/Readiness.
  3. Capability/API über versionierte Plugin-, OpenAPI-, gRPC- oder Event-Contracts inklusive Fehlercodes und Timeouts.
  4. Artifact-Verträge für typisierte Eingaben und Ausgaben, Schemas, Versionen, Checksums und Provenance.
  5. Execution-Angaben zu Plugin-Runtime, CPU/RAM/GPU, Storage, Job-Modell, Skalierung und Timeouts.
  6. Security-Regeln für Permissions, Secrets-Scopes, Network Egress, Isolierung und Audit Events.
  7. Observability über Logs, Metrics, Traces, Health, Job-Status und Korrelations-IDs.
  8. Frontend-Erweiterungspunkte mit Routing, Berechtigungen und Versionskompatibilität.
  9. Dependencies auf benötigte Platform-/Lab-Versionen, andere Capabilities und Backend-Services.

Verantwortungsgrenzen

Abgrenzung und Zusammenspiel

AMEL-Agenten dürfen andere Labs nicht ohne Authentisierung, Policy-Prüfung und explizit erlaubte Capabilities steuern. Tool-Ausführung braucht kontrollierte Identitäten und Audit-Trails.

Orthevs Factory Portfolio

Capabilities im Zusammenhang denken.

Factories werden über gemeinsame Verträge zu nachvollziehbaren Engineering-Abläufen verbunden — vom fachlichen Entwurf bis zum Betrieb.

Orthevs – Modulare Fähigkeiten, als eine Plattform entwickelt.