Viele glauben: „Ich brauche nur das beste Modell – dann läuft alles.“
Doch die Realität in Unternehmen sieht anders aus.
Nicht ein Modell macht den Unterschied.
Sondern die richtige Kombination aus Modellen, Regeln und Routing.
In diesem Teil erfährst du:
- Warum ein einzelnes Modell selten die beste Lösung ist
- Wie Decision Routing funktioniert
- Welche Szenarien Multi-Model-Setups erfordern
- Und wie du deine Architektur modular, sicher und skalierbar gestaltest
Was ist Decision Routing?
Decision Routing ist ein Mechanismus, der entscheidet, welches Modell oder welcher Verarbeitungspfad bei welchem Input verwendet wird.
Vergleichbar mit einem Router im Netzwerk – aber für Aufgaben, Sprache oder Sensitivität.
Warum Multi-Model überhaupt?
Ein einziges Modell ist oft:
- zu teuer für Standardaufgaben
- zu langsam für Echtzeitantworten
- zu ungenau bei Spezialfällen
- nicht DSGVO-konform für sensible Daten
→ Deshalb nutzen viele Systeme mehrere Modelle parallel – je nach Use Case, Sensitivität, Sprache oder Datenlage.
Architekturüberblick: Orchestrierung von LLMs
User-Input
↓
Decision Layer (Rule + ML-basiert)
↓ ↓ ↓
Tiny Modell Open Source GPT-4 / Claude
(Quick Match) (Standardfälle) (Kritische Fälle)
↓ ↓ ↓
Postprocessing, Logging, Monitoring
→ Entscheidungslogik basiert auf Regeln, Scores oder Klassifikationsergebnissen.
Kriterien für Modellwahl im Routing
| Kriterium | Beispiel |
|---|---|
| Sprache | Deutsch → Aleph Alpha / Mistral |
| Aufwand / Kosten | „Einfache Zusammenfassung“ → Yi 6B |
| Sicherheitsbedarf | HR-Daten → Selfhosted LLM via Ollama |
| Erforderliche Kontextlänge | 32k Tokens? → Claude 3 Opus |
| Reaktionszeit | <1 s nötig? → Distilled Modell |
In vielen Fällen ist ein günstiges Modell mit gutem Prompt besser als das teuerste Modell blind verwendet.
Beispiele aus der Praxis
Szenario 1: Internes Ticket-System
| Anforderung | Modell |
|---|---|
| Priorisierung & Kategorie | Mistral / Yi (selfhosted) |
| Compliance-Risiken prüfen | GPT-4 (Azure) |
| Summary für Management | Claude 3 Sonnet (klarer Stil) |
→ Entscheidung per Routing-Node in n8n oder custom Decision Layer
Szenario 2: Kundenportal – Fragen beantworten
| Eingabeart | Modell |
|---|---|
| Standardfrage (FAQ) | Mixtral (selfhosted) |
| Komplexe technische Rückfrage | Claude 3 Opus |
| Anfrage mit personenbezogenen Daten | Aleph Alpha (EU Cloud) |
→ Optional: First-Step durch Klassifikationsmodell
Entscheidungslogik – regelbasiert vs. ML-gestützt
| Methode | Vorteil | Nachteil |
|---|---|---|
| Regelbasiert | Einfach zu verstehen | schwer zu skalieren |
| ML-gestützt | Dynamisch, adaptiv | schwer zu debuggen |
| Hybrid | Kontrolle + Flexibilität | komplexere Implementierung |
→ Im Unternehmenskontext meist: regelbasierter MVP → ML-basiertes Tuning
Tools & Frameworks für Multi-Model-Orchestrierung
| Tool | Einsatz |
|---|---|
| n8n | Routing, Trigger, Monitoring |
| LangChain | Router Chains, Multi-Prompting |
| DSPy | Modularisierung + Prompt-Komposition |
| FastAPI / Flask | Eigenes Routing-Layer bauen |
| Datista® Core Fabric | API-first Plattform für sichere Modellorchestrierung, DSGVO-konform (auf Anfrage) |
Datenschutz und Hosting: Welche Modelle sind einsetzbar?
| Modell / Anbieter | DSGVO-konform einsetzbar? | Besonderheit |
|---|---|---|
| GPT-4 via Azure | ✅ (je nach Vertrag) | Enterprise-fähig, weltweit verfügbar |
| Claude 3 via Amazon Bedrock (EU) | ✅ | Gute Sprache, v.a. bei mehrsprachigen Inhalten |
| Aleph Alpha (EU) | ✅ | explizit DSGVO-orientiert |
| Mixtral / Yi (Ollama) | ✅ (Selfhosted) | Flexibel, lokal betreibbar |
| OpenAI direkt | ⚠️ | Keine garantierte DSGVO-Konformität |
→ Wer auf Nummer sicher gehen will, setzt auf selfhosted oder dedizierte EU-Cloud-Modelle – z. B. mit Architekturberatung durch Datista®.
Beispiel-Strategie für kleine/mittlere Unternehmen
80 % der Anfragen → Open-Source-Modell (Mixtral, Yi, Gemma)
15 % Spezialfälle → Cloud-Modell via Azure (GPT-4, Claude)
5 % sensible Daten → lokales LLM auf eigenem Server
Routing erfolgt über n8n oder eigene API-Schicht
→ Niedrige Kosten, hohe Kontrolle, einfache Skalierung
Fazit & Ausblick
Modellwahl ist kein Entweder-oder – sondern eine Architekturentscheidung.
Decision Routing und Multi-Model-Strategien bieten:
- Kostenersparnis
- bessere Performance für spezifische Aufgaben
- Datensouveränität durch gezielte Modellwahl
In Teil 18 geht es weiter mit der Umsetzung:
Wie du Infrastruktur, Monitoring und Sicherheit bei LLM-Systemen aufbaust – auch mit begrenzten Ressourcen.
FAQ – Häufige Fragen
Wie viele Modelle sollte ich einsetzen?
So wenige wie nötig – meist 2–3 reichen aus. Starte einfach, erweitere bei Bedarf.
Kann ich mit n8n wirklich Modelle routen?
Ja. Du kannst APIs aufrufen, Entscheidungen per IF-Node treffen oder Scores aus Klassifikatoren nutzen.
Wie sicher sind selfhosted Modelle wirklich?
Technisch sicher – wenn gut konfiguriert. DSGVO-konform – sofern Logs, Access und Datenpflege stimmen.
Berät Datista® auch zu solchen Architekturen?
Ja – mit Fokus auf modulare, datensouveräne Systeme, die skalierbar und wartbar sind. Auch als White-Label möglich.
