LLM-FEINABSTIMMUNG

Domainspezifische KI-Modelle, trainiert auf Ihren Daten

Stimmen Sie Open-Source-LLMs auf die Sprache Ihrer Branche ab. Trainiert auf einer Infrastruktur Ihrer Wahl, die feinabgestimmten Weights gehören Ihnen.

Mein Fine-Tuning-Projekt besprechen
Wann feinabstimmen

RAG vs. Feinabstimmung: Das richtige Werkzeug wählen

Feinabstimmung und RAG lösen unterschiedliche Probleme. Zu verstehen, wann man welches einsetzt, oder beide, ist wichtig für das Ergebnis. So vergleichen sie sich.

Aspekt RAG Feinabstimmung
Am besten für Abfrage bestehender Dokumentenbasen Domainspezifische Sprache und Verhalten
Datenanforderung Funktioniert mit vorhandenen Dokumenten wie sie sind Benötigt kuratierte Trainingsbeispiele (100+)
Wissensaktualisierung Sofort: Dokumente hinzufügen oder entfernen Erfordert Nachtraining mit neuen Daten
Kosten pro Anfrage Höher (Retrieval + Generierung) Niedriger (kein Retrieval-Schritt nötig)
Halluzinationsrisiko Geringer: verankert in abgerufenen Quellen Mittel: abhängig von der Trainingsqualität
Setup-Zeit 2-4 Wochen typisch 4-8 Wochen typisch

Nicht sicher, welcher Ansatz zu Ihrem Anwendungsfall passt? Wir beraten Sie in unserem kostenlosen Erstgespräch. Viele Produktionssysteme kombinieren beide Ansätze.

Unser Prozess

Von Rohdaten zum Produktionsmodell

01

Datenvorbereitung

Wir arbeiten mit Ihrem Team, um Ihre Trainingsdaten zu identifizieren, bereinigen und strukturieren. Dazu gehören domainspezifische Dokumente, Beispiele idealer Outputs und Randfälle. Datenqualität bestimmt Modellqualität, deshalb investieren wir intensiv in diesen Schritt.

  • Daten-Audit und Qualitäts-Assessment
  • Formatkonvertierung und Bereinigung
  • Training/Validierungs-Split-Design
  • Umgang mit datenschutzsensiblen Daten
02

Modelltraining

Wir stimmen Open-Source-Foundation-Models (Llama, Mistral oder ähnliche) auf Ihrem vorbereiteten Datensatz fein ab. Das Training läuft auf Ihrer Infrastruktur oder unseren deutschen GPU-Servern. Mehrere Trainingsläufe mit verschiedenen Hyperparametern für die optimale Konfiguration.

  • Basismodell-Auswahl
  • Hyperparameter-Optimierung
  • LoRA/QLoRA effiziente Feinabstimmung
  • Training auf Ihrer Infrastruktur
03

Evaluation

Tests gegen Ihre Qualitäts-Benchmarks. Wir evaluieren Genauigkeit, Halluzinationsraten, Antwortqualität und Domän-Abdeckung. Ihre Fachexperten validieren Outputs, bevor wir zum Deployment übergehen.

  • Automatisierte Benchmark-Tests
  • Menschliche Evaluation mit Fachexperten
  • Halluzinationserkennung
  • A/B-Tests gegen das Basismodell
04

Deployment

Produktions-Deployment auf Ihrer gewählten Infrastruktur mit Monitoring, Logging und Versionsverwaltung. Wir richten Model Serving, API-Endpoints und die Integration mit Ihren bestehenden Anwendungen ein.

  • Optimiertes Model Serving (vLLM, TGI)
  • API-Endpoint-Konfiguration
  • Monitoring und Alerting
  • Versionsverwaltung und Rollback
Open Source zuerst

Ihre Daten bleiben auf Ihrer Infrastruktur

Wir stimmen Open-Source-Foundation-Models fein ab, darunter Llama, Mistral und andere, auf Ihren Servern oder deutscher Infrastruktur, damit Ihre proprietären Daten in der Umgebung bleiben, die Sie wählen. Keine Per-Token-Gebühren, kein Modellanbieter beteiligt, und die feinabgestimmten Weights gehören Ihnen, im Rahmen der Lizenz des Basismodells.

  • Training On-Premises oder auf deutscher GPU-Infrastruktur (Hetzner)
  • LoRA und QLoRA für effiziente Feinabstimmung, ohne massive GPU-Cluster
  • Die feinabgestimmten Weights gehören Ihnen. Nutzung und Deployment im Rahmen der Lizenz des Basismodells
  • Keine Per-Token- oder Per-Query-Kosten in der Produktion, nur feste Infrastrukturkosten

Unterstützte Basismodelle

Llama 3

Metas offenes Foundation Model

8B - 70B

Mistral / Mixtral

Europäisch gebaut, hohe Leistung

7B - 46B

Qwen

Starke mehrsprachige Fähigkeiten

7B - 72B

Individuelle Auswahl

Wir evaluieren das beste Modell für Ihre Aufgabe

Jede Größe
BRANCHEN

Für wen wir das bauen

Frequently Asked Questions

Feinabstimmung ist die richtige Wahl, wenn das Modell domainspezifische Sprache verstehen, bestimmte Ausgabeformate einhalten oder konsistente Verhaltensmuster aufweisen muss, die durch Prompting allein nicht erreichbar sind. Beispiele sind medizinische Berichtsgenerierung, juristische Klauselentwürfe oder technische Dokumentation in Spezialgebieten. Wenn Sie primär bestehende Dokumente abfragen müssen, ist RAG meist kosteneffizienter. Viele Produktionssysteme kombinieren beide Ansätze.

Mit modernen Techniken wie LoRA sind bedeutende Verbesserungen bereits mit 100 bis 500 hochwertigen Beispielen möglich. Für spezialisierte Aufgaben liefern 1.000 bis 5.000 Beispiele typischerweise starke Ergebnisse. Die Qualität der Trainingsdaten zählt mehr als die Menge: Ein kleinerer Satz sorgfältig kuratierter Beispiele kann einen viel größeren, verrauschten übertreffen. Wir helfen Ihnen, die richtigen Daten in der Vorbereitungsphase zu identifizieren.

Wir arbeiten primär mit Open-Source-Modellen: Llama 3 (Meta), Mistral, Mixtral und ähnliche. Diese Modelle bieten starke Basisleistung, offene Gewichte und lassen sich auf Ihrer eigenen Infrastruktur betreiben. Wir stimmen auch Modelle auf Azure OpenAI fein ab für Unternehmen, die verwaltete Infrastruktur mit EU-Datenresidenz bevorzugen.

Das Training läuft auf einer Infrastruktur Ihrer Wahl: Ihre eigenen Server, unsere deutsche GPU-Infrastruktur auf Hetzner oder Azure EU-Regionen. Mit Open-Source-Modellen auf Ihren Servern oder bei Hetzner gehen Ihre Trainingsdaten nicht an einen Modellanbieter. Wählen Sie Azure OpenAI, läuft das Training in den EU-Regionen von Microsoft zu den Bedingungen von Microsoft. Nach dem Training gehören Ihnen die feinabgestimmten Weights, im Rahmen der Lizenz des Basismodells.

Wir verwenden eine Kombination aus automatisierten Metriken (Perplexität, BLEU/ROUGE-Scores, aufgabenspezifische Benchmarks) und menschlicher Evaluation durch Ihre Domän-Experten. Wir etablieren die Baseline-Performance vor dem Training, messen Verbesserungen auf einem gehaltenen Test-Set und führen A/B-Vergleiche gegen das Basismodell durch. Sie erhalten einen detaillierten Evaluierungsbericht mit jedem Trainingslauf.

Führende Mittelständler setzen bereits auf KI-Lösungen. Starten auch Sie jetzt

Bereit für den nächsten Schritt?

Kostenloses 30-minütiges Strategiegespräch mit Gerrit: kein Verkaufsgespräch, sondern ein konkreter Fahrplan für Ihr Unternehmen.

Hero Image