BroadRouter
Loslegen

Fine-Tuning (Feinabstimmung)

Aktualisiert

Fine-Tuning ist das Weitertrainieren eines vortrainierten Sprachmodells mit einem kleineren, aufgabenspezifischen Datensatz, etwa Beispielgesprächen, sodass sich seine Gewichte ändern und es diese Aufgabe oder diesen Stil zuverlässiger beherrscht, ohne lange Anweisungen oder Beispiele in jedem Prompt.

Auch genannt: Fine-Tuning, Finetuning, Feinabstimmung, Feintuning, Nachtrainieren, Supervised Fine-Tuning, SFT, Modell-Fine-Tuning, fine-tuning, finetuning, supervised fine-tuning, model fine-tuning

Prompting sagt einem Modell jedes Mal, was es tun soll. Fine-Tuning verändert das Modell, sodass es das schon weiß.

So funktioniert es

Sie starten mit einem trainierten Modell und trainieren es mit Ihren eigenen Beispielen weiter. Beim Supervised Fine-Tuning (SFT) ist jedes Beispiel ein Gespräch mit der gewünschten Antwort. Der Leitfaden von OpenAI nutzt JSONL, „one complete JSON structure on every line“ (Übersetzung: „eine vollständige JSON-Struktur in jeder Zeile“), im Chat-Format:

{"messages": [{"role": "user", "content": "Classify: 'card charged twice'"}, {"role": "assistant", "content": "billing"}]}

Der Trainingsjob passt die Gewichte so an, dass diese Antworten wahrscheinlicher werden, und liefert eine neue Modell-ID. OpenAI setzt das Minimum bei 10 Beispielen und empfiehlt, mit 50 zu beginnen und zu evaluieren, bevor Sie weitere hinzufügen.

Volles Fine-Tuning aktualisiert jedes Gewicht, was bei großen Modellen teuer ist. Das LoRA-Paper von Hu und Kollegen nennt es unerschwinglich teuer, separate feinabgestimmte Kopien von GPT-3 bereitzustellen, „each with 175B parameters“ (Übersetzung: „jede mit 175B Parametern“). Parametereffiziente Verfahren wie LoRA trainieren stattdessen einen kleinen Zusatz. Destillation ist eine verwandte Idee: ein kleines Modell auf den Outputs eines größeren feinabstimmen.

Warum es wichtig ist

  • Kürzere Prompts. Verhalten, das einen langen Few-Shot-Prompt brauchte, kann in die Gewichte wandern und senkt so die Input-Tokens pro Aufruf.
  • Konsistenz. Gut geeignet sind Klassifikation, ein fester Ausgabestil, Fachübersetzung und das Beheben von Schwächen beim Befolgen von Anweisungen.
  • Pflege. Ein feinabgestimmtes Modell ist an ein Basismodell gebunden. Wird die Basis eingestellt, trainieren Sie neu. Der Leitfaden von OpenAI sagt inzwischen, dass OpenAI seine Fine-Tuning-Plattform zurückfährt: Sie ist für neue Nutzer geschlossen, und feinabgestimmte Modelle werden bereitgestellt, bis ihre Basismodelle abgeschaltet werden.
  • Erst messen. Bauen Sie vor dem Training ein Eval auf, sonst können Sie nicht sagen, ob das feinabgestimmte Modell besser ist.

Um sich ändernde Fakten hinzuzufügen, taugt Fine-Tuning wenig. Retrieval hält sie aktuell.

Bei BroadNet Inference

Die API-Referenz von BroadNet dokumentiert keine Fine-Tuning-API, keine Trainingsjobs und kein Hochladen eigener Gewichte. Sie sagt aber, dass „our Arabic fine-tunes and other models on request“ (Übersetzung: „unsere arabischen Fine-Tunes und andere Modelle auf Anfrage“) über eine private Modell-ID erreichbar sind, die mit dem Endpunkt vergeben wird. BroadNet führt ein solches Modell auf Anfrage: einen Fine-Tune von Cohere Transcribe Arabic für Zahlen, Daten und Namen in verrauschtem Audio. Zum öffentlichen arabischen Transkriptionsmodell siehe den Leitfaden zu arabischem Speech-to-Text. Wenn Sie selbst trainieren müssen, ist ein Open-Weight-Modell der übliche Ausgangspunkt; die Abwägungen stehen in Open-Weight- vs. geschlossene Modelle.

Häufige Fragen

Wie viele Beispiele brauche ich für das Fine-Tuning eines LLM?

Der Leitfaden von OpenAI setzt ein Minimum von 10 und empfiehlt, mit 50 sorgfältig erstellten Beispielen zu beginnen und dann zu messen. Ändern 50 gute Beispiele nichts, überdenken Sie die Aufgabe, bevor Sie weitere hinzufügen.

Fine-Tuning oder RAG für Unternehmenswissen?

Meist Retrieval. Fine-Tuning vermittelt Verhalten und Format gut, aber Fakten, die sich ändern, lassen sich in Dokumenten, die Sie zur Laufzeit abrufen, leichter aktuell halten.

Kann ich bei BroadNet Inference ein Modell feinabstimmen?

Die Dokumentation von BroadNet nennt keine Fine-Tuning-API. Sie erwähnt BroadNets eigene arabische Fine-Tunes, die auf Anfrage als private Endpunkte erreichbar sind.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen