MODELLAUSWAHL · KRITERIEN STATT RANGLISTE

LLM-Vergleich: das passende Sprachmodell nach Kriterien statt Rangliste wählen

Eine Rangliste zeigt einen Ausschnitt vom Tag der Veröffentlichung und ist beim nächsten Modell schon wieder anders sortiert. Tragfähig ist ein fester Satz an Kriterien, angewendet auf die eigene Aufgabe: Lizenz, Kontextlänge, Sprachqualität auf Deutsch, Hosting-Optionen, Umgang mit Daten und eine Prüfung an eigenen Dokumenten.

Modellauswahl besprechen Zur KI-Beratung

Oder: 20-Minuten-Erstgespräch anfragen

AKTUALISIERT: 13. September 2026
LESEZEIT: 9 Min.
THEMA: LLM-Vergleich

Sechs Kriterien: Lizenz, Kontextlänge, Deutsch-Qualität, Hosting, Datenumgang und eigene Testergebnisse, in dieser Reihenfolge geprüft.
Lizenz zuerst: Qwen2.5 zeigt, dass eine Modellfamilie zwei Lizenzen gleichzeitig tragen kann: Apache 2.0 bis 32 Milliarden Parameter, eine eigene Vereinbarung für 72 Milliarden (Alibaba Cloud, 2024).
Ranglisten veralten: Öffentliche Modellranglisten wie Chatbot Arena aktualisieren ihre Reihenfolge laufend, sobald neue Modelle eintreten (LMSYS / LMArena, o. J.).
Eigener Prüfsatz zählt: RAGAS bewertet Antworten ohne von Menschen vorab geschriebene Musterantworten und eignet sich damit für einen wiederholbaren eigenen Test (Es u. a., arXiv, 2023).

Warum verliert eine öffentliche Rangliste für die Modellauswahl schnell an Wert?

Eine öffentliche Rangliste misst allgemeine Aufgaben, oft auf Englisch, zu einem einzigen Zeitpunkt, und ihre Reihenfolge ändert sich mit jedem neu eingetragenen Modell. Für eine Unternehmensentscheidung zählt dagegen, ob ein Modell die eigene, wiederkehrende Aufgabe zuverlässig löst. Das lässt sich nur an den eigenen Dokumenten und Fragen prüfen, nicht am Ranglistenplatz.

Ranglisten wie Chatbot Arena sammeln Bewertungen aus direkten Vergleichen vieler Nutzer und veröffentlichen daraus eine laufend aktualisierte Reihenfolge (LMSYS / LMArena, o. J.). Das ist als grober erster Filter brauchbar, sagt aber nichts über eine Rechnungsprüfung auf Deutsch oder eine Antwort mit korrekter Quellenangabe aus einem internen Handbuch.

Ein Modell, das im September vorn liegt, muss es im Dezember nicht mehr sein. Ein Kriterienkatalog dagegen bleibt gültig, auch wenn sich die Modelle darunter ständig ändern.

Welches Kriterium sollte bei der Modellauswahl zuerst geprüft werden?

Zuerst gehört die Lizenz geprüft, weil sie ganze Kandidaten ohne weitere Arbeit ausschließen kann. Offene Gewichte sagen nichts über die Lizenz aus, und dieselbe Modellfamilie kann je nach Größe unterschiedliche Bedingungen tragen. Erst wenn die Lizenz zum geplanten Einsatz passt, lohnt sich der Aufwand für einen Qualitätstest.

Ein greifbares Beispiel: Bei Qwen2.5 stehen die Varianten bis 32 Milliarden Parameter unter der freien Apache-Lizenz 2.0, die 72-Milliarden-Variante dagegen unter einer eigenen, am 19. September 2024 veröffentlichten Qwen-Lizenzvereinbarung (Alibaba Cloud, 2024). Ein Test der kleinen Variante beantwortet keine Frage zur großen.

Diese Prüfung kostet Minuten, ein verworfener Testlauf dagegen deutlich mehr Aufwand.

Warum reicht Kontextlänge allein nicht als Auswahlkriterium?

Kontextlänge begrenzt, wie viel Text eine Anfrage aufnehmen kann, sagt aber nichts darüber, wie gut ein Modell diesen Text nutzt. Sprachmodelle behandeln Informationen am Anfang und am Ende eines langen Kontexts nachweislich zuverlässiger als solche in der Mitte (Liu u. a., TACL 2023). Ein großes Kontextfenster ersetzt deshalb keine gezielte Auswahl der eingefügten Textstellen.

Wer ganze Handbücher in jede Anfrage lädt, statt vorher die passenden Abschnitte zu suchen, zahlt für jeden Token und riskiert, dass eine wichtige Stelle in der Mitte des Kontexts untergeht.

Die Kontextlänge eines Modells gehört deshalb nicht in eine Rangliste, sondern in die Frage: Passt sie zur eigenen Suchstrategie, oder ersetzt sie fälschlich eine fehlende Suche?

Wie prüft man Sprachqualität auf Deutsch, statt sie anzunehmen?

Sprachqualität auf Deutsch prüft man an eigenen Beispielsätzen mit Fachbegriffen, langen Komposita und der erwarteten Förmlichkeit, nicht an einem englischen Kennwert. Automatische Metriken unterschätzen den Qualitätsverlust bei Sprachen abseits des Englischen nachweislich, besonders unter Kompression, während menschliche Bewertung den Unterschied klar zeigt (Marchisio u. a., EMNLP 2024).

Diese Arbeit fand für ein japanisches Testszenario einen Rückgang von 16,0 Prozent in menschlicher Bewertung, wo eine automatische Messung nur 1,7 Prozent zeigte. Für deutsche Fachtexte gilt derselbe Grundsatz: Ein englischer Testwert überträgt sich nicht verlässlich.

Eine Handvoll echter Sätze aus dem eigenen Betrieb, von einer fachkundigen Person gegengelesen, sagt hier mehr als jede veröffentlichte Kennzahl.

Was bedeutet die Hosting-Frage für die engere Modellauswahl?

Die Hosting-Frage entscheidet, ob ein Modell überhaupt in die engere Auswahl darf, unabhängig von seiner Qualität. Offene Modelle laufen auf eigener Hardware oder bei einem Hoster der Wahl, gehostete Modelle nur über die Infrastruktur des jeweiligen Anbieters mit dessen Bedingungen zum Verarbeitungsort. Diese Vorentscheidung gehört vor den Qualitätstest, nicht danach.

Bei gehosteten Diensten ändern sich Bedingungen, Modellversionen und Verfügbarkeit ohne eigenes Zutun, ein Umstand, der eher für eine austauschbare Architektur spricht als gegen den Dienst selbst.

Welche Hardwareklasse ein offenes Modell lokal trägt, ordnet Offline-LLM im Unternehmen ein.

Welche Kriterien unterscheiden Open-Weight-Modelle von gehosteten Modellen wirklich?

Open-Weight- und gehostete Modelle unterscheiden sich systematisch in sechs Punkten: Lizenzprüfung, Kontrolle über den Verarbeitungsort, Stabilität der eingesetzten Version, Aufwand für den eigenen Betrieb, Abhängigkeit von einem einzelnen Anbieter und Zugriff auf die aktuell leistungsfähigsten Modelle. Keine Spalte gewinnt auf ganzer Linie, jede Zeile beantwortet eine eigene Frage.

Statt eines Punktestands hilft eine Matrix, die zeigt, an welcher Stelle jeder Weg stark und an welcher er schwach ist. Die Zellen sind Tendenzen, keine Zusicherungen, weil beide Wege je nach konkretem Modell und Vertrag stark streuen.

Kriterien für Open-Weight- und gehostete Modelle

Kriterium	Open-Weight-Modell	Gehostetes Modell
Lizenzprüfung	Vor dem Einsatz einmalig nötig, je Modellgröße unterschiedlich	Über Nutzungsbedingungen des Anbieters geregelt, kann sich ändern
Kontrolle über den Verarbeitungsort	Vollständig, Betrieb auf eigener oder gewählter Hardware	Abhängig vom Vertrag und der Infrastruktur des Anbieters
Stabilität der eingesetzten Version	Bleibt fest, bis bewusst gewechselt wird	Kann sich durch Anbieter-Updates ohne eigenes Zutun ändern
Aufwand für den eigenen Betrieb	Server, Updates, Überwachung und Absicherung liegen im eigenen Haus	Entfällt weitgehend, dafür Abhängigkeit vom Anbieterbetrieb
Abhängigkeit von einem Anbieter	Gering, ein Wechsel des Modells bleibt in eigener Hand	Höher, Preis, Verfügbarkeit und Bedingungen liegen beim Anbieter
Zugriff auf sehr große, aktuelle Modelle	Begrenzt durch verfügbare Hardware	Oft leichter, ohne eigene Investition in Rechenleistung

Für viele Aufgaben im Mittelstand, etwa Klassifikation, Extraktion in ein festes Schema oder Antworten aus firmeneigenen Dokumenten, genügt ein kleineres Modell auf beiden Wegen. Offene Aufgaben mit mehrstufigem Schlussfolgern verschieben die Abwägung eher zugunsten sehr großer, oft gehosteter Modelle.

Wie baut man einen eigenen Testsatz für den Modellvergleich auf?

Ein eigener Testsatz entsteht aus Material, das ohnehin vorliegt: beantwortete Anfragen, geprüfte Extraktionen, freigegebene Textentwürfe. Wichtig sind schwierige und knifflige Fälle, nicht nur typische, weil sich Modelle bei einfachen Aufgaben selten unterscheiden. Jedes Kandidatenmodell läuft unter gleichen Bedingungen gegen denselben Satz, und ein festgelegtes Sollergebnis macht das Ergebnis nachprüfbar.

Aufgabe eng fassen
Eine einzelne, wiederkehrende Aufgabe statt einer allgemeinen Bewertung von KI-Fähigkeiten. Klassifikation, Extraktion und Antworten aus Dokumenten sind typische Startpunkte.
Echte Fälle sammeln
Zehn bis dreißig reale Beispiele aus dem eigenen Betrieb, ausdrücklich mit schwierigen Formulierungen und Grenzfällen, nicht nur mit den einfachsten Anfragen.
Sollergebnis festlegen
Zu jedem Fall legt eine fachkundige Person vorher fest, was eine richtige Antwort ausmacht: korrekter Wert, gültiges Format, richtige Quelle.
Kandidaten unter gleichen Bedingungen testen
Dieselbe Anweisung, dieselbe Eingabe, derselbe Testsatz für jedes Modell, damit der Unterschied tatsächlich am Modell liegt.
Ergebnis blind bewerten
Wo eine automatische Prüfung nicht ausreicht, bewertet eine fachkundige Person eine Stichprobe, ohne zu wissen, welches Modell geantwortet hat.

Verfahren wie RAGAS unterstützen diesen Schritt, indem sie Quellentreue und Antwortrelevanz messen, ohne dass zuvor von Hand geschriebene Musterantworten vorliegen müssen (Es u. a., arXiv, 2023). Das senkt den Aufwand für den Aufbau, ersetzt aber nicht die menschliche Stichprobe bei schwierigen Fällen.

Checkliste

Vor dem ersten Modellvergleich

0 von5

Für das Team, das Kandidaten gegeneinander testet. Die Liste speichert nichts.

Lizenz der konkreten Größe geprüftDer Lizenztext genau der Modellgröße, die tatsächlich getestet wird, liegt vor.
Aufgabe eng gefasstEine wiederkehrende Aufgabe statt eines allgemeinen Qualitätseindrucks.
Schwierige Fälle im TestsatzNicht nur die einfachsten Anfragen, auch Grenzfälle aus dem echten Betrieb.
Sollergebnis vorher festgelegtEine fachkundige Person legt fest, was als richtige Antwort gilt, bevor ein Modell antwortet.
Hosting-Form vorab geklärtLokal, EU-Hoster oder gehosteter Dienst passend zur Datenlage, nicht erst nach dem Qualitätstest.

In welcher Reihenfolge führt die Kriterienprüfung zu einer Entscheidung?

Die Reihenfolge spart Arbeit: Lizenz und Hosting-Anforderung schließen zuerst aus, ohne dass ein einziger Test läuft. Erst danach folgen Sprachqualität und Kontextlänge am eigenen Testsatz, und zuletzt entscheidet eine Abwägung aus Ergebnis, Betriebsaufwand und Abhängigkeit vom Anbieter. Ein Modell, das die ersten beiden Hürden nicht nimmt, muss nicht weiter geprüft werden.

Entscheidungspfad

Welches Kriterium schließt zuerst aus?

Vier Fragen, in der Reihenfolge, die am meisten Prüfaufwand spart.

Alle Fragen und Ergebnisse als Liste

Erlaubt die Lizenz der konkreten Modellgröße den geplanten Einsatz?
- Nein, Ergebnis: Kandidat entfällt ohne weiteren Test
- Ja, weiter mit: Passt die Hosting-Form (lokal, EU-Hoster, gehosteter Dienst) zur Datenlage?
Passt die Hosting-Form (lokal, EU-Hoster, gehosteter Dienst) zur Datenlage?
- Nein, Ergebnis: Kandidat entfällt ohne weiteren Test
- Ja, weiter mit: Löst das Modell die Aufgabe am eigenen Testsatz zuverlässig, auch in Schwierigen Fällen?
Löst das Modell die Aufgabe am eigenen Testsatz zuverlässig, auch in Schwierigen Fällen?
- Nein, Ergebnis: Am eigenen Testsatz gescheitert
- Ja, weiter mit: Bleiben Betriebsaufwand und Abhängigkeit vom Anbieter für das Vorhaben tragbar?
Bleiben Betriebsaufwand und Abhängigkeit vom Anbieter für das Vorhaben tragbar?
- Ja, Ergebnis: Ernsthafter Kandidat
- Nein, Ergebnis: Betriebsaufwand gegen Nutzen abwägen
Ergebnis: Kandidat entfällt ohne weiteren TestWorüber Sie sprechen sollten: welche Modellgröße oder welcher Anbieter stattdessen zur Lizenz- oder Hosting-Anforderung passt, bevor weiterer Aufwand entsteht.
Ergebnis: Am eigenen Testsatz gescheitertWorüber Sie sprechen sollten: ob ein größeres Modell derselben Familie, eine bessere Dokumentensuche oder eine engere Aufgabenstellung das Ergebnis verbessert.
Ergebnis: Betriebsaufwand gegen Nutzen abwägenWorüber Sie sprechen sollten: ob ein anderer Hosting-Weg denselben Kandidaten mit weniger Aufwand nutzbar macht, etwa ein Hoster statt eigenem Betrieb.
Ergebnis: Ernsthafter KandidatWorüber Sie sprechen sollten: wie der Modellaufruf hinter einer eigenen Schnittstelle gekapselt wird, damit ein späterer Wechsel eine Konfigurationsänderung bleibt.

Am Ende dieser Kette steht selten ein einzelnes Modell für das ganze Unternehmen. Häufiger nutzt eine Anwendung für die Klassifikation ein kleines, schnelles Modell und nur für anspruchsvolle Entwürfe ein größeres, jeweils dort ausgewählt, wo die Aufgabe entsteht.

Belege aus unserer Arbeit

VERTRAUT VON TEAMS, DIE KI ERNST NEHMEN

Häufige Fragen

Welches Sprachmodell ist derzeit das beste?

Diese Frage lässt sich nur für eine konkrete Aufgabe beantworten, und die Antwort ändert sich mit jeder neuen Modellgeneration. Deshalb steht hier bewusst keine Rangliste. Tragfähig ist ein Vergleich der infrage kommenden Kandidaten an einem eigenen Testsatz, der sich bei jedem neuen Modell mit wenig Aufwand wiederholen lässt.

Warum reicht eine bekannte öffentliche Rangliste nicht als Entscheidungsgrundlage?

Ranglisten wie Chatbot Arena messen allgemeine, oft englischsprachige Aufgaben zu einem Zeitpunkt und werden laufend neu sortiert, sobald weitere Modelle eintreten. Für eine konkrete Aufgabe im eigenen Betrieb, etwa auf Deutsch oder mit firmeneigenen Dokumenten, sagt der Ranglistenplatz wenig aus. Ein eigener Testsatz bleibt aussagekräftiger und bleibt es auch bei neuen Modellen.

Muss ein europäisches Modell gewählt werden, damit die Datenverarbeitung rechtmäßig bleibt?

Nein. Entscheidend ist der Verarbeitungsort und die Vertragslage, nicht die Herkunft des Modells. Ein offenes Modell beliebiger Herkunft auf eigener Hardware in der EU kann einfacher zu begründen sein als ein europäisches Modell bei einem Anbieter außerhalb der EU. Diese Frage klärt sich über die Hosting-Prüfung, nicht über den Modellnamen.

Wie oft sollte die Modellauswahl neu geprüft werden?

Immer dann, wenn ein neues Modell am eigenen Testsatz spürbar besser abschneidet, deutlich weniger Speicher braucht oder ein bestehendes Problem behebt. Neuheit allein ist kein ausreichender Grund für einen Wechsel. Wer Modellaufrufe hinter einer eigenen Schnittstelle kapselt, macht jede Prüfung zu einer kleinen, wiederholbaren Aufgabe statt zu einem größeren Projekt.

Kann ein kleines Modell ein großes bei gleicher Aufgabe ersetzen?

Für eng umrissene Aufgaben oft ja. Klassifikation, Extraktion in ein festes Schema oder Antworten aus vorgelegten Dokumenten gelingen kleinen Modellen häufig ausreichend gut. Offene Aufgaben mit mehrstufigem Schlussfolgern bleiben eher die Domäne großer Modelle. Wo die Grenze im eigenen Fall liegt, zeigt ausschließlich der eigene Testsatz.

Was, wenn zwei Kandidaten am Testsatz fast gleich gut abschneiden?

Dann entscheiden die weichen Kriterien: Lizenzbedingungen, Betriebsaufwand, Abhängigkeit von einem Anbieter und wie leicht sich die Anwendung später auf ein anderes Modell umstellen lässt. Ein knapper Qualitätsvorsprung wiegt selten schwerer als eine Lizenz, die den geplanten Einsatz einschränkt.