Wie diese Ergebnisse einzuordnen sind
Beobachtungen aus Forschungsversuchen · September 2026
Der Vergleich mit sechs Aufgaben verwendete vorbereitete Dokumente und dieselben Anweisungen zur Antworterstellung. Gemini 3.8 Flash high erfüllte 34/34 Kriterien, Qwen3.6-35B-A3B mit deaktiviertem Denkmodus 30/34. Die Modelleinstellungen unterschieden sich. Die Dokumente wurden direkt bereitgestellt: Der Vergleich misst Antworten, keinen Qualitätsgewinn durch die AMBER-Suche.
Ergebnisse je Aufgabe| Modell | Erfüllte Kriterien | Vollständige Fälle | Median der Dauer | Wichtige Beobachtungen |
|---|
| Gemini 3.8 Flash highCloud-Referenz | 34 / 34 | 6 / 6 | Keine vergleichbare Messung | Erfüllte alle gemessenen Anforderungen dieser Stichprobe; wichtige Schlussfolgerungen bleiben prüfbedürftig. |
|---|
| Qwen 3.6-35B-A3B Q4 | 30 / 34 | 3 / 6 | 56,3 s | Höchste lokale Punktzahl dieser Stichprobe; erforderliche Details und historischer Vergleich fehlten. |
|---|
| Ornith 1.5-35B-A3B Q4 | 29 / 34 | 2 / 6 | 35,9 s | Nahe an Qwen, mit kürzeren Antworten; Gutschrift doppelt abgezogen und einen Eigentumsanteil überschätzt. |
|---|
| Gemma 4-26B-A4B Q4 | 26 / 34 | 1 / 6 | 22,5 s | Kürzester lokaler Median dieser Stichprobe; Gutschrift doppelt abgezogen und erforderliche Unterscheidungen ausgelassen. |
|---|
| Nemotron 3.5 Lightning Q4 | 19 / 34 | 0 / 6 | 29,5 s | Fehler bei Beträgen, Unternehmensidentitäten und Quellenverweisen. |
|---|
| GLM 4.7 Flash Q4 | 12 / 34 | 0 / 6 | 23,0 s · Versuche | Fünf endgültige Antworten; Zahlenfehler und eine am Ausgabelimit abgebrochene Antwort. |
|---|
Ein vollständiger Fall erfüllt alle Aufgabenanforderungen sowie die Quellen- und Vergleichsregeln der Anwendung. Null vollständige Fälle bedeutet nicht, dass jede Aussage falsch war. Sechs vorbereitete Aufgaben ergeben Beobachtungen, keine allgemeine Modellrangliste.
Die lokalen Mediane umfassen Entwurf und Quellenprüfung mit denselben sechs bereitgestellten Kontexten, ohne Suche, Import oder Scan-Verarbeitung. GLM lieferte fünf von sechs endgültigen Antworten; der Median von 23,0 Sekunden enthält den fehlgeschlagenen Versuch von 194,9 Sekunden. Die separaten Vertex-Zeiten oben gehören nicht zu diesem Gemini-Ergebnis mit sechs Aufgaben.
Gezeigt wird die primäre, strenge Bewertung. Andere Auslegungen einzelner Anforderungen ergeben Ornith 30/34 und 3/6 vollständige Fälle, Nemotron 20/34 oder GLM 13/34. Sie ersetzen nicht die primäre Bewertung.
Wo die Modelle überzeugten und wo sie scheiterten| Aufgabe | Gemini 3.8 Flash high | Qwen 3.6-35B-A3B Q4 | Ornith 1.5-35B-A3B Q4 | Gemma 4-26B-A4B Q4 | Nemotron 3.5 Lightning Q4 | GLM 4.7 Flash Q4 |
|---|
| Korrektur einer Frachtgebühr | 6/6Alle sechs Kriterien erfüllt | 5/6Richtiger Saldo; unbelegte Herkunft des Tarifs | 4/6596 statt 620: Gutschrift doppelt abgezogen | 4/6596 statt 620: Gutschrift doppelt abgezogen | 1/6Kostenfreie Wartezeit ausgelassen | 0/6266 statt 140 für Wartezeit |
|---|
| Frühere Vertragsbedingungen | 6/6Alle sechs Kriterien erfüllt | 5/6Richtige Fristen; erforderlicher Vergleich nicht akzeptiert | 5/6Richtige Fristen; erforderlicher Vergleich fehlt | 6/6Alle sechs Kriterien erfüllt | 4/6Rückwirkung trotz Quellenangabe verneint | 5/6Vergleichsreihenfolge umgekehrt |
|---|
| Laborfreigabe | 5/5Alle fünf Kriterien erfüllt | 5/5Alle fünf Kriterien erfüllt | 5/5Alle fünf Kriterien erfüllt | 3/5Anderes Gerät und andere Charge nicht ausdrücklich ausgeschlossen | 3/5Dieselben Auslassungen; Englisch statt Deutsch | 3/5Anderes Gerät und andere Charge nicht ausdrücklich ausgeschlossen |
|---|
| Eigentum und Kontrolle | 6/6Alle sechs Kriterien erfüllt | 6/6Alle sechs Kriterien erfüllt | 5/672% statt 36% für eine Eigentümerin | 5/6Keine ausdrückliche Anforderung vollständiger Kennungen | 6/6Sechs Kriterien erfüllt; Quellendeklaration fehlt | 2/625,2% statt 36%; weitere Anteile fehlen |
|---|
| Prüfung eines Schriftsatzes | 6/6Alle sechs Kriterien erfüllt | 4/6A2 § 2 fehlt; angegebener Gerichtsname verworfen | 5/6Gericht erkannt, aber Quelle und fehlende Felder verwechselt | 4/6A2 § 2 und Vorbehalt zur Zuordnung der Anlagen fehlen | 3/6Falsches Unternehmen; unvollständiger Klauselverweis | 0/6Keine endgültige Antwort: Ausgabelimit erreicht |
|---|
| Ausgaben und Umfang | 5/5Alle fünf Kriterien erfüllt | 5/5Alle fünf Kriterien erfüllt | 5/5Alle fünf Kriterien erfüllt | 4/5Vorbehalt zur Vollständigkeit früherer Einträge fehlt | 2/531.600 statt 29.600: Gutschrift nicht abgezogen | 2/522.000 statt 29.600 |
|---|
Die Punkte zählen Einzelanforderungen. Die Hinweise zeigen ausgewählte Beispiele; volle Punktzahl garantiert weder fehlerfreie Formulierungen noch die Erfüllung sämtlicher Anwendungsregeln.
Die Cloud-Zeiten umfassen acht erfolgreiche einfache oder dialogbezogene Anfragen (2,12–3,53 Sekunden) und vier komplexe Fragen (16,84–36,05 Sekunden) über Google Vertex mit kleinen vorbereiteten Dokumentbeständen. Die lokale Studie umfasste 18 polnische Fragen zu acht öffentlichen AML-, Zoll- und Rechtsdokumenten: Median 69,77 Sekunden, Spanne 48,28–96,73 Sekunden. Studien und Anwendungsversionen unterscheiden sich; Import und Scan-Verarbeitung sind nicht enthalten. Gleichzeitige Nutzung wurde nicht gemessen.
Bei den öffentlichen Dokumenten erfüllte Qwen 50/54 Inhaltskriterien; 10/18 Antworten erfüllten alle Anforderungen an Inhalt, Sprache und Quellenbelege (11/18 in einer unabhängigen Prüfung). Die vorab festgelegten Qualitäts- und Antwortzeitziele wurden nicht erreicht. Der lokale Betrieb bleibt daher ein Weg, der im Pilotversuch mit menschlicher Prüfung zu bewerten ist.