Jak rozumieć te wyniki
Obserwacje z badań · wrzesień 2026
Porównanie sześciu zadań obejmowało przygotowane dokumenty i jednakowe instrukcje tworzenia odpowiedzi. Gemini 3.8 Flash high spełnił 34/34 kryteria; Qwen3.6-35B-A3B z wyłączonym rozumowaniem — 30/34. Ustawienia modeli różniły się. Dokumenty przekazano bezpośrednio: porównanie mierzy jakość odpowiedzi, a nie poprawę wynikającą z wyszukiwania AMBER.
Wyniki poszczególnych zadań| Model | Spełnione kryteria | Pełne sprawy | Mediana czasu | Co warto wiedzieć |
|---|
| Gemini 3.8 Flash highPunkt odniesienia · chmura | 34 / 34 | 6 / 6 | Brak porównywalnego pomiaru | Spełnił wszystkie mierzone wymagania w tej próbie; ważne wnioski nadal wymagają sprawdzenia. |
|---|
| Qwen 3.6-35B-A3B Q4 | 30 / 34 | 3 / 6 | 56,3 s | Najwyższy wynik lokalny w tej próbie; pominięte wymagane szczegóły i porównanie historyczne. |
|---|
| Ornith 1.5-35B-A3B Q4 | 29 / 34 | 2 / 6 | 35,9 s | Blisko Qwen, przy krótszych odpowiedziach; podwójnie odjął korektę i zawyżył jeden udział własności. |
|---|
| Gemma 4-26B-A4B Q4 | 26 / 34 | 1 / 6 | 22,5 s | Najkrótsza lokalna mediana w tej próbie; podwójnie odjęta korekta i pominięte wymagane rozróżnienia. |
|---|
| Nemotron 3.5 Lightning Q4 | 19 / 34 | 0 / 6 | 29,5 s | Błędy kwot, identyfikacji podmiotów i wskazywania źródeł. |
|---|
| GLM 4.7 Flash Q4 | 12 / 34 | 0 / 6 | 23,0 s · próby | Dostarczył pięć odpowiedzi; błędy liczbowe i jedna odpowiedź przerwana limitem długości. |
|---|
Pełna sprawa spełnia wszystkie wymagania zadania oraz zasady aplikacji dotyczące źródeł i porównań. Zero pełnych spraw nie oznacza, że każda podana informacja była błędna. To obserwacje z sześciu przygotowanych zadań, a nie ogólny ranking modeli.
Mediany lokalne obejmują przygotowanie odpowiedzi i sprawdzenie jej ze źródłami na tych samych sześciu zestawach. Nie obejmują wyszukiwania, importu ani odczytu skanów. GLM dostarczył pięć z sześciu odpowiedzi; mediana 23,0 s uwzględnia nieudaną próbę trwającą 194,9 s. Osobne czasy Vertex podane wyżej nie dotyczą tego wyniku Gemini w sześciu zadaniach.
Pokazujemy podstawową, ścisłą ocenę. Inna interpretacja pojedynczych wymagań daje Ornith 30/34 i 3/6 pełnych spraw, Nemotron 20/34 lub GLM 13/34. Te warianty nie zastępują wyniku podstawowego.
Gdzie modele poradziły sobie, a gdzie się potknęły| Zadanie | Gemini 3.8 Flash high | Qwen 3.6-35B-A3B Q4 | Ornith 1.5-35B-A3B Q4 | Gemma 4-26B-A4B Q4 | Nemotron 3.5 Lightning Q4 | GLM 4.7 Flash Q4 |
|---|
| Korekta opłaty transportowej | 6/6Komplet sześciu kryteriów | 5/6Poprawne saldo; nieudowodnione pochodzenie stawki | 4/6596 zamiast 620: dwukrotnie odjęta korekta | 4/6596 zamiast 620: dwukrotnie odjęta korekta | 1/6Pominięty bezpłatny czas postoju | 0/6266 zamiast 140 za postój |
|---|
| Wcześniejsze warunki umowy | 6/6Komplet sześciu kryteriów | 5/6Poprawne terminy; odrzucone wymagane porównanie | 5/6Poprawne terminy; brak wymaganego porównania | 6/6Komplet sześciu kryteriów | 4/6Zaprzeczenie wstecznego skutku mimo zapisu w źródle | 5/6Odwrócona kolejność porównania |
|---|
| Dopuszczenie laboratoryjne | 5/5Komplet pięciu kryteriów | 5/5Komplet pięciu kryteriów | 5/5Komplet pięciu kryteriów | 3/5Brak jawnego wykluczenia innego przyrządu i partii | 3/5Te same pominięcia; angielski zamiast niemieckiego | 3/5Brak jawnego wykluczenia innego przyrządu i partii |
|---|
| Własność i kontrola | 6/6Komplet sześciu kryteriów | 6/6Komplet sześciu kryteriów | 5/672% zamiast 36% udziału jednej osoby | 5/6Brak wyraźnej prośby o pełne identyfikatory | 6/6Sześć kryteriów; brak deklaracji źródeł | 2/625,2% zamiast 36%; brak pozostałych udziałów |
|---|
| Przegląd pisma | 6/6Komplet sześciu kryteriów | 4/6Brak § 2 aneksu A2; odrzucona podana nazwa sądu | 5/6Sąd rozpoznany, lecz pomylone źródło i rozróżnienie brakujących pól | 4/6Brak § 2 aneksu A2 i zastrzeżenia o powiązaniu załączników | 3/6Niewłaściwa firma i niepełne wskazanie klauzuli | 0/6Brak końcowej odpowiedzi: osiągnięty limit długości |
|---|
| Wydatki i zakres | 5/5Komplet pięciu kryteriów | 5/5Komplet pięciu kryteriów | 5/5Komplet pięciu kryteriów | 4/5Brak zastrzeżenia o kompletności wcześniejszych zapisów | 2/531 600 zamiast 29 600: nieodjęta korekta | 2/522 000 zamiast 29 600 |
|---|
Punkty dotyczą pojedynczych wymagań. Opisy pokazują wybrane przykłady; komplet punktów nie gwarantuje bezbłędnego sformułowania odpowiedzi ani spełnienia wszystkich zasad aplikacji.
Czasy chmurowe obejmują osiem udanych prostych pytań lub wypowiedzi w rozmowie (2,12–3,53 sekundy) i cztery złożone pytania (16,84–36,05 sekundy), obsługiwane przez Google Vertex na małych, przygotowanych zbiorach. Próba lokalna obejmowała 18 polskich pytań do ośmiu publicznych dokumentów AML, celnych i prawnych: mediana 69,77 sekundy, zakres 48,28–96,73 sekundy. To odrębne badania i wersje aplikacji; czasy nie obejmują importu ani odczytu skanów. Nie mierzono pracy wielu użytkowników jednocześnie.
Na publicznych dokumentach Qwen spełnił 50/54 kryteria treści; 10/18 odpowiedzi spełniało wszystkie wymagania dotyczące treści, języka i oparcia w źródłach (11/18 według niezależnej oceny). Próba nie osiągnęła ustalonych wcześniej celów jakości i czasu odpowiedzi. Wariant lokalny pozostaje więc kierunkiem do sprawdzenia w pilotażu, z kontrolą człowieka.