Co mierzą benchmarki modeli AI i dlaczego wynik 94% może was zmylić przy zakupie systemu dla placówki

09.11.2026 · 2 min czytania

Każdy dostawca systemu AI chwali się wynikami benchmarków. Model osiągnął 94% na MMLU, pobił poprzednika o 7 punktów na MedQA, zajął pierwsze miejsce w zestawieniu. Brzmi przekonująco. Problem w tym, że benchmarki mierzą to, co zostało z góry zaplanowane do zmierzenia, a nie to, z czym Wasza rejestratorka albo Wasz lekarz będą mieć do czynienia na co dzień.

Benchmark to zestaw pytań albo zadań z gotowymi odpowiedziami. Model dostaje zadanie, zwraca wynik, program liczy procent trafionych. Proste. Ale zestawy pytań powstają w określonym języku, kulturze i w konkretnych warunkach. Modele są potem trenowane na takich właśnie danych, a niekiedy, celowo lub nie, przetwarzają podobne dane podczas treningu. Wynik rośnie, a realna zdolność do nowych zadań niekoniecznie razem z nim.

To znane zjawisko w badaniach nad AI: im bardziej popularny benchmark, tym większe ryzyko, że model "nauczył się testu". Wynik 94% może oznaczać rzeczywistą biegłość, ale może też oznaczać, że dane testowe przedostały się do treningu. Bez dostępu do metodyki nie wiadomo, które z nich.

Co to oznacza dla polskich placówek medycznych (szpitale, przychodnie, apteki, gabinety)

Gdy rozważacie zakup systemu wspomaganego AI, liczba z benchmarku to punkt wyjścia do pytań, nie odpowiedź. Kilka rzeczy warto sprawdzić przed podpisaniem umowy:

  • Na jakim języku testowano model. Medyczne benchmarki w języku angielskim nie mówią nic o tym, jak model poradzi sobie z polską dokumentacją, skrótami z kart wypisowych czy regionalnymi nazwami leków. To osobna kwestia.
  • Czy benchmark dotyczy Waszego zadania. Wynik na pytaniach wielokrotnego wyboru z wiedzy medycznej to coś innego niż jakość streszczenia wywiadu lekarskiego albo poprawność rozpoznania kodu ICD-10 z opisu.
  • Jak stare są dane testowe. Modele trenuje się przez wiele miesięcy. Benchmark z 2023 roku, który model "widział" podczas treningu w 2024, nie jest obiektywną miarą.
  • Czy dostawca pokazuje wyniki na Waszych danych. Dobry dostawca zgodzi się przeprowadzić test pilotażowy na anonimizowanej próbce Waszej dokumentacji. To jedyna miara, która naprawdę coś mówi.

Praktyczna wskazówka: zamiast pytać "ile procent na benchmarku", zapytajcie "ile błędów popełnił model na stu losowych kartach od nas". Różnica jest kolosalna. Jeden test trwa kilka godzin i daje konkretną liczbę dotyczącą Waszej placówki, a nie anonimowego szpitala w Bostonie.

Benchmarki są potrzebne, żeby porównywać modele między sobą w ujednoliconych warunkach. Ale decyzja zakupowa dla konkretnej przychodni czy apteki powinna opierać się na tym, co model robi z Waszymi danymi, Waszym językiem i Waszym procesem. Wysoki wynik w zestawieniu to sygnał, że warto się przyjrzeć bliżej, nie że zakup jest uzasadniony.

Chcecie ocenić konkretny system AI pod kątem Waszej dokumentacji i procesów? Umówcie się na bezpłatny audyt, sprawdzimy razem, co benchmark naprawdę mierzy w Waszym przypadku.

Chcecie wiedzieć, co z tego da się użyć u Was? Bezpłatny audyt potrzeb, bez zobowiązań. Umówcie audyt

Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.

Więcej aktualności