Co mierzą benchmarki modeli AI i dlaczego wynik 94% może was zmylić przy zakupie systemu dla placówki
Każdy dostawca systemu AI chwali się wynikami benchmarków. Model osiągnął 94% na MMLU, pobił poprzednika o 7 punktów na MedQA, zajął pierwsze miejsce w zestawieniu. Brzmi przekonująco. Problem w tym, że benchmarki mierzą to, co zostało z góry zaplanowane do zmierzenia, a nie to, z czym Wasza rejestratorka albo Wasz lekarz będą mieć do czynienia na co dzień.
Benchmark to zestaw pytań albo zadań z gotowymi odpowiedziami. Model dostaje zadanie, zwraca wynik, program liczy procent trafionych. Proste. Ale zestawy pytań powstają w określonym języku, kulturze i w konkretnych warunkach. Modele są potem trenowane na takich właśnie danych, a niekiedy, celowo lub nie, przetwarzają podobne dane podczas treningu. Wynik rośnie, a realna zdolność do nowych zadań niekoniecznie razem z nim.
To znane zjawisko w badaniach nad AI: im bardziej popularny benchmark, tym większe ryzyko, że model "nauczył się testu". Wynik 94% może oznaczać rzeczywistą biegłość, ale może też oznaczać, że dane testowe przedostały się do treningu. Bez dostępu do metodyki nie wiadomo, które z nich.
Co to oznacza dla polskich placówek medycznych (szpitale, przychodnie, apteki, gabinety)
Gdy rozważacie zakup systemu wspomaganego AI, liczba z benchmarku to punkt wyjścia do pytań, nie odpowiedź. Kilka rzeczy warto sprawdzić przed podpisaniem umowy:
- Na jakim języku testowano model. Medyczne benchmarki w języku angielskim nie mówią nic o tym, jak model poradzi sobie z polską dokumentacją, skrótami z kart wypisowych czy regionalnymi nazwami leków. To osobna kwestia.
- Czy benchmark dotyczy Waszego zadania. Wynik na pytaniach wielokrotnego wyboru z wiedzy medycznej to coś innego niż jakość streszczenia wywiadu lekarskiego albo poprawność rozpoznania kodu ICD-10 z opisu.
- Jak stare są dane testowe. Modele trenuje się przez wiele miesięcy. Benchmark z 2023 roku, który model "widział" podczas treningu w 2024, nie jest obiektywną miarą.
- Czy dostawca pokazuje wyniki na Waszych danych. Dobry dostawca zgodzi się przeprowadzić test pilotażowy na anonimizowanej próbce Waszej dokumentacji. To jedyna miara, która naprawdę coś mówi.
Praktyczna wskazówka: zamiast pytać "ile procent na benchmarku", zapytajcie "ile błędów popełnił model na stu losowych kartach od nas". Różnica jest kolosalna. Jeden test trwa kilka godzin i daje konkretną liczbę dotyczącą Waszej placówki, a nie anonimowego szpitala w Bostonie.
Benchmarki są potrzebne, żeby porównywać modele między sobą w ujednoliconych warunkach. Ale decyzja zakupowa dla konkretnej przychodni czy apteki powinna opierać się na tym, co model robi z Waszymi danymi, Waszym językiem i Waszym procesem. Wysoki wynik w zestawieniu to sygnał, że warto się przyjrzeć bliżej, nie że zakup jest uzasadniony.
Chcecie ocenić konkretny system AI pod kątem Waszej dokumentacji i procesów? Umówcie się na bezpłatny audyt, sprawdzimy razem, co benchmark naprawdę mierzy w Waszym przypadku.
Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.
Więcej aktualności
- Zamiast setek warstw, jedna pętla. Co nowa architektura modeli AI zmienia w pracy offline placówki medycznej
- Gdy aktualizacja AI zatrzymuje się sama. Co bezpieczne pipeline'y wdrożeniowe zmieniają w placówce medycznej
- Każdy model pasuje do tego samego gniazda. Co adaptery interfejsu harnessu AI zmieniają w placówce medycznej
- Wydajny model AI na lokalnym serwerze. Co miniaturowe modele nowej generacji zmieniają w bezpieczeństwie danych placówki medycznej