Modele AI pamiętają prawie wszystko. Problem leży gdzie indziej

Przez lata działaliśmy według prostego założenia: jeśli model AI odpowiada błędnie, to dlatego, że czegoś nie wie. Logiczna konsekwencja była zawsze ta sama - weź większy model, dołóż dane, podepnij zewnętrzną bazę wiedzy. Schemat powtarzał się w kółko.

Najnowsze badania pokazują, że ten schemat jest często po prostu błędny. Frontier models - czołowe modele językowe dostępne dziś na rynku - mają zakodowane niemal wszystkie testowane fakty. Chodzi o odsetek rzędu 95–98%. Model nie jest ignorantem. On po prostu nie sięga po wiedzę, którą w sobie nosi. To fundamentalna różnica: problem nie leży w tym, czego model się nie nauczył, ale w tym, czego nie potrafi przywołać w danym momencie.

I co ważniejsze: odpowiednie techniki wnioskowania w czasie rzeczywistym potrafią odblokować do 65% faktów, które model pozornie "nie znał". Bez dodatkowego treningu. Bez nowej bazy danych. Czasem wystarczy zmienić sposób, w jaki go pytamy.

Co to oznacza dla polskich placówek medycznych

W szpitalach i przychodniach AI coraz częściej wspiera dokumentację, kodowanie ICD, analizę wyników laboratoryjnych czy obsługę zapytań pacjentów. W każdym z tych miejsc błąd faktyczny ma realną wagę. Pomylony kod rozpoznania to kłopot przy rozliczeniu z NFZ. Zła informacja o interakcji lekowej to ryzyko dla pacjenta. Tu nie ma miejsca na filozofowanie o benchmarkach.

Dotąd, gdy system AI się mylił, standardowym odruchem było wdrożenie RAG - podpięcie zewnętrznej bazy wiedzy, która "koryguje" model z zewnątrz. To kosztowne, złożone w utrzymaniu i wymaga stałej aktualizacji. Tymczasem warto najpierw zadać inne pytanie: czy model już ma tę wiedzę, tylko jej nie przywołuje? To pytanie rzadko pada. A powinno paść jako pierwsze.

Praktycznie rzecz biorąc, przed każdą decyzją o rozbudowie architektury warto przetestować, jak system reaguje na różnie sformułowane pytania o ten sam fakt. Kilkuetapowe wnioskowanie, zmiana kolejności pytań, inny kontekst w prompcie - to narzędzia, które mogą wydobyć odpowiedź niedostępną przy pytaniu zadanym wprost. Tańsze niż budowanie kolejnej warstwy wokół modelu.

• Błędy AI w dokumentacji medycznej nie zawsze oznaczają brak wiedzy - częściej to problem z przywołaniem tej wiedzy.
• Przed zakupem droższego modelu sprawdź, czy tańszy nie ma potrzebnych informacji ukrytych za źle skonstruowanym promptem.
• Testy systemów AI powinny obejmować ocenę recall w różnych warunkach, nie tylko standardowe benchmarki celności.
• Zmiana sposobu pytania bywa skuteczniejsza niż zmiana modelu.

To zmiana perspektywy, która potrafi obniżyć koszty wdrożeń i uprościć infrastrukturę. Zamiast dokładać warstwy - lepiej zrozumieć, co system już umie i dlaczego tego nie pokazuje.

Jeśli chcesz sprawdzić, gdzie leżą rzeczywiste przyczyny błędów w systemach AI twojej placówki, umów się na bezpłatny audyt. Razem przyjrzymy się temu, co już masz i co można wyciągnąć bez zbędnych kosztów.