Czy model AI pamięta, co zmieniło się w długim dokumencie? To pytanie warte sprawdzenia przed wdrożeniem

Modele językowe radzą sobie coraz lepiej z czytaniem długich dokumentów. Gorzej z rozumieniem, co w tym dokumencie uległo zmianie. Nowy typ testów porównawczych (tzw. benchmark StateBench) stawia pytanie: jeśli na stronie 3 napisano, że pacjent przyjmuje 50 mg substancji, a na stronie 47 dawkę zmieniono na 100 mg, czy model poda wartość aktualną czy poprzednią? Brzmi prosto. W praktyce mylą się nawet bardzo duże modele, zwłaszcza gdy zmian jest wiele i są rozłożone na dziesiątkach stron.

Chodzi o śledzenie stanu: kto co ma, co zostało zmienione, co anulowane, co obowiązuje teraz. Testy pokazują, że wraz z rosnącą liczbą modyfikacji i długością dokumentu trafność modeli wyraźnie spada. Nie dlatego, że model jest słaby, ale dlatego, że nikt wcześniej nie sprawdzał go pod tym kątem.

Co to oznacza dla polskich placówek medycznych (szpitale, przychodnie, apteki, gabinety)

Dokumentacja medyczna to właśnie ten rodzaj tekstu: długa, pełna aktualizacji, z historią decyzji rozłożoną na wiele stron i wizyt. Jeśli chcecie, żeby AI pomagało w analizie historii choroby, przeglądaniu kart wypisowych albo weryfikacji zleceń, to pytanie o śledzenie zmian stanu jest wprost pytaniem o to, czy model zrobi to rzetelnie.

• Zlecenia i modyfikacje: zmiana dawki, odstawienie leku, zmiana procedury. Model, który podaje nieaktualną wartość, nie pomaga, a stwarza ryzyko.
• Wyniki badań w czasie: parametr laboratoryjny mierzony co kilka dni zmienia się. AI powinno wiedzieć, która wartość jest ostatnia i jak zmiana wygląda na tle poprzednich.
• Podsumowania i wypisy: generowanie dokumentu na podstawie długiej historii wymaga, żeby model wiedział, co aktualnie obowiązuje, nie tylko co kiedyś zapisano.

To nie jest problem wyłącznie medyczny. Apteki śledzą stany magazynowe, przychodnie zarządzają harmonogramami, gabinety mają historię interwencji. Wszędzie tam dokument to nie migawka, lecz zapis ewolucji.

Praktyczny wniosek: zanim zdecydujecie się na model AI do pracy z dokumentacją, warto sprawdzić, jak radzi sobie właśnie z tym scenariuszem. Nie wystarczy dać mu jeden krótki tekst i ocenić odpowiedź. Dajcie kilkustronicowy przypadek z kilkoma zmianami w różnych miejscach i zapytajcie o aktualny stan. Odpowiedź powie więcej niż jakikolwiek raport marketingowy.

Modele szybko się poprawiają w tym obszarze, bo benchmarki takie jak StateBench dają twórcom konkretny cel. Za rok te wyniki będą inne. Ale dziś różnice między modelami są realne i mają znaczenie przy wyborze narzędzia do pracy z długą dokumentacją kliniczną.

Jeśli chcecie sprawdzić, jak poszczególne modele zachowują się na Waszych dokumentach, zanim zdecydujecie o wdrożeniu, umówcie się na bezpłatny audyt. Testujemy na rzeczywistych przypadkach, nie na przykładach z folderu.