Jak sprawdzić, czy AI faktycznie działa w szpitalu i przynosi efekty?

AI w szpitalu lub przychodni przynosi efekty tylko wtedy, gdy masz dane z okresu sprzed wdrożenia i regularnie porównujesz je z tym, co system robi teraz. Bez punktu odniesienia nie możesz powiedzieć, czy jest lepiej, tak samo, czy gorzej. Pierwszym krokiem do oceny wyników nie jest analiza raportów dostawcy, lecz zmierzenie własnych procesów, zanim jeszcze AI zostanie uruchomiony.

Zanim włączysz AI: zbierz dane bazowe

Typowy scenariusz wygląda tak: wdrożenie przebiega bez problemów technicznych, dostawca pokazuje na odbiór, że system działa, wszyscy kiwają głowami. Pół roku później dyrektor pyta "i co nam to właściwie dało?" Nikt nie potrafi odpowiedzieć, bo nikt nie zapisał, jak było przed.

Dane bazowe to konkretne liczby z okresu sprzed go-live. Co zbierać, zależy od obszaru, w którym AI będzie pracował:

• AI w rejestracji: średni czas obsługi jednego połączenia telefonicznego, liczba porzuconych połączeń tygodniowo, odsetek pacjentów, którzy nie przyszli na termin
• AI w rozliczeniach NFZ: liczba odrzuconych sprawozdań miesięcznie, średni czas przygotowania jednego raportu rozliczeniowego, liczba korekt wysyłanych do płatnika
• AI w dokumentacji medycznej: czas, jaki lekarz spędza na wypełnieniu karty wizyty (zmierz przez obserwację przy kilku wizytach albo zapytaj personel o uczciwy szacunek)
• AI w diagnostyce obrazowej: czas od wykonania badania do wydania opisu w systemie, liczba badań bez opisu starszych niż 48 godzin

Zapisz te liczby w arkuszu kalkulacyjnym. Dosłownie: plik Excel albo Google Sheets, zakładka "Baseline", kolumna z datą pomiaru, kolumna z wartością. Nie potrzebujesz do tego żadnego specjalnego systemu. Prostota tutaj działa na Twoją korzyść, bo dane będą zrozumiałe dla każdego w placówce.

Co konkretnie mierzyć po uruchomieniu

Mierzysz te same wskaźniki, które zapisałeś w baselinie. Ale dochodzą metryki specyficzne dla systemu AI, których wcześniej po prostu nie miałeś jak zbierać:

• Liczba aktywnych użytkowników systemu tygodniowo: jeśli AI ma wspierać 12 rejestratorek, a loguje się do niego 3, masz problem organizacyjny, nie techniczny
• Odsetek sugestii AI zaakceptowanych przez użytkownika: jeśli lekarze odrzucają propozycje systemu w 9 przypadkach na 10, model jest prawdopodobnie słabo skalibrowany pod Twój profil pacjentów albo personel po prostu mu nie ufa
• Czas odpowiedzi systemu: jeśli AI w rejestracji odpowiada wolniej niż ludzki konsultant, personel przestanie go używać szybciej niż skończy się okres pilotażu
• Liczba zgłoszeń do helpdesku dostawcy: wysoka i stabilna liczba incydentów po 3 miesiącach oznacza, że system nie jest gotowy do pracy produkcyjnej, niezależnie od tego, co mówi dokumentacja
• Przypadki ominięcia AI przez użytkownika: jeśli rejestratorki przyjmują wizyty przez stary formularz, bo "tak jest szybciej", dane z systemu AI będą wyglądać dobrze, a efektu w procesie nie ma żadnego

Nie mierz wszystkiego naraz. Na start wybierz dwie, trzy metryki bezpośrednio związane z powodem, dla którego w ogóle wdrażałeś AI. Reszta to szum, który utrudnia ocenę i zniechęca do regularnego raportowania.

Kiedy sprawdzać i kto za to odpowiada

Trzy naturalne momenty przeglądu sprawdzają się w praktyce niezależnie od skali placówki:

• 30 dni po uruchomieniu: czy system działa technicznie stabilnie? Czy personel ma dostęp, czy integracja z HIS-em i EDM przepływa prawidłowo, czy dane z modułu rejestracji są spójne z resztą systemu? To nie jest jeszcze ocena efektów merytorycznych, tylko test czy fundament się trzyma.
• 90 dni po uruchomieniu: pierwsze porównanie z baselinetem. Czy widzisz jakikolwiek ruch w mierzonych wskaźnikach? Różnice mogą być na tym etapie niewielkie, ale powinny być zauważalne w przynajmniej jednym obszarze.
• 6-12 miesięcy po uruchomieniu: pełna ocena zwrotu z inwestycji. Dopiero po tym czasie masz dość danych, żeby uczciwie powiedzieć, co działa, co nie i co warto zmienić przed ewentualnym przedłużeniem umowy.

Kto to robi? W mniejszej przychodni odpowiedzialność zwykle ląduje na kierowniku administracyjnym lub osobie odpowiedzialnej za IT. W szpitalu warto wyznaczyć kogoś z imieniem i nazwiskiem, kto ma to formalnie w zakresie obowiązków. Nazwa stanowiska nie jest ważna. U jednego z naszych klientów tę rolę przejął kierownik działu jakości, bo i tak zbierał dane do akredytacji, więc miał gotowe nawyki i narzędzia. Ważne, żeby nie była to odpowiedzialność "całego zespołu", bo to znaczy, że nie robi tego nikt.

Czerwone flagi: kiedy AI nie przynosi efektów

Są sygnały, które widać stosunkowo szybko, jeśli wiesz, na co patrzeć. Każdy z nich wart jest rozmowy z dostawcą, nie cichego przeczekania.

• Personel wypracowuje obejścia: formalnie "używa" AI, bo taki jest wymóg, ale faktycznie wykonuje tę samą pracę równolegle w starym systemie albo na papierze
• Wskaźniki procesowe nie zmieniają się przez trzy miesiące, mimo że system działa technicznie bez zarzutów i statystyki logowań wyglądają przyzwoicie
• Dostawca w raportach pokazuje wyłącznie "liczbę zapytań do systemu", bez informacji ile z nich zakończyło się akcją zaakceptowaną przez użytkownika
• Personel zgłasza, że sugestie AI są nieadekwatne do realiów oddziału lub sformułowane w sposób, który nie pasuje do dokumentów używanych na co dzień
• Po 90 dniach pracy systemu nikt w placówce nie potrafi powiedzieć bez zaglądania do dokumentacji, do czego konkretnie AI jest używany i kto z niego korzysta

Im szybciej zareagujesz na te sygnały, tym większa szansa na korektę przed upływem okresu gwarancyjnego lub SLA. Po dwóch latach trudno renegocjować warunki, które można było zmienić po czterech miesiącach.

Jak rozmawiać z dostawcą o wynikach, żeby dostać konkretne odpowiedzi

Dostawcy AI chętnie pokazują to, co wygląda dobrze. Twoim zadaniem podczas przeglądów kwartalnych jest pytanie o całość danych. Kilka pytań, które rzeczywiście przynoszą informację:

• "Ile zapytań w tym miesiącu zakończyło się akcją użytkownika, a ile zostało zignorowanych lub odrzuconych?"
• "Jaki był uptime systemu w ostatnich 30 dniach? Ile razy system był niedostępny i na jak długo?"
• "Czy model był aktualizowany w tym kwartale? Jeśli tak: na podstawie jakich danych i kto po Waszej stronie zatwierdził zmianę?"
• "Jakie błędy zostały zaraportowane przez naszych użytkowników w ostatnich 90 dniach i jak każdy z nich został rozwiązany?"

Jeśli dostawca nie potrafi odpowiedzieć na te pytania albo odpowiedzi są bardzo ogólne, to ważna informacja o jakości wsparcia posprzedażowego. Dobry dostawca ma te dane i nie ma powodu, żeby ich nie pokazać.

Od czego zacząć w praktyce

Zanim podpiszesz umowę, poproś o uwzględnienie w kontrakcie trzech rzeczy: zakresu raportowania wyników, częstotliwości przeglądów oraz tego, kto dostarcza dane do oceny. Wiele placówek tego nie robi na etapie negocjacji i potem walczy o podstawowe informacje. Jeśli dostawca nie chce tego zapisać, pytanie brzmi: dlaczego.

Jeszcze przed go-live zrób spotkanie z kierownikami działów, w których AI ma pracować. Zapytaj: "Skąd za trzy miesiące będziemy wiedzieć, że to miało sens?" Ich odpowiedzi to właśnie Twoje metryki. Zapisz je w tym samym pliku co baseline. Wróć do nich po 90 dniach.

Jeśli AI jest już uruchomiony, ale nie masz pewności, czy przynosi efekty albo nie wiesz, od czego zacząć pomiar, możemy to razem przejrzeć. Zrób bezpłatny audyt ze szpitalAI: przejdziemy przez Twoje procesy i pomożemy ustalić metryki, które mają sens dla Twojej placówki i konkretnego obszaru, w którym działa system. Możesz też zobaczyć, jak pomiar wygląda w praktyce u innych: realne wdrożenia pokazują, jakie wskaźniki placówki faktycznie mierzą po uruchomieniu AI i jakie zmiany zaobserwowały.