AI bezpośrednio w przeglądarce. Co WebGPU zmienia w dostępności lokalnych modeli dla placówek medycznych
Przez lata uruchomienie modelu AI wymagało serwera z kartą graficzną albo połączenia z chmurą. Teraz pojawia się trzecia droga. WebGPU to otwarty standard, który pozwala przeglądarce internetowej korzystać z GPU wbudowanego w komputer lub tablet. Biblioteka ponad 200 gotowych operacji obliczeniowych dla tego interfejsu oznacza, że modele AI mogą działać lokalnie, w oknie przeglądarki, bez żadnej instalacji po stronie użytkownika. Dane nie wychodzą z urządzenia. Serwer nie jest potrzebny.
To nie jest eksperyment laboratoryjny. Gotowe operacje pokrywają to, czego modele językowe i wizyjne potrzebują najczęściej: mnożenie macierzy, kwantyzację, normalizację, operacje uwagi (attention). Przeglądarka zleca je GPU, tak jak robiłby to dedykowany framework na serwerze. Efekt jest porównywalny, a sprzętem jest np. laptop recepcjonistki.
Co to oznacza dla polskich placówek medycznych (szpitale, przychodnie, apteki, gabinety)
Pierwsza i najważniejsza konsekwencja to prywatność danych. Jeśli model działa w przeglądarce na urządzeniu użytkownika, transkrypcja rozmowy, skan dokumentu czy pytanie wpisane przez pacjenta nigdy nie trafia na zewnętrzny serwer. Dla placówek, które przetwarzają dane wrażliwe i muszą spełniać wymagania RODO, to zmienia rachunek ryzyka w małych zastosowaniach.
Druga sprawa to infrastruktura. Wdrożenie AI w przychodni z pięcioma lekarzami albo w aptece nie uzasadnia zakupu serwera GPU ani umowy na chmurę obliczeniową. Jeżeli narzędzie działa w przeglądarce na istniejącym sprzęcie, próg wejścia spada do zera. Wystarczy nowoczesna przeglądarka i karta graficzna zintegrowana z procesorem, a taką ma dziś większość komputerów biurowych.
Gdzie to może trafić do użycia? Kilka konkretnych miejsc:
- Podpowiedzi do kodowania ICD na stanowisku rejestracji, bez wysyłania danych pacjenta poza gabinet.
- Lokalne OCR i ekstrakcja pól ze skanów skierowań lub recept, zanim dokument trafi do systemu HIS.
- Wstępna klasyfikacja pytań pacjentów w formularzach online, działająca po stronie klienta, nie serwera.
- Narzędzia dla personelu na tabletach przy łóżku, gdzie połączenie z siecią wewnętrzną bywa niestabilne.
Jedno zastrzeżenie warte uwagi: duże modele nadal nie zmieszczą się w pamięci GPU laptopa. To co dostajemy dziś w przeglądarce to modele małe i średnie. Do transkrypcji wizyty czy złożonej analizy obrazu nadal potrzebujemy mocniejszego sprzętu albo chmury. Ale do klasyfikacji, podpowiedzi, ekstrakcji krótkich fragmentów, ten poziom wystarczy.
Warto też zwrócić uwagę na tempo dojrzewania tego obszaru. Rok temu było kilka eksperymentalnych demonstracji. Dziś mamy ponad 200 gotowych operacji, które można składać w działające pipeline'y. Za rok ten katalog będzie większy, a modele zmieszczą się w mniejszej pamięci. Placówki, które zaczną testować małe narzędzia teraz, będą lepiej przygotowane na ten moment.
Jeśli chcecie sprawdzić, które z Waszych bieżących potrzeb można zaspokoić modelem działającym lokalnie w przeglądarce, zapraszamy na bezpłatny audyt. Pokażemy, gdzie ta droga ma sens, a gdzie potrzebna jest chmura lub własny serwer.
Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.
Więcej aktualności
- Zamiast setek warstw, jedna pętla. Co nowa architektura modeli AI zmienia w pracy offline placówki medycznej
- Gdy aktualizacja AI zatrzymuje się sama. Co bezpieczne pipeline'y wdrożeniowe zmieniają w placówce medycznej
- Każdy model pasuje do tego samego gniazda. Co adaptery interfejsu harnessu AI zmieniają w placówce medycznej
- Wydajny model AI na lokalnym serwerze. Co miniaturowe modele nowej generacji zmieniają w bezpieczeństwie danych placówki medycznej