Duży model AI, skromny serwer. Co oszczędna inferencja MoE zmienia w polskiej placówce medycznej
Architektura Mixture of Experts (MoE) polega na tym, że model ma wielu wyspecjalizowanych "ekspertów" w środku, ale dla każdego zapytania aktywuje tylko ich część. Duże, to jeszcze niedawno oznaczało: drogie w uruchomieniu. Model o 180 miliardach parametrów trzeba było załadować w całości do pamięci operacyjnej, co wymagało albo kilku kart GPU, albo chmury za niemałe pieniądze. Nowe podejście do inferencji zmienia tę równowagę. Zamiast trzymać wszystkie wagi w RAM, system ładuje tylko tych ekspertów, których akurat potrzebuje, a resztę przechowuje poza pamięcią operacyjną. Efekt: 180 miliardów parametrów działa na 32 GB RAM. To ilość, którą ma niemal każdy serwer kurkowy w biurze.
Co to oznacza dla polskich placówek medycznych (szpitale, przychodnie, apteki, gabinety)
Przez długi czas barierą wejścia do lokalnego AI była infrastruktura. Lokalna to znaczy: dane pacjentów nie opuszczają szpitala, model działa na Waszym serwerze, a nie w zewnętrznej chmurze. Problem był jednak taki, że naprawdę zdolne modele wymagały sprzętu, którego przeciętna placówka nie ma i kupić nie planuje. Teraz ten rachunek się zmienia.
32 GB RAM to typowa konfiguracja serwera, który w wielu szpitalach już stoi. Nie potrzeba kart graficznych za kilkadziesiąt tysięcy złotych. Nie potrzeba hali serwerowej. Model może pracować na tym samym urządzeniu, na którym działa baza danych systemu HIS. To nie jest scenariusz przyszłości, to technicznie możliwe dziś.
Dla apteki albo poradni specjalistycznej oznacza to coś konkretnego. Asystent analizujący historię lekową, wsparcie przy kodowaniu ICD, przegląd dokumentacji po dyżurze, model weryfikujący interakcje lekowe, wszystkie te zastosowania wymagają modelu wystarczająco dużego, żeby był rzetelny. Mały model się myli częściej. Duży model do tej pory kosztował infrastrukturę. Ten próg właśnie się obniżył.
Jest też kwestia zgodności z RODO i branżowymi wymogami ochrony danych. Gdy model pracuje lokalnie, żadne dane pacjenta nie trafiają do zewnętrznego API. To argument, który w rozmowie z radcą prawnym albo działem compliance kończy dyskusję. Administratorzy danych medycznych wiedzą, ile czasu zajmuje ocena ryzyka przy wysyłaniu zapytań do zewnętrznych modeli. Własny serwer ten problem eliminuje.
Jedno zastrzeżenie: samo uruchomienie modelu to nie wdrożenie. Model MoE na serwerze to silnik bez karoserii. Potrzeba jeszcze interfejsu, integracji z systemem placówki, dopasowania do konkretnych procesów i nadzoru nad jakością odpowiedzi. Ale zmiana polega na tym, że punkt startowy, czyli dostępność odpowiednio dużego modelu lokalnie, przestał być barierą finansową.
Jeśli Wasza placówka rozważa lokalne AI i zastanawiacie się, jaki sprzęt wystarczy oraz które procesy dają się tym objąć, umówcie się na bezpłatny audyt. Sprawdzimy razem, co macie, co potrzebujecie i gdzie ma to sens.
Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.
Więcej aktualności
- Zamiast setek warstw, jedna pętla. Co nowa architektura modeli AI zmienia w pracy offline placówki medycznej
- Gdy aktualizacja AI zatrzymuje się sama. Co bezpieczne pipeline'y wdrożeniowe zmieniają w placówce medycznej
- Każdy model pasuje do tego samego gniazda. Co adaptery interfejsu harnessu AI zmieniają w placówce medycznej
- Wydajny model AI na lokalnym serwerze. Co miniaturowe modele nowej generacji zmieniają w bezpieczeństwie danych placówki medycznej