Mniej wektorów, ta sama jakość wyszukiwania. Co skompresowane modele osadzania zmieniają w AI placówki medycznej
Gdy system AI przeszukuje dokumenty, nie porównuje słów. Zamienia teksty na liczby, tzw. osadzenia (embeddingi), i szuka podobieństw między tymi liczbami. Skuteczniejsze modele tworzą nie jedno osadzenie na cały dokument, ale wiele, po jednym na każdy fragment tekstu. Wyniki wyszukiwania są wtedy lepsze, bo model nie "gubi" żadnego szczegółu w jednej liczbie.
Problem: takich wektorów robi się dużo. Duży zbiór dokumentów medycznych to gigabajty danych wektorowych i wolne wyszukiwanie. Pooling to technika, która grupuje sąsiednie wektory i zastępuje je jednym. Zamiast stu wektorów, dwadzieścia, z podobnym efektem. To znane podejście, ale dotąd model nie wiedział podczas trenowania, że jego wyniki zostaną potem skompresowane. Uczył się produkować idealne wektory, które ktoś potem upraszczał, jak potrafił.
Nowy kierunek to trenowanie ze świadomością poolingu. Model od początku uczy się tworzyć osadzenia, które dobrze znoszą późniejsze grupowanie. Wynik jest lepszy przy tej samej redukcji rozmiaru. Albo tę samą jakość uzyskuje się przy znacznie mniejszym zbiorze wektorów. Różnica nie jest rewolucyjna, ale mierzalna i realna.
Co to oznacza dla polskich placówek medycznych (szpitale, przychodnie, apteki, gabinety)
Coraz więcej placówek buduje systemy, w których AI przeszukuje własne dokumenty: wewnętrzne procedury, formularze, historię leczenia, ulotki leków. To RAG, model językowy zasilony wyszukiwarką semantyczną. Jakość odpowiedzi zależy w dużej mierze od tego, jak dobrze wyszukiwarka znajdzie właściwy fragment. Tu właśnie pracują modele osadzania.
- Niższe wymagania sprzętowe. Lepiej skompresowane wektory zajmują mniej miejsca na dysku i w pamięci RAM. Dla małej przychodni albo apteki bez dużego serwera to konkretna różnica między "działa lokalnie" a "nie działa".
- Szybsze odpowiedzi. Mniej wektorów do przeszukania to krótszy czas oczekiwania. W środowisku klinicznym, gdzie lekarz albo rejestratorka czeka na wynik, nawet kilka sekund ma znaczenie.
- Lepsza jakość przy tym samym budżecie. Zamiast kupować droższy sprzęt pod stary, ciężki model, można uruchomić lżejszy model nowszej generacji z porównywalnym albo wyższym wynikiem wyszukiwania.
Przy wyborze systemu warto pytać dostawcę nie tylko o skuteczność modelu wyszukiwania na benchmarkach, ale też o to, jak zachowuje się po kompresji wektorów. Model, który wypadał świetnie w testach laboratoryjnych, może wypaść słabiej, gdy ktoś zredukuje jego wektory na produkcji, żeby zmieścić się w budżecie sprzętowym. To pytanie, które rzadko pada, a często decyduje o realnym działaniu systemu.
Opisany kierunek to wciąż w dużej mierze praca badawcza. Gotowe implementacje trafiają stopniowo do popularnych bibliotek wyszukiwania semantycznego. Warto wiedzieć, że taka funkcja istnieje, gdy następnym razem wybieracie albo aktualizujecie system wyszukiwania w placówce.
Jeśli rozważacie wdrożenie asystenta AI na własnych dokumentach albo chcecie sprawdzić, czy Wasz obecny system wyszukiwania jest dobrze dobrany, zapraszamy na bezpłatny audyt.
Opracowanie: zespół redAi z wykorzystaniem narzędzi AI.
Więcej aktualności
- Zamiast setek warstw, jedna pętla. Co nowa architektura modeli AI zmienia w pracy offline placówki medycznej
- Gdy aktualizacja AI zatrzymuje się sama. Co bezpieczne pipeline'y wdrożeniowe zmieniają w placówce medycznej
- Każdy model pasuje do tego samego gniazda. Co adaptery interfejsu harnessu AI zmieniają w placówce medycznej
- Wydajny model AI na lokalnym serwerze. Co miniaturowe modele nowej generacji zmieniają w bezpieczeństwie danych placówki medycznej