Halucynacje cytatów AI — problem etyczny w pracy klinicznej
Duże modele językowe (LLM) coraz częściej pojawiają się w codziennym warsztacie klinicystów — jako narzędzia do szybkiego przeglądu wiedzy, generowania streszczeń czy odpowiadania na pytania kliniczne. Problem, który towarzyszy tej tendencji, jest dobrze udokumentowany w literaturze naukowej: modele językowe regularnie generują cytaty, które nie istnieją. Zjawisko to — określane jako halucynacja — w kontekście klinicznym stanowi nie tylko niedogodność techniczną, lecz przede wszystkim problem etyczny.
Czym jest halucynacja modelu językowego
Model językowy nie przeszukuje baz danych ani nie sprawdza faktów — generuje tekst, który jest statystycznie prawdopodobny na podstawie danych treningowych. Gdy pytamy go o cytaty z literatury naukowej, model może wygenerować tytuł artykułu, nazwiska autorów, nazwę czasopisma i rok publikacji, które — choć brzmią wiarygodnie — po prostu nie istnieją. Numer PMID wskazuje na zupełnie inną pracę lub na nieistniejący dokument.
Co istotne, model nie „wie”, że kłamie. Nie ma dostępu do informacji o tym, co rzeczywiście istnieje w PubMed, a co skonstruował na podstawie wzorców językowych. Cytaty wyglądają tak samo — zarówno te prawdziwe, jak i zmyślone.
Skala problemu — co mówi literatura
Badania dotyczące halucynacji w LLM potwierdzają, że jest to zjawisko systematyczne, a nie sporadyczne. Przeglądy systematyczne dotyczące zastosowań AI w medycynie wskazują, że halucynacje pozostają jedną z głównych barier dla bezpiecznego wdrożenia tych narzędzi w praktyce klinicznej — obok braku odtwarzalności wyników i niemożności weryfikacji procesów myślowych modelu.
Retrieval-Augmented Generation (RAG) — czyli architektura, w której model odpowiada wyłącznie na podstawie pobranych fragmentów indeksowanych dokumentów — jest wskazywana w literaturze jako jeden z głównych mechanizmów ograniczania halucynacji. Nie oznacza to jednak, że RAG jest wolny od własnych form tego zjawiska: model może przypisać treść do niewłaściwego dokumentu, błędnie syntezować fragmenty z kilku źródeł lub „wiernie" odtworzyć pobrane zdanie w kontekście, który zmienia jego sens (tzw. faithful hallucination). Mechanizm ogranicza problem, ale go nie eliminuje — i robi to w sposób, który wymaga osobnego omówienia.
Dlaczego w klinice to problem etyczny
W większości zastosowań halucynacja jest przede wszystkim problemem wiarygodności. Gdy chatbot rekomenduje restaurację, która nie istnieje — to niewygoda. Gdy asystent do pisania treści marketingowych zmyśla statystyki — to problem redakcyjny. Ale gdy klinicysta opiera decyzję terapeutyczną na cytacie, który nie istnieje, konsekwencje są poważniejsze.
Medycyna i psychologia kliniczna są zbudowane na hierarchii dowodów. Argument „wykazano w metaanalizie” ma zupełnie inną wagę niż „sugeruje doświadczenie kliniczne” — i ta różnica jest klinicznie istotna. Fałszywy cytat, który wygląda jak metaanaliza, może prowadzić do niesłusznego przekonania o sile dowodów dla interwencji, której ta siła nie przysługuje. W kontekście, w którym decyzja o sekwencjonowaniu leczenia czy wyborze narzędzia diagnostycznego musi opierać się na jakości dowodów, problem ten przestaje być abstrakcyjny.
Jak RAG adresuje ten problem — i jakie są jego ograniczenia
Architektura RAG zakłada, że model nie sięga do swojej „wiedzy parametrycznej” (zapisanej w wagach podczas treningu), lecz otrzymuje konkretne fragmenty dokumentów jako kontekst dla każdego zapytania. Odpowiedź może być zakorzeniona w rzeczywiście pobranym fragmencie, a nie w rekonstrukcji modelu.
Ograniczenie polega na tym, że jakość odpowiedzi jest ograniczona jakością indeksu. Jeśli baza nie zawiera danej publikacji, narzędzie nie może jej zacytować — i tutaj uczciwy system powinien to komunikować zamiast generować odpowiedź poza zakresem. Ponadto synteza tekstu na podstawie pobranych fragmentów nadal angażuje model generatywny, który może błędnie interpretować lub syntezować informacje.
Praktyczne wskazówki dla klinicysty
Niezależnie od narzędzia, kilka zasad pozostaje stałych: po pierwsze, zawsze weryfikuj cytaty — sprawdź, czy artykuł istnieje w PubMed pod podanym PMID i czy treść abstraktu odpowiada temu, co twierdzi narzędzie. Po drugie, traktuj odpowiedzi AI jako punkt wyjścia do poszukiwania, nie jako konkluzję. Po trzecie, przy decyzjach klinicznych zawsze sięgaj po pierwotne publikacje — nie po syntezę generowaną przez model.
Artykuł ma charakter informacyjny i nie stanowi porady prawnej. W sprawach wdrożenia AI w placówce klinicznej skonsultuj się z inspektorem ochrony danych lub radcą prawnym.
Diagwise to asystent literatury klinicznej dla psychologów, psychiatrów i psychoterapeutów — zbudowany na bazie recenzowanych publikacji, z cytatami, które możesz zweryfikować.