Halucynacje cytatów AI — problem etyczny w pracy klinicznej

Modele językowe (LLM) coraz częściej pojawiają się w codziennym warsztacie klinicystów — jako narzędzia do szybkiego przeglądu wiedzy, generowania streszczeń czy odpowiadania na pytania kliniczne. Problem, który towarzyszy tej tendencji, jest dobrze udokumentowany w literaturze naukowej: modele językowe regularnie generują cytaty, które nie istnieją. Zjawisko to — określane jako halucynacja — jest w kontekście klinicznym nie tylko niedogodnością techniczną. Jest problemem etycznym.

Czym jest halucynacja modelu językowego

Model językowy nie przeszukuje baz danych ani nie sprawdza faktów — generuje tekst, który jest statystycznie prawdopodobny na podstawie danych treningowych. Gdy pytamy go o cytaty z literatury naukowej, model może wygenerować tytuł artykułu, nazwiska autorów, nazwę czasopisma i rok publikacji, które — choć brzmią wiarygodnie — po prostu nie istnieją. Numer PMID wskazuje na zupełnie inną pracę lub na nic.

Co istotne, model nie „wie", że kłamie. Nie ma dostępu do informacji o tym, co rzeczywiście istnieje w PubMed, a co skonstruował na podstawie wzorców językowych. Cytaty wyglądają tak samo — zarówno te prawdziwe, jak i zmyślone.

Skala problemu — co mówi literatura

Badania dotyczące halucynacji w LLM potwierdzają, że jest to zjawisko systematyczne, a nie sporadyczne. Przeglądy systematyczne dotyczące zastosowań AI w medycynie wskazują, że halucynacje pozostają jedną z głównych barier dla bezpiecznego wdrożenia tych narzędzi w praktyce klinicznej — obok braku odtwarzalności wyników i niemożności weryfikacji procesów myślowych modelu.

Retrieval-Augmented Generation (RAG) — czyli architektura, w której model odpowiada wyłącznie na podstawie pobranych fragmentów indeksowanych dokumentów — jest wskazywana w literaturze jako jeden z głównych mechanizmów ograniczania halucynacji. Ale nie eliminuje jej całkowicie. Synteza nadal jest generowana przez model, który może błędnie interpretować pobrane fragmenty.

Dlaczego w klinice to problem etyczny

W większości zastosowań halucynacja jest przede wszystkim problemem wiarygodności. Gdy chatbot rekomenduje restaurację, która nie istnieje — to niewygoda. Gdy asystent do pisania treści marketingowych zmyśla statystyki — to problem redakcyjny. Ale gdy klinicysta opiera decyzję terapeutyczną na cytacie, który nie istnieje, konsekwencje są poważniejsze.

Medycyna i psychologia kliniczna są zbudowane na hierarchii dowodów. Argument „wykazano w metaanalizie" ma zupełnie inną wagę niż „sugeruje doświadczenie kliniczne" — i ta różnica jest klinicznie istotna. Fałszywy cytat, który wygląda jak metaanaliza, może prowadzić do niesłusznego przekonania o sile dowodów dla interwencji, której ta siła nie przysługuje. W środowisku, gdzie decyzja o sekwencjonowaniu leczenia lub wyborze narzędzia diagnostycznego powinna opierać się na jakości dowodów — to nie jest problem abstrakcyjny.

Jak RAG adresuje ten problem — i jakie są jego ograniczenia

Architektura RAG zakłada, że model nie sięga do swojej „wiedzy parametrycznej" (zapisanej w wagach podczas treningu), lecz otrzymuje konkretne fragmenty dokumentów jako kontekst dla każdego zapytania. Cytaty mogą wtedy wskazywać na rzeczywiście pobrany fragment, a nie na wygenerowaną przez model rekonstrukcję.

Ograniczenie polega na tym, że jakość odpowiedzi jest ograniczona jakością indeksu. Jeśli baza nie zawiera danej publikacji, narzędzie nie może jej zacytować — i tutaj uczciwy system powinien to komunikować zamiast generować odpowiedź poza zakresem. Ponadto synteza tekstu na podstawie pobranych fragmentów nadal angażuje model generatywny, który może błędnie interpretować lub syntezować informacje.

Praktyczne wskazówki dla klinicysty

Niezależnie od narzędzia, kilka zasad pozostaje stałych: po pierwsze, zawsze weryfikuj cytaty — sprawdź, czy artykuł istnieje w PubMed pod podanym PMID i czy treść abstraktu odpowiada temu, co twierdzi narzędzie. Po drugie, traktuj odpowiedzi AI jako punkt wyjścia do poszukiwania, nie jako konkluzję. Po trzecie, przy decyzjach klinicznych o wysokiej stawce sięgaj po pierwotne publikacje — nie po syntezę generowaną przez model.

Tego rodzaju przeglądy literatury z weryfikowalnymi cytatami możesz prowadzić w Diagwise.