RAG czy fine-tuning: którego podejścia naprawdę potrzebuje Państwa firma?

Krótka odpowiedź

Jeżeli asystent AI ma odpowiadać na pytania na podstawie dokumentów firmy, procedur, danych produktowych lub zgłoszeń, warto zacząć od RAG (retrieval-augmented generation). Jeżeli model ma w powtarzalny sposób zachowywać się w określony sposób, na przykład zwracać odpowiedzi w stałym formacie, klasyfikować elementy według Państwa kategorii lub trzymać się wąskiego stylu, warto rozważyć fine-tuning.

W praktyce ponad osiem na dziesięć przypadków biznesowych, z którymi się spotykamy, to problemy z dostępem do wiedzy, a nie z zachowaniem modelu. Dlatego RAG jest zwykle pierwszym krokiem, a fine-tuning ewentualną optymalizacją na późniejszym etapie.

Czym jest RAG w prostych słowach

RAG łączy ogólny model językowy z wiedzą Państwa firmy. Gdy użytkownik zadaje pytanie, system najpierw przeszukuje dokumenty, wybiera najbardziej trafne fragmenty i przekazuje je modelowi razem z pytaniem. Model formułuje odpowiedź na ich podstawie i może wskazać, z którego dokumentu pochodzi każda informacja.

Sam model nie ulega zmianie. Wiedza pozostaje w Państwa bazie danych, gdzie można ją aktualizować, wersjonować, chronić uprawnieniami i usuwać.

• Typowe źródła: SharePoint, Google Drive, Confluence, systemy CRM i helpdesk, pliki PDF, katalogi produktów, wewnętrzne wiki.
• Typowe zastosowania: wewnętrzni asystenci wiedzy, obsługa klienta, wsparcie działu sprzedaży, wyszukiwanie procedur i wymogów compliance, onboarding pracowników.

Czym jest fine-tuning w prostych słowach

Fine-tuning to dodatkowe trenowanie istniejącego modelu na zestawie przykładowych danych wejściowych i oczekiwanych odpowiedzi. Model stopniowo dostosowuje swoje wewnętrzne parametry tak, aby odtwarzać wzorce z przykładów: ton, strukturę, terminologię, sposób podejmowania decyzji.

Fine-tuning dobrze uczy modelu, jak ma odpowiadać. Słabo natomiast uczy, co jest prawdą na dziś. Faktów przyswojonych podczas treningu nie da się łatwo zaktualizować ani usunąć, a model nie potrafi wskazać, z jakiego dokumentu pochodzi dana informacja.

Porównanie obu podejść

• Aktualność danych: RAG uwzględnia zmianę w dokumencie w ciągu kilku minut; model po fine-tuningu wymaga ponownego treningu.
• Źródła odpowiedzi: RAG może wskazać konkretny fragment dokumentu; fine-tuning nie daje takiej możliwości.
• Kontrola halucynacji: RAG można skonfigurować tak, aby odpowiadał wyłącznie na podstawie znalezionych źródeł, a w razie ich braku informował o tym; model po fine-tuningu w razie niepewności nadal zgaduje.
• Kontrola dostępu: RAG filtruje dokumenty według uprawnień użytkownika, zanim trafią do modelu; model po fine-tuningu zna wszystko, na czym go wytrenowano, niezależnie od użytkownika.
• Koszt początkowy: RAG wymaga konektorów danych i indeksu wyszukiwania; fine-tuning wymaga od kilkuset do kilku tysięcy wysokiej jakości, opisanych przykładów, które często stanowią najdroższą część projektu.
• Koszt utrzymania: zapytania w RAG są dłuższe, ponieważ zawierają kontekst; modele po fine-tuningu mogą korzystać z krótszych poleceń, a czasem z mniejszych i tańszych modeli.
• Najlepsze zastosowanie: RAG dla wiedzy i faktów, fine-tuning dla formatu, stylu, klasyfikacji i wąskich, powtarzalnych zadań.

Bezpieczeństwo, RODO i AI Act

Dla firm europejskich to często czynnik decydujący. Zgodnie z RODO osoby, których dane dotyczą, mają prawo do ich sprostowania i usunięcia. W RAG wystarczy usunąć lub zaktualizować dokument, a asystent natychmiast przestaje z niego korzystać. W przypadku fine-tuningu dane osobowe, które trafiły do zbioru treningowego, zostają w praktyce utrwalone w modelu, a jedynym pewnym rozwiązaniem jest ponowny trening.

RAG ułatwia także wykazanie przejrzystości i nadzoru człowieka, których AI Act oczekuje od wielu systemów biznesowych: każdą odpowiedź można powiązać ze źródłem, zapisać w logach i zweryfikować. Nasza rekomendacja jest prosta: nie należy trenować modeli na danych osobowych bez jasnej podstawy prawnej i planu ponownego treningu.

Kiedy fine-tuning rzeczywiście ma sens

• Potrzebują Państwo ściśle powtarzalnego wyniku, na przykład ustrukturyzowanych danych JSON wyciąganych z faktur lub wiadomości e-mail.
• Klasyfikują Państwo duże wolumeny elementów według własnych kategorii, na przykład przy kierowaniu zgłoszeń lub rozpoznawaniu typów dokumentów.
• Wymagany jest spójny styl marki w tysiącach generowanych tekstów, a same polecenia nie zapewniają wystarczającej powtarzalności.
• Chcą Państwo przenieść sprawdzony proces na mniejszy, tańszy lub hostowany lokalnie model, aby obniżyć koszty lub czas odpowiedzi.
• Dysponują Państwo dużym, uporządkowanym zbiorem dobrych przykładów lub mogą go przygotować.

Podejście hybrydowe, do którego dochodzą dojrzałe zespoły

Obie metody nie konkurują ze sobą. Częsta architektura produkcyjna wykorzystuje RAG do dostarczania aktualnych faktów oraz lekko dostrojony (lub starannie sterowany poleceniami) model do ich prezentowania w odpowiednim formacie. Przykładowo asystent obsługi klienta pobiera przez RAG aktualny regulamin zwrotów, a model po fine-tuningu formułuje odpowiedź w tonie firmy i klasyfikuje zgłoszenie w CRM.

Przed fine-tuningiem zalecamy wyczerpanie możliwości lepszych poleceń, lepszego wyszukiwania (podział dokumentów, metadane, ponowne rangowanie wyników) oraz przygotowanie rzetelnego zestawu testowego. Zwykle pozwala to zniwelować większość różnic jakościowych przy ułamku kosztów.

Szybka lista kontrolna

• Czy odpowiedź zależy od informacji, które zmieniają się częściej niż raz na kwartał? Proszę wybrać RAG.
• Czy użytkownicy muszą widzieć źródło odpowiedzi? Proszę wybrać RAG.
• Czy różni użytkownicy mają różne uprawnienia? Proszę wybrać RAG.
• Czy problem dotyczy formatu, stylu lub klasyfikacji, a nie wiedzy? Warto rozważyć fine-tuning.
• Czy dysponują Państwo co najmniej kilkuset wysokiej jakości przykładami? Jeżeli nie, fine-tuning jest przedwczesny.
• Czy w grę wchodzą dane osobowe? Lepiej wybrać RAG i nie utrwalać danych w modelu.

Jak pracujemy w LDB Polska

Każdy projekt dotyczący wiedzy rozpoczynamy od krótkiej analizy i pilotażu na prawdziwych dokumentach i prawdziwych pytaniach. Mierzymy trafność odpowiedzi, jakość wskazywanych źródeł i czas reakcji na zestawie testowym uzgodnionym z Państwa zespołem, a dopiero potem oceniamy, czy fine-tuning wniesie mierzalną wartość. Większość klientów uruchamia rozwiązanie RAG produkcyjnie w ciągu czterech do ośmiu tygodni, a do fine-tuningu wraca dopiero po zebraniu danych o użytkowaniu.