RAG to nie strategia. Dlaczego jakość kontekstu wygrywa z rozmiarem modelu

Model kupisz w abonamencie. Porządku w firmowym archiwum — nie.

Otwarta szafa z firmowym archiwum dokumentów i klucz w bordowym kolorze — metafora RAG jako techniki dostępu do wiedzy

Rozmowa, którą znasz

„Wdrożymy RAG-a, system będzie mądrzejszy”

Zespół IT: „Panie prezesie, wdrożymy RAG-a. AI będzie odpowiadać na podstawie naszych własnych dokumentów.”

Prezes: „Świetnie. A co to dokładnie znaczy?”

Zespół IT: „No… że system będzie mądrzejszy.”

Budżet zostaje zaakceptowany. Pół roku później system na pokazach błyszczy, ale w codziennej pracy z pełnym przekonaniem podaje klientom ceny sprzed dwóch lat. Dział prawny pyta, skąd właściwie wzięła się konkretna odpowiedź — i nikt nie potrafi tego wskazać.

Ten artykuł jest o tym, co poszło nie tak — i dlaczego nie była to wina technologii, tylko braku strategii. A dokładniej: pomylenia jednego z drugim.

Metafora

Genialny pracownik i firmowe archiwum

Model AI to genialny nowy pracownik pierwszego dnia w pracy. Skończył najlepsze uczelnie świata, mówi wszystkimi językami, liczy szybciej niż cały dział analiz. Ale nie zna Twojej firmy. Nie wie, jak nazywacie produkty, co ustalono na zarządzie w marcu ani którzy klienci mają indywidualne rabaty.

RAG — Retrieval-Augmented Generation. Po ludzku: technika, która pozwala modelowi AI przed udzieleniem odpowiedzi zajrzeć do wskazanych dokumentów firmy — zamiast polegać wyłącznie na wiedzy ogólnej. Innymi słowy: dajemy nowemu pracownikowi klucz do firmowego archiwum, zamiast wysyłać go na wielomiesięczne szkolenie. Do tej różnicy jeszcze wrócimy.

Brzmi jak rozwiązanie. I często nim jest. Ale w tym momencie pojawia się pytanie, które w większości projektów nigdy nie pada: w jakim stanie jest to archiwum?

Jeśli leżą w nim trzy sprzeczne wersje cennika, prezentacje z 2019 roku i notatki bez dat — genialny pracownik zacznie z pełnym przekonaniem cytować śmieci. Nie dlatego, że jest głupi. Dlatego, że nikt nie powiedział mu, które dokumenty są aktualne, a które trafiły tam przypadkiem.

Stąd teza tego tekstu: RAG to szafa z dokumentami. Strategia to decyzja, co w niej jest, kto ją porządkuje i kto ma klucz.

Zmiana układu sił

Dlaczego „kupmy lepszy model” przestało być odpowiedzią

Jeszcze niedawno najlepsze modele AI mogła zbudować tylko garstka gigantów — koszt treningu czołowego modelu szacowano na dziesiątki, a nawet setki milionów dolarów. Dziś sytuacja wygląda inaczej: chiński DeepSeek zbudował model porównywalnej klasy za ułamek tej kwoty.

Pozycja

Rząd wielkości

Co to zmienia

Trening czołowego modelu — do niedawna

~100 mln USD

Bariera wejścia dla garstki graczy

Trening DeepSeek R1 (deklarowany koszt biegu)

~5,6 mln USD

Bariera spada o rząd wielkości

Dostęp do modelu klasy frontier dla Twojej firmy

abonament

Ten sam „mózg” dla Ciebie i konkurenta

Pięć i pół miliona dolarów to — dla skali — cena średniego magazynu logistycznego pod dużym polskim miastem. Wniosek dla zarządu mieści się w jednym zdaniu: skoro Ty i Twój konkurent możecie kupić dokładnie ten sam „mózg” w abonamencie, mózg przestał być przewagą konkurencyjną.

To trochę jak z Excelem w latach dziewięćdziesiątych. Nikt nie wygrał rynku, „bo miał Excela”. Wygrali ci, którzy wiedzieli, co do niego wpisać.

Przewagą pozostaje to, czego żaden dostawca AI nie sprzeda Twojej konkurencji: dane Twojej firmy, jej procesy, wiedza o klientach. Pod jednym warunkiem — że są w stanie nadającym się do użycia. I tu zaczyna się prawdziwa robota.

Kusząca droga na skróty

„A może po prostu doszkolimy model?” — sprawdzili to naukowcy

W tym miejscu w wielu firmach pada kusząca propozycja: skoro gotowy model nie zna naszej firmy, wytrenujmy go na naszych danych. Niech się nauczy raz a dobrze.

Brzmi rozsądnie. Badacze Microsoftu postanowili to sprawdzić — porównali wprost dwie drogi przekazywania modelowi nowej wiedzy: doszkalanie (fine-tuning, czyli „nauczenie na pamięć”) i podsuwanie kontekstu (RAG, czyli „wręczenie właściwych dokumentów tuż przed odpowiedzią”).

Wynik nie był rozstrzygnięty na punkty. Był nokautem. W teście wiedzy o nowych wydarzeniach model z dobrze podsuniętym kontekstem osiągał wyniki ponad dwukrotnie lepsze niż ten sam model po doszkoleniu. Co więcej — zwykły model z dobrym RAG-iem wygrywał nawet z modelem specjalnie doszkolonym.

Sposób przekazania wiedzy

Trafność

Odpowiednik z życia

Doszkalanie modelu (fine-tuning)

0,50

Kucie faktów na pamięć przez tygodnie

Podsuwanie kontekstu (RAG)

0,88

Trzy właściwe strony tuż przed wejściem na scenę


  Test wiedzy o nowych wydarzeniach. Źródło: Ovadia, Brief, Mishaeli, Elisha (Microsoft),
  Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs, EMNLP 2024,
  arxiv.org/abs/2312.05934.


Wróćmy do naszego genialnego pracownika. To tak, jakby porównać dwa podejścia przed ważnym wystąpieniem: możesz kazać profesorowi wykuć na pamięć wszystkie fakty o Twojej firmie — tygodnie żmudnej nauki, przygotowywania materiałów i powtórek, a i tak coś pomyli. Albo możesz wręczyć mu, tuż przed wejściem na scenę, trzy dobrze dobrane strony z tym, co naprawdę istotne. Badania mówią jasno: dobrze dobrane strony wygrywają z kuciem na pamięć.

Uczciwa gwiazdka. Doszkalanie wciąż ma sens, gdy chodzi o styl — ton wypowiedzi, format, sposób bycia. Ale do przekazywania wiedzy o Twojej firmie to droga droga i zawodna. Tym większa stawka leży w jakości tego, co podsuwamy. Czyli — wracamy do stanu archiwum.

Dwie historie z rynku

Bank, który wygrał biblioteką. Fintech, który przegrał kosztami.

 

Morgan Stanley — przykład

Klarna — anty-przykład

Punkt wyjścia

~350 tys. dokumentów wiedzy inwestycyjnej. Model wzięty gotowy, praca poszła w uporządkowanie archiwum.

Publiczna deklaracja: AI zastępuje obsługę klienta. Cięcia, oszczędności, nagłówki.

Co zostało rozstrzygnięte przed startem

Które dokumenty są aktualne, kto odpowiada za ich świeżość, kto ma do czego dostęp, jak sprawdzić źródło każdej odpowiedzi.

Nie rozstrzygnięto, czego system nie wie i kiedy ma oddać sprawę człowiekowi.

Efekt

Doradca znajdował potrzebną informację w jednym przypadku na pięć. Po wdrożeniu — w czterech na pięć. Adopcja wśród doradców bliska pełnej.

Powrót do zatrudniania ludzi. CEO publicznie: „za bardzo skupiliśmy się na kosztach, efektem była niższa jakość”.

Koszt niepoliczony w business case

Praca bibliotekarza — policzalna, jednorazowa, amortyzuje się.

Odwrót i reputacja — niepoliczalne z góry, płacone publicznie.

Te dwie historie różni jedno. Morgan Stanley zainwestował w bibliotekę i bibliotekarza, zanim wpuścił do niej genialnego pracownika. Klarna wpuściła go od razu — i kazała mu jeszcze zamykać drzwi za odchodzącymi ludźmi.

Lekcja z Klarny nie brzmi „AI nie działa”. Brzmi: wdrożenie bez przemyślenia, co system wie, czego nie wie i kiedy ma oddać sprawę człowiekowi, kosztuje więcej, niż oszczędza — bo do rachunku trzeba doliczyć koszt odwrotu i utraconą reputację.

RAG odpowiada na pytanie „jak”. Strategia odpowiada na pytania „co”, „kto” i „po co”.

Test dla Twojego zespołu

Cztery pytania, które możesz zadać jutro rano

Nie musisz znać się na wektorach, embeddingach ani architekturze systemów. Wystarczy, że przy najbliższej rozmowie o „wdrożeniu AI” zadasz zespołowi cztery pytania — w tej kolejności.

  1. „Skąd system bierze wiedzę i kto odpowiada za jej aktualność?” — AI cytujące stary cennik to nie awaria technologii, tylko nieobsadzone stanowisko bibliotekarza. Jeśli nikt w firmie nie jest właścicielem świeżości dokumentów, system będzie się starzał od pierwszego dnia.

  2. „Czy potrafimy pokazać, skąd wzięła się każda odpowiedź?” — gdy klient, audytor albo urzędnik zapyta, dlaczego system tak stwierdził, wzruszenie ramion nie jest odpowiedzią. Każda odpowiedź produkcyjnego systemu AI powinna zostawiać ślad, który da się prześledzić.

  3. „Co system ma prawo zrobić sam, a co wymaga człowieka?” — przykład z naszego podwórka: w systemach, które projektujemy, AI nigdy samodzielnie nie inicjuje płatności. Nie dlatego, że nie umie. Dlatego, że nie powinna. Granica między asystą a autonomią to decyzja zarządcza, nie techniczna.

  4. „Czy zmieniliśmy sposób pracy, czy tylko dodaliśmy gadżet?” — badania nad wdrożeniami AI konsekwentnie wskazują, że to przeprojektowanie procesu, a nie sama technologia, najmocniej przekłada się na wynik finansowy. AI doklejone do starego procesu daje efekt demo. AI wpięte w nowy proces daje efekt w rachunku wyników.

Jeśli zespół odpowiada na te pytania bez wahania — masz strategię, a RAG jest jej dobrze dobranym narzędziem. Jeśli zapada cisza — masz szafę pełną dokumentów i drogi abonament.

2 sierpnia 2026. Pytanie numer dwa przestaje być dobrą praktyką, a staje się obowiązkiem. Od tego dnia unijny AI Act (art. 50) wymaga m.in. wyraźnego informowania, że rozmówca lub treść to AI. Firmy, które zbudowały przejrzystość wcześniej, potraktują ten dzień jak formalność. Pozostałe — jak termin.

Perspektywa właścicielska

Porządek w danych to ukryte aktywo. Bałagan — ukryte zobowiązanie.

Jest jeszcze jeden powód, dla którego warto o tym myśleć — szczególnie, jeśli kiedykolwiek rozważasz sprzedaż firmy lub pozyskanie inwestora.

Inwestorzy wyceniają dziś najwyżej nie te firmy AI, które mają najlepszą technologię, ale te, które kontrolują unikalną wiedzę wpiętą w codzienną pracę swoich klientów. Ta sama logika działa w dół — także przy wycenie średniej polskiej firmy. Uporządkowane firmowe archiwum wraz z procesami wokół niego to składnik majątku, który podnosi wycenę. Bałagan w danych to zobowiązanie, które kupujący wyceni za Ciebie — na swoją korzyść.

Warto zauważyć symetrię: te same cztery pytania, które chronią Cię przed halucynacją na spotkaniu z klientem, są też pytaniami z listy due diligence. Bibliotekarz, ślad odpowiedzi, granica autonomii i przeprojektowany proces to nie „projekt IT”. To opis tego, jak firma zarządza własną wiedzą.

Zanim zaakceptujesz kolejny budżet „na RAG-a”, zadaj zespołowi trzy pytania: kto jest bibliotekarzem, jak udowodnimy każdą odpowiedź i co się stanie 2 sierpnia 2026. A jeśli wolisz zacząć od niezależnej diagnozy — przeprowadzimy ją w 30 dni, w stałej cenie. Na końcu dostajesz mapę drogową, nie prezentację.

Sami pracujemy na architekturze, którą opisujemy — nasz własny asystent AI działa według tych czterech pytań: z audytowalnym śladem każdej odpowiedzi, danymi w UE i twardą granicą tego, co wolno mu zrobić samodzielnie.

Zamów AI Readiness Audit — 30 dni →

Artykuł współtworzony z wykorzystaniem AI. Fakty i rekomendacje zweryfikowane przez autora — dokładnie w duchu art. 50 AI Act, o którym piszemy powyżej.

FAQ

Czym różni się RAG od strategii AI?

RAG (Retrieval-Augmented Generation) to technika, która pozwala modelowi AI zajrzeć do wskazanych dokumentów firmy przed udzieleniem odpowiedzi. Strategia rozstrzyga, które dokumenty w ogóle powinny tam trafić, kto odpowiada za ich aktualność, kto ma do nich dostęp i co system wolno mu zrobić samodzielnie.

Co jest lepsze: doszkalanie modelu (fine-tuning) czy RAG?

Do przekazywania wiedzy o firmie — RAG. W badaniu Microsoftu (EMNLP 2024) model z podsuniętym kontekstem osiągnął trafność 0,88 wobec 0,50 dla tego samego modelu doszkolonego na tych samych danych. Fine-tuning pozostaje przydatny do kształtowania stylu i formatu wypowiedzi, nie do wprowadzania faktów.

Dlaczego system RAG podaje nieaktualne informacje?

Bo cytuje to, co znajdzie w archiwum. Jeśli w repozytorium leżą trzy sprzeczne wersje cennika i prezentacje sprzed lat, model poda je z pełnym przekonaniem. To nie awaria technologii, tylko brak właściciela odpowiedzialnego za świeżość dokumentów.

Skoro każdy ma dostęp do tego samego modelu, co daje przewagę?

Dane firmy, jej procesy i wiedza o klientach — pod warunkiem, że są w stanie nadającym się do użycia. Modele klasy frontier są dostępne w abonamencie dla wszystkich, więc sam model przestał być przewagą konkurencyjną.

Jakie cztery pytania zarząd powinien zadać przed wdrożeniem AI?

1) Skąd system bierze wiedzę i kto odpowiada za jej aktualność? 2) Czy potrafimy pokazać, skąd wzięła się każda odpowiedź? 3) Co system ma prawo zrobić sam, a co wymaga człowieka? 4) Czy zmieniliśmy sposób pracy, czy tylko dodaliśmy gadżet?

#rag#strategia-ai#kontekst#fine-tuning#komodytyzacja#governance-danych#zarzad

Jeden artykuł tygodniowo. Zero lania wody.

Subskrybuj →