RAG: Retrieval-Augmented Generation
Przestań szukać ręcznie w setkach folderów. Naucz AI wiedzy o Twojej firmie, nie udostępniając jej światu. Poniżej — jak to działa w teorii i jak wygląda w praktyce na naszym sprzęcie.
Teoria — Czym jest RAG?
Problem: AI nie zna Twoich dokumentów
Modele językowe (Llama, Gemma, GPT-OSS) wiedzą bardzo dużo o świecie, ale nie wiedzą nic o Twojej firmie. Nie czytały Twoich umów, regulaminów, faktur ani instrukcji. Gdy zapytasz model o szczegóły konkretnej umowy — zmyśli odpowiedź (tzw. halucynacja). RAG rozwiązuje ten problem.
Czym jest RAG?
Retrieval-Augmented Generation — generowanie odpowiedzi wzbogacone o wyszukiwanie. Zamiast polegać na „pamięci" modelu, system najpierw przeszukuje Twoje dokumenty, znajduje odpowiednie fragmenty, a dopiero potem model generuje odpowiedź — cytując konkretne źródła. To jak dać studentowi dostęp do biblioteki zamiast kazać mu odpowiadać z pamięci.
Jak działa RAG — krok po kroku
Baza wektorowa — „pamięć" systemu
Kluczowym elementem RAG jest baza wektorowa. Działa to tak: specjalny model (tzw. embedding model) czyta każdy dokument i zamienia go na ciąg liczb — wektor. Wektor to matematyczna reprezentacja znaczenia tekstu. Dwa teksty o podobnym temacie będą miały podobne wektory, nawet jeśli używają zupełnie innych słów.
Gdy zadajesz pytanie, system zamienia je na wektor i szuka w bazie najbardziej podobnych fragmentów. To trwa milisekundy — nawet przy tysiącach dokumentów. Efekt: model dostaje precyzyjne fragmenty zamiast przeszukiwania całego archiwum.
Jak powstaje baza wektorowa
Ten proces (indeksowanie) wykonuje się jednorazowo. Nowe dokumenty można dokładać przyrostowo.
Dlaczego lokalnie?
W chmurowych rozwiązaniach RAG (Azure AI Search, OpenAI Assistants) Twoje dokumenty trafiają na serwery zewnętrzne. W naszym podejściu wszystko działa na Twoim sprzęcie – dokumenty, baza wektorowa, model językowy i embedding model. Żaden bajt nie opuszcza Twojej sieci. To kluczowe dla firm pracujących z danymi wrażliwymi: kancelarii prawnych, działów HR, instytucji finansowych.
Praktyka — Test na ASUS GX10
Poniżej opisuję realne wdrożenie RAG przeprowadzone na stacji ASUS GX10 Ascent (128 GB zunifikowanej pamięci, GPU Blackwell). Jako model odpowiadający na pytania użyłem Gemma 4 31B, a jako model embeddingowy — Qwen3-Embedding:8B. Środowisko: AnythingLLM w Dockerze na GX10, dostęp przez przeglądarkę z laptopa.
Stack technologiczny
Ustawienia bazy wektorowej
Zbiór testowy: CUAD
Jako bazę testową wykorzystałem CUAD (Contract Understanding Atticus Dataset) — oficjalny pakiet stworzony przez amerykańską organizację The Atticus Project, zrzeszającą prawników, profesorów i badaczy AI. Zawiera 510 rzeczywistych, profesjonalnych umów handlowych i korporacyjnych (NDA, licencje, fuzje, przejęcia, doradztwo). Wszystkie dokumenty pochodzą z oficjalnych raportów giełdowych amerykańskiej komisji papierów wartościowych SEC (baza EDGAR) i zostały szczegółowo przeanalizowane przez ekspertów prawnych pod kątem kilkudziesięciu kategorii klauzul.
Przykładowe umowy ze zbioru (cytowane w teście)
Indeksowanie — jednorazowy proces
Baza wektorowa przetwarzała się na GX10 przez około 4 godziny przy pomocy modelu Qwen3-Embedding:8B. To proces jednorazowy — po indeksowaniu baza jest gotowa i odpowiada na pytania natychmiast. Nowe dokumenty można dokładać przyrostowo bez ponownego przeliczania całości. Podczas indeksowania laptop pełni wyłącznie rolę przeglądarki — po wgraniu plików można go zamknąć, GX10 dokończy sam.
Kluczowe wnioski z testu
BENCHMARK TRANSCRIPT
Gemma 4 31B odpowiada na pytania o 510 umów korporacyjnych CUAD. Tryb: Query (tylko na podstawie dokumentów).