문맥 추출과 자기교정 루프의 실제 — 트레이스가 말해주는 것
검증 루프를 실제로 돌렸을 때 무엇이 관측되는지, 압축기에서 생성 권한을 제거하는 설계, 그리고 RAG 품질을 계층별 지표로 관리하는 체계를 정리한다.
태그
12편
검증 루프를 실제로 돌렸을 때 무엇이 관측되는지, 압축기에서 생성 권한을 제거하는 설계, 그리고 RAG 품질을 계층별 지표로 관리하는 체계를 정리한다.
RAG 실패의 상당수는 문서를 텍스트로 바꾸는 순간 이미 결정된다. 파싱 손실이 복구 불가능한 이유와 BaseLoader로 비표준 포맷을 다루는 구현법을 정리한다.
하네스가 Supervisor 패턴과 무엇이 다른지를 상태의 소재지로 가르고, 컨텍스트 38%가 0%로 떨어지는 실측과 그 구조가 RAG의 정의까지 바꾸는 과정을 정리한다.
세 에이전트 프레임워크를 12개 축으로 비교하고, 추상화 수준과 제어권이 반비례한다는 트레이드오프를 의사결정 트리로 정리한다.
LangChain의 구성요소 8종과 Output Parser 카탈로그를 정리하고, 모든 것이 Runnable이기 때문에 LCEL의 파이프 연산자가 스트리밍·비동기·재시도를 공짜로 주는 구조를 설명한다.
Load·Split·Embed·Store·Generate를 코드와 실측값으로 따라가면서 청크 크기가 상한이 아니라는 사실을 확인하고, 직선 파이프라인이 갖는 여섯 가지 한계로 마무리한다.
검색이 빗나가도 답이 나오는 구조적 이유를 진단하고, 판정을 도구로 외부화해 자기교정 루프를 만드는 설계와 프롬프트 네 번의 개정 기록을 정리한다.
청크 크기·top-k·임베딩 모델 교체처럼 RAG 설계에서 반복해 부딪히는 판단을 결론부터 정리하고, 자주 굳어지는 오해를 함께 교정한다.
RAG를 8단계로 나눠 전체 지도를 그리고, 사전처리의 첫 두 단계인 문서 로드와 텍스트 분할의 선택지·튜닝 파라미터·실패 모드를 정리한다.
청크를 벡터로 바꿔 저장하고 다시 꺼내 오는 검색 계층을 다룬다. 임베딩 모델 선택, 벡터스토어 비교, dense·sparse·하이브리드 검색기, 그리고 2단계 검색의 리랭커까지.
검색된 근거를 답변으로 바꾸는 생성 계층을 다루고, RAG가 잘 안 될 때 어느 단계의 문제인지 특정하는 진단표로 8단계를 닫는다.
결정과 실행을 두 곳에 나눠 두는 LangGraph의 2단 구조를 코드로 확인하고, 되돌아오는 엣지 하나로 DAG가 순환 에이전트가 되는 지점까지 배선 세 줄로 따라간다.