'환각 0'이 실제로 보장하는 것 — groundedness와 그 대가
검증 노드가 재는 것은 사실성이 아니라 문서와의 일치이며, 문서가 틀리면 통과한다. 다섯 가지 한계와 코드에서 센 LLM 호출 횟수, 그리고 실습 코드에 남아 있는 함정 여덟 개를 정리한다.
태그
29편
검증 노드가 재는 것은 사실성이 아니라 문서와의 일치이며, 문서가 틀리면 통과한다. 다섯 가지 한계와 코드에서 센 LLM 호출 횟수, 그리고 실습 코드에 남아 있는 함정 여덟 개를 정리한다.
워크플로우를 구성하는 노드 17종의 선택 기준과, 노코드 플랫폼의 지식베이스가 요구하는 청킹·임베딩·검색 설정을 실측값과 함께 정리한다.
그래프를 전역 상수에서 팩토리 산출물로 바꾸고, astream_events로 노드 경계가 아닌 내부까지 흘려 도구 호출 과정을 UI에 노출하는 구조를 조립한다.
PDF를 의미 단위 블록으로 분해하고 표와 그림을 VLM으로 번역하는 파이프라인을 다룬다. 좌표 정규화, 그래프 기반 재구성, 그리고 표를 두 벌로 저장하는 설계까지.
로컬 LLM은 싸게 하려고 쓰는 것이 아니다. GGUF 형식과 양자화 등급, VRAM 산정 공식, Ollama 운영, 그리고 온프레미스 도입을 판단하는 기준을 정리한다.
표·이미지 해설을 만드는 프롬프트 4종의 설계 의도와 XML 태그·가상질문·수치 강조가 필요한 이유, 그리고 파싱 품질이 의심될 때의 진단 순서를 정리한다.
비동기가 줄이는 것은 지연이 아니라 처리량이다. LangChain의 비동기 API와 트레이싱 관측, 그리고 API 키·예산 상한으로 비용 사고를 막는 구조를 정리한다.
MCP가 낮춘 것은 가능성이 아니라 통합 비용이라는 지적에서 출발해, 벡터스토어를 애플리케이션 밖으로 떼어 내는 재편과 지식베이스 앞에 인증·토큰 등급·가드레일을 겹쳐 놓는 구조를 정리한다.
RAG 실패의 상당수는 문서를 텍스트로 바꾸는 순간 이미 결정된다. 파싱 손실이 복구 불가능한 이유와 BaseLoader로 비표준 포맷을 다루는 구현법을 정리한다.
모든 질문에 검색을 붙이지 않기 위해 확신도와 충분성을 두 번 채점하는 그래프를 조립하고, 판정값을 상태에 남기는 설계가 왜 라우팅 테스트와 진행 표시를 동시에 가능하게 하는지를 따라간다.
RAG 비용의 실체인 토큰 구조와 컨텍스트 윈도우 예산을 정리하고, 적게 넣어야 한다면 무엇을 넣을지 고르는 MMR 알고리즘까지 이어서 다룬다.
element를 유형별로 갈라 처리하고 VLM으로 엔티티를 뽑아 페이지 단위로 재조립하는 노드 9개를 따라간다. 표를 Document 2개로 만드는 이유까지.
노트북 코드를 책임별 모듈로 분해한 4세대 구조를 다룬다. Document Parse v2 응답 스키마, 16줄짜리 노드 추상 클래스, 리듀서로 동시성을 설계하는 상태 스키마까지.
Agentic RAG·Self-RAG·CRAG·Adaptive RAG가 하나의 아이디어에서 갈라지는 지점을 11개 축으로 비교하고, Retriever를 Tool로 등록해 검색 여부부터 에이전트가 판단하게 만드는 StateGraph 구현을 코드로 따라간다.
에이전트가 무엇이고 언제 쓰지 않아야 하는지, 네 프레임워크가 무엇으로 갈리는지를 결론부터 정리하고, 자주 굳어지는 오해를 함께 교정한다.
챗봇과 에이전트를 가르는 것은 도구가 아니라 반복의 주체라는 관점에서 출발해, LLM 단독의 세 한계와 Naive RAG가 검색 실패를 스스로 모르는 구조까지 짚는다.
검색 문서가 하나라도 무관하면 웹으로 보정하는 CRAG와 검색 전에 데이터소스를 고르는 Adaptive RAG를 나란히 놓고, 같은 이름의 함수에 정반대 임계치가 들어가는 이유를 발동 조건표로 정리한다.
Focus별 ToolNode를 조립해 결정론적 분기를 완성한 뒤, 각주가 붙지 않는 진짜 원인이 프롬프트가 아니라 State 설계에 있음을 밝히고 스트리밍 UX가 그래프에 거는 제약까지 따라간다.
Load·Split·Embed·Store·Generate를 코드와 실측값으로 따라가면서 청크 크기가 상한이 아니라는 사실을 확인하고, 직선 파이프라인이 갖는 여섯 가지 한계로 마무리한다.
프롬프트에서 RAG, 에이전트, MCP로 이어진 개발 수요의 이동을 병목 사슬로 읽고, 보안·지연·비용이 저절로 풀리는 동안 품질만 남은 이유와 그래서 무엇에 투자할 것인가를 정리한다.
검색이 빗나가도 답이 나오는 구조적 이유를 진단하고, 판정을 도구로 외부화해 자기교정 루프를 만드는 설계와 프롬프트 네 번의 개정 기록을 정리한다.
청크 크기·top-k·임베딩 모델 교체처럼 RAG 설계에서 반복해 부딪히는 판단을 결론부터 정리하고, 자주 굳어지는 오해를 함께 교정한다.
토큰 비용을 줄이는 순서와 로컬 LLM 판단 기준, 병목을 가리는 관측 방법, 유지보수 가능한 워크플로 설계, 그리고 노코드를 확산시키며 통제하는 구조를 정리한다.
RAG와 그 위에 얹힌 에이전트 기술을 네 개 층으로 나눠 지도를 그리고, 2024년 중반부터 2026년 중반까지 지배적 질문이 어떻게 옮겨 갔는지 정리한다.
RAG를 8단계로 나눠 전체 지도를 그리고, 사전처리의 첫 두 단계인 문서 로드와 텍스트 분할의 선택지·튜닝 파라미터·실패 모드를 정리한다.
청크를 벡터로 바꿔 저장하고 다시 꺼내 오는 검색 계층을 다룬다. 임베딩 모델 선택, 벡터스토어 비교, dense·sparse·하이브리드 검색기, 그리고 2단계 검색의 리랭커까지.
검색된 근거를 답변으로 바꾸는 생성 계층을 다루고, RAG가 잘 안 될 때 어느 단계의 문제인지 특정하는 진단표로 8단계를 닫는다.
사내 문서 RAG 정확도가 낮을 때 어디부터 보는지, 표와 그림을 살리는 방법, 그리고 검증 루프로 할루시네이션을 구조로 막는 설계를 정리한다.
지식 그래프가 무엇이고 GraphRAG가 벡터 RAG와 어떻게 다른지, Graph DB 선택과 구축 파이프라인, 그리고 KG를 도입하지 말아야 할 조건까지 정리한다.