LLM 앱 개발의 병목은 네 번 옮겨 갔다 — 그리고 한 번도 옮기지 않은 것 셋

"요즘 트렌드를 어떻게 보시나요"라는 질문에 기술 이름을 나열하면 대개 답이 되지 않는다. 프롬프트 엔지니어링, RAG, 에이전트, MCP — 이름을 순서대로 말하는 것은 목차를 읽는 것이지 판단이 아니다.

이 글은 같은 시기를 병목의 이동으로 다시 읽는다. 각 단계는 앞 단계의 병목을 풀면서 새 병목을 만들었고, 그 사슬을 따라가면 "다음에 무엇이 온다"가 아니라 **"지금 무엇이 막혀 있다"**가 보인다. 그리고 사슬 옆에는 네 번의 이동 동안 한 번도 자리를 바꾸지 않은 영역이 셋 있는데, 유행을 타지 않는다는 사실 자체가 그 셋의 성격을 말해 준다. 앞 시리즈가 무엇이 공개됐는가를 셌다면 이 시리즈는 무엇이 요청됐는가를 센다.

글 후반은 그 결과를 우선순위로 뒤집는다. 보안·지연·비용은 엔지니어링이 아니라 시장이 상당 부분 해소해 줬고 품질만 남았다. 그 진단이 맞다면 투자 배분이 달라져야 한다.

이 글은 2025년 5월부터 10월까지의 자료를 정리한 것이다. 서술의 현재 시제는 그 시점을 가리키며, 이후 갱신되지 않았다. 등장하는 회사 사례·서베이 수치·벤치마크는 모두 원 자료의 것이다.

용어 정리

이 시리즈의 지도

이 글은 A와 G를 맡는다. 시작과 끝이 같은 편에 있는 이유는 둘이 같은 질문의 앞뒤이기 때문이다 — 병목이 어디로 옮겨 갔는지 알면 어디에 투자할지가 따라 나온다. 가운데 넷은 각각 Ambient Agent와 HITL, 평가와 관측, MCP와 RAG 재편, 아키텍처 선택에 있다.

네 시기와 그 사이의 병목

원 자료가 "AI의 기술 발전에 따른 개발 수요 '변화'"라는 제목으로 네 시기를 가른 표다.

오른쪽 열이 이 표의 요점이다. 기술 이름이 아니라 고객이 실제로 한 말로 시기를 가르면, 각 시기의 요청이 앞 시기에는 불가능했던 것임이 드러난다.

같은 이동을 병목으로 다시 쓰면 사슬이 된다.

네 번째 열을 세로로 읽어야 한다. 각 단계가 남긴 새 병목의 절반이 "평가"와 "관측"이다.

RAG가 남긴 것에 평가 부재가 있고, 에이전트가 남긴 것에 실행 경로 관측 불가가 있고, MCP가 남긴 것에 도구 선택 품질 평가가 있다. 세 시기가 각각 다른 이유로 같은 곳에 도착했다는 뜻이다. 이것이 평가·관측 편이 이 시리즈에서 가장 긴 이유이고, 아래 배팅 우선순위 1위의 근거이기도 하다.

네 번의 이동 동안 자리를 바꾸지 않은 셋

트렌드가 네 번 바뀌는 동안에도 계속 수요가 있었던 영역이 셋으로 정리돼 있다.

셋의 공통점은 모델이 좋아진다고 저절로 해결되지 않는다는 것이다.

이 기준이 유용한 이유는 투자 판단에 바로 쓰이기 때문이다. 모델 개선으로 풀리는 문제에 엔지니어링 예산을 쓰면 다음 세대에 그 코드가 버려진다. 반대로 이 셋은 모델이 두 배 좋아져도 스캔 PDF의 표는 여전히 표이고, 평가 데이터셋은 여전히 사람이 만들어야 하고, 배포 파이프라인은 여전히 필요하다. 유행을 타지 않는다는 것은 매력이 없다는 뜻이 아니라 감가상각이 느리다는 뜻이다.

2024년 — RAG 고도화의 해

병목 사슬의 두 번째 칸을 확대하면 현장에서 무엇이 요청됐는지가 나온다. 먼저 고객이 요청한 것 여덟 가지다.

여덟 중 셋(3·6·7)이 조사와 요약이다. 리서치가 RAG의 첫 킬러 유스케이스였다는 것은 뒤의 서베이에서도 다시 확인된다.

그다음이 그 요청을 받고 깊어진 고민 일곱 가지다.

요청 표는 여덟 행, 고민 표는 일곱 행인데 두 표는 한 항목도 대응하지 않는다. 앞의 표는 "무엇을 만들어 달라"이고 뒤의 표는 "만들었더니 무엇이 문제더라"라서, 행 수가 비슷한 것은 우연이다. 그리고 뒤 표의 성격 열을 보면 신뢰·성능·품질·범위·보안·규모·파싱이 전부 다르다 — 한 프로젝트에서 이 일곱을 동시에 요구받는 것이 2024년의 현실이었다는 뜻이다.

그래서 파고든 주제가 다섯이다.

다섯 중 1번과 2번이 앞의 "자리를 바꾸지 않은 셋"과 겹친다. 2024년에 파고든 것 중 절반이 2025년에도 여전히 수요였다는 뜻이다. 각 주제의 실제 작업은 문서 파싱의 병목과 Knowledge Graph와 GraphRAG에 따로 정리돼 있다.

국내 현장에서 실제로 나온 질문

기술 스펙이 아니라 설득과 기대치 관리 쪽에 몰려 있다.

오른쪽 열이 이 표를 표로 만든 이유다. 왼쪽만 보면 네 개의 다른 질문이지만, 오른쪽으로 옮기면 전부 한 가지 준비 부족 — 도입 전에 무엇을 합의했어야 하는가 — 을 가리킨다. 4번은 특히 위험한데, 이 오해를 방치한 채 구축하면 운영 6개월 뒤 "왜 안 똑똑해지냐"는 질문을 받는다.

무엇이 저절로 해결되었고 무엇이 남았나

도식은 네 갈래인데 표는 네 행이고, 여기서는 개수가 맞는다. 대신 표에만 있는 것이 "무엇이 해결했나" 열이다. 도식은 결과를 그리고 표는 주체를 적는데, 그 주체가 셋 다 우리가 아니라는 점이 이 절의 논지다 — 보안과 지연은 사회적 분위기가, 비용은 제조사가 풀었다. 엔지니어링이 푼 것은 하나도 없고, 그래서 남은 하나도 저절로 풀리기를 기대할 수 없다.

지연시간 항목에는 UX 처방이 함께 붙어 있다.

"좋은 질문이네요!", "자, 그럼 이제 조사를 시작할게요~" 와 같이 멘트를 던지면서 시간을 끌어 주는 UX가 사용자의 인내심을 기르는 데 도움이 될 수 있다. — Andrew Ng

이 처방이 값을 하는 이유는 지연을 줄이는 대신 견딜 만하게 만드는 방향으로 문제를 옮기기 때문이다. 응답 시간을 절반으로 줄이는 일은 아키텍처 전체를 건드리지만, 진행 상황을 흘려보내는 일은 스트리밍 한 겹이다. 어느 쪽이 먼저인지는 대개 명확한데도 반대로 착수하는 경우가 많다.

세 문제가 "저절로" 풀렸다는 서술의 실전 함의는 리소스 배분이다.

보안 우려로 자체 모델을 고집하고, 지연시간 최적화에 분기 예산을 쓰고, 토큰 비용을 아끼려 프롬프트를 깎는 작업 — 이 셋이 2024년에는 값을 했지만 2025년에는 이미 시장이 상당 부분 해소한 영역이다. 같은 인력을 품질 측정 체계로 옮기는 것이 이 진단의 결론이고, 그래서 이 시리즈에서 평가·관측이 가장 큰 자리를 차지한다.

2025년 하반기 시점의 배팅 우선순위

아래 순위는 원 자료가 표로 제공한 것이 아니라 앞 절들을 근거로 정리한 판단이다. "근거" 열이 원 자료 대응 지점이다.

여섯 중 셋(1·4·5)이 "자리를 바꾸지 않은 셋"과 그대로 겹친다. 순위를 다시 세운 것이 아니라 같은 결론에 다른 경로로 도착한 것이고, 나머지 셋(2·3·6)은 2025년에 새로 올라온 항목이다.

배팅하지 말아야 할 것

두 표를 나란히 놓으면 두 번째 행이 서로 모순처럼 보인다. 위 표는 평가·관측이 1순위라고 하고, 아래 표는 평가 지표에 과투자하지 말라고 한다.

모순이 아니라 순서의 문제다. 평가 체계를 세우는 것과 완벽한 평가 지표를 설계하는 것은 다른 작업이고, 후자에 매달리면 전자가 착수되지 않는다. 거친 평가라도 먼저 돌리고 실사용 데이터로 정교화하라는 것이 자료 전체의 권고이며, 그 절차를 7단계로 편 것이 평가·관측 편이다.

여기까지가 지형이다. 병목이 네 번 옮겨 갔고, 지금 막혀 있는 곳은 품질이며, 유행을 타지 않는 세 축이 그 옆에 있다.

그런데 이 진단은 자료의 절반만 쓴 것이다. 나머지 절반은 같은 시기에 벌어진 제품 형태의 변화다 — 사람이 채팅창에 말을 걸어야 움직이는 에이전트에서, 배경에서 이벤트를 받아 상시 동작하며 필요할 때만 사람을 부르는 에이전트로. 다음 편에서 그 전환과, 승인을 Yes/No가 아니라 네 갈래로 나눈 설계를 다룬다.