먼저 숫자 하나를 죽이고 시작하겠습니다. "실패율 67% 감소"는 지금 인용되는 방식대로면 틀린 숫자입니다. 원문에서 그 값은 조각에 꼬리표를 붙이고, 낱말 검색을 더하고, 찾아온 걸 다시 골라내는 세 단계를 모두 합쳤을 때 나옵니다. 꼬리표만 붙였을 때는 35%입니다.
이 글이 다른 정리글과 다른 지점이 여기입니다. 방식 이름을 나열하고 전부 추천하는 대신, 어떤 방식이 당신에게 과한지를 같이 적었습니다. 상위에 노출되는 RAG 정리글을 훑어봤는데 어떤 방식도 탈락시키지 않더군요. 다 좋다고 하면 고를 수가 없습니다.
문서 검색을 붙이려는데 방식이 너무 많아 못 고르고 막히신 분들을 위한 글입니다.
기준은 둘만 씁니다. 자료가 얼마나 많은가, 그리고 질문이 한 군데를 묻는가 전체를 묻는가. 이 두 가지로 갈리는 네 경우를 순서대로 판정합니다.
왜 개수가 아니라 두 기준인가 - 방식을 세는 순간 길을 잃는다
2020년 이후 나온 방식을 세면 열 몇 가지가 됩니다. 그런데 이것들은 서로 경쟁하는 상품이 아닙니다. 앞의 방식이 남긴 구멍을 다음 방식이 메우는 순서로 나왔어요.
그래서 "어느 게 제일 좋냐"는 질문 자체가 성립하지 않습니다. 대신 내가 지금 어느 구멍에 빠져 있는가를 물어야 합니다. 그 구멍을 정하는 게 자료 양과 질문 종류 두 가지고요.
자료가 적을 때 - 통째로 넣기가 이깁니다
문서 몇 개, 수십 쪽 수준이면 자르지 마세요. 통째로 넣는 게 낫습니다.
자르면서 생기는 문제가 애초에 안 생기기 때문입니다. 조각 앞뒤가 사라지는 일도, 어느 조각을 꺼내올지 고르다 틀리는 일도 없습니다. 요즘 모델이 한 번에 받는 양이 크게 늘어난 것도 이쪽에 유리하게 작용합니다.
이 구간에서는 꼬리표도, 관계 지도도 전부 과합니다. 만들 필요 없는 걸 만드느라 시간을 쓰게 됩니다.
자료가 많고 한 군데를 물을 때 - 꼬리표가 값이 제일 쌉니다
계약서 수백 건에서 "이 조항이 어떻게 돼 있냐"를 묻는 경우입니다. 질문이 문서 한 지점을 가리킵니다.
여기서는 잘라 담는 게 불가피하고, 자르면 앞뒤 맥락이 날아갑니다. 조각마다 어디서 떼어 왔는지를 한 줄 적어 같이 저장해두면 상당 부분 회복됩니다. 앞에서 말한 그 35%가 이 한 줄의 몫입니다.
낱말 검색을 같이 쓰고, 찾아온 걸 한 번 더 골라내는 단계까지 붙이면 더 내려갑니다. 다만 붙일수록 손이 늘어납니다. 들이는 품에 견줘 돌아오는 게 가장 큰 게 꼬리표 한 줄이라는 뜻이고, 나머지는 필요해지면 그때 얹으면 됩니다.
방식을 여러 개 같이 쓰는 것도 됩니다. 오히려 실무에서는 겹쳐 쓰는 게 보통이에요. 다만 한 번에 다 붙이면 뭐가 효과를 냈는지 알 수 없게 되니, 하나씩 붙이고 측정하는 순서를 권합니다.
자료가 많고 전체를 물을 때 - 조각으로는 안 됩니다
"전체를 통틀어 결론이 뭐냐" 같은 질문입니다. 여기서는 꼬리표를 아무리 잘 붙여도 답이 안 나옵니다. 비슷한 조각 몇 개를 꺼내오는 구조 자체가 전체를 못 덮기 때문입니다.
이럴 때 나온 게 자료끼리 관계를 미리 이어 지도를 만들어두는 방식입니다. 인물·회사·사건을 뽑아 선으로 연결한 다음, 무리를 지어 각 무리의 개요를 앞당겨 적어둡니다. 점으로 흩어져 있던 걸 지도로 만드는 거예요.
답이 매번 달라질 때 - 방식이 아니라 크기 문제입니다
이 경우는 위 세 갈래에 안 들어갑니다. 같은 질문에 답이 계속 바뀐다면 꺼내오는 재료가 매번 다른 것이라, 방식을 바꾸기 전에 자르는 크기부터 고정해야 합니다.
한국어 문서라면 참고할 실측이 올해 나왔습니다. 국내 연구진이 위키 문서 612건·질문답변 1,500쌍을 놓고 분할 방식만 달리해 쟀는데, 200자로 끊은 조건이 68.8%로 1위였습니다. 눈여겨볼 건 문장 단위로 자른 게 제일 나빴다는 점입니다. 문장으로 끊는 게 자연스러워 보이는데 결과는 반대였어요.
200자가 어디에나 적용되는 건 아닙니다. 한국어 위키백과 기준입니다. 규정처럼 항목이 또렷하게 갈리는 문서라면 항목 단위가 유리할 수 있어요. 어디서 시작할지를 정해주는 숫자로 보시면 됩니다.
정리하면 - 경우별 판정표
| 내 상황 | 필요한 것 | 과한 것 |
|---|---|---|
| 자료 적음 | 통째로 넣기 | 꼬리표, 관계 지도 |
| 자료 많음 + 한 군데 질문 | 자르기 + 꼬리표 | 관계 지도 |
| 자료 많음 + 전체 질문 | 관계 지도 | - |
| 답이 매번 다름 | 조각 크기 고정 | 방식 교체 |
표에서 오른쪽 열을 보시길 권합니다. 뭘 안 해도 되는지가 뭘 해야 하는지보다 시간을 아껴줍니다.
이 기준의 한계 - 제 목록도 여기서 깎입니다
두 기준으로 자른 건 단순해서지 충분해서가 아닙니다. 실제로는 응답 속도, 비용 상한, 문서가 얼마나 자주 바뀌는지가 다 변수로 들어옵니다. 표 네 줄로 정리되는 문제가 아니에요.
특히 세 번째 줄은 제가 가장 자신 없는 대목입니다. 관계 지도가 필요한 규모라면 이미 표 한 장으로 결정할 단계가 아니라, 유지 비용을 직접 계산해봐야 하는 단계입니다. 그 계산은 이 글 밖에 있습니다.
다음에 확인해볼 것
위 표에서 자기 줄을 찾으셨다면, 오른쪽 열에 적힌 걸 이번 주에 안 하는 것부터 해보세요. 안 만들어도 되는 걸 안 만드는 게 첫 수확입니다.
그다음은 자기 문서로 실제 측정을 해볼 차례입니다. 여기서 쓴 판정표가 당신 문서에서도 같은 순서로 갈리는지가 다음 확인 대상입니다.