커뮤니티에서 "이거 넣으면 AI가 확 달라진다"는 텍스트를 받았을 때, 붙여넣기 전에 30초만 쓰면 대부분 거를 수 있습니다. 볼 건 세 가지입니다. 분량이 어디서 왔는지, 출처가 몇 단계 건너왔는지, 원문에 진짜 있는지.
얼마 전 클로드 유출 지침 22만 자를 실제로 열어보다가 정리하게 된 기준입니다. 특정 문서를 저격하려는 게 아니라, 앞으로 받게 될 모든 지침에 쓸 수 있는 판정법이라 남겨둡니다.
가 꽤 있거든요.
1단계 · 분량이 어느 층에서 왔는지 본다
긴 지침을 받으면 대개 "이만큼이나 담겨 있구나" 하고 신뢰가 올라갑니다. 그런데 AI 시스템 프롬프트는 층이 나뉘어 있고, 층마다 우리가 쓸 수 있는지가 완전히 다릅니다.
| 층 | 내용 | 채팅창에서 |
|---|---|---|
| 도구 정의 | 검색·메모리 호출 규격 | ❌ 그 도구가 없음 |
| 도구 사용법 | 언제 어떻게 부를지 | ❌ 무의미 |
| 행동 지침 | 태도·말투·판단 | ✅ 이것만 작동 |
실제로 재보니 셋째 칸에 해당하는 몫이 10분의 1에 그쳤습니다. 나머지는 전부 도구 쪽이었고요. 말투에 직결되는 대목만 추리면 1%도 남지 않습니다. 부피의 정체는 사실상 장비 매뉴얼이었던 셈이죠.
비유하자면요, 자동차 매뉴얼 500쪽 중 480쪽이 정비소 장비 다루는 법이고 운전자가 볼 건 20쪽인 상황입니다. 500쪽을 다 외운다고 운전이 늘지 않습니다.
판정 — 받은 텍스트에 JSON 중괄호, 함수 이름, 파라미터 목록이 눈에 띄면 그 부분은 우리 몫이 아닙니다. 스크롤하며 대괄호와 중괄호 비중만 훑어도 감이 옵니다.
2단계 · 출처가 몇 단계 건너왔는지 센다
같은 문장이라도 어디서 왔느냐에 따라 신뢰도가 다릅니다. 네 계층으로 나눠보면 판단이 쉬워집니다.
| 계층 | 예 | 신뢰 |
|---|---|---|
| 제조사 배포 | 공식 문서의 "이대로 넣으세요" | ✅ 최상 |
| 제조사 공개 | 공식 시스템 프롬프트 페이지 | ✅ 높음 |
| 유출 원문 | 깃허브 수집 저장소 | ⚠️ 검증 필요 |
| 유출본 요약 | "핵심만 추렸습니다" | ⚠️ 창작 섞임 |
핵심은 상위 두 계층이 이미 열려 있다는 사실입니다. 제조사가 모델별 게시일을 달아 자사 프롬프트를 웹에 올려두고, 작성 가이드에는 복사해 쓰라고 코드블록으로 내준 문장까지 있습니다.
판정 — 받은 텍스트가 3~4계층이면 같은 내용이 위 두 계층에 있는지 먼저 찾아봅니다. 대개 있습니다. 있으면 그쪽을 쓰면 됩니다.
유출 자료는 누구나 열람 가능한 공개 저장소라 참고하는 것 자체가 문제되진 않습니다.
3단계 · 원문에 진짜 있는지 검색한다
가장 확실하면서 가장 안 하는 단계입니다. 요약본이 "원문에서 추렸다"고 주장하면, 그 주장 자체를 확인할 수 있습니다.
방법은 단순합니다. 요약본에서 고유한 문구를 서너 개 고릅니다. 흔한 단어 말고, 그 문서에만 있을 법한 조합이어야 합니다. 그런 다음 원문 파일을 열어 그대로 검색합니다.
직접 돌려보니 결과가 둘로 갈렸습니다. 어떤 요약본의 말투 대목은 원본과 대조가 딱 맞았어요. 반면 그 문서가 간판으로 내세운 다섯 단계는 두 파일을 합친 36만 자에서 단 한 번도 걸리지 않았습니다. 원본에 없는 창작이었던 거죠.
효과가 없다는 뜻은 아닙니다. 다만 "제조사의 진짜 지침"이라는 라벨은 사실이 아니었던 거죠. 반대 사례도 하나 적어두면, 제조사 공식 스니펫 네 개를 같은 방식으로 검색했을 땐 개발자용 제품 파일에서 문자 그대로 발견됐습니다. 위치까지 나왔고요. 같은 검증을 통과하는 텍스트도 분명 있습니다.
판정 — 고유 문구 3개를 검색해서 0회가 나오면 그 문서는 요약이 아니라 창작입니다. 써도 되지만, 출처를 그렇게 알고 쓰는 것과 모르고 쓰는 건 다릅니다.
1단계와 2단계는 훑는 것만으로 30초면 됩니다. 3단계 검색은 1~2분 걸리는데, 그 문서를 앞으로 계속 쓸 거라면 한 번은 투자할 만합니다.
세 단계를 다 통과하면
그다음은 분량 문제로 넘어갑니다. 여기서도 통념과 반대인 지점이 있습니다.
제조사 가이드에 흥미로운 권고가 하나 있습니다. 예전 모델 시절 쌓아둔 규칙을 한 번 검토하고 덜어내라는 겁니다. 과하게 규범적이면 결과가 나빠질 수 있다고 적혀 있어요. 확정이 아닌 가능성으로 써뒀지만 방향은 읽힙니다.
긴 입력일수록 중간이 흐려진다는 관찰은 업계에서 반복해 보고됩니다. 형광펜을 아껴야 눈에 띄듯, 규칙도 적어야 지켜집니다.
정리
분량, 출처, 검색. 이 세 가지가 지침을 받았을 때의 기본 체크입니다. 길다고 좋은 게 아니고, 유출됐다고 특별한 게 아니고, 추렸다고 원문에 있는 게 아니었습니다.