"로컬 AI가 공짜라며, 그냥 그것만 쓰면 되는 거 아니야?" 봇을 배포하고 가장 많이 들은 질문이에요. 답부터 말하면, 아닙니다. 저도 방마다 다르게 씁니다. 이 글은 설치법이 아니라, 카톡봇에서 답을 만드는 AI를 언제 뭘로 켤지만 정리한 거예요.
먼저, 고를 수 있는 게 셋이다
이 봇에서 답을 담당하는 AI는 로컬, 클로드, 코덱스 이렇게 셋이에요. 셋의 차이는 똑똑함이 아니라 대화가 어디로 가느냐입니다. 로컬은 내 컴퓨터 안에서 끝나고 요금이 없어요. 클로드와 코덱스는 답이 더 좋은 대신 그 대화가 회사 쪽으로 넘어갑니다. 그래서 성능표를 보고 정하면 틀려요. 방을 보고 정해야 맞습니다.
방 하나 · 민감한 대화가 오가나
제가 쓰는 규칙은 단순합니다. 가족방이든 회사방이든, 나가면 곤란한 말이 오가는 방은 무조건 로컬이에요. 대화가 밖으로 안 나가니까요. 반대로 아이디어를 뽑거나 번역시키는, 나가도 상관없는 방이면 클로드를 켭니다. 더 나은 답이 필요할 때가 있거든요. 민감한데 똑똑함까지 필요하면, 저는 민감함을 먼저 챙겨서 로컬로 갑니다.
로컬로 정했으면 · 그래픽카드부터 본다
로컬로 정했으면 다음은 어떤 모델을 받느냐인데, 이건 취향이 아니라 숫자로 끝나요. 작업 관리자에서 GPU '전용 메모리' 숫자 하나만 확인하면 3초에 정해집니다.
| 메모리 | 받을 모델 | 메모 |
| 8GB 이상 | exaone3.5:7.8b | 한국어 제일 잘함. 제가 쓰는 것 |
| 6GB | qwen3:4b | 무난 |
| 4GB | exaone3.5:2.4b | 작은 버전 |
메모리가 넘쳐도 안 죽습니다. 부족하면 CPU가 거들어서 좀 느릴 뿐, 멈추진 않아요. 그러니 모르겠으면 작은 걸로 시작하고, 답이 답답하면 그때 키우면 됩니다. 저는 처음에 이걸 몰라서 제일 큰 걸 받았다가 한참 기다렸어요.
로컬 전용 스위치는 · 언제 켜나
봇에 '로컬 전용'이라는 스위치가 하나 있어요. 이걸 켜면 바깥으로 나가는 클로드·코덱스를 아예 못 고르게 막습니다. 저는 이렇게 정했어요. 이 PC로 민감한 방을 하나라도 쓴다면 켭니다. 실수로 AI를 클로드로 바꿔놨다가 그 방 대화가 넘어가는 것보다, 아예 못 고르게 막아두는 게 마음이 편하거든요. 민감한 방을 안 쓰는 PC라면 열어두고 방마다 정합니다.
정리하면
성능으로 정하지 말고 방으로 정하세요. 민감한 방은 로컬, 나가도 되는데 답이 좋아야 하면 클로드. 로컬로 갔으면 그래픽카드 메모리 숫자로 모델을 받고, 민감한 방을 쓰는 PC면 로컬 전용을 켜두면 됩니다. 새로 만드는 명령도 이 선택을 그대로 따라가니까, 한 번 정해두면 새 단톡방에 들어가도 뭘 켤지 3초에 나와요.
쓰는 데 필요한 건 오픈톡 방에 다 있어요(무료). 켜는 걸 화면으로 보고 싶으면 영상에서 확인하세요 → https://youtu.be/J_2xeJE8pDM