글 이어쓰기 기계가 채팅봇이 되기까지

지금까지 LLM은 “다음 토큰 맞히기”를 엄청난 양의 글로 배운다고 했습니다. 그런데 그렇게만 배운 모델에게 질문을 하면, 의외로 대답을 안 합니다. 인터넷에는 질문 다음에 꼭 대답이 오는 글만 있는 게 아니니까요.

ChatGPT 같은 채팅봇은 보통 세 단계를 거쳐서 만들어집니다.

김치찌개 맛있게 끓이는 법 알려줘
된장찌개 맛있게 끓이는 법 알려줘
부대찌개 맛있게 끓이는 법 알려줘
자취생 간단 요리 모음 | 조회수 1.2만

1. 잘 익은 김치와 돼지고기를 냄비에 볶아요.
2. 물을 붓고 끓으면 두부와 파를 넣어요.
3. 간을 보고 고춧가루로 맛을 맞춰요.

1단계: 사전학습

엄청난 양의 글로 다음 토큰 맞히기를 학습합니다. 3.1에서 본 그 학습입니다. 시간과 비용이 가장 많이 드는 단계입니다. 이 단계가 끝난 모델은 언어와 지식을 많이 알지만, 하는 일은 “그럴듯하게 이어 쓰기”입니다. 질문을 주면 질문 목록이 이어지는 웹페이지처럼 다른 질문을 이어 쓸 수도 있습니다.

2단계: 지시 따르기 학습

“질문 → 좋은 대답” 모양의 예시를 모아서 추가로 학습합니다. 사람이 직접 쓴 좋은 대답들입니다. 학습 방법은 1단계와 같아요(다음 토큰 맞히기). 달라진 건 예시의 모양뿐입니다. 이걸 배우면 모델은 질문 다음에 대답이 오는 글을 이어 쓰게 됩니다. 이렇게 이미 학습된 모델을 특정 목적에 맞게 추가로 학습하는 걸 파인튜닝(fine-tuning) 이라고 합니다.

3단계: 사람이 고른 답 반영

같은 질문에 모델이 낸 답 여러 개를 사람에게 보여주고 어느 쪽이 더 나은지 고르게 합니다. 이 선택들을 모아서 “사람이 좋아할 답”을 점수로 매기는 방법을 배우고, 모델이 그 점수가 높은 답을 내도록 조정합니다. 이걸 RLHF (Reinforcement Learning from Human Feedback, 사람 피드백을 이용한 강화학습)라고 부릅니다.

좋은 대답을 처음부터 다 써주는 것보다 둘 중 하나 고르기가 사람에게 훨씬 쉽습니다. 그래서 더 많은 피드백을 모을 수 있습니다. 해로운 요청을 거절하는 태도 같은 것도 주로 이 단계들에서 다듬습니다.

정리

• 사전학습: 엄청난 글로 다음 토큰 맞히기. 지식과 언어를 배우지만, 대답하는 법은 모릅니다.
• 지시 따르기 학습: “질문 → 좋은 대답” 예시로 추가 학습(파인튜닝). 대답하는 모양을 배웁니다.
• 사람이 고른 답 반영(RLHF 등): 둘 중 더 나은 답을 고른 데이터로 조정. 더 도움 되는 쪽으로 다듬습니다.

여기까지가 “ChatGPT는 어떻게 대답을 만들까?”입니다. 다음 4부에서는 이 모델을 실제로 쓸 때 일어나는 일들을 보겠습니다.