AI의 답을 받아들이기 전에 확인할 것

AI의 답을 하나하나 다 검증하는 건 현실적으로 어렵습니다. 그래서 틀리기 쉬운 곳만 골라서 확인하는 게 요령입니다.

틀리기 쉬운 여섯 군데

어디	왜 틀리기 쉬울까	어떻게 확인할까
최신 정보	모델은 학습이 끝난 시점까지만 압니다	날짜를 보고, 최신 정보는 검색으로
고유명사	사람, 제품, 책 이름은 그럴듯하게 지어내기 쉽습니다	실제로 있는지 검색
숫자	틀려도 티가 안 납니다	공식 자료에서 같은 숫자를 찾아보기
출처	출처처럼 생긴 것도 만들어낼 수 있습니다	직접 열어서 정말 그렇게 쓰여 있는지
단정적인 말	“항상, 절대, 무조건”에는 예외가 숨어 있습니다	조건이 빠져 있지 않은지
내 상황 추측	AI는 내가 말해준 것만 압니다	내가 알려주지 않은 걸 가정했는지

왜 이런 곳에서 틀리는지는 기초 이론 편 6.1 환각에서 자세히 다룹니다. 짧게 말하면, 모델은 “맞는 말”이 아니라 “그럴듯한 말”을 만들기 때문입니다. 날짜, 이름, 숫자, 출처는 그럴듯한 모양을 만들기가 특히 쉽습니다.

확인을 쉽게 만드는 질문법

처음부터 확인하기 쉽게 물어볼 수도 있습니다.

• “출처를 링크로 달아줘. 확실하지 않으면 모른다고 해줘.”
• “이 중에서 네가 확실하지 않은 부분을 따로 표시해줘.”
• “이 숫자는 언제 기준이야?”
• 중요한 자료라면 아예 자료를 직접 넣어주고 “이 자료 안에서만 답해줘” (기초 이론 편 4.2 RAG)

이렇게 물어도 틀릴 수는 있지만, 어디를 확인해야 할지가 훨씬 분명해집니다.

더 깊게 · 검색 기능을 켜면 괜찮을까

웹 검색을 켜면 최신 정보 문제는 많이 줄어듭니다. 모델이 검색 결과를 읽고 답하니까요. 하지만 검색 결과 자체가 틀렸거나 광고일 수 있고, 모델이 검색 결과를 잘못 요약할 수도 있습니다. 검색 기능이 있을 때도 출처 링크를 직접 열어보는 습관은 그대로 유지하세요.

정리

• 다 확인하지 말고, 틀리기 쉬운 여섯 군데를 확인하세요: 최신 정보, 고유명사, 숫자, 출처, 단정적인 말, 내 상황 추측.
• 처음부터 출처와 불확실한 부분을 표시해달라고 물어보면 확인이 쉬워집니다.
• AI의 자신 있는 말투는 정확하다는 신호가 아닙니다.