AI가 곧 다 해낸다는 과장, 어떻게 읽을까

새 AI가 나올 때마다 “역대급”, “판도를 바꿀”, “곧 사람을 넘어설” 같은 말이 따라옵니다. 몇 달 뒤에 보면 생각보다 별일 없던 경우도 많고요. 과장에 휘둘리지 않으려면, 무엇을 보여줬는지보다 무엇을 안 보여줬는지를 보면 됩니다.

데모 영상

데모는 가장 잘 된 장면을 보여주는 것입니다. 여러 번 시도해서 잘 된 결과만 골랐을 수도 있고, 편집됐을 수도 있고, 미리 준비한 질문일 수도 있습니다.

• 이 결과가 매번 나오는지, 아니면 잘 된 한 번인지
• 내가 직접 써볼 수 있는지, 아니면 영상으로만 보여주는지
• 실패한 경우는 어떤지

“역대 최고 성능” 발표

기초 이론 편 6.4에서 본 것처럼, 시험 점수(벤치마크)는 그대로 믿기 어렵습니다. 시험 문제가 학습 데이터에 섞였을 수도 있고, 이미 다들 만점에 가까운 시험일 수도 있습니다.

• 어떤 시험에서의 점수인지, 그 시험이 내가 쓰려는 일과 관련 있는지
• 회사가 직접 잰 숫자인지, 다른 곳에서 확인한 숫자인지
• 비교한 상대가 최신 경쟁 모델인지, 예전 모델인지

“곧 ○○를 대체한다”는 예측

미래 예측은 확인할 방법이 없어서 과장하기 가장 쉽습니다.

• 누가 하는 말인지. AI를 파는 회사나 투자를 받아야 하는 쪽이라면, 크게 말할 이유가 있습니다.
• 언제까지라고 하는지. 기한이 없는 예측은 틀렸다고 말할 수도 없습니다.
• 3부에서 본 것처럼 “할 수 있다”와 “실제로 바뀐다” 를 섞고 있지 않은지

반대 방향 과장도 있습니다

“AI는 결국 아무것도 못 한다”, “다 거품이다”도 과장입니다. 실제로 AI는 이미 번역, 요약, 코딩 같은 일을 크게 바꿨습니다. 과장을 걸러낸다는 건 AI를 낮춰 보는 게 아니라, 실제 크기대로 보는 것입니다.

정리

• 데모는 가장 잘 된 장면입니다. 매번 그런지, 직접 써볼 수 있는지 보세요.
• 성능 발표는 어떤 시험인지, 누가 쟀는지, 누구와 비교했는지 보세요.
• 미래 예측은 누가, 언제까지라고 하는지 보세요. 반대 방향의 과장도 조심하세요.