알아서 다 돌아간다는 자동화의 환상

“AI 에이전트가 메일 확인부터 보고서 작성, 발송까지 알아서 다 해줍니다.” 이런 광고를 보면 사람이 할 일이 없어질 것 같습니다. 그런데 실제로 써보면 생각보다 자주 손이 갑니다. 왜 그럴까요?

작은 확률이 곱해지면

자동화는 보통 여러 단계를 이어 붙인 것입니다. 메일을 읽고, 중요한 걸 고르고, 자료를 찾고, 요약하고, 보내고. 각 단계가 꽤 잘 돌아가도, 단계가 많아지면 이야기가 달라집니다.

해보면 보이는 것

한 단계가 95% 맞는다면 꽤 믿을 만해 보입니다. 그런데 10단계를 이으면 처음부터 끝까지 맞을 확률은 약 60%, 20단계면 약 36% 로 떨어집니다. 100번 돌리면 64번은 어딘가에서 틀린다는 뜻입니다.

더 큰 문제는 틀린 결과가 다음 단계로 그대로 넘어간다는 것입니다. 2단계에서 엉뚱한 메일을 골랐다면, 그 뒤 단계들은 엉뚱한 메일로 아주 성실하게 보고서를 만듭니다. 마지막 결과만 보면 그럴듯해서 틀린 줄도 모릅니다.

그래서 끝까지 남는 일들

실제 자동화에서 사람이 하는 일은 이런 것들입니다.

• 예외 처리: 규칙에 없는 상황, 처음 보는 형식. 자동화는 정해진 길에서 벗어나면 약합니다.
• 중간 확인: 중요한 단계마다 사람이 한 번 보면, 틀린 결과가 끝까지 흘러가는 걸 막을 수 있습니다. 위젯으로 치면 긴 사슬을 짧은 사슬 여러 개로 끊는 것입니다.
• 유지보수: 연결된 서비스가 바뀌고, 입력 형식이 바뀌고, AI 모델이 업데이트됩니다. 한 번 만들면 끝이 아니라 계속 손봐야 합니다.
• 책임: 자동으로 보낸 메일이 잘못됐을 때 책임지는 건 결국 사람입니다.

자동화는 분명히 시간을 줄여줍니다. 다만 “사람이 아무것도 안 해도 된다”가 아니라, 사람이 하는 일이 “직접 하기”에서 “확인하고 바로잡기”로 바뀌는 것에 가깝습니다.

더 깊게 · 에이전트 이야기와 이어서 보면

기초 이론 편 4.4의 에이전트는 이 사슬을 스스로 이어가는 AI입니다. 그래서 에이전트를 만드는 쪽에서도 “확신이 낮으면 사람에게 묻기”, “중요한 행동 전에는 확인받기” 같은 장치를 넣습니다. 같은 장의 Jev처럼 각 판단의 확률을 함께 내는 모델이 주목받는 것도, 어느 단계에서 사람이 개입해야 할지 알기 위해서입니다.

정리

• 자동화는 여러 단계의 사슬이고, 단계가 늘수록 처음부터 끝까지 맞을 확률은 빠르게 줄어듭니다.
• 틀린 결과는 다음 단계로 그대로 흘러가서, 마지막엔 틀린 줄도 모르게 됩니다.
• 그래서 예외 처리, 중간 확인, 유지보수, 책임은 사람에게 남습니다.