편향 — 데이터의 치우침을 그대로 배웁니다

1.2에서 머신러닝은 규칙 대신 예시에서 배운다고 했습니다. 그게 장점이지만, 그대로 약점이기도 합니다. 예시가 한쪽으로 치우쳐 있으면, 모델은 그 치우침도 배워야 할 규칙으로 받아들입니다. 이걸 편향(bias) 이라고 합니다.

(2.1의 “더 깊게”에서 본 계산 속 “편향” 숫자와는 이름만 같고 다른 뜻입니다.)

해보면 보이는 것

초록 사과 0%: 학습할 때 본 사과가 전부 빨간색이었습니다. 모델은 “빨간색이다”에 아주 큰 가중치(9.9)를 줬습니다. 사과를 가르는 가장 쉬운 단서가 색깔이었으니까요. 그 결과 초록 사과는 하나도 사과로 못 알아보고, 빨간 토마토는 전부 사과라고 합니다.

아무도 “빨간 것이 사과다”라고 가르치지 않았습니다. 모델은 그저 받은 예시를 가장 잘 맞히는 방향으로 학습했을 뿐이에요(2.2). 예시가 치우쳐 있었으니, 치우친 규칙이 가장 잘 맞았던 것입니다.

초록 사과 50%: 색깔이 더 이상 확실한 단서가 아니니까, 모델은 “사과 모양” 쪽에 더 기대게 됩니다. 초록 사과도 75% 알아보고, 토마토 착각도 25%로 줄어듭니다. 대신 빨간 사과를 알아보는 비율은 100%에서 75%로 내려갑니다. “사과 모양” 단서가 원래 가끔 틀리는 단서라서 그렇습니다. 치우침을 고치면 모든 숫자가 한꺼번에 좋아지는 게 아니라, 무엇을 기준으로 판단하는지가 바뀝니다.

사과가 아니라 사람이라면

이게 과일이 아니라 사람을 판단하는 일이면 문제가 심각해집니다. 잘 알려진 예가 있습니다. 아마존은 2014년부터 이력서를 자동으로 평가하는 AI를 만들다가 중단했습니다. 2018년 로이터 보도에 따르면, 이 시스템은 지난 10년간 회사에 들어온 이력서로 학습했는데, 그 이력서 대부분이 남성 지원자의 것이었습니다. 그 결과 시스템은 “women’s(여성의)“라는 단어가 들어간 이력서(예: 여성 동아리 활동)의 점수를 낮추는 쪽으로 학습됐습니다. 팀이 그 단어들을 중립으로 고쳤지만, 다른 방식으로 차별하지 않는다는 보장을 할 수 없어서 결국 프로젝트가 해체됐다고 합니다.

위젯과 똑같은 구조입니다. 과거 데이터의 치우침(합격자 대부분이 남성)이, 판단 기준(남성이면 유리)으로 학습된 것입니다.

LLM의 편향

LLM은 엄청난 양의 인터넷 글로 배웁니다. 인터넷 글에는 특정 언어, 특정 나라, 특정 관점이 더 많이 들어 있습니다. 그래서 LLM도 그런 쪽으로 치우친 답을 할 수 있습니다. 예를 들어 직업을 묘사할 때 성별 고정관념이 드러나거나, 영어권 기준의 상식을 당연하게 여기는 식입니다.

3.6의 사람 피드백 단계에서 이런 치우침을 줄이려고 노력하지만, 무엇이 “치우치지 않은” 답인지 정하는 것 자체가 사람마다 다를 수 있어서 어려운 문제입니다.

더 깊게 · 편향을 줄이는 방법들

• 데이터 살펴보기: 학습 데이터에 어떤 집단이 얼마나 들어 있는지 먼저 확인합니다. 위젯처럼 한쪽이 비어 있으면 채웁니다.
• 집단별로 따로 시험하기: 전체 정확도만 보면 안 됩니다. 위젯의 “초록 사과 0%“도 사과 대부분이 빨갛다면 전체 정확도는 높게 나올 수 있습니다. 집단별로 나눠서 따로 재봐야 문제가 보입니다.
• 사람이 최종 판단하기: 채용, 대출, 의료처럼 사람에게 큰 영향을 주는 결정은 AI 결과를 참고만 하고, 사람이 책임지고 판단하게 합니다.

정리

• 모델은 예시의 치우침까지 규칙으로 배웁니다. 아무도 그렇게 가르치지 않았어도요.
• 사람을 판단하는 일에서는 이게 차별이 될 수 있습니다.
• 전체 정확도만 보지 말고, 집단별로 따로 확인해야 합니다.

참고: Amazon scraps secret AI recruiting tool that showed bias against women (CNBC, Reuters 보도 인용, 2018)