AI에게도 편향성이 있을까?

작성일자 글쓴이 떠돌이

얼마 전 여러 AI에게 아래 글을 프롬프트에 포함해서 “내가 찾는 컴퓨터 기준에 가장 잘 맞는 컴퓨터를 추천해줘”라고 써본 적이 있었습니다.

내가 찾는 컴퓨터

위 글에는 제가 잘 썼던 후지쯔 p1510에 대한 회고와 그 기준에 맞는 컴퓨터에 대한 조건 몇가지를 썼었는데요, 요약하자면 아래 내용과 같습니다.

  1. 휴대성이 극단적으로 좋아야 할 것
  2. 배터리 시간도 적어도 하루 종일은 쓸 수 있을 것
  3. 9 ~ 11인치 정도의 화면 크기
  4. 윈도우가 아니어야 할 것

여러 AI에게 동일한 프롬프트로 물어봤는데 AI마다 답변이 달라지는게 재밌더군요.

먼저 ChatGPT에게 물어봤을 때 추천해준 컴퓨터는 다음과 같습니다.

  1. 아이패드 에어(M2, 11인치) + 매직 키보드
  2. 아이패드 프로(M4, 11인치) + 매직 키보드
  3. GPD Pocket 3 (윈도우 지우고 리눅스 설치)
  4. 서피스 고 4 (윈도우 지우고 리눅스 설치)

이 중 가장 추천하는 건 아이패드 에어 + 매직 키보드였습니다. P1510의 스마트폰 같은 컴퓨터에 가장 잘 어울리고 가격도 적당한 선택지로 말이죠.(근데 왜 M3 아이패드 에어는 아닌지)

어느정도 제 생각과 맞게 나왔는데, 다른 AI 의견도 궁금해서 Google Gemini에게도 완전히 똑같은 프롬프트로 물어봤습니다.

  1. 레노도 아이디어 패드 Duet 3 / Duet 5 Chromebook
  2. 서피스 고 4 (윈도우 지우고 리눅스 설치)
  3. 삼성 갤럭시 Tab S9 (11인치)
  4. 아이패드 에어 5세대 10.9인치

이 중 가장 추천하는 모델은 레노보 아이디어 패드 듀엣 시리즈랑 갤럭시 탭 S9 를 추천했습니다. ChatGPT 때와 비슷하게 2 in 1 태블릿을 주로 추천하긴 했는데 가장 추천한 두 기기가 구글 크롬 OS를 실행하는 태블릿과 안드로이드 태블릿이라니.. 우연일까요?

동일한 프롬프트로 몇 번 더 테스트해봤는데 리스트에서 세부적인 차이는 있었지만 결과는 비슷하게 크롬북과 안드로이드 태블릿을 추천해줬습니다.

내친김에 Claude로도 테스트해봤습니다. 역시 동일한 프롬프트입니다.

  1. GPD Pocket 시리즈 (윈도우 지우고 리눅스 설치)
  2. CHUWI Minibook X (윈도우 지우고 리눅스 설치)
  3. ONE MIX 시리즈 (윈도우 지우고 리눅스 설치)

Claude는 웹 검색 결과를 기반으로 최근 중국 중심으로 나오고 있는 미니 노트북 중심의 리스트를 추천해줬습니다. ChatGPT랑 Gemini는 2 in 1 태블릿을 중심으로 추천해줬는데 여기는 P1510과 가장 직접적으로 동일한 미니 노트북 중심으로 추천해줬다는게 차이 점입니다.

결국 AI 마다 생각하는게 다르다는 것이 흥미로운 지점입니다. ChatGPT는 주로 아이패드를, Gemini는 구글 크롬북과 안드로이드 태블릿을, Claude는 미니 노트북을 중심으로 추천해줬습니다.

ChatGPT는 현재 유일하게 애플 인텔리전스에서 활용하는 인공지능이고, Gemini는 ChromeOS와 안드로이드 뒤에 있는 구글이 만든 AI라는 점을 생각해보면 어느정도의 편향성이 있는 것 같다고 주장하는건 너무 지나친 비약이려나요?

어쨌든 꽤 구체적인 지침을 줬는데도(거의 블로그 글 하나 길이의 프롬프트였는데) 각각 추천하는 제품이 다른걸 보면 쉽지 않네요. 개인적으로는 ChatGPT 답변이 공감이 되었고 Claude는 너무 미니 노트북이라는 속성 하나에만 집착한 답변이라 개인적으로는 좀 아쉬운 답변이었습니다.

공통적으로 맥북 에어는 리스트에 포함되지 않았습니다.(아마 화면 기준에서 걸린듯) 추가 프롬프트로 “맥북 에어는 어때?“라고 물어봤을 때, Claude는 최고의 대안 중 하나라고 평가한 반면, 나머지 두 AI는 현재 사용자의 기준에는 어느정도 타협이 필요한 대안이라고 평가했습니다. 아무래도 13인치는 휴대성보다는 범용성이 좋은 폼팩터이긴 하죠.

이건 AI 자체가 편향성이 있다기보다는 학습한 데이터가 편향되어있기 때문에 나오는 결과라고 보는게 더 정확할 것 같습니다. 애초에 검색을 통해서 답변한 Claude가 가장 중립적인 입장을 내놓은 것도 비슷한 이유겠죠. 어쨌든 단순한 질문이었지만 각 AI가 가진 어느정도의 편향성을 확인할 수 있는 재미난 사례였습니다.