얼마 전 한국인 최초로 노벨 문학상을 한강 작가가 수상했다는 소식에 축하를 전한 윤석열 대통령의 메시지가 AI로 쓴 글이라는 의혹이 떠돌았습니다. 축전 메시지를 AI 텍스트 감지기로 실행해보니 86%로 나왔다, GPT에 물어보니 똑같은 메시지로 나오더라 같은 글들이죠.
GPT 같은 LLM의 경우 같은 프롬프트에도 메시지가 계속 달라지기 때문에, 비슷한 메시지가 나오더라도 우연의 일치일 가능성이 높습니다. 비슷한 메시지가 나왔더라도 그게 AI를 사용했다는 근거가 될 수는 없죠.
다만 AI 텍스트 감지기의 결과는 궁금했습니다. 현재 사용할 수 있는 AI 텍스트 감지기가 정말 제대로 동작하긴 하는건지?
구글에서 검색해서 나오는 AI 컨텐츠 감지기에 제가 쓴 블로그 글을 한번 실행해봤습니다.
저 글은 분명 제가 AI의 도움 하나 없이 쓴 글인데 100% AI가 생성했다고 나왔습니다. 해당 AI 컨텐츠 감지기는 한글을 제대로 지원하지 않아서 오탐지 된 것 같습니다.
이번에는 한글을 가장 정확하게 지원한다고 하는 AI 컨텐츠 감지기를 돌려봤습니다. 글도 포스팅 전문을 다 실행해봤죠.
이번에는 인간이 생성했을 확률 100%가 나왔습니다. 이 툴은 웬지 정확한 것 같습니다. 그래서 대조를 위해 GPT에서 생성한 글도 돌려봤습니다.
GPT-4o 모델로 생성한 글도 인간이 작성했을 확률 100%가 나왔습니다. 이쯤되니 뭔가 좀 못 믿겠네요. 다른 툴로도 해봤습니다.
이 툴은 이 글이 인간이 작성했을 확률이 33.5%라고 합니다. AI일 가능성이 66.5%라고 하네요.(나는 AI란 말인가..)
구글 검색 결과 상위에 나오는 Smodin 이라는 툴로도 해봤습니다.
이 툴의 경우 제가 쓴 글은 AI 컨텐츠일 확률이 0%로 측정되었습니다.
그러면 GPT-4o로 생성한 글을 그대로 복붙해보면..
AI가 생성한 글을 100% AI 컨텐츠일 확률이 높다는 결과가 나왔습니다. 그럼 이 툴은 정확한걸까요?
이번에는 윤석열 대통령의 축전을 놓고 검사해봤습니다.
이 툴로 검사해본 결과 AI 컨텐츠일 확률이 0%로 측정되었습니다. 그러면 윤석열 대통령의 축전은 AI로 생성한게 아닌걸까요?
하지만 이 결과의 경우 측정하기엔 너무 짧다는 메시지가 같이 출력되었습니다.(최소 500자 이상은 넘어야 한다고.) 따라서 이 결과도 정확하다고 보긴 어려워 보입니다.
사실 이 같은 AI 컨텐츠 탐지기의 정확도는 신뢰하기가 어려운 것으로 보입니다. AI 컨텐츠 탐지기의 경우 LLM이 생성해내는 텍스트의 특정 패턴을 살피는데 너무 짧은 글의 경우 그 패턴을 읽을 수 없기 때문에 대부분의 AI 컨텐츠 감지기에서 측정할 수 없다는 오류가 나왔습니다.
그리고 LLM의 발전이 빨라짐에 따라 새로운 모델이 계속 출시되고 있는 양상이라, AI 감지기가 사용하는 모델보다 더 높은 버전으로 생성한 컨텐츠의 경우 제대로 측정이 안되는 경우도 많았습니다. 대부분 웹 상에서 사용할 수 있는 무료 컨텐츠 감지기의 경우 GPT-3.5, GPT-4 등의 기반이기 때문에 최근의 AI 모델들이 생성한 텍스트를 정확하게 감지해내기는 어려울 것으로 보입니다.
정리해보면 윤석열 대통령의 축전은 정확하게 측정하기엔 너무 짧고, 게다가 인터넷 상에 있는 무료 툴로는 정확하게 측정할 수는 없다고 정리해 볼 수 있을 것 같습니다.
덧. 글을 쓰고보니 오마이뉴스에서 비슷하게 팩트체크한 기사가 있어서 해당 내용도 링크합니다.