사용 방법에 따라 '대체로 사실'로 판명

 

[검증 대상

윤석열 대통령은 1월 27일 "장관이 새로 부임을 했는데 한 2주일 동안 불이 훤하게 밤 12시까지 켜 있더라는 거예요. 그래서 장관이 새로 오니까 역시 기강을 잡고 공무원들이 열심히 일하는구나 그랬더니, 알고 보니 그게 아니고 장관 언론 간담회의 예상 질문 사항도 만들고 답변도 정리하느라고 그 2주 동안, 그러니까 업무를 모르는 사람이 장관으로 오니까 그런 것을 했다는데, 그런 경우라도 이런 챗GPT가 있으면 2주일 동안 밤 안 새고 하루만 해도 되지 않겠나 싶습니다"라고 말했다.

[검증 방법]

GPT 사용 

2023년 1월 30일 오마이뉴스 챗GPT 보도

2023년 2월 1일 CBS 라디오 <김현정의 뉴스쇼> 방송

2022년 7월15일 이상민 행정안전부 장관 경찰국 신설 최종안 발표 기자간담회 SBS 뉴스 영상

2022년 7월 15일 행정안전부 경찰제도 개선방안 발표 보도자료

2022년 6월 20일 연합뉴스 전국경찰직장협의회 보도 

[검증 내용]

GPT는 오픈에이아이(Oppen AI)가 2022년 11월 공개한 대화 전문 인공지능이다. 사용법은 챗GPT 사이트에 접속해 질문이나 요구사항을 텍스트로 입력하는 방식이며 바로 답변을 해준다. GPT의 답변 수준은 전문가가 썼다고 해도 손색없는 수준의 보고서를 작성하며 시를 짓기도 한다. GPT를 이용해 와튼스쿨 입학시험에서 BB- 학점을 취득한 사례도 존재한다.

실제로 지난 1월 30일 오마이뉴스는 윤 대통령의 3대 개혁에 대한 신년사를 챗GPT를 통해 작성했다. GPT를 통해 작성한 신년사와 윤 대통령의 실제 신년사 중 3대 개혁 발언 부분을 비교해보면 챗GPT는 원론적인 수준의 신년사 내용을 작성했으나 깔끔한 문장을 완성했다. 또한 챗GPT 신년사와 윤 대통령의 신년사는 3대 개혁에 대한 다른 정치적 수사를 사용했다. 노동 부분에서 윤 대통령은 '노사 법치주의'를 강조했고 챗GPT는 '노동자의 권리 보호'의 주제를 작성했다.

왜 대통령과 챗GPT의 신년사 방향이 다른 것인가, 우선 AI가 스스로 정치적 판단을 한 것은 아니다. 실제로 챗GPT에게 정치적 판단을 내릴 수 있는지 질문하면 "저는 기계학습 모델이므로 개인적인 의견이나 판단이 없습니다. 공정하고 객관적인 정보만 제공합니다."라는 답변을 도출한다. 지난 1일 CBS 라디오 <김현정의 뉴스쇼>에 출연한 김덕진(미래사회IT연구소 소장)에 따르면 챗GPT는 인터넷에 있는 정보를 학습해 확률 상으로 사람들이 많이 대화하는 패턴에 따른 답변을 해준다. GPT의 신년사 속 노동개혁 문장도 패턴에 의한 답변인 것이다.

윤 대통령은 챗GPT의 신년사는 조금만 손을 보면 손색이 없는 정도라고 평했다. GPT는 정치적 판단이 불가능하며 원론적인 답변만 가능하지만, 윤 대통령이 요구한 수준은 챗GPT가 작성을 한 원고를 인간이 수정해서 사용하는 정도이다. 따라서 챗GPT를 신년사 작성에 사용하는 것은 가능한 영역지만, 본 기사의 팩트체크 주제인 챗GPT로 장관 기자 간담회의 준비가 가능한지 여부는 더 구체적인 조건이 필요하다. 대통령의 신년사는 국민에게 전하는 발표문이므로 쌍방향적 소통이 요구되는 문장이 아니다. 하지만 기자 간담회는 장관이 해당 현안에 대해 발표하고 즉시 기자들이 질문을 이어가는 실시간 대화 과정이다. 실제 현장에서 기자들이 장관의 의도와 일치하는 질문만 하는 경우는 없으며 오히려 비판적인 질문에 대한 답변을 요구한다.

따라서 기자 간담회 준비를 위한 챗GPT 사용은 구체적인 정보를 학습시키고 질문하는 과정이 필요하다. 본지는 챗GPT에게 실제 이상민 행정안전부 장관의 2022년 7월15일 경찰국 신설 브리핑 자료를 압축해서 학습시켰다. 이후 당시 전국경찰직장협의회연합이 주장한 경찰국 신설 반대 이유를 학습시켰다. 당시 경찰 직협은 행정안전부의 경찰국 신설과 경찰 통제 방안은 경찰 독립성과 중립성을 훼손하는 정책이라고 비판했다.

검증 절차는 챗GPT에게 "대한민국 행정안전부 장관의 경찰국 신설에 대한 기자들의 비판적인 예상 질문 5개를 작성해"라고 요청했다. 이에 따라 챗GPT가 작성한 예상 질문은 다음과 같다

1. 행정안전부 내에 경찰국이 설치되면 경찰의 독립성과 중립성에 어떤 영향을 미치는가?

2. 경찰국은 경찰청과 어떻게 상호 작용할 것이며 경찰 정책과 관행을 형성하는 데 어떤 역할을 할 것인가?

3.행정안전부는 경찰직협이 제기한 독재시대 복귀 우려에 어떻게 대응할 것인가?

4.행정안전부는 타국의 경찰국과 유사한 기관들이 경찰의 독립성과 중립성에 미치는 영향의 예를 제공할 수 있는가?

5.경찰제도발전위원회는 경찰제도 개선에 대해 총리에게 어떻게 조언할 것인가?

 

다음은 실제 이 장관의 브리핑에 대한 기자들의 질문 사항 5가지이다.

 

1.경찰국이 옛날로 회귀한다는 여론의 지적이 있다. 공조직에서 통제하기 가장 쉬운 방법이 인사권과 예산이 아닌가. 이에 대한 중립성을 어떻게 유지할 것인지?

2.경찰들이 불만을 얘기한다. 장관이 파악 중인 경찰의 불만은 무엇인지, 해소됐다고 생각하는지?

3. 경찰국 신설 조직은 장관 직속인가?

4. 경찰국에서 예산·감찰·징계도 다루게 되는지?

5. 입법 예고 기간을 상당히 단축했는데, 일선 현장의 반발을 의식한 것인지?

 

챗GPT에게 기자들의 경찰 독립성 훼손 우려에 대한 장관의 답변을 작성해" 요청 시 나온 장관 입장의 답변문이다. 챗GPT는 영어로 질문하는 것이 한국어로 질문할 떄보다 정확한 답변을 도출할 수 있다. [챗GPT 캡쳐]

GPT가 작성한 예상 질문과 실제 기자들의 질문 사항은 구체적인 면에서 차이가 있지만 질문의 방향 자체는 유사하게 도출됐다. 더불어 "기자들의 경찰 독립성 훼손 우려에 대한 장관의 답변을 작성해"라는 질문을 챗GPT에게 요구할 시 도출되는 답변의 흐름도 원론적인 면이 있으나 실제 이 장관의 답변과 유사한 문장을 작성했다. 사용자가 기자 개개인의 판단을 모두 예측할 수 없으므로 챗GPT에게 특정 정보를 얼마나 학습시키고 어떻게 질문을 하느냐에 따라 예상 질문과 답변의 질과 양은 큰 차이를 보일 수 있다. 따라서 실제로 장관이 개선 제도의 실무진에게 담당 별로 챗GPT를 사용한 예상 질의응답의 작성을 지시하고 개선 제도에 대한 비판 여론을 수립해 기자간담회를 준비한다면 하루만에도 유의미한 결과를 얻을 수 있다.

[검증 결과]

GPT를 사용해 실제 장관의 브리핑과 기자회견을 비교해 본 결과 유사한 질문 방향이 도출됐다. GPT는 사용자가 효과적이고 폭 넓은 정보를 제공할수록 주제에 맞는 답변을 제시한다. 사용자가 원하는 수준에 따라 차이가 있겠으나 해당 주제에 대한 해박한 정보를 가진 실무진이 장관 브리핑을 보좌한다면 2주보다는 짧은 시일 안에 기자회견 준비를 할 수 있을 것으로 예상된다. 따라서 윤 대통령의 발언은 '대체로 사실'로 판명된다.

 

저작권자 © 일요서울i 무단전재 및 재배포 금지