놀라움과 두려움 사이에서 등장하다. 챗GPT의 탄생

고한우 2023. 12. 10. 15:42

1. 몬테카를로 알고리듬

인공지능 알고리듬 중에 몬테카를로 알고리듬아란 게 있습니다. 가령 한 변의 길이가 2 미터인 정사각형에 내접한 원의 넓이를 구하라고 한다면 일반적으로 원주율로 구하겠으나 인공지능은 그렇게 구하지 않습니다. 몬테카를로 알고리듬은 정사각형 속 무작위로 발생시킨 점을 쏩니다. 수십만, 수백만 개를 쏜 다음 원에 들어간 숫자의 비율을 구하는 대단히 무식하고 단순한 방식입니다. 하지만 1초에 312조 번 실수계산을 할 수 있기에 속도는 더 빠릅니다.

2. 고양이 사진을 가려내라

컴퓨터가 인간처럼 지능을 가지고 사람의 일을 대신하게 하는 것은 컴퓨터 과학자들의 오랜 꿈이었습니다. 초반에는 컴퓨터가 고양이 사진을 가려낼 수 있도록 고양이의 모든 특징을 일일이 사람이 입력해야 했습니다. 하지만 이렇게 넣어도 데이터가 일정 규모 이상으로 들어가니 점수가 도리어 떨어졌습니다. 예외가 너무 많기 때문입니다. 예를 고양이가 다리가 네 개라고 입력하면 컴퓨터는 교통사고에서 다리를 하나 없는 고양이는 인식하지 못합니다. 결국 이런 방식으로는 인공지능을 구현하지 못한다는 논문이 나왔습니다. 그리고 캐나다에서 그 긴 겨울을 버틴 인공지능의 선구자 제프리 힌턴이 딥러닝에서 새로운 돌파구를 만들어내면서 지금의 인공지능 부흥기가 도래합니다. 새로운 접근법은 사진의 차이점들을 구분하는 것까지 모두 인공지능에 맡깁니다. 1000만 개, 1억 개의 특징들에 대해 가정 적절한 매개 변수 값을 찾을 때까지 계속 바꿔가면서 돌려보는 겁니다. 1초에 312조 번 실수 계산을 하는 이런 GPU를 수십 대, 수백 대, 심지어 1만 대를 붙입니다.

3. 인공지능, 잠재된 패턴을 찾다.

그렇게 적절한 매개변수 값을 찾아내는 시뮬레이션을 끝도 없이 했더니 고양이를 기를 막히게 급기야 사람보다 잘 맞히는 게 지금의 인공지능입니다. 딥러닝이라는 모델의 발달과 하드웨어의 엄청난 발전이 이런 성취를 불러온 것입니다. 그런데 여기서 새로운 문제가 생깁니다. 인공지능이 맞히기는 기가 막히게 잘 맞히는데 왜 잘 맞히는지를 인간이 알 수가 없다는 것입니다. 인공지능이 하는 이런 일은 잠재된 패턴들을 찾아내는 일이라고 할 수 있습니다. 1,000만 개, 1억 개의 매개변수를 가지고 이런 연속된 다양체를 그리는 작업이 바로 인공지능이 하는 일입니다.

4. 챗GPT의 정체

챗GPT는 인류 역사상 가장 빠른 속도로 사용자를 모은 서비스입니다. 그전까지는 인스타그램과 틱톡이 가장 빨랐습니다. 하지만 챗GPT는 이들이 우스워 보일 정도로 유례없이 빠른 속도로 사용자를 모았습니다. 챗은 대화형이라는 뜻입니다. 대화형에는 두 가지 뜻이 있습니다. 사람끼리 이야기하듯이 자연스럽게 입력한다는 것이 첫 번째 의미입니다. 이전까지는 컴퓨터한테 일을 시키려면 먼저 C라든지 포트란, 포트란, 코블, 파이썬처럼 별도의 프로그래밍 언어를 익혀야 했습니다. 이런 걸 익힌 사람을 개발자라고 했습니다. 그런데 챗GPT는 그냥 글을 쓰면 됩니다. 우리가 일상적으로 사용하는 말을 프로그래밍 언어와 구분해서 자연어라고 하는데 자연어로 그냥 입력하면 되는 게 챗GPT입니다. 대화형의 두 번째 의미는 챗GPT에 단기 기억이 있다는 것입니다.

GPT의 'G'는 generative, 즉 생성하는, 만드는 이라는 뜻입니다. 'P'는 pre-trained, '사전 학습한'이란 뜻입니다. 사전 학습에도 두 가지 의미가 있습니다. 하나는 이런 거대한 모델을 사전 학습했다는 뜻이고 다른 하나는 특별히 학습을 추가로 시키지 않은 전문 분야에 관해 질문해도 마치 원래부터 잘 알고 있는 것처럼 그럴듯한 답을 내놓는다는 뜻입니다. 그래서 이런 거대언어모델 인공지능을 파운데이션 모델이라고도 부릅니다. 'T'는 Transformer입니다. 딥러닝 모델 중 하나인데 요즈음 생성형 인공지능의 대다수가 사용할 정도로 효과적인 모델입니다. 트랜스포머는 주어진 문장을 보고 다음 단어가 뭐가 올지를 확률적으로 예측합니다.

챗GPT를 이전의 생성형 인공지능과 구분 짓는 특징 중 하나는 인간의 피드백을 통한 강화학습(RLHF)을 했다는 것입니다. 이것을 통해 이전의 인공 지능들과 달리 비윤리적인 발언이나 해서는 안될 말이 출현하는 빈도를 획기적으로 낮추는 데 성공했습니다. 챗GPT에게 하는 질문을 프롬프트라고 부릅니다. 챗GPT의 답은 물을 때마다 조금씩 달라집니다. 그 이유는 챗GPT의 답의 자유도를 설정할 수 있기 때문입니다. 이것을 챗GPT의 온도라고 부릅니다.

여기서 편향되지 않은 질문과 대화를 할 수 있는 고급 평가가 필요합니다. 그렇지 않으면 인종차별주의자로 챗GPT는 될 수 있습니다.

5. 어려운 일은 잘하고 쉬운 일은 못한다.

이런 과정을 거치고 나자 챗GPT는 매우 훌륭한 결과들을 내놓기 시작했습니다. 이런 결과들을 내고 있기 때문에 챗GPT를 옹호하는 쪽에서는 인간의 언어에 관한 모델이 1,750억 개 매개변수의 연결 안 어딘가에 들어 있을 거라고 보기도 합니다. 인공지능은 잠재된 패턴이 있는 곳에서는 어디서나 위력을 발휘할 수 있습니다. 프로그램 개발, 법무, 스포츠 결과 보도 등에서도 챗GPT는 엄청난 성과를 가져올 수 있습니다. 지금의 인공지능은 '어려운 일은 쉽게 하고 쉬운 일은 어렵게'합니다. 잠재된 패턴이 없는 곳, 그러니깐 확률이 필요하지 않은 분야에서는 어처구니없이 약합니다. 챗GPT는 인터넷에 올라와 있는 거의 모든 문서를 학습했다고 해도 과언이 아닐 텐데 이 말은 웹에 없는 정보에는 취약하다는 것을 의미합니다. 구글이 2023년 2월 초에 바드라는 대화형 인공지능을 발표했다가 주가가 130조 넘게 빠진 것도 이 때문입니다. 굳이 확률적으로 찾을 필요가 없는 명백한 사실을 확인하는 작업에는 이런 생성형 인공지능이 어울리지 않습니다. 단 하나의 사실이 필요한 곳에서 잠재된 패턴을 찾을 이유가 없기 때문입니다.

6. 할루시네이션, 멀쩡한 거짓말

이 방식의 인공지능이 피할 수 없는 게 있습니다. 바로 할루시네이션입니다. 아주 멀쩡히 거짓말을 하는 걸 뜻합니다. 챗GPT는 트랜스포머 모델을 이용해 주어진 말들의 다음에 나올 가장 그럴듯한 단어를 찾습니다. 챗GPT가 볼 때는 이건 너무나 그럴듯한 단어를 찾습니다. 그러니깐 챗GPT는 참인지 거짓인지를 답하는 것을 배운 게 아닙니다. 트랜스포머 모델을 써서 가장 그럴듯한 말을 내놓도록 학습을 했고 챗GPT는 거짓말을 할 때도 기가 막히게 그럴듯하게 하는 겁니다.

7. 견고하지 않은 인공지능

거대언어모델의 문제 중 하나는 할루시네이션뿐만 아닙니다. 이 인공지능은 견고하지 않습니다. 프롬프트 인젝션 공격이라는 게 있습니다. 이는 사용자 입력을 받는 텍스트 기반 애플리케이션 또는 시스템의 취약점을 악용하는 것을 말합니다. 공격자는 악성 코드나 텍스트를 삽입하여 시스템의 동작을 조작하거나 무단 액세스 권한을 얻거나 기타 보안 문제를 일으킵니다. 지금의 AI는 블랙박스입니다. 왜 그렇게 작동하는지를 구체적으로 설명할 수 없습니다. 그러니 부분만 고치는 건 할 수 없습니다. 전체를 다시 학습시킬 수밖에 없습니다.

8. GPT-4

그리고 2023년 3월 14일 GPT-4가 출시됐습니다. 챗GPT에 적용된 것은 GPT-3.5 버전이었는데 여기서 더 업그레이드된 버전인 셈입니다. GPT-3.5와 가장 다른 점은 문자뿐 아니라 이미지도 처리할 수 있는 멀티모달이라는 것입니다. 다국어도 더 잘 지원하게 됐다고 합니다. 챗GPT에서는 한국어로 물을 때와 영어로 물을 때의 실력 차이가 꽤 있었습니다. 그런데 GPT-4의 한국어 실력이 챗GPT의 영어 실력을 앞섰습니다.

저작자표시 비영리 변경금지