챗GPT가 촉발한 AI 혁명, 급변하는 흐름 읽기 [또 진화한 GPT-4의 위력과 핵심기술]
일론 머스크가 투자하고 마이크로소프트가 지원하는 오픈AI가 일으킨 챗GPT 돌풍이 점점 거세지고 있다. 오픈 AI는 지난 3월 15일 GPT-4를 공개하며 기능과 능력을 한층 고도화했습니다. 포브스코리아는 챗GPT의 핵심기술인 대규모 언어 모델(LLM, Large Language Model) 개념을 간단히 살펴보고 관련 특허를 분석했다. 특허를 보유한 핵심 기업들의 동향과 함께 오픈AI의 지식재산권(IP) 전략을 살펴봤습니다.
우선 오픈AI의 챗GPT 능력을 쉽게 수치로 가늠해봅니다. 오픈AI의 챗GPT(GPT-3.5 버전)는 지난해 11월 공개 이후 두 달 만에 1억 명 넘는 사용자를 확보했고, 현재 2주 만에 인류의 모든 인쇄 작업에 해당하는 양을 능가하는 텍스트를 생성하는 것으로 추정됩니다.
인공지능 분야의 세계적 석학 앨런 톰슨 박사가 전미경제연구소(National Bureau of Economic Research)의 보고서를 인용해 추정한 결과, 챗GPT는 지난 3월 기준으로 분당 3억1000만 단어(WPM) 이상 생성합니다. 그리고 구글북스에서 실시한 연구에 따르면 1440년 구텐베르크의 인쇄기가 발명된 이래 출판된 책은 1억2984만4880권이고 1권당 평균 5만 단어라고 볼 때 인류는 총 6조5000억 단어의 지식을 생산했습니다.
이 수치를 단순 비교해보면, 챗GPT의 문서 생산량은 단 14일이면 인류의 모든 출판물의 단어 생산량을 뛰어넘습니다. 다른 비교를 하나 더 해보자면, 소셜미디어 트위터는 분당 35만 개 트윗을 출력하며 평균 8단어(34자)로 볼 때 전체 문서 생산량은 분당 280만 단어입니다. 따라서 챗GPT는 인간 트위터 사용자가 써내는 양의 110배 이상을 매일 출력하고 있는 셈입니다.
챗GPT의 언어 생성은 대규모 언어 모델(LLM) 기술을 기반으로 합니다. 언어 모델링을 쉽게 설명하면, 텍스트 문자열에 대한 확률 분포를 연구하는 것입니다. 자연어 처리(NLP)에서 가장 기본적인 작업 중 하나다. 현재 이 기술은 텍스트 생성, 음성 인식, 기계 번역 등에 널리 사용되고 있습니다.
기존의 언어 모델(CLM)은 인과적 방식으로 언어 시퀀스의 확률을 예측하는 것을 목표로 하는 반면, 사전 훈련된 언어 모델(PLM)은 더 넓은 개념을 다루며 다운스트림 애플리케이션을 위한 인과적 순차 모델링 과 미세조정 모두에 사용할 수 있다는 차이가 있습니다.
조금만 더 기술적으로 깊이 들어가보자. 챗GPT의 대화 시스템은 생성 언어 모델의 미세조정 버전입니다. 챗GPT는 1880억 개 이상의 매개변수가 있는 생성 언어 모델에 의해 구현됩니다. 그리고 레이블이 지정된 데이터에 대한 지도학습 및 강화학습을 통해 추가로 미세조정됩니다.
언어 모델은 대화가 가능하도록 자연어 이해(NLU)와 자연어 생성(NLG)에 의해 구현된다. NLU는 사용자의 의도를 이해하고 인식하는 역할을 한 후, 훈련언어모델 인코더가 그 내용에 대해 유익한 표현을 제공하고 적절하게 응답을 생성하는 프로세스입니다.
챗GPT의 훈련 데이터와 진화
GPT-3.5는 GPT-3의 학습 데이터를 기반으로 하며 쓰기, 복잡한 명령, 더 긴 문장 생성 등 기능을 업그레이드한 버전입니다. 따라서 기존 학습 데이터에 훈련 데이터를 추가한 2022년 1월 27일까지의 학습을 기반으로 출력물을 만듭니다. 그래서 챗GPT는 이때까지 훈련된 내용만 답할 수 있었고 지난 1년여간 새로 발생한 지식들을 포함하지 못하는 한계가 있었습니다.
챗GPT는 트랜스포머라는 딥러닝 모델 아키텍처를 이용하는데, 실제 이 기술이 2017년 개발된 후 초거대 AI가 비약적으로 발전했습니다. 하지만 트랜스포머 기반으로 하는 대부분의 LLM은 웹에 액세스할 수 없습니다. 별도의 신경망 층이 있어야 실시간 웹 접속이 가능한데, 최근 마이크로소프트의 ‘빙챗’과 구글의 ‘바드’가 웹 액세스 층을 갖춰 실시간 웹 정보를 가져올 수 있다는 장점을 내세우고 있습니다.
따라서 2022년 1월에 머물러 있는 GPT-3의 훈련에 사용된 데이터는 세부 사항이 공개되지 않았지만 언론, 논문, 특허, 레딧, 위키피디아 등의 텍스트 데이터로 알려져 있습니다. 결론적으로 훈련 텍스트 데이터는 수조 개 단어 간에 수십억 개의 연결을 만들었고 그 최종 크기는 매개변수 1750억 개, 토큰(단어 조각) 3000억 개에 이릅니다.
훈련 데이터의 주요 출처를 더 자세히 살펴보면, 영어 위키피디아는 인물전기(27.8%), 지리학(17.7%), 문화예술(15.8%), 역사(9.9%), 생물학·의약학(7.8%), 스포츠(6.5%), 비즈니스(4.8%), 기타 사회학(4.4%), 과학·수학(3.5%), 교육학(1.8%)으로 구성됐습니다. 그리고 웹문서는 구글특허(0.48%), 뉴욕타임스(0.06%) LA타임스(0.06%), 더가디언(0.06%), 공공과학도서관(0.06%), 포브스(0.05%), 허핑턴포스트(0.05%) 등입니다.
한편, 블룸버그, 뉴스코프(월스트리트저널), CNN 등 뉴스매체는 언론인의 생산물을 무단으로 인공지능 도구를 학습시키기 위해 사용한 것에 대해 저작권 침해 여부를 검토하고 있거나 소송을 제기했다. 오픈AI가 모든 매체와 저작권 계약을 체결했는지는 아직 불확실하며 허가 없이 데이터를 스크랩한 경우는 발행인의 서비스 약관에 위배됩니다.
다시 챗GPT의 대규모 언어 모델 기술 이야기로 돌아가면, 오픈AI는 지난 3월 15일 세간의 귀추가 주목된 GPT-4를 공개했습니다. 공개 첫날, 소송 초안 작성, 표준화 시험 통과, 손으로 그린 스케치로 웹사이트 구축 기능 등을 선보여 많은 사용자를 놀라게 했습니다.
기존 모델과 비교해 가장 큰 변화는 LLM에 시각적 언어 모델(Visual Language Model)을 포함했다는 것이다. 즉, 질문 입력을 넘어 사용자가 이미지를 업로드하면 그에 따라 작업이 가능하다는 점입니다. GPT-4의 비디오데모에서 시연자가 이미지를 GPT-4에서 업로드하니 결과 코드가 텍스트로 출력됐습니다.
그 코드를 그대로 붙여넣으면 제대로 작동하는 웹사이트가 만들어졌다. 개발자들의 전유물이었던 코딩이 제로 시대로 접어들었음을 시사했습니다. GPT-4가 공개된 이후 코딩 지식이 전혀 없는 사용자들은 GPT-4가 제공하는 지침에 따라 작업한 결과, 테트리스, 스네이크와 같은 초기 단계 게임을 재현했고 어떤 이들은 자신만의 독창적인 게임을 제작했습니다.
GPT-4의 매개변수는 공개되지 않았으나 톰슨 박사의 추정에 따르면 텍스트 800억~1400억 개, 이미지 200억 개입니다. 토큰 수 역시 공개되지 않았지만 1조7000억~2조9000억 개의 단어 조각으로 추정됩니다. 이를 통해 기존보다 장문의 문서를 생성할 수 있게 됐습니다. 기존 텍스트 응답은 4000단어로 제약이 있었으나 GPT-4는 2만5000단어까지 출력할 수 있습니다.
GPT-4의 데이터세트는 오픈AI의 보이치에흐 자렘바 데이터세트팀 관리자의 주도 아래 35명으로 구성된 팀이 그동안 대대적으로 작업했습니다. 주된 작업은 ‘신규 데이터 추가’와 ‘유해 데이터 필터링’이었습니다. 우선 GPT-3 데이터세트에 마이크로소프트와 협업해 글로벌 대표 코드 저장소인 깃허브(GitHub)를 추가한 것이 가장 큰 작업이었다. 이로써 코딩 작성 능력을 획기적으로 끌어올렸습니다.
그 외 변화로는 UC버클리수학, AMP 등 수식과 논리 등을 추가했다. 그 덕분에 복잡한 추론 작업이 필요한 시험에서 GPT-4는 인간의 평균 능력을 뛰어넘었다. SAT(미국수학능력시험) 1600점 만점에 1410점(상위 6%), 미국변호사시험 400점 만점에 298점(상위 10%), AP(고등학교 고급과정) 100%를 기록했습니다. GPT-4는 미국변호사시험과 대학원입학시험(GRE)에서 이전 버전을 능가했습니다.
GPT-4는 개인이 세금을 계산하는 데도 도움이 될 수 있다며 오픈AI 그레그 브로크먼 회장이 시연했습니다. 유해 데이터 필터링과 관련해 성 관련 텍스트 콘텐트를 양적으로 과감히 걸러냈다. 부적절한 성적 콘텐트를 포함할 가능성이 높은 문서를 식별해내고 내부적으로 훈련된 분류기와 어휘 기반 접근방식을 조합해 효과적으로 필터링했습니다.
언어 모델 특허 핵심 기업: 미국은 MS, 한국은 삼성전자
포브스코리아는 지난 호에서 챗GPT의 핵심기술인 적대적 생성 신경망(GAN, Generative Adversarial Network) 기술 특허 핵심 기업을 꼽은 데 이어, 이번 호에는 또 다른 핵심기술인 대규모 언어 모델(LLM) 기술 특허를 보유한 핵심 기업을 살펴봤습니다.
LLM은 상대적으로 가장 최신 기술인 까닭에 지식재산권(IP) DB 페이턴피아에 등록된 특허는 미국 10건, 한국 2건에 불과했습니다. 이 중 대부분(미국 7건, 한국 2건)은 구글이 권리자였다. 이 중 파급력이 가장 큰 특허는 지난 2007년에 출원한 ‘분산형 모델의 인코딩 및 적응형, 확장가능한 액세스(Encoding and adaptive, scalable accessing of distributed models, 등록번호 8296123)로, 피인용 수가 35건으로 가장 많았습니다.
그 외 ‘기계번역에서의 대형언어모델’(8332207)등이 있었다. 그 외에 미국 해양전문기업 타예르마한(Thayermahan), 컴퓨터 처리 및 데이터 기업 레이시온BBN테크놀로지(Raytheon Bbn Technologies), 카네기멜론대가 각각 1건씩 보유했습니다. LLM 특허 관련 주요 키워드는 발생빈도(3), 대상 모델(2), 컴퓨터 저장 매체(2), 조잡한 모델(1), 상세 모델(1), 중간 번역(1), 예상 확장(1), 캐시 언어 모델(1), 후보 선택(1) 등이었습니다.
한편, 키워드를 대규모 언어 모델이 아닌 언어 모델로 했을 경우 검색된 특허는 1만6495건으로, 미국 3738건, 중국 3391건, 일본 754건, 한국 589건, 유럽 428건이었습니다. 미국 특허의 핵심 기업으로는 마이크로소프트 기술라이선스(465건), 뉘앙스커뮤니케이션즈(344건), 구글(342건), IBM(304건), 삼성전자(126건), 애플(81건), 아마존 테크놀로지(79건), 메타 플랫폼(71건), 인텔(43건), 베린트 아메리카스(42건) 등이었습니다.
국내 특허의 핵심 기업으로는 삼성전자(94건), 한국전자통신연구원(89건), 구글(39건), 마이크로소프트 테크놀로지 라이센싱(32건), 엘지전자(30건), 베이징바이두 넷컴 사이언스 앤 테크놀로지(17건), 네이버(14건), 한국과학기술원(14건), 포항공과대학교 산학협력단(13건), 웨인힐스브라이언트에이아이(12건) 등이었습니다.
삼성전자는 ‘언어 모델 학습 방법 및 장치, 음성 인식 방법 및 장치’(1022929210000), ‘언어 모델 학습 방법 및 이를 사용하는 장치’(1024498420000), ‘언어 모델을 압축하기 위한 전자 장치, 추천 워드를 제공하기 위한 전자 장치 및 그 동작 방법들’(1024883380000), ‘발화 인식 모델을 선택하는 시스템 및 전자 장치’(1024267170000) 등을 보유했습니다.
언어 모델 관련 특허의 키워드는 음향 모델(577건), 신경망(493건), 말뭉치(464건), 훈련 데이터(371건), 기계학습(305건), 언어 처리(289건), 자연어 처리 (237건), 음성 인식 모델(199건), 모델 언어(194건), 인식 모델(191건) 등으로 집약됐습니다.
챗GPT를 개발한 오픈AI의 경우 2022년 미국 특허 1건, 출원 중 특허 1건이 있었다. 하지만 대규모 언어 모델이란 키워드를 포함하지 않았으며, 특허는 “구조화되지 않은 자연어의 다수의 노드를 갖는 복수의 그룹 대화를 수신하는 것을 포함하는, 질문에 대한 답을 결정하는 방법’(출원번호11,521,611), 출원 중인 특허는 ‘수신되는 자연어 통신에 대해 제안된 응답을 자동으로 생성하는 장치, 분류기와 자연어 생성 모델을 포함하는 장치’입니다.
두 건의 공통점은 자연어 의사소통을 구문 분석하거나 언어 모델을 사용해 응답을 생성하는 것과 관련해 인공지능 프로세스를 보호하기 위해 작성됐다는 것입니다. 이것이 오픈AI의 기술을 구동하는 엔진으로 볼 수 있다. 그리고 기술을 구동하는 연료인 핵심 데이터세트와 더불어 모듈식 네트워크 구조 및 개별 모듈을 포함한 신경망, 학습, 역전파 등 경쟁 우위를 제공할 수 있는 핵심 알고리듬은 영업비밀로 부쳐져 있습니다.
IP전문가 데니스 케세리스 베레스킨앤파르 로펌 파트너 등 다수는 “오픈AI의 2024년 예상 매출은 10억 달러(1조 3000억원)로 전망되는 가운데 과연 어떻게 비즈니스 모델을 가져갈 것인가에 질문이 제기된다”며 “이 질문의 답을 찾기 위해 IP를 개발, 획득, 활용하는 방법을 살펴봐야 한다”고 말합니다.
그리고 “공개정보를 검토한 결과 오픈AI는 특허 및 영업비밀로 기술의 일부를 보호하고 나머지는 오픈소스로 만든다”며 “IP를 이용해 수익을 창출하고 오픈 소스 콘텐트를 이용해 이용자 사이에서 긍정적인 평판을 얻는, 이른바 개방형 IP자산과 배타적 IP자산을 모두 사용하는 혼합 전략은 AI회사에서 매우 유용하다”고 평가했습니다.
하지만 오픈AI는 발명/저작권 침해와 같은 리스크를 안고 있으며, AI가 저작권을 부여받거나 발명가로 지정될 수 있는지가 불분명하기 때문에 결과물에 대한 특허 또는 저작권 보호를 청구할 수 있는지 등이 사용자에게 문제가 될 수 있다는 점을 지적했습니다.
英 이코노미스트 "AI가 역사의 방향까지 바꿀지도"[PADO]
이제 세상 모두가 정교하게 만들어진 AI를 이용해 지식을 쉽게 얻고 싶어한다. 언론사인 블룸버그는 경제정보 AI인 블룸버그 GPT를 개발중입니다. 아직 정교하진 않지만 코란 GPT와 성경 GPT도 나와있고, 교황 GPT도 머지 않아 나올 것입니다. 그리고 일부 스타트업 기업들은 사용자가 하드디스크나 클라우드에 가지고 있는 모든 문서들을 이용해 사용자의 질문에 답변하는 서비스를 제공하고 있습니다.
많은 얼리어답터들은 벌써 AI챗봇을 대화 파트너로 사용하고 있다. "마치 유식한 동료와 계속 대화를 나누고 있는 느낌입니다." LLM 생산 스타트업인 앤트로픽의 잭 클라크의 설명입니다. 이런 동료같은 AI가 하나의 인격체로 느껴지는 것도 상상할 수 있습니다. 필요할 때 물으면자상히 대답해주는 "삼촌 같은 튜터"가 아니라 시간이 흐름에 따라 나와 함께 자라나는 구체적인 인격체 같은 것도 상상할 수 있다. 어쩌면 사용자를 닮을 수도 있다. 말하자면 '내면의 목소리'를 담은 또 하나의 분신 같은 것입니다.
또는 온라인상에 써놓거나 창조해놓은 것이 충분한 양이 되어 이것들로 훈련해 그 창작자를 꼭 닮게 될 수도 있습니다 (저작권 문제만 해결된다면). 호주의 머신러닝 연구소의 연구원들은 작곡가이자 음악가인 로리 앤더슨을 위해 아직 초기형태이긴 하지만 그런 조수를 하나 만들어주었다. 이 AI 조수는 그와 그의 죽은 남편 루 리드의 작품들로 훈련했습니다.
앤더슨은 이러한 시스템을 이용해 작업하지만 자신의 작고한 남편과 협업하는 것으로 생각하지는 않는다고 말합니다. 하지만 어떤 사람들은 그런 환상에 쉽게 빠질 수도 있을 것입니다. 만약 어떤 챗봇이 그 사용자의 '내면의 목소리'를 그대로 닮아가고 그 사용자가 사망한 후에도 그 챗봇을 통해 그 목소리가 남아 있다면, 그 목소리와 대화를 나누고 싶어하는 사람들이 분명 있을 것입니다. 사람이 죽어도 그의 챗봇은 남겨질 것입니다.
이러한 애플리케이션과 그것의 영향을 생각하다보면 프로이트가 "언캐니"(uncanny, Unheimliche)를 다룬 고전적 논문이 머리에 떠오릅니다. 프로이트는 이 논문의 출발점으로 '언캐니'한 느낌이 "분명히 생물체인데 정말 생명이 있을까라는 의심, 또는 반대로 분명히 무생물인데 생명이 있는 것이 아닐까라는 의심"에서 나온다는 생각이었다고 밝힙니다. 이 의심은 LLM에 대해 많은 사람들이 똑 같이 느끼는 의심입니다.
AI 연구자들은 자신들이 만들어낸 것의 작동방식에 대해서는 설명할 수 있지만 그 AI 안에서 도대체 무엇이 일어나고 있는지는 말할 수 없다고 항상 느낍니다. "왜 이것이 이렇게 작동하는지 '완벽한 이론적 이유'는 없습니다." 수학적 검색엔진인 월프럼 알파의 창립자인 컴퓨터과학자 스티븐 월프럼은 최근 자신이 개발한 AI의 작동방식을 설명하는 긴 블로그 게시글에서 이렇게 결론 내렸습니다.
이것은 서로 연결되어 있지만 서로 배타적인 두 개의 걱정을 낳는다. AI가 과학자들이 아직 파악하지 못하고 있는 작동법을 가지고 있는 것 아니냐는 걱정과 AI가 지성을 갖고 있지도 않으면서 사회생활 속에서 사람으로 받아들여질 수도 있다는 걱정입니다.
"이 LLM 모델은 단지 텍스트의 문자들 배치를 그대로 반영한 것에 불과하고 이를 이용해 더 많은 문장을 생산해내는 것입니다." 시애틀의 워싱턴대 교수인 에밀리 벤더의 말입니다. 그는 LLM에 열광적 환상을 비판하는 논문인 "확률론 앵무새의 위험성"의 공동저자입니다. 그의 주장에 따르면, 이 AI는 지성이나 이해력이 전혀 없다. 실생활이나 인간적인 대화 경험이 전혀 없다보니 이 AI가 할 수 있는 것이라고는 훈련을 받으면서 들었던 것들을 앵무새처럼 흉내내는 것뿐입니다.
이것은 엄청난 양의 문자를 통계적으로 처리하는데서 나온 능력으로서 종종 적절하고 가끔은 놀라움을 주는 언어 구사를 보입니다. 그렇다고 생각을 하는 것은 아닙니다. 이 점은 벤더 박사처럼 언어학을 통해 AI 분야로 들어온 사람들이 자주 지적하는 점입니다.
하지만 LLM 업계의 다른 사람들에게는 그렇게 쉽게 정리되지 않습니다. 그들의 AI는 "단지 생각없이 재잘거리는 놈들"이 아닙니다. 알파벳(구글)에서 AI 장착 제품 개발팀을 이끄는 블레이즈 아구에라 이 아르카스의 말입니다. 그는 AI가 인간의 의미 파악 능력과 별반 다르지 않은 속성을 가지고 있다고 생각합니다. 문법적으로 애매하거나 농담으로 이해해야 하는 문장을 번역할 때 AI가 의미를 꽤 정확히 집어내는 능력을 보이는 것을 보면 그런 지성 비슷한 것이 있는 것이라고 말합니다.
新 AI 혁명 '챗GPT'에 물었다…"넌 누구니?"
"모델 크기·학습 데이터·퍼포먼스·속도·전문화 장점"
최신 정보 부족·윤리적 문제 등 한계 인식도
8일 서울 종로구 한 카페에서 더팩트 취재진이 '챗GPT'와 인터뷰를 하고 있다.
미국 스타트업 오픈AI의 대화형 인공지능(AI) 모델인 '챗GPT' 열풍이 세계적으로 거셉니다. 수준 높은 답을 내놓는 것을 넘어 미국 경영학석사·변호사시험 등 전문직 시험도 척척 통과하자 AI가 바꿔놓을 미래 모습에 새로운 기대감이 커지고 있습니다. 국내에서도 윤석열 대통령이 '챗GPT'로 신년사를 써본 경험을 긍정적으로 언급해 큰 화젯거리입니다. 이쯤 되니 인공지능 시대가 더 이상 영화 속 이야기가 아니라는 말이 더욱 이해됩니다. '챗GPT'가 불러온 새로운 인공지능 열풍의 현주소를 살펴봅니다.
최근 IT업계 최대 화두는 미국 스타트업 오픈AI의 대화형 인공지능 '챗GPT'다. 이 인공지능 프로그램은 지난해 11월 일반에 공개된 후 두 달 만에 월간활성이용자수 1억 명을 돌파했습니다. 틱톡이 9개월, 인스타그램은 2년6개월 꼬박 걸린 기록을 단 두 달 만에 달성한 것입니다.
'챗GPT'는 오픈AI의 초거대AI 'GPT-3.5'를 기반으로 한 인공지능 대화 서비스다. 초거대AI 목표는 알고리즘을 통해 사람이 생각하는 방식을 모방하는 것입니다. A=B처럼 이미 입력된 질문을 출력하는 것이 아니라, 기존에 학습한 데이터를 재조합해 완전히 다른 질문을 이해하고, 답을 출력합니다.
사람이 뜨거운 음료가 담긴 컵을 쥐는 상황을 가정해봅니다. 먼저 손가락 끝 통점 세포가 뜨겁다는 감각을 뇌에 전달하고, 뇌에서 통증을 담당하는 영역이 활성화돼 비로소 '뜨겁다'는 감각을 인지합니다. 초거대AI 역시 알고리즘에 따라 차례로 정보를 처리해 확률적으로 가장 그럴듯한 답변을 내놓습니다.
<더팩트>는 8일 오후 서울 종로구 한 카페에서 '챗GPT'와 한 시간가량 인터뷰했습니다. 이 인공지능 프로그램을 만나기 위해 필요한 것은 지난 2021년 출시된 사무용 노트북 한 대와 와이파이, 전기 콘센트가 전부였습니다. 인터넷 바다를 헤치고 그의 홈페이지를 찾았습니다. '챗GPT'에 자기소개를 부탁하자 단어들이 마치 사람이 타자를 치는 것처럼 빠르고 불규칙한 속도로 노트북 화면에 나타났습니다.
그 내용은 이렇다. "나는 오픈AI에서 개발한 언어 모델 챗GPT이다. 문자 기반 데이터를 대량으로 학습해 질문을 받으면 인간과 같은 반응을 생성하고, 대화를 나누고 다양한 주제에 대한 정보를 제공할 수 있습니다" 그러면서 "인터넷을 통해 웹사이트, 신문기사, 사회관계망서비스 플랫폼을 포함한 다양한 텍스트 데이터를 학습했다"고 했습니다.
눈에 띄는 것은 "수천억 개 단어로 구성된 데이터셋을 학습해 언어와 세계를 폭넓게 이해할 수 있게 됐다"는 답이다. "데이터 패턴을 학습하고, 이를 바탕으로 예측을 할 수 있게 돼 인간이 작성한 것과 유사한 글을 생성할 수 있다"고도 했습니다. '챗GPT'의 외국어 능력도 궁금해졌다.
사용할 수 있는 언어 종류를 물어봤다. '챗GPT'는 "주로 영어 텍스트를 학습했지만, 다른 언어로 된 글을 이해하고 생성하는 기능도 있다"며 "영어를 제외한 언어의 경우 숙련도 차이가 있을 수 있고, (영어만큼) 정확하지 않을 수도 있다"고 했습니다. 키보드 한·영 변환키를 눌러 한국어로 된 질문도 이해하는지 물어봤다. 영어로 질문을 던졌을 때만큼 빠르지는 않지만 이내 답을 했다. "예. 한국어 질문도 이해할 수 있습니다. 한국어로 대화할 수 있습니다. 무엇을 도와드릴까요?"
'챗GPT'가 8일 자신을 "문자 기반 데이터를 대량으로 학습해 인간과 같은 반응을 생성하고, 대화를 나누며, 다양한 주제에 대한 정보를 제공하는 인공지능 언어 모델"이라고 소개하고 있다. /'챗GPT' 대화 캡처
'챗GPT' 능력을 알고 싶어 이전의 언어 기반 인공지능 모델과 차이점을 물어봤다. 그러자 모델 크기, 학습 데이터, 퍼포먼스, 속도, 전문화 등 다섯 가지 요소를 꼽았습니다. '챗GPT'는 "자신이 약 1750억 개 파라미터를 가져 이전 언어 모델보다 훨씬 큰 모델"이라고 설명했습니다. 비교적 최근인 지난 2021년까지 생성된 데이터를 학습했기 때문에 현재 사용하는 언어와 문화를 더욱 잘 이해할 수 있는 것도 차이점으로 꼽았습니다.
더 고차원적인 질문을 던질 땐 어떻게 반응할까. '챗GPT'에 현대적 의미의 인공지능 개념을 만든 인물을 물어보자 "인공지능 학문 분야는 1956년 다트머스 대학에서 열린 학술대회에서 정식으로 정립됐고, 다트머스 대학은 연구 분야로서 인공지능 발상지로 널리 알려져 있다"며 "그 이후 인공지능 분야는 극적으로 발전하고 확장돼 수많은 연구자가 발전과 성장에 기여해 왔다"는 답이 술술 나왔습니다. 이어 "인공지능 역사상 가장 영향력 있는 인물로는 존 매카시, 마빈 민스키, 클로드 섀넌, 앨런 튜링 등이 있다"고 했습니다.
너무나도 자연스럽게 이어지는 답에 '챗GPT'가 실시간 처리하는 것이 아닌 미리 입력된 답을 단순히 출력하고 있을지도 모른다는 의심까지 들었습니다. 이에 대해 물어봤더니 '챗GPT'는 다시 한 번 모든 대화가 실시간으로 이뤄지고 있다고 했다. "나는 언어 모델로서 대화 데이터를 저장할 수 없고 (이용자가) 입력한 질문을 받으면 실시간으로 응답을 생성한다. 이전 대화나 문맥이 기억나지 않고 대화 하나하나 새롭게 시작된다"고 했습니다.
'챗GPT'는 영어 텍스트 기반 학습 모델이지만 실시간 번역 기능을 제공해 한국어를 비롯한 다양한 외국어 질의응답도 가능하도록 설계됐다. /'챗GPT' 대화 캡처
'챗GPT'가 자신의 한계를 얼마나 인식하고 있는지도 궁금해졌습니다. 최근 사회관계망서비스에서는 '챗GPT'가 2023년 2월 현재 대한민국 대통령을 묻는 질문에 "문재인"이라고 답해 논란이 되기도 했습니다. '챗GPT'가 학습한 데이터가 지난 2021년까지 생성된 정보인 탓에 지난해 3월 치른 한국 대선의 결과를 알지 못해 생긴 해프닝이었다.
'챗GPT'가 데이터 수집과 학습 과정에서 발생하는 저작권 침해 문제나 성별·인종·나이 등에 대한 혐오 표현을 여과 없이 출력하는 윤리적 문제도 뜨거운 감자다. 미국 뉴욕시 공립학교는 지난 1월 '학습에 대한 부정적인 영향에 대한 우려와 콘텐츠 안전·정확성에 대한 우려'를 이유로 교내에서 '챗GPT' 접근을 전면 차단하기도 했습니다.
챗GPT는 "저작권 침해와 책임 있는 언어 사용 문제를 매우 심각하게 받아들이고 있다"며 "이런 우려를 완화하기 위해 챗GPT와 같은 언어 모델 개발에 사용되는 모든 학습 데이터는 타인의 저작권을 침해하거나, 유해하거나 불쾌할 수 있는 콘텐츠를 제외하도록 세심히 조정된다"고 했습니다.
'챗GPT'는 사전 학습 모델로서 이런 사전 조치가 완벽하지 않을 수 있다는 한계를 순순히 인정했다. "이런 노력이 있어도 챗GPT와 같은 언어 모델은 저작권을 침해하거나, 혐오 발언을 포함한 답변을 생성할 수 있다"며 "이는 언어가 갖는 복잡하고 미묘한 특성과 이러한 모델 개발에 사용되는 학습 데이터 때문"이라고 했습니다.
현재 챗GPT는 전 세계 인공지능(AI) 챗봇 경쟁에서 가장 앞서나가는 주자다. 챗GPT의 이면에 있는 기술을 이해할수록 그 활용도를 폭발적으로 확장할 수 있다. 포브스코리아는 챗GPT의 핵심기술인 대규모 언어 모델(Large Language Model) 기술을 심층 분석하고 관련 지식재산권(IP)을 통해 국내외 핵심 기업들의 동향을 파악했습니다.
그리고 AI 관련 기술을 뒷받침할 국내 AI 반도체 설계업체 대표, 현재 AI 기술을 객관적으로 평가하려는 AI 연구원 원장, AI 기술의 다른 핵심기술인 생성적 대립 신경망(GAN, Generative Adversarial Network) 특허를 다수 보유한 AI 기반 영상인식 SW 스타트업 대표의 인터뷰를 통해 국내에서 활발하게 움직이고 논의되고 있는 AI 기술을 깊숙이 들여다봤습니다.
포브스코리아는 한국벤처캐피털협회에 속한 160여 개 VC 회원사, 한국스타트업 투자 DB ‘더브이씨’와 함께 ‘50 FAST-GROWING STARTUPS’을 선정했습니다. 포브스코리아는 설립 10년 미만 스타트업의 재정 데이터 분석과 VC 추천을 기반으로 ▶글로벌 성장성▶사업 규모▶혁신성▶경영진 성숙도▶사회문제 해결력 등 5가지 기준에 집중해 11개 분류 50개사를 최종 선별했다. 그리고 이 중 2개사를 인터뷰해 그들의 성장 스토리를 담았습니다.
초거대AI 두뇌, AI반도체가 키운다…GPU넘어 NPU로
[이슈진단+] 초거대 AI를 움직이는 인프라
2016년 이세돌 9단과의 바둑 대결에서 승리해 세상을 놀래켰던 알파고. 알파고를 승리로 이끈 주역은 딥러닝 기술을 구현하는 데 쓰인 그래픽처리장치(GPU)였다. 당시 알파고에는 1천920개의 CPU와 280개의 GPU가 사용됐다.
그리고 7년 뒤 세상을 뒤흔드는 또 하나의 AI '챗GPT'가 탄생했다. 챗GPT의 AI학습에는 무려 1만개가 넘는 엔비디아의 'A100' GPU가 사용됐다. GPU는 직렬 처리 방식을 이용하는 중앙처리장치(CPU)와 달리, 병렬 처리 방식으로 여러 개의 연산을 동시에 처리할 수 있어 대규모AI 연산을 처리하는 데 많이 쓰이고 있다.
이제는 한 번 더 도약의 시기가 다가왔다. 기업들은 GPU를 넘어 AI 특화 반도체인 신경망처리장치(NPU)를 초거대AI에 활용하기 위해 나서고 있다.
■ 맥북·갤S23·초거대AI '엑사원'·'KoGPT'에도 NPU 적용…"가격 GPU의 4분의 1"
그동안 AI에는 GPU가 많이 사용됐지만, 이제 기업들은 GPU가 아닌 NPU에 많은 기대를 걸고 있다.
GPU는 병렬 처리 방식으로, 그동안 직렬 처리 방식인 CPU의 한계를 대신해 주로 AI 개발에 활용돼 왔다. 그러나 GPU는 애초에 그래픽 처리 용도로 탄생했기 때문에 기업들은 보다 AI 연산에 특화돼 효율이 좋고 가격을 낮출 수 있는 NPU를 개발·사용하고 있다.
우리가 사용하고 있는 노트북, 스마트폰에도 이미 NPU는 사용되고 있다. 애플은 맥북에어에 실리콘 칩 'M2'를 탑재했는데, M2는 AI 연산에 최적화된 NPU인 뉴럴엔진이 M1 대비 속도가 40% 향상된 것으로 알려졌다.
최근 삼성전자가 출시한 갤럭시S23 시리즈에 들어간 모바일 AP에도 NPU가 쓰인다. 갤럭시S23 시리즈에는 퀄컴 스냅드래곤8 2세대 모바일 AP가 적용됐다. 삼성전자는 "AI의 핵심인 딥러닝 알고리즘을 담당하는 NPU의 성능이 전작 대비 40% 이상 개선됐다"며 "NPU 성능으로 사진 촬영 성능과 전력의 균형을 최적화했다"고 밝혔다.
갤럭시S23 시리즈에는 퀄컴의 갤럭시용 스냅드래곤8 2세대가 탑재됐다(사진=갤럭시 언팩 갈무리)
LG가 자체 개발한 초거대 AI 연구원 '엑사원'과 카카오브레인 'KoGPT'의 모델 학습에는 NPU의 일종인 구글이 자체 개발한 AI 반도체 텐서 프로세싱 유닛(TPU)이 사용됐다. TPU는 기존 GPU-CPU 조합 대비 15~30배 높은 성능을 갖추면서도, 전력 소비는 30~80배 적은 것으로 알려졌다.
엑사원은 클라우드 TPU를 도입해 AI 모델 학습에 소요되는 시간을 효과적으로 단축하고 더 효율적인 모델 학습 프로세스를 구축했다. 카카오브레인은 클라우드 TPU를 도입해 대규모 모델 학습 시 발생하는 네트워크 병목 현상을 해결하고 60억 개의 파라미터와 2천억 개 토큰에 달하는 한국어 데이터를 빠르게 처리했다고 밝혔다.
성능 면에서도 GPU보다는 AI 연산에 특화된 NPU를 활용하는 것이 좋지만, 비용 면에서도 기존 GPU를 사용하는 것은 초거대AI를 개발·서비스하려는 기업에게 큰 부담이다. KT클라우드 이태경 팀장은 "엔비디아의 완성형 장비와 같은 기존 고가의 GPU는 엔지니어의 기술 지원 비용까지 합쳐지면 장비 하나당 4억~5억 정도 한다"며 "아무나 그런 고가의 장비를 살 수 없으며, 매우 비싸고 데이터센터 또한 매우 많이 지어야 한다"고 기존 GPU를 사용하는 데 있어 기업들의 어려움을 설명했다. 이어 그는 "NPU를 쓰면 GPU의 4분의 1로 가격이 줄어들며, 전력량도 4분의 1, 5분의 1 수준이면 된다"고 설명했다.
■ AI반도체 국가 산업으로 키운다…2030년까지 총 8천262억원 투자
사진 = 이미지투데이
AI 시장이 떠오르면서 AI 서비스를 받치고 있는 인프라의 중요성이 대두되자 정부에서도 국산 AI반도체 개발에 뛰어들었다.
과학기술정보통신부는 지난 16일 세계 최고 수준의 초고속·저전력 국산 AI반도체 개발과 데이터 센터 적용을 통해 국내 클라우드 경쟁력을 강화하고, 국민들에게 향상된 AI 서비스를 제공하는 'K-클라우드 프로젝트'를 추진한다고 밝혔다. 정부는 이를 위해 올해부터 2030년까지 총 8천262억원을 투자, 국산 AI반도체를 3단계(NPU→저전력PIM→극저전력PIM)에 걸쳐 고도화한다는 계획이다.
과기정통부 전영수 정보통신산업정책관은 "오픈AI의 챗GPT와 같이 AI 기술이 비약적으로 발전하고 AI가 우리 일상 속으로 보다 폭넓게 확산되면서 AI 연산에 특화된 고성능·저전력 AI반도체의 중요성이 부각되고 있다"며 "K-클라우드 프로젝트를 통해 국산 AI반도체가 데이터센터의 저전력화 및 클라우드와 AI 서비스 비용 절감 부분에서 시장 경쟁력이 있다는 것을 실증하고, 향후 글로벌 진출도 가능한 성공 레퍼런스를 확보할 수 있도록 지원할 예정"이라고 말했다.
K-클라우드 프로젝트 사업 중 정보통신산업진흥원(NIPA)에서 전담하는 AI반도체 팜 구축 및 실증 사업에는 클라우드 기업, AI 반도체 기업, AI 서비스 기업·기관이 각각 2개 사 이상이 협력해 컨소시엄 형태로 참여하게 된다. 주관기관은 클라우드 기업이며, 지원 시 참여기업·기관 간 구체적인 협력 방안을 제시해야 한다.
이번 사업을 통해 국산 AI반도체를 기반으로 각 데이터센터당 총 연산용량 10PFLOPS 규모의 고성능 연산이 가능한 저전력 데이터센터가 구축될 예정이다. 이를 바탕으로 민간·공공 분야에서 각각 4건 이상의 AI서비스를 실증하며, 1차 시범서비스는 올 12월 제공될 예정이다.
■ 클라우드 기업-AI 반도체 기업 협력…GPU 시장에 도전장
KT클라우드 이태경 팀장.
기존의 GPU 시장은 개인용·기업용 모두 엔비디아가 독식해왔다. 기존 GPU 시장에서 엔비디아는 80%가 넘는 점유율을 차지하고 있다. KT클라우드 이태경 팀장은 "일상으로의 AI 접목이 가시권에 들어오면서 지금이라도 반도체가 기술 종속되지 않도록 자립해야 된다는 인식이 있어 왔고, GPU 대체재로서의 국산 AI 반도체에 대한 논의가 다년간 진행돼 왔다"고 설명했다.
국내 NPU 개발 업체로는 대표적으로 사피온, 퓨리오사, 리벨리온 3사가 주로 거론된다. 퓨리오사의 '워보이' NPU는 카카오엔터프라이즈의 기업용 통합 클라우드 플랫폼 '카카오 i 클라우드'에 적용됐다. '카카오 i 클라우드'는 워보이 NPU를 통해 딥러닝 서비스를 실시간으로 제공한다. 카카오엔터프라이즈는 현재 카카오 i 클라우드상에서 퓨리오사AI 워보이 NPU 카드 12장을 4개의 베어메탈 서버에 장착해 서비스하고 있으며, 연내에 워보이 NPU 카드 16장, 베어메탈 서버 10대를 추가할 계획이다.
SK텔레콤, SK스퀘어, SK하이닉스 등 3개 회사가 투자해 설립한 AI 반도체 기업 사피온은 올 하반기 기존 NPU(사피온 X220) 대비 4배 이상 성능을 끌어올린 'X330'을 출시할 예정이다. 사피온은 NHN클라우드와 협력해 지난 2021년부터 2022년까지 실증 사업을 진행했다. 패션 특화 AI서비스 '버츄얼 트라이온'에서 사피온 X220을 검증해, 기존 엔비디아 'T4' GPU보다 처리 속도가 5.1배 빠른 것으로 확인됐다.
리벨리온은 KT클라우드와 협력하고 있다. 상반기 출시 예정인 KT의 초거대 AI 서비스 '믿음'에는 언어처리에 특화된 리벨리온 AI 반도체 '아톰'이 탑재된다. 아톰은 엔비디아의 GPU와 비교했을 때 전력 소모량이 6분의 1 수준인 것으로 알려졌다. KT는 향후 GPU팜에 리벨리온과 제작한 AI 반도체를 접목할 예정이다. KT는 지난해 리벨리온에 300억원 규모의 전략 투자를 진행했다.
이 팀장은 "리벨리온은 언어 부분에 대해 성능이 탁월하며, 미세 공정 부분에서 가장 앞서있다"며 "KT는 리벨리온의 기술 수준을 높게 평가해 투자하게 됐다"고 말했다. KT는 향후 'AI 풀스택' 사업자로 거듭난다는 목표다.
이 팀장은 "KT클라우드의 HAC 서비스가 소프트웨어 역량을 끌어 올려 과거에 없던 서비스를 태동시킨 거라면, 그 다음 단계로는 GPU를 걷어내고 NPU를 활용해 외산에서 탈피해 향후 AI 기반 사업에서 주도권을 가져가고자 하는 것이 지향점이다"라고 말했다.
태그
# 팩플오리지널
# AI
# 인공지능
# 오픈AI
# 데이터
# 공정이용
# 저작권
# 초거대AI
# 데이터 전쟁
# 데이터 보안
# 챗GPT
# 데이터 유료화
'인공지능(AI)' 카테고리의 다른 글
| 요즘 엔비디아에 무슨 일이? 엔비디아 폭등의 '진짜' 이유(ft.AI 붐) (0) | 2023.06.09 |
|---|---|
| 연구 표본수 산출 방법(G*power test) (1) | 2023.06.08 |
| AI의 꽃 자연어 처리, 플랫폼 경쟁 치열 [트랜스포머 - 어텐션 메커니즘을 활용한 자연어처리 기법] (1) | 2023.06.05 |
| 챗GPT 플러그인 사용법 총정리 (0) | 2023.06.03 |
| 블로그 마케팅을 포기하면 안되는 7가지 이유 - AI 활용법 [콘텐츠 마케터의 잃어버린 시간을 찾아서] (0) | 2023.05.27 |
