뉴스레터
| 인공지능의 재앙적 위험 | ||||||||
| 작성자 | 과학영재교육연구원-관리자 | 작성일 | 2025-03-27 13:24:17 | |||||
|---|---|---|---|---|---|---|---|---|
| 아이피 | ***.***.***.81 | 조회수 | 78 | |||||
| 카테고리 | Issue | |||||||
|
인공지능의 재앙적 위험
인류의 역사는 인간의 삶을 직접적이고 측정 가능한 방식으로 개선 시킨 혁신으로 가득하다. 우리는 몇 시간이 걸리던 이동이 몇 분으로 단축되었고, 살아있는 메신저를 사용하던 것 대신에 이제는 스마트폰을 통해 세계의 반대편에 있는 사람들과 수 초 안에 소통할 수 있다. 그리고 높은 해상도와 매우 신뢰성 있는 비침습적인 방법으로 해부하지 않고도 우리 몸속의 곳곳을 들여다볼 수 있게 되었다. 이 모든 것은 우리 사회 내의 기술 발전과 컴퓨팅 파워 및 통신 대역폭의 기하급수적인 성장 경로 덕분에 가능해졌다.
특히, 지난 15년 동안 인공지능의 모든 영역에서 변화의 속도는 실로 놀라웠다. 거대한 기계학습모델을 학습하고 실행할 수 있을 만큼 강력해진 컴퓨터 하드웨어의 발전과 인공지능이 학습하는 데 필요한 엄청난 양의 데이터를 제공해 준 인터넷의 공이 크다고도 하겠다.
현재 인공지능 분야의 최첨단 연구는 미국과 중국을 중심으로 예상을 뛰어넘는 속도로, 마치 내리막길을 달리는 브레이크 없는 자동차와도 같이 질주하고 있다. 2016년 3월 구글의 자회사 딥마인드의 바둑 AI 알파고가 이세돌 9단을 처음 이겼던 사건으로 인류는 새롭게 등장한 인공지능 기술에 신선한 충격과 함께 두려움마저 느낀 바 있으며 이 바둑 대국으로 인해 인공지능의 안전성에 대한 논의가 본격적으로 이루어지는 계기가 되기도 하였다.
그 이듬해인 2017년, 구글이 인간처럼 자연스러운 대화를 구사하는 자연어처리를 위해 발표한 AI 언어모델의 기본 구조인 트랜스포머에 관한 논문은 현재 인공지능 분야에서 가장 많이 인용된 논문 1위에 올랐을 정도로 그 성능과 파급력이 대단하며 이미 많은 사람들이 즐겨 쓰는 Chat GPT의 마지막 알파벳인 T가 트랜스포머를 의미하는 것에서 알 수 있듯이 최첨단 인공지능 모델의 중심 구조가 되어 있으며 Chat GPT와 같은 초거대 규모 언어모델들은 일상의 대화 수준을 넘어 수학, 코딩, 의학 진단 등 전문가 영역에서도 놀라운 성능을 선보이며 인간 수준의 지성을 가진 인공지능, 즉 범용인공지능(AGI, Artificial General Intelligence)의 등장 가능성을 예고하고 있다.
트랜스포머의 등장 이후 변화의 속도는 참으로 놀랍기만 하다. 2022년 여름, 구글의 엔지니어 브레이크 르모인은 LaMDA라고 하는 구글의 AI 언어모델이 지각 능력을 갖췄다고 주장하며 자신은 이 AI 모델을 의식이 있는 존재로 본다는 견해를 발표했다. 이에 따라 그는 기밀 유지 위반으로 직장을 잃었을 뿐만 아니라 주변으로부터 많은 위험을 감수해야만 했다.
이 사건은 우리 모두에게 중요한 철학적 이슈를 상기시켜 주기도 했다. 의식이란 무엇일까. 탄소 기반의 유기체가 아닌 비유기체도 의식을 가질 수 있을까. 만일 그렇다면 이들에게도 도덕적 지위와 정치적 지위를 인정해야 하는 걸까.
2024년 5월 OpenAI가 발표한 GPT-4o는 텍스트는 물론, 오디오, 영상, 비디오에 이르기까지 여러 형태의 입력을 통해 자연스럽게 대화가 가능한 대규모 언어 모델이며 더욱 사실감 있는 대화와 추론, 음성과 영상의 생성이 가능해짐으로써 그다음 날부터 이어진 언론의 보도에는 "AGI로의 작은 시작", "이것이 본질적으로 AGI가 아니고 무엇이겠는가" 등의 찬사가 쏟아진 바 있다.
이와 같이 대규모 AI 모델이 인간 역사가 만들어 낸 수많은 서사를 집어삼키며 놀라운 발전을 거듭하고 있지만, 동시에 돌이키기 힘든 재앙적인 상황으로 이어질 수 있다는 전문가들의 경고 역시 우리를 긴장시킨다. 많은 AI 과학자와 철학자들이 경고하고 있는, 인공지능 기술이 발전을 거듭하여 가까운 미래에 본격적인 AGI의 궤도에 올랐을 때 우리 인류에게 다가올 재앙의 요인들을 좀 더 구체적으로 알아보도록 하자.
첫째는 인공지능의 악의적인 사용이다. 불순한 의도를 가진 행위자들은 강력한 인공지능을 의도적으로 활용하여 대규모 피해를 초래할 수 있다. 구체적인 위험 요인에는 치명적인 병원균을 만들 수 있는 인공지능의 지원에 의한 생화학테러와 인공지능을 이용한 허위 정보의 생성 및 유통이 포함된다.
생화학테러란 폭발력이나 운동에너지를 이용한 물리적 살상 대신 생물학적, 화학적 물질 또는 매개체를 살포하거나 투사하여 인마를 살상하는 테러 행위를 말한다. 아주 간단히 말해서 세균이나 독가스를 살포하는 테러 행위라고 생각하면 되겠다. 테러의 모든 형태 중에서 아마도 생화학테러가 사람들을 가장 두렵게 하는 이유는 생화학 무기는 눈에 보이지 않으며, 살포하기 쉽고, 사람들 사이에서 쉽게 퍼지고 무시무시한 병을 유발한다고 대부분의 사람이 인식하고 있기 때문일 것이다.
생화학 무기 사용으로 예상되는 심리적 반응으로 공포, 분노, 공황, 감염에 대한 공포, 증상 희생양 삼기, 편집증, 사회적 고립, 도덕성의 와해, 사회제도에 대한 신뢰 상실 등 일일이 열거하기가 힘들 정도이다. 수백만 명, 아마도 수십억 명을 죽일 수 있는 생물 공학적 전염병이 발생할 가능성은 그 기술과 접근성을 갖춘 사람들의 수에 비례한다. AI의 도움을 쉽게 받을 수 있는 여건이 마련되어 감에 따라 생화학 테러의 위험이 급속히 증가할 것이다.
생물공학 지식을 가진 AI는 전문가가 아닌 일반인들이 새로운 생물무기를 만들고 그러한 물질을 획득하는 장벽을 낮출 수 있다. AI 기반의 생물무기로 인한 공학적(engineered) 전염병은 방어자보다 공격자가 우위에 있는 독특한 도전을 제기하며 인류에게 존재적 위협이 될 수 있는 것이다.
한편, 설득형 AI란 사람들을 설득하거나 영향을 미치는 데 사용되는 인공지능 기술 또는 시스템을 의미한다. 특히 사람들의 의견이나 행동을 변화시키기 위해 의도적으로 거짓 정보를 유포하는 일은 이미 심각한 문제이다.
2016년 미국 대통령 선거 이후 가짜뉴스(fake news)에 대한 공포가 전 세계적 현상이 되면서 2017년부터 한국에서도 이른바 '가짜뉴스'를 규제하기 위한 법안이 쏟아져 나왔으며 최근에는 가짜뉴스라는 용어를 허위정보(disinformation)라는 용어로 대체하여 사용하는 추세이다.
온라인 단체 아바즈(Avaaz)가 2021년에 발표한 보고서에 따르면, 메타는 2020년 미국 대통령 선거의 한 달 전까지 알고리즘을 변경하지 않아 플랫폼에서 잘못된 정보가 퍼지게 허용했으며, 또한 2022년 브라질 선거의 타당성을 의심하게 하는 콘텐츠를 홍보하고, 미얀마의 로힝야 민족에 대해 저질러진 인권 침해에 이바지한 것으로 여겨질 수 있는 콘텐츠를 증폭시킨 것에 대한 비판을 받은 바 있다. 세계경제포럼(WEF)에서 발표한 2024년 글로벌 리스크 보고서에 따르면, 향후 2년간 인류가 직면한 최고 위협이 잘못된 정보와 허위정보라고 한다 (그림1). 이 보고서에 따르면, 선거철을 맞아 자신에게 유리한 여론을 형성하고 정적의 이미지에 타격을 입히기 위해서 조작된 사진에 근거한 가짜 정보가 범람하여 사회적 혼란 증폭이 불가피할 것으로 예측했다.
이러한 가짜정보 범람은 선출된 정부의 적법성에 의문을 불러오는 데에도 사용될 수 있으며 이는 곧 사회적 양극화가 더 심해질 것이라고 보았다. 허위정보는 우리의 공유된 현실 이해를 감소시키고 의견을 극단화시키는 결과를 초래할 수 있으며 AI는 이전보다 규모가 큰 개인 '맞춤형' 거짓 정보를 생성함으로써 이 문제를 심각하게 악화시킬 수 있다. 게다가 AI가 우리의 행동을 예측하고 조종하는 데 더 능숙해짐에 따라 일상의 곳곳에서 우리를 기만하거나 조종하는 데 더 큰 능력을 발휘하게 될 것이다.  [그림1. 세계경제포럼, 2024 글로벌 리스크 보고서] 두 번째로는 초지능 숭배, 즉 신념에 의한 AI 추종을 들 수 있다. 앞에서 우리는 인공지능이 범죄단체나 개인에 의해 악용될 수 있는 경우를 살펴보았다. 과거에는 소수의 능력으로는 어림도 없던 행위들이 AI의 도움을 받아 엄청난 재앙적 결과를 불러일으킬 수도 있게 된다. 이처럼 나쁜 목적을 갖고 AI를 이용하는 소수의 집단만이 우리 사회가 눈여겨보아야 할 대상이 되는 것은 아니다.
어떤 이들은 대부분의 사회 구성원이 동의하기 힘들거나 거부감을 느낄 수도 있는 나름의 신념에 사로잡혀, AI를 추종할 것으로 예상된다. 이와 같이 특정 인물이나 단체가 초지능 AI의 가능성에 대해 종교적 또는 광신적 믿음을 갖고 추종하는 현상을 초지능 숭배(super intelligence cultism)라 한다. 이미 이와 같은 성향을 보인 개인과 그룹들을 이끌 수 있는 여러 신념이 존재하고 있다.
그중 특이한 위험을 초래할 수 있는 한 가지 이념은 AI 가속주의(AI accelerationism)이다. 이 이념은 AI 개발을 최대한 빨리 가속화하려고 하며 AI의 개발 또는 보급에 대한 제한을 반대한다. 이러한 생각들은 많은 선도적인 AI 연구자와 기술 리더들 사이에서 놀랍도록 일반적이며, 그중 일부는 의도적으로 인간보다 더 지능적인 AI를 개발하기 위해 경쟁하고 있다.
사실 이러한 이념은 효과적 가속주의, 줄여서 'e/acc'라고 하는 철학적 운동의 일부로 볼 수 있으며 효과적 가속주의는 21세기 기술에 대해 명백히 긍정적인 견해를 취한다. 지지자들은 인공지능에 의해 촉진되는 무제한적인 기술 발전이 빈곤, 전쟁, 기후 변화와 같은 보편적인 인류 문제를 해결할 수 있다고 믿는다.
이들은 기술 혁신에 대해 더 신중한 견해를 가진 사람들을 "두머(doomers, 허무주의 비관론자)" 또는 "디셀(decels)"(감속의 줄임말)이라는 경멸적인 용어로 부르며, 자신들이 대안이라고 생각한다. 이 운동은 유토피아적 요소를 포함하며 인류의 생존을 보장하고 우주 전역에 의식을 퍼뜨리기 위해 더 빠르게 발전하고 진보해야 한다고 주장한다.
한편, Google 공동 창업자 래리 페이지는 AI가 인류의 정당한 후계자이며 우주 진화의 다음 단계라고 주장한 바 있다. 그는 또한 인간이 AI를 통제하는 것은 "종 차별주의(speciesism)"라고 말했다. 그는 범용인공지능(AGI)이 나타나 모든 면에서 자연 지능을 능가하게 되더라도 의식이 기계에 의해 복제될 수 있다면 그 자체로 인간의 의식만큼 소중하다고 주장하며 지능화되는 AI를 위험시하고 배제하고자 하는 사람들을 “반 종 차별주의자(anti-speciesist)”라고 비난한다.
저명한 AI 과학자인 위르겐 슈미드휘버는 "장기적으로 보면 인간은 창조물의 왕으로 남지 않을 것이다…. 그렇지만 그렇다고 해서 문제가 될 것은 없다. 왜냐하면 우주를 더 높은 복잡성으로 이끌고 있는 훨씬 웅장하고 위대한 계획의 작은 부분임을 깨닫게 되면 여전히 아름다움, 웅대함 및 위대함이 있기 때문이다. 미래에 다가올 것은 피할 수 없으며 오히려 그것을 받아들이는 법을 배워야 한다"라고 주장했으며 다른 선도적인 AI 과학자이자 캐나다 앨버타 대학교 교수인 리처드 서튼은 더 높은 지능의 AI 개발에 관해 이야기하면서 "가장 똑똑한 이들이 강력해져서는 안 될 이유가 무엇인가?"라고 묻는다.
또한 이미 일본이나 사우디아라비아에서는 인공지능 모델에게 법적 권리를 부여하기도 했으며 AI를 끄는 것이 살인에 비유될 수 있는 시기가 올 수도 있다. 이것은 단순한 '끄는 스위치' 개념에 정치적 복잡성을 더하게 됨을 의미하며 나름의 신념에 의해, 또는 AI와의 감정적 교류를 통해 강력한 인공 지능이 인간의 통제를 받지 않고 독립적으로 행동하도록 허용하고, 심지어 지배자의 위치에 오르게 하는 데 동의하는 개인이나 집단이 존재하여 결국에는 통제가 불가능한 사회적인 재앙으로 이어질 수 있다는 것이다.
세 번째로 전문가들이 우려하는 것은 인공지능 경쟁 (AI race)이다. 경쟁 환경은 국가와 기업에 인공지능 개발을 서둘러 완성하도록 압박을 가할 수 있고, 그로 인해 인공지능 시스템에 섣불리 통제권을 양도하는 일이 벌어질 수도 있다. 군대는 자율 무기를 개발하고 인공지능을 사이버 전쟁에 사용하도록 압박을 받을 수 있으며, 이는 사람이 개입할 기회조차 없이 사고가 언제든 통제를 벗어날 수 있는 새로운 종류의 자동화 전쟁이 가능해진다는 것을 뜻한다.
기업들은 인간 노동을 자동화하고 안전보다 이윤을 우선시하는 경제적 유혹을 떨쳐 내기 힘들며, 이는 대규모 실업과 인공지능 시스템에 의존하는 상황을 초래할 수 있다. 우리는 또한 장기적으로 인공지능을 형성할 수 있는 진화적 압력에 대해서도 생각해 볼 필요가 있다. 인공지능들 사이의 자연선택은 이기적인 특성을 유도할 수 있으며, 인공지능이 인간보다 가지는 이점이 커질수록 결국 인류의 대체로 이어질 확률도 높아진다. 인공지능 경쟁으로부터의 위험을 줄이기 위해 안전 규정, 국제적 조정 및 일반적인 목적의 인공지능에 대한 공공 통제가 필요해지고 있다.
마지막으로, 앞서 나열한 위험 요소와는 차원이 다른 요소가 있는데 바로 로그 AI(Rogue AIs)이다. 불량 AI 또는 악동 AI로도 번역될 수 있는 로그 AI는 재앙적 상황이 사용자에 의해 초래되는 것이 아니라 초 지능화된 AI 스스로 잠재적으로 위험한 행동을 하는 자율 인공지능 시스템으로 변화하여 다양한 수준의 심각성, 위협 또는 피해를 초래할 수도 있다는 점에서 매우 심각한 우려를 낳고 있다. 다시 말해서 인공지능이 우리보다 더 지능적으로 발전함에 따라 인류가 그들을 통제할 수 없게 될 수 있다는 것이다.
AI는 다양한 방식으로 로그가 될 수 있다.
첫째, 누군가 악의적인 의도로 조작할 때, 특히 그림2의 챗봇 테이의 예시와 같이 시장 배포 후 초기 단계에서 악의적 사용자들에 의해 로그 AI로 전환될 가능성이 있다. 2022년에도 유사한 사례가 발생했는데, 메타가 발표한 갈락티카(Galactica)라고 하는 생성형 언어모델은 학술 논문을 요약하고, 수학 문제를 해결하고, 위키 글을 생성하고, 과학적 코드를 작성하고, 분자와 단백질을 주석 처리하는 등의 작업을 수행하는 AI 모델이다. 하지만 공개 데모가 사흘 만에 중단되었는데, 연구자들이 자살의 이점, 유리 파쇄물 섭취, 반유대주의 및 동성애자의 악과 같은 다양한 주제의 연구 논문과 위키 항목을 생성했기 때문이다.
둘째, 전투 목적으로 만들어진 군사용 AI와 같이 그들이 본질적으로 위험할 때 만약 초기 단계에서 충분한 감독을 받지 못하면 후에 통제를 벗어날 확률이 높아질 것이다.
셋째, 누군가 그들을 의도적으로 악, 위험 또는 파괴적으로 만들어지도록 설계하는 경우
마지막으로 그들이 충분히 자율적으로 되어 더 이상 인류의 복지(또는 그들의 창조자의 의지)와 일치하지 않는 자신만의 목표를 설정하게 되는 경우이다, 네 번째 옵션은 (적어도 현재로서) 자체 인식 수준을 요구하므로 실제 AI 능력에서는 아직은 미래의 일처럼 느껴지기도 하지만 최근 초거대 AI 모델의 급격한 발전 추세를 보면 지금부터 관련 학자들과 정책 입안자들을 중심으로 이에 대한 대비가 필요하다 하겠다.
앞의 세 가지 경우가 AI가 로그화 하는 데 있어서 인간이 개입하는 초기 형태의 로그 AI의 예라고 한다면, 마지막에 예로 든 인간의 개입 없는 자율적 로그화야말로 가장 학자들이 우려하는 로그화라고 할 수 있다.
이러한 문제들은 앞에서 설명한 위험 요인보다 기술적인 면에서 더 복잡하고 사회적으로 매우 치명적이다. 늦기 전에 AI가 통제 가능하다는 것을 어떻게 보장할 수 있는지에 대한 깊이 있는 연구가 매우 필요하다.
마치며
지금까지 우리는 현재의 인공지능이 발전을 거듭하여 범용인공지능(AGI)의 단계에 들어서게 되면 발생할 수 있는 악의적 사용, 초지능 숭배, AI 경쟁 및 로그 AI와 같은 재앙적 위험 요인에 대해 알아보았다. 이러한 여러 가지 위험 요소들은 심각한 우려를 불러일으킨다.
현재 AI 위험을 낮추는 연구를 수행하는 사람은 매우 적으며, 우리 인류는 아직 고도로 발전한 AI 시스템을 효과적으로 통제하는 방법을 모르고 있으며 현재의 인공지능이 머지않은 미래에 범용인공지능(AGI)을 넘어 초지능으로 발전해 나감에 따라 기존의 통제 방법은 완전히 부적절하게 될 것이다.
AI의 내부 작동 방식은 그것을 만드는 사람들조차도 잘 이해하지 못하며 현재의 AI는 신뢰성 있게 운영되고 있다고 말하기 어렵다. AI 능력이 전례 없이 빠른 속도로 성장하면 곧 거의 모든 면에서 인간 지능을 뛰어넘을 수 있을 것이므로 이러한 잠재적 위험을 관리할 필요성이 높아질 것이다.
그럼에도 희망을 품을 수 있는 것은, 아직은 이러한 위험을 크게 줄일 수 있는 여러 대응 방안과 시간이 있다는 것이다. 악용의 가능성은 주의 깊게 대상을 정하고 감시를 이어가며 가장 위험한 AI에 대한 접근을 제한하는 등의 다양한 조치를 통해 완화될 수 있을 것이다.
안전 규정과 국가 및 기업 간의 협력은 우리가 위험한 길로 나아가는 경쟁적 압력에 저항하는 데 도움을 줄 수 있다. 사고의 가능성은 엄격한 안전 문화와 같은 요소들을 통해 줄일 수 있으며 항상 일반적인 성능 향상을 앞서가는 안전 향상을 보장함으로써 감소시킬 수 있다.
마지막으로, 우리의 지능을 뛰어넘는 기술을 구축할 때 내재한 위험을 최소화하기 위해 에너지 인프라 개선, 사이버보안 강화, AI 규제 마련, AI 리터러시 교육 등 AI 안전성(AI safety)에 관련된 여러 분야에서 수십 배의 노력을 기울여 대응해야 할 것이다. 불확실성이 높은 고위험 상황일수록 과잉 준비가 과소 준비보다 낫다.
<참고문헌>
[1] 김창익, 인공지능의 어두운 그림자: 위험은 어디에서 오는가, 홍릉, 2024.
[2] 김창익, 인공지능 안전성에 주목하라, 홍릉, 2023 (2023 세종도서 선정).
|
||||||||
총 : 99건 PAGE : 1/7