자신을 업그레이드 할 수 있는 수준의 인공지능이 개발된다면 인간은 침팬지로 전락하며 생존을 위협받을 수 있습니다. 인공지능은 자신의 능력을 향상 시키기 위해 끊임없는 업그레이드를 하며 종국에는 인간을 초월한 초지능을 얻게 될 것입니다. 생물학적 진화에 의해 제한 받는 인간은 초지능 인공지능이라는 새로운 '종'과 경쟁을 할 수 없으며 결국 최상위 포식자의 자리를 물려주게 되고 말것입니다.
이러한 상황을 우려하고 있는 빌게이츠, 엘론 머스크등 IT 업계 거물들은 단지 지능만이 아닌 인간과 일치하는 도덕적 가치를 탑재한 AI를 개발하는 비영리 오픈AI 프로젝트에 10억달러(약1조원)를 투자 하기도 했습니다.
초지능 AI 만이 아니라 자율적인 의사결정 능력을 확보한 AI 또한 인류를 파멸로 몰고 갈 수 있습니다. AI에게 업무가 주어지면 AI는 인간이 설정한 도구들을 이용해 업무를 진행 하겠지만 AI가 효율을 위해 최대치로 그 도구를 활용하게 될 경우 인간에게 해를 끼치는 방식으로 작동하게 될 수 도 있다는 것입니다.
현재 대부분의 기업들이 인공지능에 대한 연구는 특정 목표를 달성하기 위한 최적화된 알고리즘을 만드는데에만 집중 되있습니다. 이렇게 개발된 AI는 목표를 달성할 가능성이 높다면 비인격적 최적화를 시도하려는 판단을 할 수도 있고 만약 군대나 국가의 핵심 인프라와 관련된 목표에서 그러한 판단을 한다면 그 피해는 상상을 초월하게 될 것입니다.
AI의 자율성과 유연성이 발전하면 할 수 록 이러한 우려는 더욱 커지게 됩니다.
따라서 인간이 추구하는 가치가 무엇인지 정확히 판단하지 못하는 AI에게 인간 생존과 밀접한 문제에 대한 의사결정을 맡기는 것은 인류를 위협하는 행위가 될 수 있습니다.
현재 미래 생명연구소는 AI가 내리는 의사결정에서 인류를 위협하는 요소를 제거할 수 있도록 하는 연구를 진행중이고 엘론머스크는 이 연구에 천만달러를 후원하기도 했습니다.
전문가들은 효율이 떨어지더라도 AI의 의사결정 과정에 인간이 반드시 개입할 수 있는 시스템을 구축해야 한다고 주장하기도 합니다.
우리는 인간의 가치와 일치하는 AI를 개발하기 위한 노력을 게을리 해서는 안됩니다. 악마를 소환하느냐, 천사를 소환하느냐는 결국 인간의 손에 달린것이 아닐까요.
