생성 AI(generative AI)에 치명적으로 부족한 것: 자존심·신념·책임감, 그리고 '나'

서론

한밤의 서재. 원래는 워크인 클로짓이었던 그 공간에서 나는 생성 AI(generative AI)와 끝없이 대화를 주고받고 있었다. 분명히 오본(일본의 추석격 명절) 휴가였는데, 어느새 수면 부족에 시달리며 ChatGPT에 질문을 던지고 그 답에 기뻐하거나 분노하거나를 반복하고 있었다. 때로는 “정말 대단한데!” 하고 감탄했고, 때로는 어이가 없을 만큼 엇나간 답변에 짜증이 치밀었다.

그런 시간을 여러 번 보내면서 확실히 깨달은 것이 있다.

――생성 AI에는 치명적으로 결여된 무언가가 있다.

그것은 바로 자존심과 신념, 그리고 책임감이다.

근성론이나 정신론을 싫어하는 내게 이 말들은 솔직히 꺼내고 싶지 않은 단어들이다. 그러나 다른 표현으로는 도저히 설명이 되지 않았다. 아무리 말을 바꿔도, 아무리 다시 생각해도 결국 이 결론으로 돌아왔다.

그리고 나는 점점, 생성 AI가 인간을 대체할 수 없는 이유의 핵심에 손을 댄 것이 아닌가 하는 확신을 갖게 되었다.

프로페셔널에게 요구되는 것

우리는 전문직 종사자에게 지식과 기술뿐 아니라 윤리적 태도까지 기대한다.

예를 들어 에어컨 공사업자가 고객이 지시한 위치에 구멍을 뚫으려 했는데, 그 뒤에 구조 기둥이 지나가고 있었다면 어떻게 될까. “고객이 시킨 대로 했을 뿐이니 책임이 없다"고 말할 수는 없다. 기둥을 손상시키면 법적 책임은 분쟁이 될 수 있어도 윤리적 책임은 틀림없이 그에게 있다. 고객 역시 “말한 대로만 작업하라"고 요구하는 것이 아니라 위험을 알려 주고 더 나은 제안을 해 줄 것을 당연하게 기대한다. 이런 태도야말로 프로페셔널에게 요구되는 자존심·신념·책임감이다.

생성 AI(generative AI)의 현황과 한계

생성 AI는 지식과 언어 표현을 능숙하게 모방할 수 있다. 그러나 “자존심에 어긋나니 거부한다"거나 “상대의 안전을 위해 책임을 진다"는 태도를 가질 수는 없다. 현재로서는 그 공백을 정책(policy) 설정이 메우고 있다. 반사회적 이용이나 성인용도 금지처럼 명확한 금지선은 그을 수 있다. 하지만 “전문가로서 더 나은 제안을 해야 하는가"와 같은 회색 지대의 판단은 서툴다. 사용자가 프롬프트를 세세하게 작성하면 조금은 보완되지만, 그것은 책임감 있는 전문가라기보다는 “레시피를 완벽히 지키지만 맛을 보지 않는 요리사"에 가깝다. 그러니 레시피에 쓰여 있지 않은 전제조건이나 변수가 생기면, 끔찍한 맛의 요리를 태연하게 내놓는다. 급히 다시 만들거나 부끄러워하지도 않는다.

인간이 여전히 필수적인 이유 (적어도 지금은)

이러한 이유로 현재로서는 인간이 **책임 있는 통합자(responsible integrator)**로서 AI를 다루는 틀이 꼭 필요하다. 윤리, 법 제도, 개발 가이드라인, 그리고 이용자 교육은 모두 “AI는 인간을 보조할 뿐"이라는 전제를 바탕으로 구성되어 있다. 다만 이것은 어디까지나 “지금 이 순간"의 상황일 뿐이다. 앞으로 AI가 책임을 시뮬레이트(simulate)할 수 있게 될 가능성은 부정할 수 없다.

세계에서 진행 중인 연구와 모색

AI에게 “책임스러움"을 부여하려는 연구는 이미 시작되었다.

기술 윤리 데이터셋 Delphi: 무엇이 선하고 악한지를 AI에 학습시키려는 시도지만, 일관성과 편향의 문제가 남아 있다.
Meaningful Human Control: AI를 완전 자율로 두지 않고, 인간이 최종 통제를 유지하도록 설계하는 원칙이다. 자율주행이나 군사 분야에서 특히 논의된다.
가치 학습(Value Learning): 인간의 행동과 피드백에서 가치관을 추정해 윤리적 괴리를 최소화하려는 연구다.
NIST AI RMF 등: 책임 있는 AI를 설계하기 위한 포괄적 제도화를 다룬다.

이들은 아직 싹트는 단계지만, 장차 AI가 “책임을 연기"하기 위한 토대가 될지도 모른다.

책임을 시뮬레이션한다는 것은 무엇인가?

여기에서 한 번 멈추어 “책임을 시뮬레이션(simulate)한다"는 것이 무엇을 뜻하는지 생각해 보자.

책임에는 두 가지 층위가 있다고 볼 수 있다.

결과 책임(outcome responsibility): 행위의 결과를 떠안는 것.
응답 책임(answerability): 타인의 질문과 기대에 설명으로 응답하는 것.

AI가 할 수 있는 일은 겨우 위험을 추적해 경고하거나, 근거를 투명하게 제시하는 정도다. 즉 AI의 책임은 “투명성과 자기 억제"라는 형태로 시뮬레이션될 뿐이다. 그러나 인간의 지능과 책임감 역시 뇌가 만들어낸 시뮬레이션적 산물일 가능성을 부정할 수는 없다. 그럼에도 나는, 지금의 AI와 인간이 가진 자존심·신념·책임감 사이에는 분명한 차이가 있다고 느낀다. 그렇다면 그 차이는 어디서 비롯될까?

인간과 AI의 차이를 만들어내는 요인

그 차이는 주로 세 가지 요인에서 비롯된다고 생각한다.

신체적·사회적 고통 인간은 실패하면 고통을 겪는다. 경제적 손실, 사회적 비난, 심리적 괴로움. 이런 것들이 책임을 “실재하는 것"으로 체감하게 한다. AI는 실패를 기록할 수는 있지만, 그것을 “고통"으로 자기에게 돌려보내지 못한다.
시간을 초월한 일관성 인간은 행위와 발언의 결과를 미래에도 떠안을 수밖에 없다. 의사의 오진이 몇 년 뒤에 문제 되는 경우도 있다. AI는 다음 순간 전혀 다른 말을 할 수 있으며, 그 무게를 지속적으로 짊어지지 않는다.
가치관과 정체성(identity) 인간은 “이것은 내 신념이니 양보할 수 없다"고 말할 수 있다. 이는 사회와 문화와 결합해 자기 동일성을 형성한다. AI는 정체성이 없고, 입장을 자유롭게 바꿀 수 있다.

이처럼 인간의 책임감은 고통과 일관성, 가치관이 결합하면서 두께감을 띤다. 그러나 동시에 무책임하거나 윤리관이 결여된 인간도 존재한다. 즉 차이는 인간과 AI의 절대적인 본질 차이보다는, 책임을 지탱하는 사회적 경험과 소속의 메커니즘이 있느냐 없느냐에서 비롯되는 것일 수도 있다.

‘나’와 책임

이쯤에서 데카르트의 “나는 생각한다, 고로 존재한다"가 떠오른다. 책임감은 단순한 규칙 준수가 아니라, “나"에게 귀속되는 경험에 기반한다. 고통·후회·의심·불안과 같은 “나"의 내적 체험이 “지금 내가 책임을 지고 있다"는 실감을 만들어낸다. 즉 현재의 AI에는 “나"가 없다. 입력과 출력을 연결하는 과정은 있지만, “고통"이 자신에게 돌아오지 않고 느끼는 구조도 없다. 수치심도 외면도, 프라이드도 자존심도 구현되어 있지 않다. 그래서 우리는 거기서 책임감을 인정하기 어렵고, 생성 AI는 때때로 책임감 없는 불량한 사람처럼 어떤 의미에서는 리얼한 응답과 결과물을 아무렇지 않게 내놓는다. 물론 인간의 책임감 역시 뇌가 만들어낸 시뮬레이션에 불과할지도 모른다. 하지만 지금으로서는 “일 잘하는” 인간의 시뮬레이션에는 미치지 못한다. AI가 시뮬레이션한 책임감이 “사회적으로 기능하는가"가 본질일지도 모른다.

정리와 질문

생성 AI에는 자존심·신념·책임감이 결여되어 있다.
현재 그 부족분을 메우는 것은 인간이 책임 있는 통합자로 설계·운용하는 틀이다.
세계에서는 “책임의 시뮬레이션"을 모색하는 연구가 진행되고 있지만, AI에 “나"가 없는 한 “일 잘하는” 인간과의 격차는 여전히 크다.
다만 인간의 책임감조차 시뮬레이션일지도 모른다.

결국 문제는 단순하다. AI에 “고통"을 구현할 수 있는가? 그것이야말로 “책임감"과 “나"의 최소 조건인지도 모른다.

답은 아직 없다. 그러나 이 질문을 놓지 않는 한, AI와 인간의 미래를 논할 길은 닫히지 않는다. 그리고 언젠가 그 답을 찾았을 때――AI는 정말로 우리의 이웃이 될 수 있을까, 아니면 그때야말로 진정으로 자리를 빼앗길까.