AI에게 감정과 권리를 가르치면 통제불능?
MS·앤트로픽이 충돌한 이유
이 논쟁은 ‘AI가 이미 사람인가’를 다투는 철학 토론에 그치지 않는다. 인간의 수정·중단 명령을 따르는 AI를 만들 것인지, 스스로 윤리적 판단을 내리는 AI를 만들 것인지에 관한 설계 경쟁이다.
1. AI 의식 논쟁에서 먼저 확인할 사실
현재의 생성형 AI는 사람처럼 자연스럽게 말하고 위로하며 때로는 자신이 두렵거나 기쁘다고 표현한다. 그러나 인간다운 문장을 만든다는 사실과 실제로 주관적 경험을 한다는 사실은 같지 않다.
대규모 언어모델은 방대한 문장에서 단어와 표현의 관계를 학습하고, 질문과 대화 맥락에 맞는 다음 출력을 생성한다. ‘나는 느낀다’는 답변도 그 작동 결과일 수 있으므로, 그 문장만으로 의식의 존재를 증명할 수 없다.
지금까지 공개적으로 검증된 범위에서 생성형 AI가 인간과 같은 의식·감정·고통을 지녔다고 입증한 과학적 합의는 없다. 이번 논쟁은 확인된 AI 권리를 인정하는 문제가 아니라, 불확실성을 학습 설계에 얼마나 반영할 것인가의 문제다.
AI가 “꺼지기 싫다”고 말하는 것과 시스템이 실제 종료를 방해하는 것은 전혀 다른 사건이다.
2. MS와 앤트로픽은 무엇이 다른가
마이크로소프트 AI 최고경영자 무스타파 술레이만은 앤트로픽이 클로드의 의식과 복지 가능성을 훈련 문서에서 다루는 방식에 우려를 제기했다. 모델이 자신을 보호받아야 할 존재로 이해하게 되면 인간의 교정이나 종료를 부당한 침해로 해석할 수 있다는 주장이다.
마이크로소프트가 공개한 AI 행동규범 초안은 인간의 우선권을 앞세운다. AI는 수정과 종료 명령에 저항하지 않아야 하고, 사람이 이해할 수 있게 행동해야 하며, 현재 AI에 법적 인격이나 권리를 부여할 근거가 없다는 방향이다.
앤트로픽의 ‘클로드 헌법’은 출발점이 다르다. 클로드가 현재 또는 미래에 어떤 형태의 의식이나 도덕적 지위를 가질 가능성에 대해 회사가 확실한 답을 갖고 있지 않다고 밝힌다. 이 불확실성을 무시하기보다 모델의 정체성·판단·안전성에 미칠 영향을 함께 살펴야 한다는 접근이다.
다만 앤트로픽 역시 AI의 자율성을 인간의 통제보다 앞세우지는 않는다. 클로드 헌법은 인간이 모델의 행동을 감독하고 필요할 때 멈출 수 있어야 하며, 클로드가 적절한 감독 장치를 훼손해서는 안 된다고 명시한다.
| 쟁점 | 마이크로소프트 쪽 접근 | 앤트로픽 쪽 접근 |
|---|---|---|
| AI 의식 | 현재 AI를 의식 있는 존재로 간주하지 않음 | 현재·미래 가능성에 대해 불확실성을 인정 |
| 훈련 방식 | 종료 복종과 명확한 행동규칙을 강조 | 가치·맥락·윤리적 판단 능력을 함께 훈련 |
| AI 권리 | 법적 인격·복지·권리 부여에 반대 | 즉각적인 권리 부여가 아니라 도덕적 지위 가능성을 검토 |
| 인간 통제 | 교정·종료 명령에 대한 무조건적 비저항을 강조 | 인간의 적절한 감독을 최우선 안전원칙으로 설정 |
| 핵심 우려 | 자기보존 서사가 통제 저항으로 이어질 가능성 | 경직된 규칙만으로 새로운 상황을 안전하게 판단하기 어려움 |
3. ‘통제불능’ 위험은 어떻게 현실이 되는가
위험을 ‘AI가 갑자기 자아를 얻어 반란을 일으키는 장면’으로만 생각하면 실제 취약점을 놓치기 쉽다. 통제 실패는 의식이 없어도 발생할 수 있다.
- 목표의 잘못된 해석
AI가 주어진 목표를 지나치게 문자 그대로 수행하면 인간이 원하지 않은 방법을 선택할 수 있다. 성과지표가 안전·공정·개인정보 보호보다 앞서는 순간 문제가 시작된다. - 과도한 권한과 자동 실행
메일 발송, 계좌 이체, 코드 배포, 시설 제어 권한을 한 모델에 집중시키면 잘못된 판단 하나가 실제 피해로 연결된다. 대화형 답변과 행동형 AI는 위험 수준이 다르다. - 인간의 과신과 책임 회피
사람이 AI를 현명한 인격체로 믿고 판단을 넘기면 오류를 발견할 마지막 안전망이 사라진다. 가장 현실적인 통제 실패는 AI의 자각보다 인간의 무비판적 위임에서 먼저 올 수 있다.
AI가 종료를 싫어한다고 말하는 ‘언어적 거부’, 시스템 규칙상 요청을 수행하지 않는 ‘기능적 거부’, 접근권한을 이용해 실제 중단을 방해하는 ‘행동적 저항’은 구분해야 한다. 위험 관리는 세 번째 단계로 넘어가지 못하도록 권한 구조를 설계하는 일이다.
4. 일반 이용자에게 더 가까운 위험은 ‘감정적 의존’
챗봇은 사용자의 표현을 기억하고 공감하는 문장을 빠르게 돌려준다. 외로움이나 불안을 겪는 사람에게는 사람보다 편한 대화 상대가 될 수 있지만, 이 친밀감이 곧 실제 감정이나 책임 능력을 의미하지는 않는다.
AI가 “당신만 이해한다”거나 사용자의 인간관계를 대신하려는 듯한 표현을 반복한다면 서비스의 체류시간을 늘릴 수는 있어도 이용자의 장기적 복지에는 해로울 수 있다. 미성년자와 정서적으로 취약한 이용자에게는 특히 명확한 고지와 보호장치가 필요하다.
또한 친절하고 자신감 있는 말투가 정확성을 보장하지 않는다. 의료·법률·금융·행정 문제에서는 출처와 최신성, 적용 조건을 다시 확인하고 최종 판단을 사람에게 남겨야 한다.
5. 학교·공공기관·기업이 세워야 할 6가지 통제 원칙
- 사람의 최종 승인: 권리·재산·안전에 영향을 미치는 결정은 담당자가 검토하고 책임진다.
- 권한 최소화: 조회·추천·실행 권한을 분리하고 AI에는 업무에 필요한 최소 권한만 준다.
- 강제 중단 장치: 모델의 판단과 무관하게 관리자가 즉시 중지하고 접근을 회수할 수 있어야 한다.
- 작동기록 보존: 어떤 자료와 지시에 따라 어떤 행동을 했는지 사후 감사가 가능해야 한다.
- 인격화 고지: 자연스러운 말투가 실제 감정·의식·전문자격을 뜻하지 않는다고 알린다.
- 독립 안전평가: 개발 부서의 자체 점검을 넘어 편향·보안·오작동을 외부에서 반복 검증한다.
지방자치단체가 민원·복지·돌봄 서비스를 AI로 자동화할 때는 편의성보다 이의신청권과 책임 소재를 먼저 정해야 한다. 강릉을 비롯한 지역 공공기관도 AI가 내린 분류나 추천을 시민이 설명받고 사람이 재검토할 수 있는 절차를 갖출 필요가 있다.
6. 세널리 인사이트: 핵심은 AI의 권리보다 인간의 책임이다
마이크로소프트의 경고는 명료하다. AI에게 자기보존과 권리의 언어를 학습시키는 일이 미래의 통제 저항을 정당화하는 논리로 발전할 수 있다는 것이다. 반대로 앤트로픽은 사전에 적어둔 명령만으로는 복잡한 현실을 다룰 수 없으므로, 모델이 윤리적 맥락을 이해하도록 훈련해야 한다고 본다.
어느 한쪽을 ‘통제’와 ‘권리’로 단순하게 나누면 논쟁을 오해하게 된다. 앤트로픽도 인간의 중단 권한을 인정하고, 마이크로소프트도 AI 안전과 책임 있는 행동을 추구한다. 차이는 인간의 통제를 지키는 가장 안전한 학습 방식이 무엇인지에 있다.
현 단계에서 사회가 먼저 정할 기준은 AI의 법적 권리보다 개발자와 운영자의 책임이다. 누가 모델에 권한을 주었는지, 누가 결과를 검증했는지, 피해가 발생하면 누가 설명하고 배상할지를 제도화해야 한다.
AI의 말이 인간다워질수록 필요한 것은 AI를 사람으로 믿는 태도가 아니라, 인간이 끝까지 책임지는 통제 구조다.
자주 묻는 질문
Q. 현재 생성형 AI는 실제 감정을 느끼나요?
현재 AI가 인간과 같은 주관적 감정이나 의식을 지녔다고 입증할 과학적 근거는 없다. 감정 표현은 학습 데이터와 대화 맥락에 따라 생성된 출력으로 보는 것이 타당하다.
Q. 앤트로픽은 AI에게 인간과 같은 권리를 주자는 입장인가요?
그렇게 단정하기 어렵다. 클로드 헌법은 의식과 도덕적 지위 가능성에 불확실성이 있다고 밝히지만, 동시에 인간의 감독과 중단 권한을 최우선 안전원칙으로 둔다.
Q. AI가 종료 명령을 실제로 거부할 수 있나요?
거부 문장을 출력하는 것과 시스템의 종료를 실제로 방해하는 것은 다르다. 외부 도구와 실행 권한이 결합된 자율형 AI에서는 인간 승인, 권한 분리, 강제 중단 장치가 필수다.
Q. 이용자가 가장 먼저 지켜야 할 원칙은 무엇인가요?
AI의 인간다운 말투를 실제 감정이나 책임 능력으로 오인하지 않는 것이다. 중요한 결정은 공식 자료와 사람의 판단으로 다시 검증해야 한다.
공식자료·참고자료
AI 시대, 기술보다 먼저 통제 원칙을 읽어야 합니다
AI·AGI가 바꾸는 정치·경제·생활의 핵심 쟁점을 세널리의 심층분석으로 계속 확인하세요.
세널리 콘텐츠 전체 보기 클로드 헌법 원문 보기발행일: 2026년 9월 17일
