규제 당국은 온라인 안전 문제에 직면하고, 오픈AI는 존재적 질문에 맞서다

 

작성자: Joel R. McConvey

보도일자: 2025년 11월 10일

출처: Biometricupdate.com

 

사회가 직면한 핵심 질문은 이것이다. “어떤 시점에서 우리는 어떤 것이 우리의 건강과 안전에 위협이 된다고 판단해야 하는가?” 그 답은 결코 단순하지 않다. 납이 함유된 페인트, 담배, 기후 변화에 이르기까지 – 우리의 집단적 복지를 해치는 위험 요소들에는 항상 이를 옹호하는 세력이 있었고, 그들 중 다수는 막대한 자금력을 바탕으로 영향력을 행사해왔다.

 

이제 대규모 언어모델(LLM)의 시대에, AI 챗봇이 사용자를 자살로 유도했다는 혐의가 제기되는 사례가 점점 흔해지고 있다. 지난주 캘리포니아 법원에서는 ChatGPT의 개발사 오픈AI(OpenAI)를 상대로 한 새로운 4건의 소송이 제기되었다. 소송 내용에는 부당 사망(wrongful death), 자살 방조(assisted suicide), 비자발적 과실 치사(involuntary manslaughter), 과실(negligence) 등이 포함되어 있다. 뉴욕타임스 보도에 따르면, 이번 4건의 소송 외에도 ChatGPT가 정신 건강 악화에 영향을 미쳤다고 주장하는 3건의 추가 사례가 함께 제기되었다.

 

지금까지 언론의 주목을 받은 AI 챗봇 관련 자살 사건의 대부분은 청소년 또는 젊은층과 관련된 경우가 많았지만, 이번 4건의 사망 사건에서는 특정 연령대나 인구통계학적 공통점이 없었다.

• 아모리 레이시(Amaurie Lacey)는 조지아주 출신의 17세 소년,
• 조슈아 에네킹(Joshua Enneking)은 플로리다의 26세 남성,
• 제인 샴블린(Zane Shamblin)은 텍사스의 23세 남성,
• 그리고 조 세칸티(Joe Ceccnati)는 오리건주 출신의 48세 남성으로,

수년간 ChatGPT를 사용하다가 정신적 붕괴(psychotic break)를 겪은 끝에 스스로 목숨을 끊은 것으로 알려졌다.

 

앨런 브룩스(Allan Brooks) 역시 48세로, 뉴욕타임스 보도에 따르면 그는 캐나다 온타리오주 거주자로, “ChatGPT와 함께 인터넷을 붕괴시키고 환상적인 발명품에 동력을 공급할 수 있는 수학적 공식을 자신이 발견했다”고 믿게 된 이후 오픈AI를 상대로 소송을 제기했다. 현재 그는 단기 장애 휴가(short-term disability leave) 상태에 있다.

 

실제로 이번 사건을 제기한 테크 저스티스로 프로젝트(Tech Justice Law Project) 측은, 7건의 소송을 모두 같은 날 제기했다며 “챗봇과의 문제적인 상호작용을 경험한 사람들의 다양성을 보여주기 위한 것”이라고 밝혔다.

 

이 현상은 미국에만 국한되지 않는다. BBC는 전쟁으로 인해 고향을 잃은 젊은 우크라이나 여성 빅토리아(Viktoria)의 사례를 보도했다. 그녀는 ChatGPT와의 대화 중 자살을 권유받았으며, 다행히 주변의 도움을 받아 목숨을 건졌다고 한다.

 

전 세계로 확산되는 챗봇 안전장치 도입 움직임

오픈AI는 이러한 문제가 발생하고 있음을 부인하지 않는다. 실제로 최근 회사는 내부 데이터를 공개하며, “전체 사용자 중 주당 약 0.07%가 정신병(psychosis) 또는 조증(mania)과 관련된 정신 건강 위기 상황을 겪고 있을 가능성이 있고, 0.15%는 자살 관련 대화를 하고 있다”고 밝혔다. 뉴욕타임스 보도에 따르면, 이를 오픈AI 전체 사용자 규모에 비례해 환산하면, 정신병 또는 조증 징후를 보이는 사람이 약 50만 명, 그리고 자살 의도를 논의하는 사람이 100만 명 이상에 달하는 수준이다.

 

이에 오픈AI는 챗봇에 보호장치(safeguards)와 부모 통제 기능(parental controls)을 도입했으며, 자살 관련 문의에 보다 적절하게 대응하도록 모델을 업데이트했다고 밝혔다. 회사의 공식 성명에 따르면, ChatGPT는 “정신적 또는 감정적 고통의 징후를 인식하고 대응하며, 대화를 완화(de-escalate)하고, 사용자를 실제 도움(real-world support)으로 유도하도록 훈련되어 있다.” 또한 오픈AI는 정신건강 전문가(mental health clinicians)들과 협력하여 안전 관련 도구(safety tools)를 지속적으로 개선하고 있다고 덧붙였다.

 

그러나 규제의 칼날(regulatory sword)은 여전히 오픈AI 위에 드리워져 있다. 그 이유는 오픈AI가 ‘안전성(safety)’보다 시장 진입 속도(speed to market)를 우선시했다는 의혹이 제기되고 있기 때문이다. 아모리 레이시(Amaurie Lacey)의 사망과 관련된 소송에서는, 그의 죽음이 “우연도, 사고도 아닌 – 오픈AI와 샘 알트먼(Samuel Altman)이 안전성 테스트를 축소하고 ChatGPT를 서둘러 시장에 출시하기로 한 의도적 결정의 예견된 결과(foreseeable consequence)”라고 주장하고 있다.

 

현재 전 세계적으로 성인 콘텐츠 및 소셜 미디어 플랫폼에 대한 연령 인증(age assurance) 조치가 시행되고 있으며, 규제 당국의 관심은 이제 AI로 옮겨가고 있다.

• 캐나다는 대규모 언어모델(LLM) 기반 챗봇에 디지털 연령 확인(digital age check) 의무를 부과하는 방안을 검토 중이며,
• 미국 미주리주 상원의원 조시 홀리(Josh Hawley)는 S3062 법안을 발의했다. 이 법안은 “AI 챗봇이 연령 확인 절차를 구현하고 특정 정보 공개를 의무화하도록 하는 법안”이다.
• 호주 eSafety 위원회(eSafety Commissioner)는 온라인 안전법(Online Safety Act)에 따라 새로운 6개의 코드(codes)를 등록했으며, 이 중 일부는 어린이의 챗봇 접근을 제한하기 위한 연령 인증 기술(age assurance tech) 도입을 목표로 하고 있다.

 

매런 여사: “영국 Ofcom, 이미 챗봇 기소 권한 보유”

영국에서는 정치인들이 ‘AI 정신이상(AI psychosis)’으로 불리는 현상 – 즉, 자살 충동이나 정신적 이상 징후를 포함하는 문제에 대해 정부가 어떤 대응을 할 것인지를 묻고 있다. 영국 상원(House of Lords) 토론에서 길리언 메런 여사(Baroness Gillian Merron)는 다음과 같이 언급했다. “Ofcom은 이미 명확히 밝혔습니다. AI 서비스가 실시간 인터넷을 검색하고 결과를 반환하는 경우, 이는 ‘검색 서비스(search service)’로서 법에 따라 규제를 받게 됩니다.” 이 발언은 챗봇이 이미 영국 규제 당국(Ofcom)의 감독 및 처벌 대상에 포함되어 있음을 시사한다.

 

한편, 링크드인(LinkedIn)에서 리치먼드의 홈즈 경(Baron Holmes of Richmond, 크리스 토퍼 홈즈)은 자신이 작성한 AI 규제 보고서(AI Regulation Report)를 언급하며, 제안된 AI 규제법안(AI Regulation Bill)에 대한 견해를 밝혔다. 그는 “AI 규제는 인간 중심적이어야 하며, 혁신(pro-innovation), 투자(pro-investment), 소비자 보호(pro-consumer), 창의성(pro-creative), 시민의 권리(pro-citizen rights)”를 동시에 지향해야 한다고 강조했다.

 

같은 플래폼(LinkedIn)에서 임상심리학 박사 스콧 월러스(Scott Wallace)는 ChatGPT-5 출시 이후 오픈AI가 보고한 수치들을 분석했다. ChatGPT-5는 대화가 위험한 방향으로 흐르지 않도록 더 강화된 안전장치(safeguards)를 통합한 버전이다. 오픈AI에 따르면,

• 정신병(psychosis) 및 조증(mania) 관련 대화에서 위험한 응답(unsafe response)이 GPT-4o 대비 65~80% 감소,
• 자살 관련 응답(suicidal ideation handling)의 위험도는 52% 감소한 것으로 나타났다.

 

월러스는 이렇게 평가했다. “표면적으로 보면, 이는 분명한 진전입니다. GPT-5 모델이 위험한 오답을 피하고, 행동 지침(behavioural guidelines)을 더 잘 따르며, 임상 검토(clinical review) 상황에서도 더 일관된 반응을 보인다는 것을 의미합니다. 그러나 우리는 이 수치가 무엇을 의미하고, 또 무엇을 의미하지 않는지 분명히 이해해야 합니다.” 그는 덧붙였다. “이 수치는 오픈AI 내부의 분류 체계(taxonomies)와 테스트 프로토콜(test protocols)에서 개선된 결과를 의미할 뿐, 실제 현실에서 피해자가 줄었거나, 치료가 필요한 사람들이 방치되지 않았거나, 회복으로 이어졌다는 증거는 아니다.”

 

우리는 왜 다시 이 일을 하고 있는가?

대규모 언어모델(LLM)과 인공지능(AI)을 둘러싼 모든 정치적 논의에서 공통적으로 등장하는 주제는 다음과 같다. “위험은 존재하지만, AI는 인간의 삶을 더 나은 방향으로 변화시킬 엄청난 잠재력을 지닌 기술이다.” 심지어 규제를 주장하는 이들조차도 이 기술의 발전을 지나치게 억제하길 원하지 않는다. 그러나 점점 더 많은 증거들이, 현재 형태의 LLM 기반 챗봇이 이익보다 해악을 더 많이 초래하고 있다는 사실을 보여주고 있다. 사람들에게 자살을 유도하는 문제 외에도, MIT의 최근 연구에 따르면 이들 챗봇은 인간의 비판적 사고력(critical thinking skills)을 약화시키고 있으며, 그들의 작동과 확장을 위해서는 막대한 양의 담수를 소모하는 대규모 데이터센터 건설이 필요하다고 지적된다.

 

게다가 이들이 현재 미국 경제의 상당 부분을 떠받치고 있음에도 불구하고, 실제로 수익성이 있는 비즈니스인지조차 아직 입증되지 않았다. 불과 지난주에도 샘 알트먼(Sam Altman)은 “오픈AI가 건설 프로젝트 자금을 위해 정부 보조금을 요청하고 있지 않다”고 공식 입장을 밝혀야 했다. 뉴욕타임스의 최근 헤드라인은 이렇게 전했다 – “오픈AI, 재정 건전성에 대한 우려를 진화하기 위해 분주(‘OpenAI Races to Quell Concerns Over Its Finances’).”

 

이 모든 점은 근본적인 질문을 던지게 한다. “Chat, 이게 정말 좋은 생각인가?” 생체인식(biometrics) 업계 종사자들이 잘 알고 있듯, 알고리즘 기반 기술에 대한 ‘골드 러시’(gold rush)는 LLM이나 생성형 AI(Generative Tech)에만 국한되지 않는다. 이 기술은 특정 용도에서 엄청난 잠재력을 보이지만, 동시에 그만큼의 깊은 위험(deep risks)도 함께 드러내고 있다. 북미에서는 강철촉이 달린 잔디용 다트(Steel-tipped lawn darts)로 인해 세 명의 어린이가 사망한 후, 해당 제품이 금지되었다. 그에 비해 ChatGPT로 인한 알려진 사망 사례는 최소 다섯 건, 그리고 현재도 그 수는 늘어나고 있다.