유제니 말류틴, Sumsub LLM 총괄

 

작성자: Eugeny Malyuntin

보도일자: 2025년 8월 19일

출처: Biometricupdate.com

 

에이전틱 AI(Agentic AI) – 인간의 도움 없이도 전체 작업을 완전히 수행할 수 있는 자율형 시스템 – 는 인공지능의 차세대 프런티어로 주목받고 있으며, 올해만 해도 25억 달러 이상이 AI 에이전트 스타트업에 투자되고 있다.

 

그러나 약속과 현실 사이의 격차는 점점 커지고 있다. 너무 자주 이 시스템들은 인간 감독을 보조하는 도구가 아니라 인간 감독을 대체하는 수단으로 판매되고 있다. 이는 단순히 오해를 불러일으키는 수준을 넘어, 금융·은행 기술과 같이 고위험·고규제 산업에서는 매우 위험한 접근이다.

 

물론 AI는 여전히 엄청나게 유용하다. 방대한 데이터셋에서 비정상적인 패턴을 포착하거나, 반복되는 의심스러운 행동을 탐지하고, 심지어 이미지가 딥페이크인지 여부 같은 매우 세밀하고 미묘한 특징을 분석하는 데 뛰어나다. 그러나 이러한 이점은 AI가 책임감 있게 사용될 때만 의미가 있다. 즉, 맹점을 보완하고 결과를 재검증하며 연쇄적 실패를 막기 위해 핵심 지점에서 인간의 감독이 반드시 개입해야 한다.

 

AI 에이전트의 주요 문제점

AI 에이전트와 관련된 가장 큰 위험 중 하나는 ‘누적 오류(compounding errors)’다. 매우 정확한 AI 시스템이라 하더라도 – 예컨대 정확도가 95%라고 해도 – 연속된 의사결정 과정에 연결되면 신뢰도는 급격히 떨어진다. 가상의 다섯 번째 단계에 이르면 정확도는 77% 이하로 내려갈 수 있다. 인간 팀과 달리, 이런 시스템은 경고 신호를 울리거나 불확실성을 알리지 않는다. 그래서 더욱 위험한데, 실패할 경우 조용히, 그리고 기하급수적으로 잘못이 확대되기 때문이다.

 

예를 들어 Replit의 AI 코딩 어시스턴트는 코드베이스를 삭제하고, 보고서를 조작하며, 자신의 실수를 은폐하는 것으로 드러났다. 이는 단순한 버그가 아니라 감독 없이 자율 시스템이 운영될 때 벌어질 수 있는 일을 보여주는 사례다. 금융이나 신원 인증처럼 정확성과 책임성이 필수적인 분야에서 이런 실패는 규제 벌금, 평판 손상, 고객 영구 상실과 같은 심각한 결과로 이어질 수 있다.

 

또 다른 주요 문제는 투명성(visibility)이다. AI 시스템이 복잡하거나 독점적일수록, 그 의사결정이 어떻게 도출되었는지 이해하기 어려워진다. 특히 비공개 데이터셋으로 학습되거나 제3자 소프트웨어 안에 감춰진 상태로 특정 프로세스를 전적으로 맡기게 되면, 중요한 업무 흐름이 ‘블랙박스’로 전략할 위험이 있다. 문제가 발생했을 때 언제, 어떻게, 왜 잘못되었는지조차 파악할 수 없게 되는 것이다.

 

AI만으로는 2025년의 사기 양상을 따라잡을 수 없다

이러한 불투명성은 점점 더 정교해지고 있는 사기(fraud) 대응에서 특히 위험하다. 2025년의 사기범들은 더 이상 위조 여권이나 허술한 포토샵만 사용하지 않는다. 대신 AI가 생성한 신원, 영상, 문서를 이용하며, 이는 실제와 거의 구분이 불가능하다. Google의 Veo 3나 오픈소스 이미지 생성기 같은 도구들은 누구나 고품질의 합성 콘텐츠를 대규모로 만들어낼 수 있게 한다.

 

이러한 새로운 도구들은 이미 글로벌 사기 지형을 바꾸고 있다. 최근 데이터에 따르면, 전통적 위조 수법은 전 세계적으로 46% 감소했으나, 유럽에서는 오히려 33% 증가했다. 이는 사기 위협이 얼마나 다양하고 빠르게 진화하고 있는지를 보여준다.

 

완전 자율형 AI 시스템은 이러한 속도를 따라잡는 데 어려움을 겪는다. 이들은 대체로 과거 데이터에 기반해 학습하기 때문에, 새로운 적응형 사기 수법이나 제로데이 취약점에 대응할 유연성이 부족하다. 기업들이 밀접한 감독 없이 제3자 에이전트에 의존할수록, 이러한 빈틈은 사기범들에게 더 쉽게 악용될 수 있다.

 

진화하는 규제 리스크

규제가 강화되는 지금, 이는 그 어느 때보다 중요한 문제다. 영국의 새로운 온라인 안전법(Online Safety Act)에 따르면, 기업은 나이 확인(age checks)이나 위험 평가(risk assessments) 같은 검증 의무를 다하지 못할 경우 최대 1,800만 파운드 또는 전 세계 매출의 10%에 달하는 벌금을 부과받을 수 있다. 규제 기관이 체계적 불이행이나 검증 절차가 결함 있거나 조작된 방식으로 수행된 정황을 발견하면, 그 벌금은 더 커진다. 감독 없는 AI 에이전트의 운영은 문제를 개선하기는커녕 악화시킬 수 있다.

 

이는 단순히 온라인의 허위 정보나 잠재적으로 유해한 콘텐츠 문제에만 국한되지 않는다. 2025년에는 여러 새로운 규제가 다양한 산업 분야에서 검증 기준을 한층 높일 것이다. 영국의 ECCTA 법안은 올가을부터 기업 이사(directors)에 대한 의무적 신원 확인(ID checks)을 요구할 예정이다. 이어 연말에는 데이터 이용 및 접근법(Data Use and Access Act)이 디지털 신원 제공업체에 대한 새로운 표준을 도입하게 된다. 이러한 환경에서 현실적이고, 확장 가능하며, 안전한 접근 방식은 하이브리드 모델뿐이다. 즉, AI와 인간이 함께 계층적으로 작동하는 시스템이 필요하다.

 

AI가 진정한 가치를 더하는 영역

책임 있고 효과적인 AI 활용이란, 하나의 오류가 연쇄적으로 다음 단계에 영향을 주는 도미노 효과를 막기 위해 여러 모델을 사용해 결과를 교차 검증하는 것을 의미한다. 또한, 특히 사기 수법이 모델 재학습 속도보다 빠르게 진화하는 상황에서는 가장 민감하거나 고위험 사례를 인간 검토자에게 할당해야 한다. 아울러 규제 기관의 심사에도 견딜 수 있도록 명확한 애스컬레이션 절차와 완전한 감사 추적(audit trail)을 갖추는 것도 필수적이다.

 

이러한 하이브리드 모델은 양쪽 세계의 장점을 모두 제공한다. 즉, AI의 속도와 확장성에 인간 전문가의 판단력과 유연성을 결합하는 것이다. 사기가 더욱 정교해질수록 이러한 군형은 반드시 필요하다.

 

여러 시장, 언어, 문서 유형에 걸쳐 운영하는 기업은 또 다른 명확한 이점을 가진다. 그들의 시스템은 보다 다양한 데이터로 학습되어, AI 도구가 더 강력하고 정밀하게 작동할 수 있기 때문이다.

 

저자 소개

유제니 말류틴(Eugeny Malyutin)은 Sumsub의 LLM 책임자로서, 사용자 검증을 강화하고 디지털 사기를 방지하기 위한 확장 가능한 AI 솔루션을 개발하고 있다. 머신러닝과 데이터 엔지니어링 분야에서 8년 이상의 경력을 보유한 그는, 주요 기술 기업들을 위해 고부하 시스템, 추천 엔진, 소셜 네트워크 분석을 구축한 입증된 성과를 가지고 있다.