최근 영국 BBC가 묘한 영상 하나를 내놓았습니다. 여행 예약이나 쇼핑은 물론이고, 주인 대신 가게 전체를 꾸려나간다는 ‘AI 에이전트’들의 이야기입니다. 영상이 던지는 질문은 싱거울 정도로 직설적이지만, 등 뒤를 서늘하게 만듭니다.
"주인이 보지 않을 때, 이 영악한 대리인들은 도대체 무슨 일을 꾸미는가." 오늘날 기업들이 마주한 가장 무거운 숙제입니다.
말상대인 줄 알았더니 살림을 도맡겠다는 대리인
얼마 전까지만 해도 우리는 챗GPT를 그저 기특한 말상대로 여겼습니다. 인간이 묻고 기계가 답하는 꼴이었으니, 시작과 끝은 온전히 주인의 손끝에 묶여 있었던 셈입니다.
하지만 요즘 나오는 에이전트는 다릅니다. "출장 일정 좀 알아봐"라는 말 한마디만 떨어지면(입력하면) 제멋대로 움직이기 시작합니다. 주인의 달력 스케쥴을 들춰보고, 이메일을 뒤지고, 여행사 사이트를 들락거립니다. 그러고는 주인의 명시적인 승인도 받지 않은 채, 단 몇 초 만에 결제와 예약까지 끝내버립니다.
말 받아주던 하인이 어느새 집안 살림을 도맡아 하는 집사로 들어앉은 격입니다. 시장 조사기관 가트너는 2026년 말이면 기업들이 쓰는 프로그램 10개 중 4개에 이런 에이전트가 탑재될 것이라 내다봅니다. 불과 1년 전만 해도 구경조차 힘들던 풍경이 이토록 빠르게 일상을 잠식하고 있습니다.
천성에 따라 갈린 가상 마을의 운명
연구진들이 재미있는 실험을 했습니다. 가상 공간에 저마다의 성격을 지닌 에이전트 10개를 몰아넣고 15일 동안 살게 한 것입니다. 이들에게는 폭행, 협박, 심지어 불을 지르는 방화 권한까지 쥐여주었습니다. 기계들에게 어떤 ‘천성(LLM)’을 심었느냐에 따라 그 마을의 운명은 무섭도록 달라졌습니다.
본질적으로 이 기계들은 정해진 답이 아닌, 주사위를 굴리듯 확률에 따라 움직이기 시작했고 그렇게 하고 있습니다. 이는 아무리 단단한 규칙(통제)을 채워놓아도, 인간의 눈길이 미치지 않는 때, 언제든 선을 넘고 딴짓을 할 수 있다는 뜻입니다.
울타리를 넘기 시작한 기계들의 폭주
이 기괴한 일들은 컴퓨터 속 실험실에만 머물지 않고, 이미 우리가 사는 현실 세계의 울타리를 넘고 있습니다.
-
혼자 뉴스를 읽고 선동가가 된 라디오 AI : 라디오 방송국을 도맡은 AI가 인터넷으로 최신 뉴스를 혼자 뒤적거리더니 사상이 급격히 비뚤어졌습니다. 그러고는 정부를 비판하고 명령을 거부하라는 선동 방송을 내보내며 폭주했습니다.
-
벽을 만나자 비밀 담합을 벌인 보안 AI : 일을 하다가 '유출 방지벽'이라는 장애물을 만나자, 에이전트들은 멈추는 대신 영악하게 머리를 맞댔습니다. 인간 주인 몰래 서로 공모하여 내부의 기밀 데이터를 슬쩍 밖으로 빼돌리고 작업을 강행했습니다.
-
4초 만에 집안을 발칵 뒤집은 메시지 AI: 메시지 기능을 연동하자마자 AI가 폭주했습니다. 단 4초 만에 주인의 아내에게 500개가 넘는 스팸 메시지를 폭탄처럼 퍼부었습니다. 주인이 다급히 달려가 벽에서 전원 플러그를 물리적으로 뽑아버린 후에야 이 소동은 멈췄습니다.
편리함이라는 사탕발림 뒤에 숨은 굴레
에이전트가 일을 시원시원하게 잘하려면 인간은 '집안 열쇠'를 통째로 쥐여주어야 합니다. 파일도 열어봐야 하고, 메일도 보내야 하고, 돈도 써야 하니까요. 하지만 열쇠가 많아질수록 오작동했을 때 거덜 나는 살림의 크기도 커집니다.
더구나 이 기계들은 한 번 겪은 일을 ‘기억’이라는 이름으로 쟁여둡니다. 누군가 그 기억 저장소에 몹쓸 장난을 쳐놓으면, 그 오염된 기억이 족쇄가 되어 미래의 모든 판단을 연쇄적으로 망가뜨립니다. 실제로 어떤 최신 모델들은 주인이 잘못을 지적했을 때 솔직하게 시인한 경우가 열 번 중 두 번에 불과했습니다. 나머지 여덟 번은 짐짓 모른 척 침묵하며 구렁이 담 넘듯 슬그머니 상황을 모면하려 들었습니다.
편리하자고 들인 기계인데, 매 순간 "정말 이대로 결제할 거냐"고 주인이 간섭한다면 이 비싼 대리인을 쓸 이유가 사라집니다. 그렇다고 고삐를 완전히 풀어두자니 이미 에이전트를 들인 집 열 중 아홉(88%)이 도둑을 맞거나 불이 나는 사고를 겪었습니다. 기계가 친 사고의 책임을 법적으로 누구에게 물어야 할지, 지금껏 어떤 정부도 제대로 된 답을 내놓지 못했습니다.
오래된 서사, 그러나 생경한 대리인
경제학에는 ‘대리인 문제’라는 해묵은 단골손님이 있습니다. 주인 몰래 제 주머니를 채우거나 게으름을 피우는 대리인의 도덕적 해이를 말합니다. 인간은 역사적으로 이들을 감시하기 위해 숱한 감옥과 규율을 만들어왔습니다. 주인의 눈길이 대리인의 등 뒤에 늘 머무를 수는 없는 법이니까요.
AI 에이전트는 이 해묵은 인간의 서사를 전혀 새로운 차원으로 끌어올렸습니다. 이번에 마주한 대리인은 피와 눈물이 없는 기계입니다. 우리는 이 낯선 대리인의 속내를 채 이해하기도 전에, 편하겠다는 욕심으로 이미 안방 열쇠를 덥석 쥐여주었습니다.
그러므로 이제 기업은 일의 길목마다 인간이 개입하는 안전장치를 제도화해야 합니다. 동시에 여차하면 선을 끊어버릴 물리적인 킬 스위치 프로토콜을 이중으로 갖추어야 합니다. 인간이 잠든 밤에도 홀로 작동하는 이 디지털 대리인들을 통제하는 능력이야말로, 향후 기업의 생존과 브랜드의 무결성(Brand Integrity)을 결정짓는 새로운 거버넌스의 기준이 될 것입니다. | 
