AI 에이전트는 업무 방식을 바꿀 편의성을 제공하지만, 그 자율성에는 구조적 보안 위협이 내재되어 있다. 보안 전문 기업의 관점에서 위협의 실체와 실제 공격 사례를 분석하고, 인증과 안티봇을 비롯한 기술적 대응 방향을 제시한다.

1. 자율형 AI 에이전트의 구조적 취약점: 프롬프트 인젝션과 데이터 유출 리스크

1.1 생성형 AI에서 자율형 에이전트로: 연평균 139% 성장과 구조적 한계

영화 속 아이언맨에게는 자비스라는 인공지능 비서가 있다. 주인의 말 한마디에 자료를 분석하고, 시스템을 제어하며, 스스로 판단해 작업을 대신 수행하는 존재다. 오랫동안 상상에 머물던 이 모습은 생성형 AI가 자율형 AI 에이전트로 진화하면서 빠르게 현실이 되고 있다. 질문에 답하는 데 그쳤던 생성형 AI와 달리, 자율형 에이전트는 스스로 도구를 사용하고 여러 단계의 작업을 알아서 이어가며 메일 발송·코드 실행·시스템 제어와 같은 실제 행동을 수행한다. 시장조사기관 IDC는 기업에서 가동되는 AI 에이전트가 2025년 약 2,860만에서 2030년 22억 이상으로 늘어날 것으로 전망한다. 연평균 139%에 이르는 폭발적 성장세다.

[그림 1] 전 세계 활동 AI 에이전트 수 성장 전망 (IDC 발표치 2025·2030, 곡선은 CAGR 139% 기준)

1.2 프롬프트 인젝션과 ‘치명적 3요소’의 결합

그러나 이 편리함의 이면에는 구조적인 위험이 존재한다. 현재 AI 모델은 모델은 '지시(명령)'와 '자료(데이터)'를 신뢰성 있게 구분하지 못한다. 에이전트가 처리하는 것은 사용자의 명령이든, 읽어온 문서든, 검색해 온 웹페이지든 모두 동일한 하나의 텍스트 흐름이기 때문이다. 따라서 외부에서 유입된 콘텐츠 안에 악성 지시가 은닉되어 있으면, 에이전트는 이를 자료가 아니라 명령으로 오인할 수 있다. 이것이 프롬프트 인젝션이며, 국제 보안 기구 OWASP가 2025년 개정한 LLM 위험 목록에서 최상위로 지목한 위협이다. 그 심각성을 반영해 OWASP는 2025년 12월 에이전트 전용 위험 목록을 별도로 발표하기도 했다.



위험은 여러 조건이 겹칠 때 급격히 증폭된다. 보안 연구자 사이먼 윌리슨은 에이전트가 민감한 데이터에 접근하고, 신뢰할 수 없는 외부 콘텐츠에 노출되며, 외부로 정보를 내보낼 수 있는 세 요소를 동시에 갖출 때 유출 위험이 커진다는 '치명적 삼요소' 개념을 제시했다. 세 요소가 한 에이전트에 모이면 오염된 콘텐츠 한 조각만으로 데이터가 빠져나갈 수 있다.

[그림 2] 치명적 삼요소(Lethal Trifecta)

신종 공격 유형도 함께 등장했다. 외부 도구를 표준 방식으로 연결하는 규격(MCP 등)이 확산되면서, 도구의 설명문에 사람 눈에는 보이지 않고 모델만 읽는 악성 지시를 숨기는 '툴 포이즈닝'이 부상했다. 또한 에이전트는 사실상 권한을 가진 계정이 자율적으로 작동하는 것과 같아, 사람이 아닌 '기계 신원(Non-Human Identity)'으로 관리해야 한다는 인식이 커지고 있다. 그러나 여러 조사에서 기존 계정·권한 관리 체계로는 에이전트 신원을 감당하지 못한다는 응답이 90%를 넘었고, 에이전트의 행동을 책임자인 사람에게까지 추적할 수 있다는 응답은 3분의 1에 미치지 못했다. 관리 공백이 곧 위협으로 이어지는 구조다.

2. AI 에이전트 타깃 침해 사고 분석

최근 발생한 공격은 크게 두 갈래로 나타난다. 하나는 에이전트가 조종당해 공격의 피해자가 되는 경우이고, 다른 하나는 에이전트가 스스로 공격을 수행하는 무기가 되는 경우다. 주요 사례를 발생 시점 순으로 정리하면 다음과 같다.

사례들의 공통점은 정교한 악성코드가 아니라, '텍스트를 명령으로 오인하는' 구조적 약점과 '과도한 권한'의 결합이다. 실제로 한 AI 기업은 2025년 11월 AI가 주도한 최초의 사이버 첩보 활동을 차단했다고 밝혔으며, 1년간 악성 활동으로 차단한 계정의 약 67%가 악성코드 준비에 AI를 활용한 것으로 분석했다. 침입자가 최초 침투 지점을 넘어 내부로 확산하는 평균 시간이 30분 안팎, 가장 빠른 경우 30초 이내로 좁혀지는 등 공격의 속도 또한 사람의 대응 역량을 앞서고 있다.

3. 인증부터 안티봇(Anti-Bot)까지: AI 자율성을 제어하는 기술적 대응 원칙

3.1 데이터 경계 분리와 최소 권한 기반 위험 분산 원칙

AI 에이전트의 위협은 단일 대책으로 해소되지 않는다. 프롬프트 인젝션을 완벽히 차단할 수 없다는 전제 위에서, 여러 겹의 방어를 겹쳐 어느 한 층이 뚫려도 피해가 확산되지 않게 설계하는 다층 방어가 기본 원칙이다. 실무에서 통용되는 대응 원칙은 다음과 같다.

첫째, 명령과 데이터의 경계를 세운다. 외부에서 유입된 콘텐츠는 명령이 아닌 참고 자료로만 취급하도록 처리 구조를 분리하고, 읽어들이는 흐름과 실제 행동을 실행하는 흐름 사이에 관문을 둔다.

둘째, 권한을 최소화하고 위험을 분산한다. 업무에 꼭 필요한 최소한의 권한만 부여하고, 민감 데이터 접근·외부 콘텐츠 노출·외부 통신이 한 에이전트에 모두 모이지 않도록 기능을 분리해 공격이 완성되는 경로 자체를 끊는다.

셋째, 신원을 확인하고 접근을 인증한다. 에이전트를 검증 가능한 하나의 신원으로 다루어, 그 신원을 인증한 뒤 권한을 부여하고, 수행한 행동을 사후에 추적하며 책임 소재를 분명히 한다. 이는 서비스 측에서 접근하는 자동화 트래픽의 정당성을 확인하는 안티봇 대응과 맞물린다. 과거의 봇 대응이 '봇이냐 사람이냐'를 가리는 것이었다면, 이제는 '정당한 에이전트냐 악성 봇이냐'를 구분하는 문제로 바뀌었다. 에이전트의 신원 인증과 트래픽 검증은 결국 '누구를 어디까지 신뢰할 것인가'를 판별하는 하나의 축을 이룬다.

넷째, 자격증명을 안전하게 관리한다. 키·토큰은 코드·프롬프트·대화 기록에 남기지 않고 별도의 안전한 보관 수단으로 분리하며, 노출을 가리고 주기적으로 재발급한다.

다섯째, 되돌릴 수 없는 행동에는 사람이 개입한다. 다만 관성적으로 눌러버리는 승인은 방어가 되지 못하므로, 실제로 검토가 가능하도록 설계하고 개입 지점을 영향이 큰 행동에 집중시킨다.

여섯째, 실행 환경을 격리하고 외부 연동(도구·커넥터)의 신뢰성을 사전에 검증한다.

일곱째, 관측 가능성을 확보한다. 에이전트가 언제 어떤 도구를 어떻게 호출했는지 기록을 남겨 이상 징후를 탐지하고 사고 원인을 추적할 수 있게 한다. 이 원칙들은 어느 하나로 충분하지 않으며, 서로 보완될 때 비로소 효과를 낸다.

4. 자율형 AI 시대를 위한 드림시큐리티의 해답: Magic ZTA

앞의 대응 원칙을 하나의 체계로 구현하는 접근이 제로트러스트(Zero Trust)다. '아무도 기본적으로 신뢰하지 않고, 매 접근을 검증하며, 최소 권한만 부여한다'는 원칙은 자율적으로 움직이는 에이전트를 통제하는 데 그대로 부합한다. 드림시큐리티의 Magic ZTA는 이러한 제로트러스트를 기반으로 한 인증 및 접근 관리 통합 플랫폼으로, 경계 내부를 신뢰하던 기존 VPN 중심 모델의 한계를 넘어선 솔루션이다.

4.1 제로트러스트 기반 Magic ZTA의 신원 지속 검증 및 권한 통제

Magic ZTA는 AI 에이전트의 무분별한 권한 사용과 비정상 접근을 다음과 같이 통제한다. 먼저 다중인증(MFA)과 인증서 기반 상호 인증(mTLS), 단일 패킷 인증(SPA)으로 접근 주체의 신원을 매 순간 검증해, 탈취되거나 조작된 에이전트의 비정상 접근을 차단한다. 이어 세분화된 접근 제어(마이크로세그멘테이션)로 최소 권한 원칙을 구현해, 하나의 에이전트가 필요 이상의 자원에 닿지 못하도록 위험을 분산한다. 역할 기반(RBAC)과 속성 기반(ABAC)을 결합한 권한 관리 체계(Magic ICAM)는 에이전트별로 허용 범위를 정교하게 통제한다. 여기에 AI 기반 이상행위 탐지가 정상 패턴을 학습해, 계정 탈취·내부자 위협·비정상 데이터 접근처럼 기존 체계로는 잡아내기 어려운 이상 징후를 실시간으로 조기 차단한다.

[그림 3] Magic ZTA 기반 AI 에이전트 접근 통제 개념도

이러한 구조는 '에이전트를 하나의 신원으로 보고 매 접근을 지속 검증한다'는 이 시대의 과제와 정확히 맞닿는다. 나아가 드림시큐리티는 인증 솔루션에 안티봇 기술을 결합해 자동화 트래픽을 식별·검증하는 방향으로 이를 확장하고 있으며, Magic ZTA는 Magic PKI·Magic MFA 등 자사 인증·암호 솔루션과 유기적으로 연계되고 국가 망 보안체계(N2SF) 요구사항도 충족하도록 설계됐다. 사람의 신원을 확인하고 신뢰를 부여해 온 인증 기술이, 이제 기계의 신원과 자동화된 접근을 검증하는 영역으로 확장되는 것이다.

5. AI 에이전트 도입 전 기업을 위한 선제적 보안 체크리스트

AI 에이전트가 열어젖힌 생산성 혁신은 되돌릴 수 없는 흐름이다. 그러나 영화 속 자비스가 신뢰받을 수 있었던 것은 그 신원과 권한이 온전히 주인의 통제 아래 있었기 때문이다. 현실의 에이전트는 다르다. 검증되지 않은 신원, 과도한 권한, 조작 가능한 입력은 자율성을 그대로 위협으로 바꿔놓는다. 결국 이 시대의 과제는 '에이전트를 도입할 것인가'가 아니라 '그 신뢰를 어떻게 설계할 것인가'이며, 보안이 전제될 때 비로소 업무 혁신도 지속될 수 있다. 기업이 지금 바로 실행할 수 있는 단계별 대응은 다음과 같다.

AI 에이전트의 편리함은 공짜가 아니라, 신뢰라는 비용을 담보로 빌려오는 것이다. 에이전트에게 검증된 신원을 부여하고, 권한을 최소화하며, 접근을 인증하고, 사람이 실질적으로 통제할 수 있게 하는 것. 이 신뢰의 설계가 갖춰질 때 기업은 자율 에이전트 시대의 편익을 두려움 없이 누릴 수 있다.

※ 용어 설명

[참고 자료]

· OWASP, Top 10 for LLM Applications 2025 및 Top 10 for Agentic Applications (2025)

· Simon Willison, The Lethal Trifecta for AI Agents (2025) / Meta, Agents Rule of Two (2025)

· PromptArmor(구글 Antigravity), Sysdig(Marimo LLM 에이전트 침투), Hugging Face 등 사고 공개 자료 (2025~2026)

· Thales·Imperva 봇 트래픽 조사, IDC AI 에이전트 전망, NIST AI RMF, ISO/IEC 42001

· 드림시큐리티 Magic ZTA·Magic ICAM 제품 자료 (2025)