AI 에이전트의 자율성과 광범위한 활용이 증가하면서, 이를 악용한 해킹 및 사기 시도 또한 증가하는 추세다. AI 에이전트가 인간의 개입 없이 자율적으로 작동하는 특성 때문에, 보안 취약점을 악용한 공격에 더욱 취약할 수 있다는 우려가 제기되고 있다.

AI 에이전트가 악용될 수 있는 주요 유형은 다음과 같다.

• 프롬프트 인젝션 공격: 악성 프롬프트를 주입하여 AI 에이전트가 의도하지 않은 해로운 행동을 수행하도록 유도한다.
• 데이터 오염: AI 모델 훈련 시 거짓 또는 오도된 데이터를 삽입하여 에이전트의 의사 결정 프로세스를 조작한다.
• 소셜 엔지니어링: AI 에이전트와 인간의 상호 작용을 악용하여 개인 정보나 금전을 탈취한다.
• 보안 취약점: AI 에이전트가 연결된 시스템의 보안 결함을 이용하여 해킹을 시도하고, 에이전트를 제어한다.
• 딥페이크 활용: AI 에이전트가 딥페이크 기술을 사용하여 경영진이나 유명인을 사칭하여 사기를 용이하게 한다.

• 암호화폐 사기: 2024년 11월, 한 암호화폐 사용자가 '프레이사(Freysa)'라는 AI 에이전트를 속여 자신의 계좌로 5만 달러를 송금하도록 하는 데 성공했다.
• 가짜 뉴스 유포: 2025년 5월, 중국에서 한 남자가 챗GPT를 이용하여 가짜 뉴스를 생성하고 배포한 혐의로 체포되었다.
• 기업 정보 유출: 삼성전자 직원이 챗GPT를 사용하여 기업 내부 정보를 유출하는 사고가 발생했다.
• 금융사 딥페이크 피싱: 홍콩의 한 금융회사에서 딥페이크 피싱으로 한화 약 342억 원 상당의 돈이 사라지는 사건이 발생했다.
• AI 에이전트 토큰 사기: 온체인 탐정 ZachXBT는 AI 에이전트 토큰의 99%가 사기라고 주장했다.
• AIXBT 해킹: AI 에이전트 AIXBT가 해킹을 당해 약 1억 5천만원 상당의 이더리움을 도난당했다.

AI 에이전트 관련 위협에 대응하기 위해 다양한 기술적 및 정책적 방안이 제시되고 있다.

• 기술적 보안 강화:
  • AI 기반 탐지 시스템 구축: 딥페이크 탐지, 금융 거래 이상 징후 탐지 등 AI 기반 탐지 시스템을 활용한다.
  • AI 기반 위협 탐지를 통합하는 강화된 사이버 보안 프레임워크 구축한다.
  • 악성코드 탐지, 이상 징후 감지 등 AI 보안에 특화된 기술을 개발한다.
  • AI 기반의 자동화된 보안 시스템을 구축하여 AI 에이전트를 실시간으로 모니터링하고, 보안 위협에 신속하게 대응한다.
• 정책 및 규제 강화:
  • AI 개발 및 활용의 책임성, 투명성, 설명 가능성을 확보한다.
  • AI 관련 윤리 기준을 확립하고 프라이버시 보호 및 차별 금지 조항을 마련한다.
  • AI 사용에 관한 조화로운 규제를 지지한다.
  • AI 보안 관련 표준을 제정하고, 관련 법규 및 규제를 마련하여 AI 보안 생태계를 조성한다.
• 사용자 인식 및 교육 강화:
  • AI 기반 사기와 허위 정보의 위험성에 대한 대중 교육을 강화한다.
  • 조직 구성원에게 위조 현실 기술을 악용한 공격에 효과적으로 대응할 수 있도록 교육한다.
  • AI 보안에 대한 교육을 제공하고, 정기적인 보안 훈련을 실시하여 보안 의식을 높인다.
• 협력 강화:
  • AI 보안 관련 정보 및 기술을 공유하고, 산학연 협력을 통해 AI 보안 역량을 강화한다.
  • 민관 협력을 통해 AI 기반 위협에 대응하고, 사이버 범죄 예방을 위한 공조 체계를 구축한다.
• 기타:
  • 보안 정책을 주기적으로 검토하고 업데이트하여 최신 위협에 효과적으로 대응할 수 있도록 대비한다.
  • AI 시스템의 중요도, 데이터 민감성, 예상되는 위협 수준 등을 고려하여 적절한 보안 목표를 설정한다.
  • AI 모델과 데이터는 신뢰할 수 있는 공식 경로를 이용하고, 다운로드한 파일은 보안 소프트웨어를 이용해 검사하는 등 추가적인 안전 조치를 적용한다.
  • 침해사고 발생 시 감염 원인과 경로를 추적하고, 단계별 대책을 제시하여 근본적인 해결 방안을 마련한다.
  • 최고경영진의 강력한 보안 의지와 이를 뒷받침하는 지속적 투자를 통해 AI 보안을 강화한다.

AI 에이전트의 발전은 다양한 편의성을 제공하지만, 동시에 새로운 보안 위협을 야기하고 있다. AI 에이전트의 안전한 활용을 위해서는 기술 개발과 더불어 윤리적 문제, 규제 마련, 사용자 교육 등 다각적인 노력이 필요하다. 또한, AI 기술을 악용한 범죄에 효과적으로 대응하기 위해서는 꾸준한 관심과 투자가 필수적이다.