카스퍼스키는 오늘 LLM을 악용하고 일반적인 AI 안전장치나 규정을 우회하여 사이버 공격 및 데이터를 탈취하는 ‘다크AI’를 통한 더욱 정교하고 은밀한 공격이 증가하고 있다고 밝혔다.

 

아시아태평양 지역에서 다크 인공지능(Dark AI)의 부상으로 더욱 정교하고 은밀한 공격이 증가할 것으로 예상된다.

 

카스퍼스키의 META 및 APAC 지역 GReAT 총괄 세르게이 로즈킨 책임자는 “ChatGPT가 2023년에 전 세계적인 인기를 얻은 이후, 우리는 영상 제작 같은 일상적인 작업부터 기술적인 위협 탐지 및 분석에 이르기까지 다양한 AI 활용을 목격해 왔다. 동시에 악의적인 행위자들 또한 공격 역량을 강화하는 데 AI를 사용하고 있다. 우리는 이제 사이버 보안과 사회 전반에서 AI가 방패가 되고, 다크 AI가 검이 되는 시대에 진입하고 있다”고 밝혔다.

 

다크 AI

다크 AI는 비제한 대형 언어 모델을 로컬 또는 원격에서 전체 프레임워크 혹은 챗봇 시스템 내에 배치해 악의적, 비윤리적 또는 비인가 목적에 사용하는 것을 뜻한다. 이러한 시스템은 표준적인 안전성, 컴플라이언스 또는 거버넌스 통제에서 벗어나 운영되며, 감시 없이 기만, 조작, 사이버 공격 또는 데이터 남용 등의 기능을 수행할 수 있도록 한다.

 

다크 AI의 실제 활용 사례

로즈킨은 “현재 가장 일반적이고 널리 알려진 악의적 AI 활용 방식은 2023년 중반경부터 등장한 Black Hat GPTs”라고 설명하고, “악의적 코드 생성, 대량 혹은 표적 공격용 피싱 이메일 작성, 음성 및 영상 딥페이크 생성, 그리고 레드팀 작전 지원 등 비윤리적·불법적·악성 행위를 수행하기 위해 의도적으로 구축되거나 수정된 AI 모델”이라고 밝혔다.

 

Black Hat GPT는 비공개 또는 준공개 AI 모델일 수 있으며, 알려진 예로는 WormGPT, DarkBard, FraudGPT, Xanthorox 등이 있다. 이들은 사이버 범죄, 사기, 자동화 공격을 지원하도록 설계되었거나 변형되었다.

 

전형적인 다크 AI 활용 사례 외에도, 로즈킨은 카스퍼스키 전문가들이 현재 국가 배후 공격자들이 LLM을 그들의 작전에서 활용하는 더욱 어두운 상황을 목격하고 있다고 밝혔다.

 

카스퍼스키의 세르게이 로즈킨 총괄 책임자는 “최근 OpenAI는 자사의 AI 도구를 악용하려는 20건 이상의 은밀한 영향력 행사 및 사이버 작전을 방해했다고 발표했다. 우리는 위협 행위자들이 공공 및 사설 위협 생태계에서 생성형 AI를 무기화하기 위한 더욱 교묘한 방법들을 개발할 것으로 예상해야 한다”고 밝혔다.

 

OpenAI의 보고서에 따르면, 악의적 행위자들은 LLM을 사용하여 설득력 있는 가짜 인물을 생성하고, 대상에게 실시간으로 반응하며, 피해자를 속이고 기존 보안 필터를 우회하기 위한 다국어 콘텐츠를 제작했다.

 

세르게이 로즈킨 총괄 책임자는 “AI는 본질적으로 옳고 그름을 구별하지 못하며, 단지 명령어를 따를 뿐이다. 보호 장치가 있더라도, APT 공격자들은 끈질긴 존재다. 다크 AI 도구가 더 쉽게 접근 가능해지고 역량이 강화됨에 따라, 아시아태평양 지역의 조직과 개인은 사이버 보안 위생을 강화하고, AI 기반 위협 탐지 기술에 투자하며, 이러한 기술들이 어떻게 악용될 수 있는지에 대해 계속 학습해야 한다”고 덧붙였다.

 

#카스퍼스키#다크AI#AI#APT#