- AI 사고·아차 사고를 기밀로 수집·분석…에이전트 보안 권고안과 오픈소스 도구 공동 개발

 

엔비디아와 오픈 시큐어 AI 얼라이언스 회원사들이 에이전틱 AI 보안 사고를 안전하게 공유하고 분석하기 위한 ‘공유 AI 발견 정보 교환(SAFE)’ 가이드라인을 제안했다. 리눅스 재단은 미국 라스베이거스에서 열린 블랙햇 콘퍼런스에서 의견 수렴 요청서를 공개했으며, 120개가 넘는 참여 조직은 개별 사고에서 확인한 위협과 대응 경험을 공동 방어에 활용한다.

 

AI 사고 정보에서 공동 방어 권고안 도출

SAFE는 AI 관련 사고와 사고로 이어질 뻔한 아차 사고를 기밀로 수집해 반복되는 통제 실패를 찾는다. 분석 결과는 영향을 받은 대상에 전달하며, 생태계 전반의 위험을 줄이는 운영 권고안으로 정리한다. 엔비디아와 시스코, 크라우드스트라이크, 허깅페이스, 레드햇 등 얼라이언스 회원사는 리눅스 재단과 초기 제안서 작성에 참여했다. AI 에이전트가 사람보다 빠르게 판단하고 도구를 실행하는 만큼, 기업별로 흩어진 사고 정보를 신속하게 공유해 방어 속도를 높인다는 취지다.

 

모델부터 런타임까지 에이전트 동작 통제

AI 에이전트는 모델과 아이덴티티, 하네스, 도구, 런타임, 가드레일이 함께 작동한다. SAFE는 특정 모델의 취약점만 검사하지 않고 각 계층에서 발생한 사고 원인과 대응 조치를 연결한다. 엔비디아는 에이전트 동작을 시험·추적·감사하는 연구용 하네스 ‘NOOA’와 접근·실행 범위를 제한하는 ‘오픈쉘’을 공개했다. 검증된 에이전트 스킬에는 프롬프트 인젝션과 도구 오염 검사를 적용하고, 암호학적 서명과 스킬 카드를 더해 기능과 출처, 변경 여부를 확인하도록 했다. 네모 가드레일과 네모 어노니마이저는 안전 정책 적용과 민감 데이터 보호를 맡는다. 오픈소스 LLM 취약점 스캐너 ‘가락’은 모델 출시 전 데이터 유출과 프롬프트 인젝션, 탈옥 시나리오를 점검한다.

 

회원사별 아이덴티티·평가·복원 도구 확대

얼라이언스 회원사도 에이전트 보안 계층별 도구를 추가하고 있다. 옥타와 팔로알토 네트웍스는 에이전트 아이덴티티와 접근 권한을 통제하며, 레드햇의 ‘아사고’는 AI 거버넌스 요구사항을 실제 런타임 동작과 감사 기록에 연결한다. 마이크로소프트는 자연어로 작성된 안전 요구사항을 실행 가능한 평가 항목으로 변환하고, 우버는 프롬프트와 추론, 도구 호출, 결과를 연결해 에이전트 활동을 추적한다. 랭체인과 빔은 작업 중단이나 인프라 장애가 발생했을 때 저장 상태와 데이터를 복구하는 기능을 개발하고 있다.

 

 오픈 시큐어 AI 얼라이언스는 회원사가 공개한 완화 조치를 공동 검토하고, 각 조직이 운영 환경에 맞게 재사용할 수 있도록 기술 기여를 이어갈 예정이다.

 

#엔비디아 #SAFE #오픈시큐어AI얼라이언스 #AI보안 #에이전틱AI #사이버보안 #오픈소스 #오픈쉘 #네모가드레일 #가락 #아사고