- 복지·의료·교육 AI 도입 전 위험성 검증 제안…취약계층 보호 기준도 세분화
에이아이웍스(AIWORKX)가 공공 AI 조달 과정에 신뢰성 평가를 의무화하는 내용을 담은 AI 기본법 시행령 의견서를 과학기술정보통신부에 제출했다. 공공기관이 AI 활용 여부만 확인하는 현행 체계에서 벗어나 위험성과 신뢰성을 검증하는 체계로 전환해야 한다는 내용이 핵심이다.
'활용 확인'에서 '신뢰성 평가'로 전환
에이아이웍스는 현재 공공 AI 조달 체계가 AI 활용 여부를 확인하는 수준에 머물러 있다고 진단했다. 시민 생활과 권리에 직접 영향을 미치는 AI가 늘어나는 만큼 실제 운영 환경에서 안전하게 작동하는지를 검증하는 체계가 필요하다는 입장이다. 회사는 공공 고영향 AI를 대상으로 배포 전 신뢰성·위험 평가 결과 제출, 운영 이후 성능 드리프트와 편향·오류 점검, 고위험 AI에 대한 독립 제3자 평가 또는 자가평가 결과 공개 등을 의무화하는 방안을 제안했다.
에이아이웍스 윤석원 대표는 "자율 AI 에이전트가 공공 영역으로 빠르게 확산되는 시점에 AI가 안전하게 작동하는지를 검증할 수 있는 평가 체계 구축은 더 이상 미룰 수 없는 과제"라고 밝혔다.
해외 규제 참고한 평가 기준 제시
에이아이웍스는 EU AI Act와 미국 OMB M-25-22, 영국 PPN 017 등 주요 국가의 AI 규제를 비교 분석해 의견서를 작성했다. 의견서에는 EU AI Act의 위험관리와 데이터 거버넌스, 인간 감독 체계, 미국 NIST AI RMF, 싱가포르 AI Verify를 참고한 ‘한국형 공공 고영향 AI 신뢰성 평가 프레임워크’ 설계 방향이 담겼다. 회사는 공공기관이 AI 도입 여부만 검토하는 단계에서 벗어나 위험성과 사회적 영향을 함께 평가하는 체계가 필요하다고 설명했다.
벤더 종속 막는 조달 기준 마련
의견서는 공공기관과 AI 공급자의 책임을 구분하는 방안도 담았다. 공공기관에는 사용 목적 공개와 정기 모니터링, 중대 오작동 신고 의무를 부여하고, 공급자에게는 데이터 관리와 성능 검증 책임을 명확히 해야 한다고 제안했다. 비공개 행정데이터의 외부 AI 학습 활용 제한과 데이터 반환·삭제 의무, 감사권 보장 등을 포함한 AI 특화 표준계약조항 마련도 요구했다. 특정 플랫폼 의존도를 낮추기 위해 개방형 API와 데이터 이식성 확보, 전환 비용 사전 공개 기준을 조달 지침에 반영해야 한다고 밝혔다.
취약계층 보호 범위 세분화
에이아이웍스는 AI 취약계층 보호 체계도 보다 구체화해야 한다고 제안했다. 장애인과 고령자, 기초수급권자 등은 1차 보호 대상으로 분류하고, 경력단절여성이나 구직자 등 AI 역량 격차 계층은 2차 지원 대상으로 구분하는 방안을 담았다. 비용 지원 중심 정책을 넘어 시각·청각 장애인 지원과 고령자 친화 사용자환경(UI), 다국어 지원 등 최소 접근성 기준을 공급자에게 의무화하는 내용도 포함됐다. 아울러 AI 자동결정에 대한 설명 요구권과 인간 재검토권 등 '영향받는 자 권리'를 제도적으로 보장할 필요가 있다고 덧붙였다.
윤석원 대표는 "취약계층을 단순 지원 대상이 아니라 AI로 인해 피해를 입을 수 있는 보호 대상으로 함께 고려해야 한다"며 "앞으로도 글로벌 표준과 국내 현장을 연결하는 정책 제안을 지속할 계획"이라고 밝혔다.
에이아이웍스는 이번 의견서 제출을 시작으로 공익 분야 평가 시나리오 개발과 한국형 공공 AI 신뢰성 평가 프레임워크 설계, AI 기본법 하위 고시 및 인증 체계 논의에도 참여할 예정이다.
#에이아이웍스 #AI기본법 #인공지능기본법 #AI거버넌스 #AI신뢰성평가 #공공AI #AI조달 #AI규제 #EUAIAct #NISTAIRMF #AIVerify #AI에이전트 #AI정책 #AI안전성 #AgentRigor #에이전트리거
