- 클로드 코드 사내 통제 환경 운영…접근 권한·비용 추적·민감정보 차단까지 직접 구현

 

솔트웨어가 LiteLLM과 아마존 베드락(Amazon Bedrock)을 활용해 기업용 AI 게이트웨이를 직접 구축하는 핸즈온 세미나를 개최했다. 참가자들은 여러 대규모언어모델(LLM)을 하나의 엔드포인트로 연결하고 사용자별 접근 권한과 비용을 관리했으며, 클로드 코드(Claude Code)를 사내 통제 환경에서 운영하는 방법도 실습했다.

 

여러 LLM 하나의 엔드포인트로 통합

기업에서 여러 LLM을 사용하면 모델별 연결 방식뿐 아니라 사용자 권한과 비용, 민감정보 유출, 사용 데이터까지 함께 관리해야 한다. 이번 세미나는 AI 게이트웨이의 역할과 아키텍처를 살펴본 뒤 LiteLLM을 이용해 이러한 기능을 직접 구현하는 방식으로 진행됐다. 참가자들은 여러 LLM을 하나의 엔드포인트로 통합하는 LLM 프록시(Proxy)를 구축했다. 사용자별 접근 권한과 예산을 설정하고 일자별 비용을 추적했으며, 반복 호출에 따른 비용과 지연을 줄이는 캐싱, 민감정보 유출을 차단하는 가드레일, LLM 사용 데이터를 확보하는 로깅 기능도 확인했다.

 

아마존 베드락 기반 클로드 코드 사내 통제

솔트웨어는 아마존 베드락 기반 클로드 코드 환경에 LiteLLM을 적용하는 실습도 진행했다. 기업이 클로드 코드를 사용하면서 AI 요청과 사용 환경을 사내 통제 범위 안에서 관리하는 방법을 다뤘다.

 

세미나는 조직 내 LLM 도입을 검토하거나 이미 사용 중인 기술 리더를 비롯해 AI 게이트웨이와 LiteLLM에 관심 있는 개발자·엔지니어, 사내 LLM 환경을 표준화하려는 플랫폼 엔지니어를 대상으로 진행됐다. LLM 비용을 관리하는 인프라 운영자와 민감정보 유출 등 AI 사용 위험을 관리하는 보안 담당자도 참여 대상으로 포함했다.

 

솔트웨어 이정근 대표는 “기업의 LLM 활용이 확대되면서 다양한 AI 모델을 효율적으로 연결하는 것뿐만 아니라 접근 권한과 비용, 민감정보 등 AI 사용 전반을 체계적으로 관리할 수 있는 환경을 마련하는 것이 중요해지고 있다”며 “이번 세미나를 통해 LiteLLM 기반 AI 게이트웨이 구축부터 클로드 코드 활용까지 기업의 실제 AI 운영 환경에 적용할 수 있는 방법을 직접 경험할 수 있는 기회를 제공했다”고 밝혔다.

 

#솔트웨어 #LiteLLM #아마존베드락 #AmazonBedrock #클로드코드 #ClaudeCode #AI게이트웨이 #LLM #생성형AI #가드레일 #클라우드 #AI보안