왜 공공기관에는 온프레미스 AI가 필요한가?

공공기관과 금융권에서 AI 도입 속도가 빠르게 높아지고 있습니다. 회의록 자동 작성, 문서 요약, 민원 분류 등 다양한 업무에서 AI가 가져다주는 효율성은 분명합니다. 그러나 현장에서는 심각한 딜레마가 존재합니다. 상용 클라우드 AI 서비스는 강력하지만, 공공기관 특유의 보안 요건과 정면으로 충돌합니다. 음성 데이터와 회의 내용이 외부 서버로 전송된다는 사실 하나만으로도 많은 기관이 도입을 포기하거나 무기한 보류 상태에 놓입니다. 이 글에서는 왜 공공기관에 온프레미스 AI가 유일한 해법인지, 그리고 플러스랩스는 이 문제를 어떻게 해결하고 있는지 기술적으로 살펴봅니다.

공공기관이 클라우드 AI를 그대로 쓸 수 없는 이유

국내 공공기관은 「국가사이버안보기본법」과 행정안전부의 「전자정부법 시행령」에 따라 정보시스템을 업무 중요도에 따라 등급화하고, 인터넷과 내부 업무망을 물리적으로 분리하는 망분리 의무를 준수해야 합니다. 1급·2급 비밀을 다루는 시스템은 물론, 개인정보를 처리하는 시스템까지 이 원칙이 적용됩니다. 클라우드 AI 서비스는 구조적으로 인터넷을 통해 데이터를 송수신하므로, 망분리 환경에서는 API 호출 자체가 불가능합니다. 또한 「개인정보보호법」 제17조와 제18조는 정보주체의 동의 없이 개인정보를 제3자에게 제공하거나 목적 외 이용을 엄격히 금지합니다. 회의 참석자의 음성을 외부 AI 서버로 전송하는 행위는 이 조항의 위반 소지가 있으며, 국가정보원의 보안 적합성 검증에서도 통과하기 어렵습니다.

• •망분리 의무 위반: 클라우드 API는 인터넷을 통해 작동하므로 내부망 전용 시스템과 연결 불가
• •개인정보 국외 이전 위험: 글로벌 클라우드 사업자의 서버가 해외에 위치할 경우 법적 제약 발생
• •데이터 처리 투명성 부족: 음성·텍스트 데이터가 모델 학습에 사용될 수 있다는 약관 조항이 존재
• •보안 감사 대응 복잡성: 외부 SaaS에서의 데이터 흐름은 내부 감사자가 검증하기 어려움
• •서비스 연속성 위협: 외부 인터넷 장애 또는 클라우드 사업자 장애 시 업무 마비 발생

온프레미스 AI란 무엇인가?

온프레미스(On-Premise) AI란 AI 엔진 전체 — 음성인식(STT) 모델, 자연어처리(NLP) 모델, 대규모 언어 모델(LLM), 벡터 데이터베이스, 추론 서버 등 — 를 기관 내부 서버 인프라에 설치하여 운영하는 방식을 말합니다. 외부 클라우드나 인터넷과 완전히 분리된 폐쇄망 환경에서 모든 AI 기능이 동작하므로, 처리된 데이터는 단 한 바이트도 외부로 나가지 않습니다. 이는 단순히 "서버를 내부에 두는 것"이 아닙니다. GPU 가속 추론 환경 구성, 모델 경량화(Quantization·Distillation), 폐쇄망 업데이트 메커니즘 설계, 내부 PKI 기반 인증 연동까지, 클라우드와 동등한 성능을 폐쇄망에서 구현하는 고난도 엔지니어링 작업을 수반합니다.

플러스랩스의 온프레미스 AI 아키텍처

플러스랩스의 온프레미스 솔루션은 크게 세 계층으로 구성됩니다. 첫째, 입력 계층에는 빔포밍 마이크 어레이와 카메라가 LAN을 통해 AI 처리 서버와 연결됩니다. 둘째, 처리 계층에는 NVIDIA GPU가 탑재된 AI 서버에서 STT 엔진, 화자 분리 모듈, NLP 처리기, LLM 추론 엔진, 그리고 RAG용 벡터 DB가 모두 로컬에서 실행됩니다. 셋째, 출력 계층에서는 구조화된 회의록, 요약본, 검색 인터페이스 등 결과물이 내부 시스템(전자결재, 그룹웨어)과 연동됩니다. 외부 인터넷은 물리적 방화벽과 소프트웨어 정책으로 이중 차단되며, 모델 업데이트조차 에어갭(Air-gap) 방식으로 내부 반입합니다.

구축 시 고려해야 할 기술적 요소

• •서버 사양: GPU VRAM 용량(최소 24GB, 권장 80GB)이 LLM 모델 크기와 병렬 처리량을 결정함
• •네트워크 구성: 마이크 어레이와 AI 서버 간 레이턴시를 50ms 이하로 유지해야 실시간 처리 가능
• •보안 정책: 내부 PKI 인증서 기반 TLS 암호화, 접근 제어 목록(ACL), 감사 로그 전 구간 적용 필수
• •스토리지 전략: 회의록 벡터 임베딩 저장을 위한 NVMe SSD 기반 고속 스토리지와 테이프 백업 병행
• •유지보수 계획: 에어갭 환경의 모델 업데이트 주기(분기 1회 권장)와 보안 패치 적용 프로세스 수립
• •가용성 설계: AI 서버 이중화(Active-Standby)와 자동 Failover 설정으로 99.9% 이상 가동률 확보

공공기관 AI 도입, 어떻게 시작해야 하나?

온프레미스 AI 도입은 단계적으로 접근하는 것이 현실적입니다. 1단계로 보안 요구사항 분석과 현행 인프라 점검을 수행합니다. 어떤 데이터가 어느 경로로 이동하는지, 망분리 정책과 어떻게 충돌하는지 파악합니다. 2단계에서는 파일럿 시스템을 소규모 회의실 한 곳에 구축하여 성능과 보안을 동시에 검증합니다. 3단계에서 전체 기관으로 확산하되, 그룹웨어·전자결재 시스템과의 API 연동 설계를 병행합니다. 파트너 선택 시에는 단순 솔루션 공급이 아니라 구축·운영·유지보수까지 책임지는 원스톱 공급사를 선택하는 것이 중요합니다. ROI 분석에서는 속기사 용역비, 회의록 작성 공수, 정보 검색 시간 절감 등을 정량화하면 통상 12~18개월 이내에 투자 회수가 가능합니다.