에이전트, 게이트웨이, 메시, 벡터 DB… LLM 플랫폼을 처음부터 끝까지 굴려보면 생각보다 훨씬 많은 도구들이 엮여 돌아갑니다. 최근 사내에서 운영 중인 LLM 플랫폼을 회고하며 정리한 기술 스택 키워드를 카테고리별로 한 줄씩 정리해봤습니다. 비슷한 환경을 구축하시는 분들께 "이게 뭐 하는 친구지?" 싶을 때 빠르게 훑어볼 수 있는 용어집이 되었으면 합니다.
들어가며
LLM 기반 플랫폼은 단순히 "OpenAI API 호출하는 앱" 이상의 복잡한 시스템입니다. 모델 호출을 추상화하는 게이트웨이, 에이전트 워크플로를 시각적으로 짜는 노코드 빌더, 호출을 추적하는 관측 도구, 메모리를 담당하는 벡터/그래프 DB, 거기에 이 모든 것을 굴리는 Kubernetes 인프라와 인증/보안 레이어까지.
이 글에서는 LLM 플랫폼 운영에 실제로 등장하는 약 50여 개의 기술 키워드를 카테고리별로 정리하고, 각각에 대해 한 줄 설명을 붙여 빠르게 훑어볼 수 있도록 구성했습니다.
🏗️ 플랫폼 / 아키텍처
LLM 플랫폼의 뼈대를 구성하는 프레임워크와 게이트웨이, 그리고 벤치마크로 자주 참조되는 매니지드 서비스들입니다.
- 마이크로프론트엔드 (Module Federation) — 여러 프론트엔드 앱을 독립적으로 개발·배포하고 런타임에 통합하는 아키텍처 패턴
- Vite — ES 모듈 기반의 빠른 프론트엔드 빌드 도구이자 개발 서버
- AgentGateway — AI 에이전트와 백엔드 도구를 연결·라우팅하는 게이트웨이
- LangFlow — 드래그 앤 드롭으로 LLM 워크플로를 시각적으로 구성하는 노코드 빌더
- LiteLLM — 100+ LLM을 OpenAI API 포맷으로 통일해 호출할 수 있는 LLM 게이트웨이/프록시
- Langfuse — LLM 애플리케이션의 트레이싱·평가·관측을 제공하는 오픈소스 LLMOps 플랫폼
- Dify — LLM 앱 개발 플랫폼으로, 에이전트·RAG·워크플로를 GUI로 구성
- Azure AI Foundry — Microsoft Azure 기반 엔터프라이즈 AI 모델 개발·배포 플랫폼
- AWS Bedrock AgentCore — AWS의 매니지드 에이전트 런타임 환경
🤖 AI / LLM
모델을 호출하고, 워크플로를 구성하고, 외부 도구와 연결하고, 안전하게 만드는 데 필요한 핵심 라이브러리·프로토콜·기법들입니다.
- Claude / Claude Code / Claude Code Skill — Anthropic의 LLM과 코딩 전용 CLI 도구, 작업 패턴을 재사용하는 Skill 시스템
- LangChain — LLM 기반 애플리케이션을 컴포저블하게 구축하는 프레임워크
- MCP (Model Context Protocol) — LLM과 외부 도구·데이터 소스를 표준화된 방식으로 연결하는 프로토콜
- Semantic Kernel — Microsoft의 AI 오케스트레이션 SDK로 에이전트·플러그인 구성에 사용
- 프롬프트 엔지니어링 — JSON 포맷 강제, 페르소나 지시 등 LLM 출력을 제어하는 기법
- RAG (Retrieval-Augmented Generation) — 외부 지식을 검색해 LLM 응답에 결합하는 파이프라인
- LLM Guard — 금칙어 필터·PII 마스킹 등 LLM 입출력 가드레일 라이브러리
🗄️ 데이터베이스 / 스토어
LLM 플랫폼은 관계형·그래프·벡터·키-값·풀텍스트 검색 등 거의 모든 종류의 저장소를 다 씁니다. 메모리 계층화의 정석이라 할 만하죠.
- Neo4j — Cypher 쿼리와 RBAC을 지원하는 그래프 데이터베이스
- PostgreSQL — 강력한 기능과 확장성을 갖춘 오픈소스 관계형 데이터베이스
- Redis — 인메모리 키-값 스토어로 단기 메모리·세션 컨텍스트에 사용
- Zep — 사용자 프로파일과 선호도를 저장하는 LLM 장기 메모리 스토어
- ChromaDB — 임베딩 벡터를 저장·검색하는 오픈소스 벡터 데이터베이스
- FTS5 — SQLite의 풀텍스트 검색 확장 모듈
- ClickHouse — 대용량 로그·이벤트 분석에 최적화된 컬럼형 OLAP 데이터베이스
- Cloud SQL Proxy — GCP Cloud SQL에 안전하게 접속하기 위한 프록시 클라이언트
☸️ 인프라 / 오케스트레이션
Kubernetes 위에서 마이크로서비스를 굴리고, 빌드하고, 배포하기 위한 표준 도구 모음입니다.
- Kubernetes (GKE) — 컨테이너 오케스트레이션 플랫폼, GKE는 GCP의 매니지드 K8s
- Istio — 사이드카 프록시 기반 서비스 메시로 트래픽 관리·보안·관측 제공
- Kiali — Istio 메시의 토폴로지와 트래픽 흐름을 시각화하는 대시보드
- Kustomize — overlays와 patch로 Kubernetes 매니페스트를 템플릿 없이 관리
- Bazel / Bazelisk — Google에서 만든 다중 언어 빌드 시스템과 버전 관리 래퍼
- Docker (Colima) — 컨테이너 런타임과 macOS용 경량 Docker 환경
- Nginx — 정적 파일 서빙·리버스 프록시로 널리 쓰이는 웹 서버
- Helm / kube-prometheus-stack — Kubernetes 패키지 매니저와 Prometheus 모니터링 번들 차트
🔐 인증 / 보안
엔터프라이즈 환경에서 LLM 플랫폼을 운영하려면 SSO·시크릿 관리·인가 규칙이 필수입니다.
- Keycloak — OIDC·SAML을 지원하는 오픈소스 SSO·IAM 솔루션
- OAuth2-Proxy — 사이드카로 동작하며 OAuth2 인증을 강제하는 리버스 프록시
- SealedSecret (kubeseal) — Kubernetes Secret을 암호화해 Git에 안전히 커밋하는 도구
- JWT — 토큰 기반 인증·인가에 사용되는 JSON 웹 토큰 표준
- CEL (Common Expression Language) — Google에서 만든 가볍고 안전한 표현식 언어, 인가 규칙 등에 활용
📊 모니터링 / 관측
LLM 호출은 비싸고 느리고 비결정적이라, 관측 가능성(observability)이 일반 백엔드보다 훨씬 더 중요합니다.
- Prometheus — 시계열 메트릭 수집·쿼리에 특화된 오픈소스 모니터링 시스템
- Grafana — Prometheus 등 다양한 데이터 소스를 시각화하는 대시보드 도구
- AlertManager — Prometheus 알람을 라우팅·그룹핑·억제하는 알림 매니저
- Istio Access Log (Envoy) — Envoy 사이드카가 남기는 액세스 로그로 트래픽 분석 가능
🔧 개발 도구 / 워크플로
코드 리뷰부터 런타임, 패키지 매니저까지 — 매일 손에 닿는 도구들입니다.
- Gerrit — Change List(CL) 단위의 코드 리뷰에 특화된 Git 코드 리뷰 시스템
- k9s — 터미널에서 Kubernetes 리소스를 빠르게 탐색·조작하는 TUI 도구
- Git — 분산 버전 관리 시스템
- Python 3.10 — 스크립트와 백엔드 개발에 두루 쓰이는 인터프리터 언어
- FastAPI — 타입 힌트 기반의 빠른 Python 비동기 웹 프레임워크
- Node.js 20 / nvm — JavaScript 런타임과 버전 관리 도구
- TypeScript — 정적 타입을 지원하는 JavaScript 상위 집합 언어
- pnpm — 디스크 효율과 속도가 뛰어난 Node.js 패키지 매니저
☁️ 클라우드
플랫폼이 실제로 굴러가는 GCP 환경과 사용자 관리 SaaS입니다.
- GCP (Google Cloud Platform) — Google의 퍼블릭 클라우드 플랫폼
- Workload Identity — GCP에서 K8s 서비스 계정을 GCP IAM과 안전하게 매핑하는 메커니즘
- JumpCloud — 디렉터리 서비스·SSO·디바이스 관리를 통합한 IDaaS 플랫폼
마치며
이렇게 정리하고 보니, LLM 플랫폼이라는 게 결국 "LLM API + 잘 알려진 클라우드 네이티브 스택"의 조합이라는 게 새삼 느껴집니다. 새로운 건 모델과 프로토콜(MCP) 정도이고, 나머지 90%는 Kubernetes·Istio·Prometheus처럼 이미 익숙한 도구들로 돌아가고 있죠.
다만 차이가 있다면, 메모리(Redis/Zep) · 검색(Chroma/FTS5) · 그래프(Neo4j) 같은 다양한 저장소 계층을 동시에 다뤄야 하고, 호출당 비용이 비싸기 때문에 관측·가드레일이 일반 백엔드보다 훨씬 더 중요해진다는 점입니다.