추론 비용 (Inference Cost)
학습이 끝난 모델이 실제 요청을 처리할 때 발생하는 단위당 실행 비용
#추론 비용#Inference Cost#토큰 비용#LLM 가격
추론 비용이란?
추론 비용은 모델 학습 이후, 실제 서비스에서 프롬프트를 처리하고 응답을 생성할 때 드는 비용입니다.
보통 어떻게 측정하나요?
API 환경에서는 주로 입력·출력 토큰 단가로 측정하고, 로컬 환경에서는 GPU 감가상각, 전력비, 운영비를 합산해 계산합니다.
왜 중요한가요?
추론 비용은 제품 가격 정책, 기능 범위, 사용자당 수익성에 직접 영향을 주기 때문에 AI 서비스의 사업성 판단 핵심 지표로 쓰입니다.
관련 용어
AI 기업·투자·사업
개인 지능 (Personal Intelligence)
사용자 이력·선호·상황 맥락을 학습해 개인별로 최적화된 판단과 추천을 제공하는 AI 활용 패턴
AI 기업·투자·사업
검색엔진 최적화 (SEO, Search Engine Optimization)
Google·Bing 같은 검색엔진 결과 페이지에서 상위 노출을 목표로 하는 최적화 방식
AI 인프라/모델 최적화
경사하강법 (Gradient Descent)
손실 함수를 최소화하기 위해 기울기 반대 방향으로 파라미터를 반복 업데이트하는 최적화 방법
AI 협업·생산성 도구
깃허브 코파일럿 에이전트 (GitHub Copilot Agent)
이슈·PR 중심 개발 흐름에 통합되어 다단계 작업을 자동 수행하는 GitHub 기반 코딩 에이전트
AI 기업·투자·사업
답변엔진 최적화 (AEO, Answer Engine Optimization)
AI와 검색 엔진이 질문에 직접 답할 때 내 콘텐츠가 답변 소스로 선택되도록 구조화하는 최적화 방식
development
데이터 포터빌리티 (Data Portability)
서비스 간 이동 시 사용자 데이터와 작업 이력을 표준 형식으로 내보내고 가져올 수 있는 권리와 기술