엣지 AI (Edge AI)
클라우드 대신 기기에서 직접 AI를 실행하는 방식
#Edge AI#온디바이스#효율
엣지 AI란?
엣지 AI는 스마트폰, 카메라, 자동차, IoT 센서 같은 기기(엣지)에서 AI 모델을 직접 실행하는 방식을 말합니다. 클라우드 서버로 데이터를 보내 분석 결과를 받는 대신, 기기 안에서 바로 판단을 내리는 구조입니다. 옆 사람에게 바로 묻고 답을 받는 것처럼 빠르고, 네트워크가 없어도 동작합니다.
어떻게 작동하나요?
엣지 기기는 연산 자원이 제한적이므로 가볍고 최적화된 모델이 필요합니다. 이를 위해 양자화(정밀도 낮추기), 프루닝(불필요한 연결 제거), 지식 증류(큰 모델의 지식을 작은 모델에 전달) 같은 기법이 쓰입니다. 또한 스마트폰의 NPU, 전용 엣지 가속기처럼 AI 전용 칩이 성능을 보완합니다.
왜 중요한가요?
엣지 AI의 핵심 가치는 지연 시간, 프라이버시, 안정성입니다. 자율주행이나 로봇처럼 즉각 반응이 필요한 작업은 클라우드 왕복 지연이 치명적입니다. 의료 영상이나 보안 영상처럼 민감한 데이터는 기기 밖으로 나가지 않아야 합니다. 네트워크가 끊겨도 계속 동작해야 하는 상황에서도 엣지 AI는 필수입니다.
관련 용어
AI 인프라/모델 최적화
경사하강법 (Gradient Descent)
손실 함수를 최소화하기 위해 기울기 반대 방향으로 파라미터를 반복 업데이트하는 최적화 방법
AI 인프라/모델 최적화
딥러닝 (Deep Learning)
다층 신경망을 이용해 데이터의 복잡한 표현을 자동으로 학습하는 머신러닝 접근
AI 인프라/모델 최적화
레이트 리미팅 (Rate Limiting)
짧은 시간에 과도한 요청이 몰릴 때 API 호출량을 제한하는 제어 기법
AI 인프라/모델 최적화
로봇 파운데이션 모델 (Robot Foundation Model)
대규모 로봇 데이터와 멀티모달 입력으로 사전 학습되어 다양한 물리 작업에 전이 가능한 범용 로봇 AI 모델
AI 인프라/모델 최적화
로컬 AI (Local AI)
모델을 외부 API가 아닌 자체 PC·서버에서 직접 실행하는 방식
AI 인프라/모델 최적화
모델 증류 (Model Distillation)
대형 모델의 출력 신호를 활용해 더 작은 모델을 학습시키는 경량화 기법