LoRA

LoRA란?

LoRA(Low-Rank Adaptation)는 거대한 AI 모델을 적은 자원으로 효율적으로 미세 조정(파인튜닝)하는 기법입니다. 옷 수선에 비유하면 이해하기 쉽습니다. 기성복을 사서 전체를 다시 만들지 않고, 소매 길이나 허리 부분만 살짝 수선하면 나에게 딱 맞는 옷이 되죠. LoRA도 마찬가지로, 수십억 개의 전체 파라미터를 건드리지 않고 핵심적인 소수의 파라미터만 조정합니다.

어떻게 작동하나요?

일반적인 파인튜닝은 모델의 모든 가중치를 업데이트하므로 막대한 GPU 메모리와 시간이 필요합니다. LoRA는 원래 모델의 가중치를 **동결(고정)**한 상태에서, 작은 크기의 행렬 두 개를 추가로 학습합니다. 이 작은 행렬들이 원래 모델의 동작을 미세하게 조정하는 역할을 합니다. 전체 파라미터의 1% 미만만 학습하면서도 전체 파인튜닝에 근접한 성능을 달성할 수 있습니다.

왜 중요한가요?

LoRA 덕분에 고성능 GPU 클러스터 없이도 개인이나 중소기업이 자체 목적에 맞게 LLM을 맞춤 조정할 수 있게 되었습니다. 일반 소비자용 GPU에서도 학습이 가능하며, 학습된 LoRA 어댑터는 수십 MB 수준으로 가벼워 공유와 교체가 쉽습니다. 오픈소스 AI 생태계의 폭발적 성장을 이끈 핵심 기술입니다.