로컬 언어 모델 미세 조정 및 RAG 설명

홈 » Python » 로컬 언어 모델 미세 조정 및 RAG 설명

매우 간소화된 OpenAI UI에 익숙해져 있다가 새로운 UI를 접하게 되면, 로컬 언어 모델 미세 조정은 다소 어렵게 느껴질 수 있습니다. 파일을 업로드하고 버튼을 클릭한 다음 마법처럼 결과가 나오기를 기다리기만 하면 되는 방식이었죠. 하지만 오픈소스 LLM을 둘러싼 생태계가 크게 발전하면서 이제는 데이터, 비용, 모델 동작에 대한 완벽한 제어권을 유지하면서도 로컬에서 이러한 경험을 재현할 수 있게 되었습니다.

브랜드의 어조에 맞춰 글을 쓰고, 내부 용어를 이해하거나, 문서에 대해 범위가 제한된 챗봇처럼 작동하는 로컬 모델을 원한다면, 목표 달성은 다양한 기법을 조합하여 가능합니다. 예를 들어, 향상된 프롬프트, 검색 증강 생성(RAG) 기법, 그리고 진정한 전문성이 필요할 때는 LoRA 또는 QLoRA와 같은 방법을 활용한 세밀한 조정 등이 있습니다. 핵심은 각 접근 방식이 실제로 어떤 역할을 하는지, 그리고 실제 워크플로우에서 어떻게 결합되는지를 이해하는 것입니다.

로컬 언어 모델을 미세 조정한다는 것은 실제로 무엇을 의미하는가?

"로컬 LLM을 미세 조정한다"라고 말할 때, 우리는 모델을 처음부터 학습시키는 것이 아닙니다. 저희는 고객님의 컴퓨터 또는 개인 인프라에 이미 사전 학습된 트랜스포머 모델을 로드하여, 고객님의 도메인, 스타일 및 작업에 맞게 가중치를 조정합니다. 사전 학습 과정에서 모델은 이미 방대한 양의 일반 텍스트를 학습하고 언어의 광범위한 패턴을 익혔지만, 이러한 지식은 단편적이며 고객님의 특정 요구 사항과 일치하는 경우는 드뭅니다.

미세 조정은 이러한 일반적인 지식을 재사용하고, 비교적 적은 양의 선별된 데이터를 사용하여 이를 특화시킵니다. 지원 티켓, 내부 문서, 대화 기록 또는 주석이 달린 JSON 구조와 같은 데이터를 활용할 수 있습니다. 대규모 GPU 클러스터에 비용을 지불하고 몇 주간의 사전 학습을 진행하는 대신, 강력한 기본 모델 위에 얇은 맞춤형 레이어를 구축하면 됩니다. 이 추가 레이어만으로도 "모든 것을 조금씩 아는" 시스템을 사내 전문가처럼 작동하도록 만들 수 있습니다.

비즈니스 관점에서 볼 때, 그 매력은 분명합니다. 데이터를 로컬에 저장하여 개인정보를 보호하고, 외부 API에 대한 의존도를 줄이며, 모든 세대에 걸쳐 일관된 어조나 형식을 유지할 수 있습니다. 많은 조직에게 있어 로컬 미세 조정은 대규모 모델의 강력한 기능을 포기하지 않고도 엄격한 규정(예: 의료, 금융 또는 EU의 AI법)을 준수하는 방법입니다.

모델 맞춤 설정에서 "방법"과 "내용"을 구분하는 것도 중요합니다. 모든 기법이 모델을 동일한 방식으로 바꾸는 것은 아니기 때문입니다. 프롬프트와 미세 조정은 모델에게 어떻게 동작해야 하는지를 알려주는 반면, RAG는 모델에 추가적인 지식을 제공하여 무엇에 대해 이야기해야 하는지를 알게 합니다. 실제로 잘 설계된 시스템은 대개 이 세 가지 기법을 모두 혼합하여 사용합니다.

LLM 개인화: 맥락, 매개변수 및 스타일

언어 모델을 개인화한다는 것은 조직의 현실에 맞춰 모델의 동작, 어휘 및 지식을 조정하는 것을 의미합니다. 일반적인 기본값을 그대로 받아들이는 대신, 내부 용어를 학습시키거나, 특정 어조를 적용하거나, "답변은 간결해야 하며 원문을 그대로 인용해야 한다"와 같은 비즈니스 규칙을 인코딩하는 등의 방법을 사용할 수 있습니다.

기업들은 주로 관련성과 정확성을 높이기 위해 이러한 유형의 적응을 모색합니다. GPT나 LLaMA 같은 기본 모델은 귀사의 CRM, 정책, 제품 설명서 또는 법률 조항을 접해본 적이 없기 때문입니다. 이러한 맥락에 접근할 수 없으면 아무리 뛰어난 LLM이라도 잘못된 결론을 내리거나 고객 지원, 규정 준수 확인 또는 내부 검색과 같은 실제 워크플로에서 쓸모없는 모호하고 수준 높은 답변만 제공할 뿐입니다.

개인화는 개인정보 보호 및 보안 전략에서도 핵심적인 역할을 합니다. 모델에 어떤 데이터가 사용되는지, 어디에 저장되는지, 그리고 어떻게 감사하는지를 정확하게 결정할 수 있기 때문입니다. 민감한 데이터가 많은 분야(임상 기록, 재무 거래, 전략 문서)에서는 추론 및 미세 조정 작업을 로컬 하드웨어에서 수행함으로써 내부 정책 및 외부 규정을 준수하기가 더 쉬워집니다.

실제로 LLM을 개인화하는 데에는 세 가지 주요 요소가 있습니다. 임시 컨텍스트 주입(RAG), 미세 조정을 통한 가중치 수정, 그리고 이 둘을 결합한 하이브리드 방식 등 다양한 방법이 있습니다. 간결한 답변, 도메인별 추론, 브랜드 스타일 등 목표에 따라 어떤 조합이 적합한지, 그리고 프롬프트 제공을 넘어 어느 정도까지 접근해야 하는지가 결정됩니다.

RAG: 외부 지식을 활용하여 세대 역량을 강화합니다.

검색 증강 생성(RAG)은 모델을 재학습시키지 않고도 개인 정보나 자주 변경되는 문서에 대해 추론할 수 있도록 하려는 경우에 가장 적합한 기술입니다. 제품 문서에 대한 챗봇이나 인사 정책에 대한 내부 비서와 같습니다. 모델에 새로운 사실을 학습시키는 대신, 질의 시점에 관련 내용을 동적으로 제공합니다.

일반적인 RAG 시스템의 아키텍처는 크게 세 단계로 구성됩니다. 먼저 콘텐츠를 벡터 임베딩으로 인덱싱한 다음, 특정 사용자 쿼리에 가장 관련성이 높은 청크를 검색하고, 마지막으로 LLM에게 해당 청크만을 기반으로 답변을 생성하도록 요청합니다. 기본 모델은 변경되지 않고, 지식 기반의 변화에 ​​따라 검색 파이프라인과 문서 저장소만 발전합니다.

이는 기업 환경에서 여러 가지 이점을 가져다줍니다. 문서 색인을 다시 생성하여 정보를 즉시 업데이트할 수 있고, 지속적인 미세 조정보다 운영 비용이 저렴하며, 특정 답변을 뒷받침하는 텍스트를 쉽게 확인할 수 있습니다. 또한, 모델이 개인 정보를 영구적으로 저장하지 않기 때문에 보안 모델이 더 간단하고 투명합니다.

반면, RAG의 성패는 복구 레이어의 품질에 달려 있습니다. 청킹 전략, 임베딩 모델, 필터 및 순위 지정 등을 포함합니다. 시스템이 적절한 구절을 찾지 못하면 LLM은 오류를 표시하거나, 정보가 코퍼스 어딘가에 존재하더라도 제공된 컨텍스트에서 답을 찾을 수 없다고 솔직하게 응답합니다.

미세 조정: 모델의 매개변수를 조정하는 것

미세 조정은 모델 자체의 내부 가중치를 하드코딩된 동작에 맞게 변경하는 것입니다. 단순히 교묘한 힌트나 외부 맥락에만 의존하는 대신, 세밀한 조정을 통해 모델이 엄격한 출력 형식을 따르도록 하거나, 특정 텍스트 스타일을 채택하도록 하거나, 잘 정의된 영역에서 추론 능력을 향상시키도록 가르칠 수 있습니다.

원하는 조정 정도와 보유한 컴퓨팅 자원에 따라 여러 가지 유형의 미세 조정 방법이 있습니다. 모든 레이어를 업데이트하는 완전 미세 조정, 상위 레이어만 학습하는 부분 미세 조정, 그리고 고정된 백본 위에 작은 학습 가능 모듈을 추가하는 어댑터 기반 또는 LoRA 스타일 접근 방식이 있습니다. 대부분의 로컬 환경에서는 마지막 그룹이 가장 실용적입니다.

기존의 완벽한 미세 조정 방식은 최대한의 유연성을 제공하지만, 일반적으로 로컬 배포에는 과도한 경우가 많습니다. 이는 여러 개의 고성능 GPU, 대규모 레이블링 데이터 세트 및 신중한 정규화를 요구하기 때문입니다. 과적 합 vs 과소 적합하지만 결과적으로 공유, 버전 관리 및 롤백이 더 어려운, 작업에 특화된 무거운 모델이 만들어집니다.

LoRA 및 QLoRA와 같은 어댑터 기반 방식은 원래 가중치를 고정함으로써 이러한 상충 관계를 뒤집습니다. 그리고 작업별 변경 사항을 인코딩하는 간결한 "델타"만 학습합니다. 이 소수의 추가 매개변수는 필요에 따라 로드 및 언로드할 수 있으므로 전체 모델 체크포인트를 복제하지 않고도 하나의 기본 모델을 여러 특수 변형 모델로 변환할 수 있습니다.

LoRA, QLoRA 및 효율적인 로컬 미세 조정

저랭크 적응(LoRA)은 일반 하드웨어에서 로컬 미세 조정을 가능하게 하는 핵심 요소 중 하나입니다. LoRA는 성능을 유지하면서 학습 가능한 매개변수의 수를 획기적으로 줄이기 때문입니다. 거대한 가중치 행렬을 직접 수정하는 대신, LoRA는 업데이트를 훨씬 작은 두 행렬의 곱으로 근사화하여 효과적으로 저차원 변환을 나타냅니다.

사전에 학습된 기본 가중치는 고정된 상태로 유지되며, 실제로 최적화하는 것은 소위 델타 가중치입니다. 기본 모델과 원하는 조정된 동작 간의 차이입니다. 추론 과정에서 이러한 차이는 관련 레이어에 주입되어 실제 가중치는 "기본 + 작업별 조정"이 되지만, 필요에 따라 언제든지 이러한 조정을 쉽게 분리하거나 교체할 수 있습니다.

이는 로컬 워크플로에 두 가지 실질적인 결과를 가져옵니다. 첫째, 미세 조정 속도가 훨씬 빨라지고 메모리 사용량도 줄어들어 수십억 개의 매개변수를 가진 모델도 최신 GPU 하나 또는 고성능 소비자용 하드웨어에서 조정할 수 있게 됩니다. 둘째, 다양한 작업(법률 문서 작성, 고객 지원, 기술 문서 작성 등)에 맞는 LoRA 어댑터 라이브러리를 유지하고 최소한의 오버헤드로 전환할 수 있습니다.

QLoRA는 학습 전에 기본 모델을 더 낮은 정밀도로 양자화함으로써 이 아이디어를 더욱 발전시켰습니다. VRAM 요구량을 더욱 줄여줍니다. LoRA 어댑터는 여전히 그 위에 학습되지만, 기본 백본은 압축됩니다. Mixtral-8x22B, Mistral-7B 또는 BLOOM-7B와 같은 모델을 온프레미스 환경에서 완전히 실험하는 팀에게 QLoRA는 "컴퓨터에 설치 가능"과 "전혀 불가능" 사이의 차이를 만들어낼 수 있습니다.

RAG 방식과 미세 조정 방식: 각각의 장점이 드러나는 순간

RAG와 미세 조정은 모두 모델을 개인화하는 방법이지만, 스택의 서로 다른 계층에서 작동합니다. 따라서 둘 중 하나를 선택하거나 (혹은 어떻게 조합할지) 결정하는 것은 최적화하려는 목표에 따라 달라집니다. 예를 들어 동적 지식, 스타일 제어, 설명 가능성, 비용 또는 유지 관리 부담 등이 있습니다.

RAG는 ​​지식이 자주 변경되거나 완벽한 추적성이 요구되는 경우에 가장 적합합니다. 법규, 제품 카탈로그 또는 지속적으로 업데이트되는 기술 문서와 같은 자료를 활용할 수 있습니다. 모델은 일반적인 형태로 유지하고 벡터 저장소에서 가져온 최신 검증된 컨텍스트를 주입합니다. 콘텐츠 업데이트는 새 문서를 다시 인덱싱하는 것만큼 간단하며 재학습이 필요하지 않습니다.

정밀 조정은 깊이 있고 안정적인 전문 지식과 일관된 행동이 필요할 때 빛을 발합니다. 예를 들어 엄격한 JSON 스키마를 적용하거나, 특정 글쓰기 스타일을 재현하거나, 사소한 디테일이 매우 중요한 고도로 전문화된 영역을 숙달하는 것과 같은 경우입니다. 모델이 이러한 동작을 내재화하면 올바른 출력을 얻기 위해 장황한 프롬프트나 불안정한 지침에 의존할 필요가 없습니다.

운영적인 관점에서 볼 때, RAG는 비용이 저렴하고 유지 관리가 더 쉬운 경향이 있습니다. 주로 문서 파이프라인과 임베딩 인덱스를 관리하기 때문입니다. 반면, 미세 조정에는 탄탄한 학습 데이터, 컴퓨팅 리소스, 데이터 변동 모니터링, 그리고 도메인 변화에 따른 주기적인 재학습이 필요합니다.

보안 및 편향 프로필도 다릅니다. RAG는 ​​기본 모델을 그대로 유지하므로 내재된 편향을 변경하지 않지만 개인 데이터를 영구적으로 혼합하지도 않습니다. 미세 조정은 모델을 데이터 세트에 직접 노출시키므로 강력한 기능이지만, 편향, 오류 또는 민감한 정보가 가중치에 인코딩되는 것을 방지하기 위해 강력한 데이터 관리 체계가 필요합니다.

하이브리드 전략: RAG와 미세 조정의 혼합

많은 실제 프로젝트에서 성공적인 공식은 RAG를 활용한 지식 기반 접근 방식과 스타일 및 프로토콜에 대한 가벼운 미세 조정을 결합한 하이브리드 구성입니다. 이를 통해 사용자는 맥락을 최신 상태로 유지하면서 모델이 사용자가 요구하는 정확한 어조와 형식으로 답변하도록 학습할 수 있습니다.

구체적인 예로 내부 문서 관리 도우미를 생각해 보겠습니다. RAG는 ​​매뉴얼, 정책 및 위키에서 정보를 검색하여 콘텐츠의 최신성과 추적성을 보장합니다. 그런 다음 간단한 LoRA 미세 조정을 통해 모델이 불필요한 잡담을 피하고 간결하게 답변하며 주장을 뒷받침하는 문맥상의 정확한 문장을 항상 인용하도록 학습시킵니다. 그 결과, 수다스러운 일반적인 봇이 아닌, 집중적이고 신뢰할 수 있는 도구가 탄생합니다.

자연어 인터페이스를 애플리케이션에 구축할 때도 하이브리드 접근 방식이 일반적입니다. 예를 들어 음성 명령을 구조화된 동작으로 변환하는 음성 기반 모바일 앱이 있습니다. 복잡한 명령을 개별 단계로 나누기 위해 프롬프트만 사용할 수도 있고, 각 명령을 백엔드에서 실행할 수 있는 JSON 스키마로 안정적으로 매핑하기 위해 세밀한 조정을 활용할 수도 있습니다.

이를 실현하기 위해서는 건축이 중요합니다. 검색, 모델 추론 및 후처리를 모듈화하면 각 부분을 독립적으로 반복 작업할 수 있습니다. 전체 시스템을 변경하지 않고도 인덱스를 개선하거나, LoRA 어댑터를 업데이트하거나, 유효성 검사 규칙을 변경할 수 있습니다. 이는 실제 사용 환경에서 예상치 못한 예외 상황이 발생할 수 있기 때문에 매우 중요합니다.

RAG 챗봇 사용 사례를 통해 로컬 미세 조정을 평가합니다.

미세 조정이 실제로 어떤 영향을 미치는지 확인하는 좋은 방법은 고정된 문서 세트를 기반으로 구축된 RAG 챗봇을 살펴보는 것입니다. 목표는 단순히 정답을 맞추는 것뿐만 아니라, 사용자들이 쉽게 이해할 수 있는 간결하고 표준화된 형식으로 답변하는 것입니다.

수백 개의 대화로 이루어진 코퍼스가 있고, 각 대화에는 여러 개의 질문-답변 쌍이 있다고 상상해 보세요. 컴퓨터 언어학자 또는 해당 분야 전문가가 선별하고 검증한 데이터셋입니다. 이 데이터셋을 미세 조정을 위한 훈련 부분과 시스템의 일반화 성능을 평가하기 위한 테스트 부분으로 나눕니다. 답변은 관련성, 맥락적 근거, 허구적 표현의 부재 등의 기준에 따라 1점에서 5점까지 점수가 매겨집니다.

이 설정을 미세 조정 없이 GPT-3.5와 같은 기성 API 모델에 연결하면, 평균 점수는 5점 만점에 3.6점 정도로 괜찮을 수 있지만, "제공된 맥락에 따르면…"과 같은 장황한 면책 조항을 모든 답변에 덧붙이거나, 과도한 사과를 하거나, 요청한 정보가 실제로는 맥락에 맞는데도 불구하고 없다고 주장하는 등 짜증나는 행동을 보일 수 있습니다.

이제 StableLM 12B와 같은 오픈 소스 모델을 가져와서 훈련 데이터셋에서 로컬로 미세 조정하고 동일한 평가 데이터셋에서 테스트해 보세요. 검색된 컨텍스트에서 간결하고 정확한 답변을 추출하는 작업에 특화되도록 조정했습니다. 이러한 유형의 실험에서, 세밀하게 조정된 로컬 모델은 일반 API보다 1점 더 높은 5점 만점에 4.5점 이상의 점수를 달성할 수 있습니다.

질적인 차이는 측정 지표만큼이나 중요합니다. 정교하게 조정된 모델은 중복되는 표현이 적고, 정보가 부족할 때 사과하는 횟수가 줄었으며, 문맥 속에서 관련 정보를 더 정확하게 찾아낼 수 있습니다. 다시 말해, 단순히 사용자의 작업에 대해 더 많이 아는 것뿐만 아니라, 사용자가 선호하는 답변 스타일까지 학습한 것입니다.

데이터, 주석 및 미세 조정 생태계

성공적인 미세 조정 뒤에는 세심하게 설계된 데이터 생태계가 존재합니다. 모델은 입력되는 예제에서 일관되게 나타나는 패턴만 학습할 수 있기 때문입니다. 구조화된 작업의 경우, 이는 백엔드가 기대하는 것과 일치하는 정확한 주석이 달린 문장을 제공해야 함을 의미합니다.

첫 번째 구성 요소는 명확한 표현 체계입니다. 의도, 매개변수 및 이러한 요소가 구조화된 엔티티에 매핑되는 방식을 정의합니다. 캘린더 도우미의 경우 주최자, 참석자, 시작 시간, 기간, 위치 또는 제목과 같은 속성을 지정할 수 있으며, 각 속성에는 고유한 하위 스키마가 있습니다(예: 유효한 사용자 객체의 구성 요소: 이름, 이메일, 조직 등).

다음으로, 사람이 라벨을 붙이는 작업을 일관성 있게 유지할 수 있는 주석 가이드라인이 필요합니다. 예를 들어, 화자를 이벤트 주최자로 태그하는 시점, 암묵적인 역할을 처리하는 방법, 모호한 구문을 처리하는 방법 등을 구체적으로 명시해야 합니다. 이러한 지침은 언어적 기준과 도메인 지식을 결합할 수 있으며, 모델을 혼란스럽게 할 수 있는 잡음이 많고 모순적인 레이블을 방지하는 데 매우 중요합니다.

스키마에 맞춘 주석 도구를 사용하면 모든 과정이 완료됩니다. 이상적으로는 구조적 유효성과 의미적 일관성에 대한 자동 검사를 제공해야 합니다. 일부 자체 개발 도구는 "모든 이벤트 의도에는 특정 유형의 주최자가 정확히 하나 있어야 한다"와 같은 유효성 검사 규칙을 인코딩하여 학습 후에 불일치를 발견하는 대신 오류를 조기에 잡아냅니다.

이 모든 것을 종합해 보면, 미세 조정은 일회성 스크립트가 아니라 파이프라인처럼 진행됩니다. 도메인 이해관계자와의 협업을 통해 스키마를 정의하고, 전문가 주석자를 통해 예제를 생성 및 검토하며, 데이터 세트를 검증, 버전 관리 및 모니터링하는 인프라를 구축해야 합니다. 단순한 프롬프트 입력보다 훨씬 더 많은 노력이 필요하지만, 바로 이러한 엄격한 기준 덕분에 견고하고 실제 운영 환경에 적합한 로컬 모델을 만들 수 있습니다.

초보자도 쉽게 시작할 수 있는 로컬 미세 조정

만약 여러분이 이전에 OpenAI의 미세 조정 UI만 사용해 본 경험이 있다면, 처음에는 로컬 환경이 다소 복잡하게 느껴질 수 있습니다. 하지만 다행히도 최신 도구 덕분에 진입 장벽이 크게 낮아졌습니다. 이제 더 이상 PyTorch로 직접 학습 루프를 작성하지 않고도 모델을 자신의 스타일에 맞게 조정할 수 있습니다.

Mistral-7B, Mixtral-8x22B, StableLM 또는 BLOOM-7B와 같은 인기 있는 오픈 소스 모델에는 이제 바로 사용할 수 있는 레시피가 함께 제공됩니다. LoRA 또는 QLoRA용 구성 템플릿과 Hugging Face Transformers 및 PEFT와 같은 라이브러리와의 통합을 포함합니다. 많은 커뮤니티 프로젝트에서 이러한 기능을 간단한 명령줄 도구 또는 그래픽 인터페이스로 제공하며, 사용자는 데이터셋을 지정하고 어댑터 구성을 선택한 후 학습을 시작할 수 있습니다.

상위 수준 워크플로는 OpenAI에서 했던 것과 동일합니다. 학습 파일(일반적으로 입력-출력 쌍이 포함된 JSONL 형식)을 준비하고, 명령어 미세 조정 또는 스타일 모방 중 어떤 것을 원하는지 지정하고, 하드웨어에 맞는 기본 모델을 선택한 다음, 어댑터 학습을 시작하는 스크립트를 실행합니다. 학습이 완료되면 기본 모델과 학습된 어댑터를 로드하여 로컬에서 "미세 조정된" 모델을 추론에 사용할 수 있습니다.

파이썬은 이러한 도구들 대부분을 연결하는 핵심 언어로 남아 있습니다. 데이터 전처리, 학습 실행 시작, RAG용 벡터 저장소 통합, 그리고 적응형 모델을 기반으로 한 간단한 API 구축까지 모든 과정을 자동화할 수 있습니다. 기본적인 데이터 과학 지식만 있으면 단계별 튜토리얼을 따라가며 호스팅 제공업체에서 제공하는 서비스와 놀라울 정도로 유사한 시스템을 구축할 수 있습니다. 이제 모든 시스템을 직접 제어할 수 있습니다.

이러한 기술이 발전함에 따라 에이전트가 자체 개선 루프를 관리하는 더욱 정교한 시스템을 볼 수 있습니다. RAG를 통해 새로운 컨텍스트를 검색하고, 안정적인 패턴이 나타나면 간단한 미세 조정을 예약하며, 이상 징후가 감지되면 재인덱싱 또는 사람의 검토를 트리거합니다. 나아갈 방향은 분명합니다. 조직의 목표에 부합하고 감사 가능성을 유지하면서 지속적으로 적응하는, 고도로 개인화되고 로컬에서 관리되는 LLM을 구축하는 것입니다.

이 모든 것은 원하는 스타일과 도메인에 맞는, 세밀하게 조정된 로컬 언어 모델을 구축하는 것이 더 이상 연구 단계에서만 누릴 수 있는 사치가 아니라는 것을 의미합니다. 오픈 소스 LLM, LoRA 및 QLoRA와 같은 효율적인 기술, 견고한 데이터 관리 방식, 하이브리드 RAG 아키텍처를 활용하면 규모가 매우 다양한 팀들이 자체적인 전문화된 비서를 배포하여 일반 API보다 실제 작업에서 뛰어난 성능을 발휘하는 동시에 데이터, 규정 준수 및 장기적인 발전을 스스로 관리할 수 있습니다.