Google ML Bootcamp 회고: Gemma-2B로 금융 자문 챗봇 만들기

부제: 회귀 모델부터 LoRA 파인튜닝까지, 5개월간의 압축 성장 기록

들어가며

지난 5개월간(24년 6월~10월) Google Developers Group에서 주최한 Google Machine Learning Bootcamp에 참여했습니다. 탄탄한 기본기를 다지는 것부터 최신 LLM 트렌드를 직접 구현해보는 것까지, 현업 AI 엔지니어에게 필요한 역량을 압축적으로 경험할 수 있었던 시간이었습니다.

이번 포스팅에서는 부트캠프 전체의 여정을 되짚어보고, 특히 마지막 Gemma Sprint에서 진행했던 개인화 금융 자문 챗봇 개발 프로젝트의 문제 해결 과정과 기술적 의사결정을 깊이 있게 공유해보려고 합니다.

1. 부트캠프 여정: 기본기에서 실서비스 배포까지

부트캠프 초반에는 머신러닝의 근간이 되는 회귀 모델링에 집중했습니다. 중고차 가격 예측 대회를 통해 Scikit-learn, XGBoost, LightGBM 같은 주요 라이브러리를 다루며 단순히 모델을 호출하는 것을 넘어, 성능을 극한으로 끌어올리는 과정을 훈련했습니다.

Advanced Feature Engineering: 변수 간의 관계를 분석하고 파생 변수를 생성하며 모델이 데이터를 더 잘 이해할 수 있도록 했습니다.

Hyperparameter Tuning: Grid Search, Bayesian Optimization 등을 활용해 최적의 파라미터를 탐색했습니다.

End-to-End Pipeline: 데이터 전처리부터 모델 학습, 예측, 그리고 실서비스 배포까지 이어지는 전체 파이프라인을 구축하며 운영(MLOps) 관점의 역량을 강화했습니다.

이 과정에서 다진 탄탄한 기본기는 이후 LLM 프로젝트에서 마주친 복잡한 문제들을 해결하는 데 든든한 발판이 되어주었습니다.

2. 최종 프로젝트: Gemma-2B 금융 자문 챗봇 개발기

부트캠프의 대미는 Google의 경량 모델인 Gemma를 활용한 스프린트였습니다. 저는 '사용자 프로필 기반 개인화 금융 자문 챗봇'이라는 주제를 선정했습니다. 범용 모델인 gemma-2-2b-it를 특정 도메인에 맞춰 효율적으로 특화시키는 것이 핵심 과제였습니다.

2.1. 문제 정의 및 데이터 설계: 모델을 위한 맞춤 교과서 만들기

가장 먼저 고민한 것은 '어떻게 모델을 가르칠 것인가?'였습니다. Instruction-tuned 모델인 Gemma의 특성을 최대한 활용하기 위해, 명확한 지시(Input)와 그에 따른 모범 답안(Output) 형식으로 데이터를 설계했습니다.

사용자 프로필을 구조화된 텍스트로 입력하고, 그에 맞는 금융 조언을 출력으로 구성하여 모델이 맥락에 맞는 답변 생성 패턴을 학습하도록 유도했습니다.

2.2. 모델 최적화: 경량화와 성능 사이의 균형잡기

2B 모델도 개인 개발 환경에서는 부담스러울 수 있습니다. 제한된 리소스 내에서 안정적인 학습을 위해 성능 저하를 최소화하면서 모델을 경량화하는 전략이 필수적이었습니다.

1) 4-bit 양자화 (Quantization)

모델의 가중치를 표현하는 데이터 타입의 정밀도를 낮춰(e.g., 32-bit float -> 4-bit), 모델의 메모리 사용량을 획기적으로 줄이는 기법입니다. BitsAndBytesConfig를 사용해 NF4(Normalized Float 4) 타입으로 양자화를 적용, GPU 메모리 부담을 크게 덜어냈습니다.

2) 파라미터 효율적 파인튜닝 (PEFT) with LoRA

모델의 모든 파라미터(수십억 개)를 업데이트하는 대신, 극소수의 파라미터만 추가하고 학습하는 PEFT 기법을 적용했습니다. 특히 LoRA(Low-Rank Adaptation)는 기존 가중치 옆에 작은 크기의 행렬을 추가하여 이 부분만 학습시키므로, Full Fine-tuning 대비 훨씬 적은 리소스로 빠른 학습이 가능합니다. 이는 이번 프로젝트의 성패를 가른 핵심적인 선택이었습니다.

수치로 보는 최적화 효과

- Gemma-2B 전체 파라미터: 약 25억 개(≈2.5B) - LoRA 학습 파라미터: 약 130만 개(전체의 약 0.05%) - 메모리 관점(가중치 기준): FP16 ≈ 5.0GB → 4-bit(NF4) ≈ 1.25GB 수준 - 효과: Full-tuning 대비 학습 시간/비용을 대폭 절감하면서도, 개인 개발 환경에서 안정적으로 재현 가능

2.3. 훈련 및 결과

Hugging Face의 SFTTrainer를 활용해 준비된 데이터와 최적화 설정을 바탕으로 파인튜닝을 진행했습니다. 단 3 epoch의 짧은 학습만으로도 모델은 주어진 프로필 형식에 맞춰 제법 그럴듯한 금융 조언을 생성하기 시작했습니다.

추론 결과

학습이 완료된 LoRA 가중치를 원래 모델과 병합하여, 어디서든 쉽게 불러와 사용할 수 있는 독립적인 모델로 만들어 프로젝트를 마무리했습니다.

3. 프로젝트를 통해 배운 점

이번 부트캠프와 최종 프로젝트를 통해 얻은 가장 큰 수확은 다음과 같습니다.

PEFT는 선택이 아닌 필수: 개인 혹은 작은 팀 단위에서 LLM을 특정 도메인에 맞게 튜닝할 때, LoRA와 같은 PEFT 기법은 비용과 시간을 극적으로 절약해주는 가장 현실적인 해결책임을 체감했습니다.

데이터 설계의 중요성: "Garbage in, Garbage out" 원칙은 LLM에서도 동일하게 적용됩니다. 모델의 잠재력을 최대한 끌어내기 위해서는 모델의 특성을 이해하고 그에 맞는 고품질의 학습 데이터를 설계하는 능력이 무엇보다 중요합니다.

End-to-End 경험: 아이디어를 구체화하고, 데이터를 정제하며, 모델을 튜닝하고, 최종적으로 배포 가능한 산출물을 만들어내는 전 과정을 직접 수행하며 프로젝트 전체를 조망하는 시야를 가질 수 있었습니다.

마치며

Google ML Bootcamp에서의 5개월은 단순히 새로운 기술을 배우는 것을 넘어, 문제 해결을 위한 기술적 의사결정 능력과 끈기를 기를 수 있었던 성장의 시간이었습니다. 회귀 분석부터 Gemma 파인튜닝까지, 넓은 스펙트럼의 경험을 통해 AI 엔지니어로서 한 단계 더 도약할 수 있는 자신감을 얻었습니다. 이 경험을 발판 삼아 앞으로 더 복잡하고 도전적인 문제들을 해결해나갈 생각에 벌써부터 가슴이 뜁니다.