LG Aimers 5기 회고: Stacking 앙상블과 SMOTE-ENN으로 풀어본 금융 이상 거래 탐지

올여름 LG Aimers 5기 '금융 데이터 이상 거래 탐지(FDS)' 대회에 참여했습니다. 전체 데이터의 1%도 안 되는 이상 거래를 찾아내야 하는, 극심한 클래스 불균형 문제를 해결하는 것이 핵심이었습니다. 이 글은 1,400명 중 상위 5.5%를 달성하기까지의 기술적 결정과 그 과정을 기록한 회고입니다.

1. 문제 정의 및 접근 전략

평가지표는 F1-Score였다. 모든 예측을 '정상'으로만 해도 99% 정확도가 나오는 상황에서, Accuracy의 함정을 피하고 소수 클래스(이상 거래) 탐지 성능을 높이는 것이 관건이었습니다. 이를 위해 다음과 같은 파이프라인을 설계했습니다.

- 데이터 탐색(EDA) 및 전처리 - 클래스 불균형 처리 (Sampling) - 개별 모델 학습 - 앙상블을 통한 성능 극대화

2. 핵심 기술과 코드 분석

2.1. 불균형 데이터 처리: 왜 SMOTE-ENN인가?

단순 Oversampling은 과적합, Undersampling은 정보 손실의 리스크가 있습니다. SMOTE-ENN은 이 두 방식의 단점을 보완하는 하이브리드 샘플링 기법이라 선택했습니다.

- SMOTE (Oversampling): 소수 클래스의 특징을 학습해 유사한 합성 데이터를 생성, 모델이 이상 거래 패턴을 학습할 기회를 늘린다. - ENN (Undersampling): 다수 클래스 중 클래스 경계의 노이즈 데이터를 제거, 모델이 더 명확한 결정 경계를 학습하도록 돕는다.

이 조합은 F1-Score의 구성요소인 정밀도(Precision)와 재현율(Recall)을 균형 있게 개선하는 데 효과적이었습니다.

2.2. Stacking 앙상블: 더 똑똑하게 예측 결합하기

단일 모델의 한계를 넘기 위해 스태킹(Stacking) 앙상블을 구축했습니다. 일반적인 Averaging 방식과 달리, 스태킹은 '어떤 모델의 예측을 더 신뢰할지'를 학습하는 메타 모델(Meta-Model)을 사용했습니다.

- Base Models (1단계): 그래디언트 부스팅 계열의 LGBM, XGBoost, CatBoost를 사용했다. 세 모델은 각각 리프 중심/레벨 중심 성장, 범주형 변수 처리 등 학습 방식에 차이가 있어, 서로 다른 관점의 예측을 생성한다. 이 '다양성'이 앙상블 성능의 핵심이다. - Meta-Model (2단계): Base Model들의 예측값을 입력받아 최종 예측을 수행한다. 과적합 방지를 위해 보통 Logistic Regression 같은 단순한 모델을 사용한다.

데이터 분포와 리샘플링(예시 수치)

- 원본 클래스 분포: 정상 약 99,000건, 이상 약 1,000건 (이상 비율 ≈ 1.0%) - SMOTE-ENN 적용 후: 정상 약 98,500건, 이상 약 9,980건 (불균형 완화) - 검증 설정: Stratified K-Fold, k=5. 메타 모델은 OOF 예측을 입력으로 학습하여 데이터 누수를 방지

3. 결과 및 회고: 아쉬움 속에서 얻은 교훈

최종적으로 1,400명의 참가자 중 상위 5.5%라는 나쁘지 않은 성적을 거둘 수 있었습니다. 대규모 데이터 전처리부터 하이퍼파라미터 튜닝, 모델 최적화까지 실전 머신러닝 프로젝트의 전 과정을 압축적으로 경험하며 실무 역량을 한 단계 끌어올릴 수 있었습니다.

하지만 솔직히 아쉬움이 더 크다. 간발의 차이로 본선 진출의 기회를 놓쳤기 때문이다. 대회가 끝난 후 복기해보니, 다음과 같은 점들이 부족했다는 것을 깨달았습니다.

- 피처 엔지니어링의 부재: 주어진 피처를 활용하는 데 급급해, 변수 간의 관계를 분석하고 새로운 피처를 생성하는 데는 소홀했다.

- 실험 관리의 중요성: 다양한 하이퍼파라미터 조합과 모델 구조를 시도했지만, 모든 실험 과정을 체계적으로 기록하고 관리하지 못해 최적의 조합을 찾는 데 비효율적인 부분이 있었다.

- 시간 분배의 실패: 초반 데이터 탐색 및 전처리에 너무 많은 시간을 할애하여, 후반부 모델 튜닝과 앙상블 전략 고도화에 쓸 시간이 부족했다.

4. 앞으로의 계획

- 피처 엔지니어링 심화 학습: 도메인 지식을 활용한 창의적인 피처 생성 능력을 기르겠다.

- MLOps 기초 다지기: MLflow 같은 도구를 활용하여 실험 과정을 체계적으로 관리하고 재현성을 높이는 훈련을 하겠다.

- 다양한 대회 참여: Kaggle, DACON 등 다른 경진대회에 꾸준히 참여하며 실전 감각을 유지하고 새로운 기법들을 익히겠다.

마치며

비록 목표했던 본선 진출에는 실패했지만, 치열하게 고민했던 시간들은 머신러닝 역량에 단단한 밑거름이 되어줄 것이라 확신합니다.