LG Aimers 수요 예측 해커톤 회고: 체계적인 실험으로 앙상블 전략 최적화하기

'식음업장 메뉴 수요 예측'을 주제로 한 LG Aimers 해커톤에 참여했습니다. 최종 Private Score 0.48718로 61위를 기록하며 본선 진출에는 실패했지만, 체계적인 실험을 통해 유의미한 앙상블 전략을 발견하고 최적화했던 과정을 회고해보려고 합니다.

1. 초기 전략의 실패와 피봇

처음에는 정교한 피처 엔지니어링과 트리/딥러닝 하이브리드 모델을 결합한 복잡한 모델을 구상했습니다. 하지만 이론을 코드로 옮기는 과정에서 수많은 디버깅과 예상보다 낮은 성능에 부딪혔습니다. 이 접근법은 시간 소모가 크고, 개선 방향을 잡기 어렵다고 판단했습니다.

전략 수정: 복잡한 단일 모델을 처음부터 만드는 대신, 이미 검증된 제 코드(V44)를 베이스라인으로 삼았습니다. 이 베이스라인은 각기 다른 강점을 가진 세 모델의 예측을 단순 평균하는 앙상블 구조였습니다.

- V19: 피처 기반 전문가 (LGBM, XGBoost, CatBoost) - V31: 개별 메뉴 시계열 패턴 전문가 (PatchTST) - V34.2: 글로벌 시계열 패턴 전문가 (N-BEATS)

이제 목표는 이 강력한 베이스라인을 '어떻게 더 똑똑하게 결합할 것인가'로 명확해졌습니다.

2. 체계적인 실험과 핵심 발견

가장 중요한 실험 원칙을 세웠습니다: 베이스라인을 구성하는 개별 모델은 그대로 두고, 오직 예측 결과를 결합하는 외부 로직만 수정하여 성능 변화를 관찰한다.

2.1. 실패한 가설: 모델 내부 수정

가장 먼저 시도한 것은 베이스라인의 핵심인 V19 모델에 새로운 피처를 추가하여 성능을 높이는 것이었습니다.

결과: 예측 성능 하락 (Public Score 0.5030 → 0.5092)

분석: V19 모델이 더 복잡해지면서, 다른 딥러닝 모델(V31, V34.2)들과의 예측 유사도가 높아졌습니다. 이는 앙상블의 핵심인 모델 간의 다양성(Diversity)을 해쳤고, 오히려 전체 성능을 저하시키는 결과로 이어졌습니다. 이를 통해 앙상블에서는 각 모델이 '적당히 잘하면서도 서로 다른' 예측을 내놓는 것이 중요하다는 교훈을 얻었습니다.

2.2. 성공한 가설: 외부 결합 방식 최적화

실패 분석을 바탕으로, 모델 내부는 그대로 둔 채 외부 결합 방식을 바꾸는 데 집중했습니다.

가설 1: 모델별 중요도가 다를 것이다 → 가중 평균 실험 결과, 피처 기반의 트리 모델(V19)이 앙상블의 중심추 역할을 한다는 것을 발견했다. 단순 평균 대신 V19에 더 높은 가중치를 부여하자 점수가 크게 상승했습니다.

가설 2: 평가지표(SMAPE)의 허점을 공략할 수 있다 → 후처리 SMAPE 지표는 실제 값이 0일 때 페널티가 없지만, 예측값이 0일 때 페널티가 매우 컸다. 이를 방어하기 위해, 최종 예측값이 0인 경우를 1로 바꿔주는 공격적인 후처리를 적용했고, 이는 점수를 0.4점대로 끌어올리는 결정적인 한 수가 되었습니다.

| 버전 | 핵심 전략 | Public Score | 분석 및 교훈 |

|------|-----------|--------------|--------------|

| V44 | 베이스라인 (단순 평균) | 0.5030 | 모든 것의 기준점. |

| V45 | V19 모델 내부 수정 | 0.5092 (하락) | [실패] 앙상블의 다양성 붕괴. |

| V49_B | V19 가중치 상향 (0.4) | 0.5017 (신기록) | [성공] V19가 앙상블의 중심임을 발견. |

| V50 | V49_B + 0→1 후처리 | 0.4921 (신기록) | [성공] 가중치와 후처리 조합의 효과 증명. |

이 과정을 통해 잘 만들어진 여러 모델이 있다면, 그 내부를 건드리기보다 외부 결합 방식을 정교하게 다듬는 것이 더 효과적이다라는 명확한 결론을 얻을 수 있었습니다.

3. 최종 제출 모델 코드

최종 모델은 가중 평균과 후처리를 적용한 단순한 Python 코드로 구현되었습니다.

import pandas as pd
import numpy as np

# 각 베이스라인 모델의 예측 결과 로드
pred_v19 = pd.read_csv('submission_v19.csv')['answer']
pred_v31 = pd.read_csv('submission_v31.csv')['answer']
pred_v34_2 = pd.read_csv('submission_v34_2.csv')['answer']

# V19에 0.5, 나머지 모델에 0.25의 가중치를 부여한 가중 평균
# V19가 앙상블의 중심 역할을 하므로 가장 높은 가중치를 할당
weighted_pred = 0.5 * pred_v19 + 0.25 * pred_v31 + 0.25 * pred_v34_2

# wSMAPE 지표 방어를 위한 0 -> 1 후처리
final_pred = np.where(weighted_pred == 0, 1, weighted_pred)

# 제출 파일 생성
submission = pd.read_csv('sample_submission.csv')
submission['answer'] = final_pred
submission.to_csv('final_submission.csv', index=False)

4. 회고

최종 Private Score 61위. 본선에 진출하지 못한 것은 아쉽지만, 이번 대회를 통해 복잡한 문제에 대한 체계적인 접근법과 앙상블 전략의 중요성을 체감했습니다. 특히, 완벽한 단일 모델을 향한 집착을 버리고, 검증된 모델들을 잘 섞는 것에 집중했을 때 비로소 성능이 오르기 시작했다는 점이 가장 큰 배움이었습니다.

다음 대회에서는 이 경험을 바탕으로, Temporal Fusion Transformer(TFT)와 같은 새로운 아키텍처의 모델을 앙상블에 추가하여 다양성을 더 확보하는 전략을 시도해 볼 계획입니다.