AI 엔지니어를 위한 SQL 학습 회고

SQL은 모델링 이전 단계(데이터 준비)를 지배합니다. JOIN/GROUP BY로 학습 데이터셋을 만들고, 윈도우 함수로 DB 단 피처를 생성하며, 서브쿼리/CTE로 복잡한 문제를 구조화합니다.

1. 왜 다시 SQL인가?

모델 성능은 데이터의 질과 양에 좌우되는데, 그 데이터는 대부분 DB에 있습니다. Pandas로 대용량을 끌어와 처리하는 대신, DB 단에서 필요한 집계나 피처를 만든 뒤 최소 데이터만 전달하는 것이 훨씬 효율적입니다.

2. 핵심 기능: AI 엔지니어 관점

2.1 JOIN/GROUP BY — 학습 데이터셋의 기본

여러 테이블을 결합해 모델이 학습 가능한 단위로 정규화된 뷰를 만든다.

2.2 윈도우 함수 — DB 단 피처 엔지니어링

LAG/LEAD/RANK 등으로 시계열·순위 기반 피처를 생성한다. 예) 사용자별 직전 구매 시점으로부터의 경과 시간.

SELECT
  user_id,
  order_timestamp,
  EXTRACT(EPOCH FROM (
    order_timestamp - LAG(order_timestamp, 1) OVER (PARTITION BY user_id ORDER BY order_timestamp)
  )) AS time_since_last_order
FROM orders;

2.3 서브쿼리/CTE — 복잡도를 단계화

가독성과 재사용성을 높여 협업과 유지보수를 쉽게 한다.

3. 워크플로우 영향

- 피처 엔지니어링의 중심 이동: 무거운 연산은 SQL로 처리 - 더 빠른 EDA: GROUP BY/COUNT로 분포와 이상치 윤곽 파악 - 커뮤니케이션 개선: 문제 지점을 스키마/파티션 단위로 명확히 지적 가능