수학의 신 프로젝트를 위한 여정: 부스트코스 '수학 공식 OCR' 수강 후기

부제: 이미지 속 수식을 LaTeX로 변환하는 모델, 그 핵심 원리를 파헤치다

1. 들어가며: '수학의 신' 프로젝트, 첫 번째 허들을 마주하다

최근 저는 '수학의 신'이라는 개인 프로젝트를 진행하고 있습니다. 이 프로젝트의 최종 목표는 AI가 수학 문제를 이해하고 풀어내는 것인데, 시작부터 커다란 기술적 허들을 마주했습니다. 바로 AI가 이미지 형태의 수학 문제를 어떻게 '읽고' 이해하게 만들 것인가 하는 문제였습니다.

단순 텍스트 추출을 넘어서, 위첨자, 분수, 루트(√)와 같은 2차원 구조의 수식을 기계가 이해할 수 있는 형태로 변환하는 기술이 필요했습니다. 이 고민에 대한 해답을 찾기 위해 네이버 커넥트재단의 부스트코스 '수학 공식을 이해하는 딥러닝 모델(OCR)' 심화 과정을 수강하게 되었습니다.

2. 왜 '수학 공식 OCR'은 특별한가?

일반적인 OCR(Optical Character Recognition)은 이미지 속 텍스트를 왼쪽에서 오른쪽으로 순차적으로 읽어냅니다. 하지만 수학 공식은 다릅니다.

2차원 공간 구조: 분수는 위아래로, 첨자는 대각선 위아래로 배치됩니다.

문맥적 의미: 같은 기호라도 위치에 따라 의미가 달라집니다 (e.g., x²와 x₂).

구조화된 출력: 단순 텍스트가 아닌, 수식의 구조를 완벽하게 표현할 수 있는 LaTeX와 같은 형식으로 변환되어야 합니다.

이러한 복잡성 때문에 수학 공식 OCR은 단순한 이미지 분류나 텍스트 인식을 넘어, 이미지의 공간적 특징을 이해(Computer Vision)하고, 이를 순차적인 언어로 번역(NLP)하는 고도의 기술을 요구합니다.

3. 강의 핵심 리뷰: 모델 아키텍처 파헤치기

강의는 이 문제를 해결하기 위한 표준적인 모델 아키텍처를 깊이 있게 다룹니다. 저는 이 구조를 '눈', '뇌', '연결고리'라는 세 부분으로 나누어 이해했습니다.

3.1. 눈 (Eyes) - CNN 기반 Encoder

모델의 '눈' 역할은 CNN(Convolutional Neural Network) 기반의 인코더가 담당합니다. ResNet이나 VGG와 같은 강력한 이미지 인식 모델을 사용하여 수식 이미지로부터 시각적인 특징(feature)들을 추출합니다. 각 기호의 형태, 상대적인 위치 등의 정보가 담긴 고차원적인 특징 맵(feature map)이 결과물로 나옵니다.

3.2. 뇌 (Brain) - Transformer 기반 Decoder

'뇌' 역할은 Transformer 기반의 디코더가 수행합니다. 인코더가 추출한 이미지 특징 맵을 입력받아, 이를 LaTeX 문자열 토큰으로 하나씩 생성해냅니다. 단순히 기호를 나열하는 것이 아니라, "분수 기호 다음에는 분자가 와야 한다"와 같은 문법적, 구조적 관계를 학습하여 전체 수식을 논리적으로 재구성합니다.

3.3. 연결고리 (Connection) - Attention Mechanism

'눈'과 '뇌'를 효과적으로 연결하는 것이 바로 어텐션(Attention) 메커니즘입니다. 디코더가 LaTeX 토큰을 하나씩 생성할 때마다, 어텐션은 이미지의 어떤 부분을 집중해서 봐야 할지 알려줍니다. 예를 들어, 분자를 생성할 때는 이미지의 위쪽 영역에, 분모를 생성할 때는 아래쪽 영역에 더 높은 주의(attention)를 기울이는 식입니다. 이는 모델이 복잡한 2차원 구조를 순차적인 언어로 정확하게 풀어낼 수 있게 하는 핵심 열쇠입니다.

4. '수학의 신' 프로젝트에 적용할 아이디어

이번 강의를 통해 얻은 지식은 제 프로젝트의 방향을 구체화하는 데 큰 도움이 되었습니다.

합성 데이터 생성 (Data Augmentation): 실제 수식 이미지 데이터는 구하기 어렵기 때문에, 다양한 LaTeX 수식을 무작위로 생성하고 이를 이미지로 렌더링하여 학습 데이터를 대량으로 구축할 계획입니다. 여기에 폰트, 노이즈, 회전 등 다양한 변형을 가해 모델의 강건함(robustness)을 높일 것입니다.

맞춤형 토크나이저 (Custom Tokenizer): 제 프로젝트가 다룰 수학 문제의 범주(e.g., 고등학교 미적분)에 맞춰, 해당 도메인에서 자주 사용되는 기호들을 중심으로 맞춤형 LaTeX 토크나이저를 구축해야 함을 깨달았습니다. 이는 모델의 학습 효율과 성능에 직결될 것입니다.

인식을 넘어 해석으로: OCR 모델이 LaTeX 문자열을 출력하는 것은 '수학의 신' 프로젝트의 첫 단추에 불과합니다. 다음 단계는 이 LaTeX를 파싱(parsing)하여 실제 연산이 가능한 심볼릭(symbolic) 표현이나 연산 트리(computation graph)로 변환하는 모듈을 개발하는 것입니다.

5. 마치며

부스트코스의 이번 강의는 단순히 특정 모델의 코드를 알려주는 것을 넘어, 문제를 어떻게 정의하고, 어떤 기술적 배경에서 해결책이 등장했는지에 대한 깊은 이해를 제공했습니다. 좋은 강의란 정답을 떠먹여 주는 것이 아니라, 스스로의 문제(저에게는 '수학의 신' 프로젝트)를 해결해 나갈 수 있는 생각의 도구와 방향을 제시해주는 것이라고 생각합니다.