AI 논문 읽는 법과 최신 연구 따라가기

AI는 몇 달마다 새 방법이 나오는 분야라, 남이 요약해 준 소식보다 원문을 읽는 힘이 큰 무기가 돼요. 논문이 나오는 곳과 구조, 세 번 나눠 읽는 방법, 수식을 기호표와 코드로 옮기는 법을 익히고, GPT-3 논문의 파라미터 수와 학습 계산량을 직접 검산해 봐요. 작은 점수 차이가 우연일 수 있는지 따져 보는 계산, 비판적으로 읽는 점검표, 작게 재현하는 전략, 쏟아지는 소식 속에서 꾸준히 따라가는 습관과 이 가이드북에 이어지는 고전 논문 목록까지 정리해요.

고급강의 6 / 6약 12분

이 가이드북은 강의마다 "2017년의 한 연구", "2023년에 나온 방법"을 언급했어요. 그 뒤에는 모두 논문이 있어요. AI는 몇 달마다 새 방법이 나오는 분야라, 책과 강의가 따라잡지 못하는 내용이 많아요. 그리고 뉴스와 SNS의 요약은 과장되거나 중요한 조건이 빠지기 쉬워요. 그래서 원문을 직접 읽는 힘이 큰 무기가 돼요.

논문을 처음부터 끝까지 다 이해할 필요는 없어요. 목표는 세 가지예요. 무엇을 주장하는가, 무슨 증거가 있는가, 어떤 한계가 있는가. 이 세 가지만 뽑아내도 소식을 듣는 사람에서 판단하는 사람이 돼요.

논문은 어디서 나올까

  • arXiv(아카이브): 연구자들이 논문을 심사 전에 바로 올리는 공개 저장소예요. AI 논문 대부분이 여기에 먼저 나와요. 빠르지만 아직 검증받지 않은 글이라는 점을 기억해요.
  • 학회: AI는 학술지보다 학회가 중심이에요. 머신러닝은 NeurIPS, ICML, ICLR, 자연어 처리는 ACL과 EMNLP, 컴퓨터 비전은 CVPR과 ICCV가 대표적이에요. 다른 연구자들의 심사(동료 심사)를 거쳐요. 다만 심사를 통과했다고 다 맞는 건 아니에요.
  • 기업의 기술 보고서: 큰 모델을 만든 회사들이 내는 보고서예요. 결과는 많이 보여 주지만, 데이터와 학습 방법의 세부 사항은 빠진 경우가 많아요.
  • 모델 카드, 시스템 카드: 모델의 용도, 평가 결과, 안전성 시험, 한계를 정리한 문서예요. 모델을 쓰기 전에 읽어 두면 좋아요.

논문의 생김새

부분무엇이 있나읽으며 물을 것
제목과 초록주장의 요약한 문장으로 말하면 무엇을 했나?
서론문제, 왜 중요한가, 기여 목록새로운 점이 정확히 무엇인가?
관련 연구기존 연구와의 관계무엇과 비교해야 하나?
방법핵심 아이디어, 수식, 구조 그림핵심을 내 말로 설명할 수 있나?
실험데이터, 비교 대상(기준선), 지표공정한 비교인가?
결과표와 그래프차이가 우연보다 큰가?
절제 실험부품을 하나씩 빼 보는 실험효과를 낸 게 정말 그 아이디어인가?
한계저자가 인정한 약점내 상황에도 해당하나?
부록하이퍼파라미터, 추가 실험다시 만들 수 있을 만큼 적혀 있나?

절제 실험은 특히 중요해요. 새 방법이 A, B, C 세 부품으로 이뤄져 있는데 성능이 좋았다면, 정말 셋 다 필요한지는 하나씩 빼 봐야 알 수 있어요. 가끔은 저자가 강조한 부품보다 사소해 보이는 설정 하나가 효과의 대부분을 내기도 해요.

세 번 나눠 읽기

컴퓨터 과학자 케샤브가 2007년에 정리한 "세 번 읽기" 방법이 널리 쓰여요.

  1. 첫 번째 (5분에서 10분): 제목, 초록, 서론, 소제목, 결론, 그림과 표만 봐요. 그리고 다섯 가지를 답해 봐요. 어떤 종류의 논문인가(새 방법, 분석, 시스템)? 어떤 연구들과 이어지나? 가정이 그럴듯한가? 기여는 무엇인가? 잘 쓰였나? 여기서 계속 읽을지 정해요. 대부분의 논문은 첫 번째 읽기로 충분해요.
  2. 두 번째 (1시간 안팎): 그림과 표를 꼼꼼히 보고, 증명 같은 세부는 건너뛰어요. 이해 안 되는 부분과 더 읽어야 할 참고 문헌을 표시해요. 끝나면 동료에게 논문의 요점을 증거와 함께 설명할 수 있어야 해요.
  3. 세 번째 (몇 시간): 저자가 된 것처럼 논문을 다시 만들어 봐요. 같은 가정에서 출발해 내가 했다면 어떻게 했을지 생각하고, 숨은 가정과 빠진 부분을 찾아요. 정말 중요한 논문에만 해요.

수식 읽기: 기호표와 코드

수식은 논문에서 가장 겁나는 부분이지만, 요령이 있어요.

  1. 기호표 만들기: 기호마다 무엇이고 모양(크기)이 무엇인지 적어요. 크기를 맞춰 보면 이해가 맞는지 바로 드러나요.
  2. 코드로 옮기기: 수식 한 줄을 코드 한 줄로 바꿔 봐요. 이 가이드북이 계속 해 온 일이에요.

파인튜닝 강의의 LoRA 식으로 해 볼게요.

W′=W+αrBAW' = W + \frac{\alpha}{r} B A
기호뜻모양
WW원래 가중치 (얼려 둠)dout×dind_{\text{out}} \times d_{\text{in}}
BB학습하는 행렬, 0에서 시작dout×rd_{\text{out}} \times r
AA학습하는 행렬, 무작위로 시작r×dinr \times d_{\text{in}}
rr계수숫자 (보통 8에서 64)
α\alpha크기 조절숫자

BABA의 모양이 (dout×r)(r×din)=dout×din(d_{\text{out}} \times r)(r \times d_{\text{in}}) = d_{\text{out}} \times d_{\text{in}}으로 WW와 같으니 더할 수 있어요. 이렇게 확인하고 나면 코드는 W + (alpha / r) * B @ A 한 줄이에요. 확산 모델 강의의 생성 식, LLM 평가 강의의 pass@k 식도 같은 방법으로 코드로 옮겼어요.

실습: 논문의 숫자를 검산하기

논문을 제대로 이해했는지 확인하는 가장 좋은 방법은 논문의 숫자를 직접 다시 계산해 보는 것이에요. 2020년의 GPT-3 논문은 여러 크기의 모델을 표로 정리했어요. 층 수, 은닉 차원이 적혀 있으니 파라미터 수를 검산할 수 있어요.

트랜스포머 블록 하나에는 어텐션의 질의, 키, 값, 출력 행렬(4d24d^2)과 MLP의 두 행렬(d×4dd \times 4d와 4d×d4d \times d, 합쳐서 8d28d^2)이 있어요. 블록마다 약 12d212d^2이에요. 여기에 토큰 임베딩(어휘 크기 ×d\times d)과 위치 임베딩(맥락 길이 ×d\times d)을 더해요.

import math

vocab, context = 50257, 2048                          # GPT-3의 어휘 크기와 맥락 길이
for name, layers, d, reported in [("Small", 12, 768, 125e6), ("XL", 24, 2048, 1.3e9),
                                  ("175B", 96, 12288, 175e9)]:
    blocks = 12 * layers * d * d                      # 블록마다 12 d^2
    embed = vocab * d + context * d                   # 토큰 임베딩 + 위치 임베딩
    total = blocks + embed
    print(f"{name}: 계산 {total / 1e9:.3f}B, 논문 {reported / 1e9:.3f}B, "
          f"비율 {total / reported:.3f}, 임베딩 비중 {embed / total:.1%}")
Small: 계산 0.125B, 논문 0.125B, 비율 1.001, 임베딩 비중 32.1%
XL: 계산 1.315B, 논문 1.300B, 비율 1.012, 임베딩 비중 8.1%
175B: 계산 174.589B, 논문 175.000B, 비율 0.998, 임베딩 비중 0.4%

세 모델 모두 1% 안에서 맞아요. 층 정규화와 편향 같은 작은 항을 빼고 계산했는데도요. 이렇게 맞으면 구조를 제대로 이해했다는 신호예요. 맞지 않으면 무엇을 빠뜨렸는지 찾아보면 돼요(출력층을 임베딩과 공유했는지, MLP 크기가 4d4d가 맞는지 같은 것).

덤으로 얻은 통찰도 있어요. 임베딩의 비중이 작은 모델에서는 32%나 되지만 175B에서는 0.4%예요. 블록은 d2d^2으로 늘고 임베딩은 dd로만 늘어서, 모델이 커질수록 파라미터 대부분이 트랜스포머 블록에 몰려요. 그래서 큰 모델의 계산량과 메모리를 어림할 때는 블록만 세도 거의 맞아요.

학습 계산량도 검산할 수 있어요. 사전 학습 강의의 C≈6NDC \approx 6ND로 계산하면 이래요.

N, D = 175e9, 300e9                                   # 파라미터 수, 학습 토큰 수
print(f"{6 * N * D:.2e}")                             # 논문의 부록에는 3.14e+23 FLOPs
3.15e+23

논문의 부록에 적힌 3.14e+23과 거의 같아요. 이런 검산은 몇 분이면 되고, 숫자를 외우는 대신 숫자가 어디서 오는지 알게 해 줘요.

점수 차이가 우연보다 큰가

논문의 결과표에서 새 방법이 기존 방법보다 0.5%p 높다고 해 볼게요. 이 차이를 믿어도 될까요? LLM 평가 강의에서 본 것처럼, 시험 문제 수가 정해 줘요.

def needed_gap(acc, n):                               # 두 점수를 따로 비교할 때 95% 기준
    return 1.96 * math.sqrt(2 * acc * (1 - acc) / n)

for n in (500, 1000, 10000):
    print(f"문제 {n:,}개, 정확도 70% 근처: 적어도 {needed_gap(0.7, n):.1%}p는 차이 나야 해요")
문제 500개, 정확도 70% 근처: 적어도 5.7%p는 차이 나야 해요
문제 1,000개, 정확도 70% 근처: 적어도 4.0%p는 차이 나야 해요
문제 10,000개, 정확도 70% 근처: 적어도 1.3%p는 차이 나야 해요

1,000문제짜리 시험에서 0.5%p 차이는 우연으로 충분히 생겨요. 같은 문제로 짝지어 비교하면 더 작은 차이도 잡을 수 있지만(LLM 평가 강의), 논문이 그렇게 분석했는지, 여러 번 실행해 흔들림(오차 막대)을 보여 줬는지 확인해요. "최고 성능 달성"이라는 말 뒤에 작은 차이만 있다면 의심해 볼 만해요.

비판적으로 읽는 점검표

  • 기준선이 공정한가: 비교 대상이 최신 방법인가? 새 방법만큼 공들여 조정했나?
  • 조건이 같은가: 계산량, 데이터 양, 모델 크기가 같은 조건에서 비교했나? 더 많이 학습시킨 것만으로 이긴 건 아닌가?
  • 차이가 오차보다 큰가: 여러 씨앗으로 실행했나? 신뢰 구간이나 오차 막대가 있나?
  • 시험 문제가 새지 않았나: 공개 시험이 학습 데이터에 섞였을 가능성(오염)을 확인했나?
  • 지표가 목표를 재는가: 높은 점수가 정말 원하는 능력을 뜻하나?
  • 예시를 골라 보여 주지 않았나: 결과 그림의 예시가 잘된 것만 고른 것은 아닌가? 실패 사례도 보여 줬나?
  • 절제 실험이 주장을 뒷받침하나: 핵심 아이디어를 빼면 정말 성능이 떨어지나?
  • 재현할 수 있나: 코드와 데이터가 공개됐나? 다른 연구자가 재현했나? 사전 학습 강의의 친칠라 공식처럼, 재현 연구에서 맞춤 값의 문제가 드러나기도 해요.
  • 이해관계가 있나: 자기 회사 제품을 알리는 보고서라면 더 꼼꼼히 봐요.

작게 재현하기

정말 중요한 논문이라면 작게 재현해 보는 게 가장 깊이 이해하는 방법이에요. 큰 모델과 큰 데이터는 필요 없어요.

  1. 논문의 핵심 주장 하나를 고르기: "LoRA는 적은 파라미터로 전체 파인튜닝만큼 행동을 바꾼다"
  2. 가장 작은 실험 설계하기: 미니 GPT에게 존댓말 가르치기
  3. 기준선과 함께 돌리기: 전체 파인튜닝과 비교
  4. 정확한 숫자가 아니라 방향과 크기가 맞는지 보기

이 가이드북의 실습들이 이런 작은 재현이었어요. 미니 GPT의 LoRA, 2차원 점의 확산 모델, 선호 비교로 배운 보상 모델, 절벽 걷기의 Q-러닝과 SARSA. 작게 재현해 보면 논문에 적히지 않은 어려움(학습률, 초기화, 숫자 안정성)이 드러나는데, 그게 진짜 공부가 돼요.

최신 연구 따라가기

  • 시간을 정해요: 매일 10분 새 논문의 제목과 초록을 훑고, 매주 한 편을 깊게 읽는 식으로요. 모든 걸 따라가려 하면 지쳐요.
  • 출처를 고르게: arXiv의 분야별 새 논문 목록, 주요 학회의 발표 목록, 관심 있는 연구실과 저자의 페이지, 믿을 만한 뉴스레터와 독서 모임이 좋아요.
  • 새 분야는 서베이부터: 한 분야를 정리한 서베이 논문을 먼저 읽으면 지도가 생겨요.
  • 과장을 걸러요: "혁명", "인간을 넘었다" 같은 말보다 표와 절제 실험을 봐요.
  • LLM의 도움은 확인하며: 논문 요약, 낯선 용어 설명, 읽을 때 던질 질문 만들기에 LLM은 큰 도움이 돼요. 하지만 숫자와 인용은 지어낼 수 있으니, PDF를 직접 넣고 쪽수를 달게 해서 원문과 맞춰 봐요(RAG 강의). 읽지 않은 논문을 인용하지 않아요.
  • 기록해요: 한 편마다 한 문단으로 주장, 증거, 한계, 내 생각을 적어 두면, 몇 달 뒤 "그거 어디서 봤더라"에 답할 수 있어요.

이 가이드북과 이어지는 고전 논문

해논문(흔히 부르는 이름)핵심이어지는 강의
2012AlexNet깊은 합성곱 신경망과 GPU로 이미지 인식 대회 압승딥러닝: CNN
2013word2vec단어를 의미 있는 벡터로LLM: 토큰과 임베딩
2014Adam가장 널리 쓰이는 옵티마이저딥러닝: 학습 기술
2014Dropout뉴런을 무작위로 꺼서 과적합 줄이기딥러닝: 학습 기술
2015ResNet잔차 연결로 아주 깊은 망 학습딥러닝: CNN
2015DQN화면만 보고 게임을 배운 강화학습AI 엔지니어링: 강화학습
2017Attention Is All You Need트랜스포머LLM: 트랜스포머
2018BERT앞뒤 문맥을 함께 보는 인코더 방식의 사전 학습(GPT의 이어 쓰기와 다른 길)LLM: 트랜스포머
2020GPT-3규모와 퓨샷 학습LLM: 프롬프트, 사전 학습
2020스케일링 법칙손실이 규모에 따라 거듭제곱으로 줄어요LLM: 사전 학습
2020DDPM실용적인 확산 모델LLM: 생성 모델
2020RAG검색해서 생성하기LLM: RAG
2021LoRA낮은 계수 어댑터로 파인튜닝LLM: 파인튜닝
2022InstructGPT지시 학습과 사람 피드백 강화 학습LLM: 정렬
2022친칠라계산량에 맞는 모델 크기와 데이터 양LLM: 사전 학습
2022ReAct생각과 행동을 번갈아 하는 에이전트LLM: 에이전트
2022FlashAttention정확하면서 빠른 어텐션 계산AI 엔지니어링: 추론 최적화
2023DPO보상 모델 없이 선호로 직접 학습LLM: 정렬

처음에는 각 논문의 초록과 그림 1, 결과표 하나만 보는 첫 번째 읽기로 시작하세요. 이 가이드북에서 이미 핵심을 코드로 만져 봤으니, 생각보다 훨씬 잘 읽힐 거예요.

실습

  1. GPT-3 표의 다른 크기(예: Medium, 24층, 은닉 차원 1,024, 논문 값 3억 5천만)도 같은 방법으로 검산해 보세요.
  2. 관심 있는 최근 논문 한 편을 골라 첫 번째 읽기만 해 보세요. 다섯 가지 질문에 한 줄씩 답을 적어 보세요.
  3. 그 논문의 핵심 수식 하나로 기호표(뜻과 모양)를 만들고, 코드 한 줄로 옮겨 보세요.
  4. 같은 논문을 점검표로 훑어보세요. 기준선은 공정한가요? 결과에 오차 막대가 있나요? 절제 실험이 있나요?
  5. LLM에게 그 논문의 요약을 부탁하고, 요약에 나온 숫자 세 개를 원문에서 찾아 맞는지 확인해 보세요.

자주 하는 실수

  • 처음부터 끝까지 한 번에 다 이해하려 하기. 첫 번째 읽기로 걸러 내고, 중요한 것만 깊게 읽어요.
  • 초록과 뉴스만 보고 판단하기. 조건과 한계는 본문에 있어요.
  • 심사를 통과했으니 맞다고 믿기. 심사는 최소한의 거름망이에요.
  • 작은 점수 차이를 큰 발전으로 읽기. 시험 문제 수와 오차 막대를 봐요.
  • 수식을 건너뛰기만 하기. 기호표를 만들고 크기를 맞추면 생각보다 쉽게 풀려요.
  • LLM의 요약을 그대로 인용하기. 숫자와 인용은 원문에서 확인해요.

점검 문제

  1. arXiv 논문을 읽을 때 기억해야 할 점은?
  2. 절제 실험이 중요한 이유는?
  3. 세 번 나눠 읽기에서 첫 번째 읽기의 목적은?
  4. 수식을 이해할 때 기호마다 모양(크기)을 적어 두면 좋은 이유는?
  5. 트랜스포머 블록 하나의 파라미터가 약 12d212d^2인 이유는?
  6. 1,000문제짜리 시험에서 정확도 70% 근처의 두 모델이 0.5%p 차이 날 때 어떻게 봐야 하나요?
  7. LLM으로 논문을 읽을 때 주의할 점은?

정답

  1. 동료 심사를 거치기 전의 글이라 아직 검증되지 않았다는 점이에요. 빠르지만 더 비판적으로 읽어요.
  2. 새 방법의 여러 부품 중 무엇이 실제로 효과를 냈는지 확인할 수 있기 때문이에요.
  3. 5분에서 10분 안에 논문의 종류, 맥락, 기여를 파악하고 계속 읽을지 정하는 거예요.
  4. 크기가 맞는지 확인하면 수식을 바르게 이해했는지 바로 드러나고, 코드로 옮기기도 쉬워지기 때문이에요.
  5. 어텐션의 질의, 키, 값, 출력 행렬이 4d24d^2, MLP의 두 행렬이 d×4dd \times 4d와 4d×d4d \times d로 8d28d^2, 합쳐서 12d212d^2이에요.
  6. 따로 비교하면 4%p 정도는 차이 나야 우연이 아니라고 볼 수 있어서, 0.5%p는 우연일 가능성이 커요. 짝 비교나 여러 번 실행한 결과가 있는지 확인해요.
  7. 숫자와 인용을 지어낼 수 있으니 원문과 대조하고, 읽지 않은 논문을 인용하지 않아요.

마무리

AI 집중 코스의 마지막 강의까지 왔어요. 수학의 기초에서 출발해 머신러닝, 딥러닝, 언어 모델, 그리고 실제 서비스로 만드는 법까지, 모든 단계를 직접 코드로 만져 봤어요. 이제부터의 공부는 두 가지 축으로 이어 가면 좋아요. 하나는 만들기예요. 성장 트랙의 프로젝트로 배우기 강의처럼, 배운 것을 작은 서비스로 만들어 보세요. 다른 하나는 읽기예요. 이번 강의의 방법으로 일주일에 한 편씩 논문을 읽다 보면, 1년 뒤에는 새 소식을 듣고 스스로 판단하는 사람이 돼 있을 거예요.