이미지/동영상/음성/텍스트를 생성하는 확산 모델 기술의 수학적 원리

확산 모델은 DALL-E2, 미드저니, 스테이블 디퓨전 등 텍스트에 대응하는 이미지를 생성하는 기술의 바탕으로 고품질 데이터를 창출하는 생성 모델로 주목받고 있다. 이 책은 확산 모델의 기본적인 개념부터 그 발전 과정과 응용 사례를 매우 자세히 설명한다. 확산 모델의 원리를 수학적으로 살펴봄으로써 이론을 한층 더 잘 이해하고 확산 모델의 높은 잠재력을 끌어낼 수 있을 것이다.

도쿄대학교 정보과학기술대학원 컴퓨터과학전공 박사 과정을 2010년 수료했다. 재학 중이던 2006년 친구들과 함께 PFI(Preferred Infrastructure)를 공동 창업했으며 2014년에는 프리퍼드 네트웍스(Preferred Networks)를 창업했다. 현재 프리퍼드 네트웍스의 대표이사 CER 및 PFCC(Preferred Computational Chemistry)의 대표이사 사장으로 재직 중이다.

옮긴이 머리말 viii
추천사 ix
머리말 xi
기호 일람 xv

CHAPTER 1 생성 모델 1

1.1 생성 모델이란 무엇인가 1
1.2 에너지 기반 모델과 분배함수 4
1.3 학습 방법 6
1.4 고차원에서의 다봉분포 데이터 생성의 어려움 13
1.5 점수: 로그 우도 입력에 대한 기울기 14
__1.5.1 랑주뱅 몬테카를로 방법 16
__1.5.2 점수 매칭 18
__1.5.3 암묵적 점수 매칭 19
__1.5.4 암묵적 점수 매칭이 점수를 추정할 수 있다는 증명 22
__1.5.5 디노이징 점수 매칭 26
__1.5.6 디노이징 점수 매칭이 점수를 추정할 수 있다는 증명 30
__1.5.7 잡음이 정규분포를 따르는 경우의 증명 32
__1.5.8 점수 매칭 방법 정리 37
요약 37

CHAPTER 2 확산 모델 39

2.1 점수 기반 모델과 디노이징 확산확률 모델 39
2.2 점수 기반 모델 40
__2.2.1 추정한 점수를 사용하는 랑주뱅 몬테카를로 방법의 문제점 40
__2.2.2 점수 기반 모델은 여러 개의 교란 후 분포의 점수를 조합한다 42
2.3 디노이징 확산확률 모델 46
__2.3.1 확산 과정과 역확산 과정으로 이루어진 잠재변수 모델 46
__2.3.2 DDPM의 학습 51
__2.3.3 DDPM에서 디노이징 점수 매칭으로 56
__2.3.4 DDPM을 사용한 데이터 생성 61
2.4 SBM과 DDPM의 신호 대 잡음비를 사용한 통일적인 구조 62
__2.4.1 SBM과 DDPM의 관계 62
__2.4.2 연속 시간 모델 70
__2.4.3 잡음 스케줄과 관계없이 같은 해를 얻을 수 있다 71
__2.4.4 학습 가능한 잡음 스케줄 72
요약 73

CHAPTER 3 연속 시간 확산 모델 75

3.1 확률미분방정식 76
3.2 SBM과 DDPM의 SDE 표현 77
3.3 SDE 표현의 역확산 과정 80
3.4 SDE 표현 확산 모델 학습 81
3.5 SDE 표현 확산 모델 표본추출 83
3.6 확률 플로 ODE 84
__3.6.1 확률 플로 ODE와 SDE의 주변 우도가 일치한다는 증명 86
__3.6.2 확률 플로 ODE의 우도 계산 88
__3.6.3 신호와 잡음으로 나타내는 확률 플로 ODE 88
3.7 확산 모델의 특징 89
__3.7.1 기존 잠재변수 모델과의 관계 90
__3.7.2 확산 모델은 학습이 안정적이다 91
__3.7.3 복잡한 생성 문제를 간단한 부분 생성 문제로 분해한다 92
__3.7.4 다양한 조건을 조합할 수 있다 93
__3.7.5 생성의 대칭성을 자연스럽게 도입할 수 있다 94
__3.7.6 표본을 추출할 때 스텝 수가 많아 생성 속도가 느리다 95
__3.7.7 확산 모델로 어떻게 일반화할 수 있는지에 대한 이해가 미해결 95
요약 96

CHAPTER 4 확산 모델의 발전 97

4.1 조건부 생성에서의 점수 97
4.2 분류기 가이던스 98
4.3 분류기를 사용하지 않는 가이던스 99
4.4 부분공간 확산 모델 102
__4.4.1 부분공간 확산 모델의 학습 104
__4.4.2 부분공간 확산 모델의 표본추출 106
4.5 대칭성을 고려한 확산 모델 107
__4.5.1 기하와 대칭성 107
__4.5.2 화합물의 회전배열 110
요약 117

CHAPTER 5 응용 119

5.1 이미지 생성, 초해상, 보완, 이미지 변환 120
5.2 동영상 및 파노라마 생성 121
5.3 의미 추출과 변환 122
5.4 음성의 합성과 강조 123
5.5 화합물의 생성과 회전배열 124
5.6 적대적 섭동에 대한 강건성 향상 125
5.7 데이터 압축 126
요약 127

APPENDIX A 부록 129

A.1 사전분포가 정규분포, 우도가 선형정규분포인 경우의 사후확률분포 129
A.2 ELBO 130
A.3 신호와 잡음을 이용한 확률 플로 ODE 도출 131
A.4 조건부 생성 문제 135
A.5 디노이징 암묵적 확산 모델 137
A.6 역확산 과정의 확률미분방정식 증명 141
A.7 비가우스 잡음에 의한 확산 모델 146
A.8 Analog Bits: 이산 변수 확산 모델 147

참고 문헌 149
찾아보기 154