딥러닝 기반 자연어 처리 기술 BERT를
쉽고 컴팩트하게 익혀보자!

파이토치와 구글 코랩을 사용해 BERT를 컴팩트하고 효율적으로 학습할 수 있다. 어텐션(Attenttion), 트랜스포머로부터 BERT로 이어지는 자연어 기술을 기초부터 체험 학습한다. 자연어 처리 기술 구현을 순서대로 따라서 습득하고, BERT 구현까지 수행한다. 한국어 모델 추가.

‘인간과 AI의 상생’이 미션인 회사, SAI-Lab 주식회사의 대표 이사이며, AI 관련 교육과 연구 개발에 종사하고 있다. 도호쿠 대학 대학원 이학 연구과를 수료했으며, 이학 박사(물리학)이다. 흥미 대상은 인공지능(AI), 뇌과학, 네이티브앱 개발, 싱귤래리티 등으로, 세계 최대 교육 동영상 플랫폼 Udemy에서 다양한 AI 관련 강좌를 전개하여 수만 명을 지도하는 인기 강사이다. 여러 유명 기업에서 AI 기술을 지도했으며, 엔지니어로서 VR, 게임, SNS 등 장르를 불문하고 다양한 앱을 개발했다.

저서로 『파이토치 딥러닝 모델 AI앱 개발 입문』, 『구글 코랩으로 배우는 인공지능 기술』, 『핵심 딥러닝 입문 : RNN, LSTM, GRU, VAE, GAN 구현』, 『처음 만나는 AI 수학 with Python』, 『실체가 손에 잡히는 딥러닝, 기초부터 실전 프로그래밍』, 『첫 딥러닝-Python으로 배우는 신경망과 역전파』(SB크리에이티브, 2018), 『Python으로 동작해서 배운다! 새로운 수학 교과서 기계학습·심층학습에 필요한 기초 지식』(쇼에이사, 2019), 『첫 딥러닝2 Python으로 구현하는 순환 신경망, VAE, GAN』(SB크리에이티브, 2020) 등이 있다. 저자의 유튜브 채널에서는 무료 강좌가 다수 공개되고 있다.

문의 사항 가이드라인
이 책의 예제 파일에 관하여
옮긴이의 말

CHAPTER 0 도입

0.1 이 책의 특징
0.1.1 파이썬 기초를 학습하자
0.1.2 이 책의 구성
0.1.3 이 책을 읽으면 할 수 있게 되는 것들
0.1.4 이 책을 읽을 때 주의할 점
0.1.5 이 책의 대상 독자
0.1.6 이 책의 사고 방식

CHAPTER 1 BERT 개요

1.1 딥러닝이란
1.1.1 인공 지능과 머신러닝, 딥러닝
1.1.2 신경망의 구조
1.1.3 딥러닝
1.2 자연어 처리 개요
1.2.1 자연어 처리란?
1.2.2 자연어 처리 응용
1.2.3 형태소 분석
1.2.4 단어의 벡터화
1.2.5 RNN(순환 신경망)
1.2.6 Seq2Seq를 사용한 계열 변환
1.2.7 자연어 처리에 관해 더 학습하고 싶다면
1.3 트랜스포머 개요
1.3.1 트랜스포머란?
1.3.2 트랜스포머의 구조
1.4 BERT 개요
1.4.1 BERT란?
1.4.2 BERT의 학습 개요
1.4.3 BERT의 사전 학습
1.4.4 BERT의 성능
1.5 정리

CHAPTER 2 개발 환경

2.1 구글 코랩 시작 방법
2.1.1 구글 코랩 준비
2.1.2 노트북 사용 방법
2.1.3 다운로드 파일 취급 방법
2.2 세션과 인스턴스
2.2.1 세션, 인스턴스란?
2.2.2 90분 규칙
2.2.3 12시간 규칙
2.2.4 세션 관리
2.3 CPU와 GPU
2.3.1 CPU, GPU, TPU란?
2.3.2 GPU 사용 방법
2.3.3 성능 비교
2.4 구글 코랩의 다양한 기능
2.4.1 텍스트 셀
2.4.2 스크래치 코드 셀
2.4.3 코드 스니펫
2.4.4 코드 실행 이력
2.4.5 깃허브와의 연동
2.5 연습
2.5.1 코드 셀 조작
2.5.2 텍스트 셀 조작
2.5.3 셀 위치 변경과 삭제
2.6 정리

CHAPTER 3 파이토치로 구현하는 간단한 딥러닝

3.1 구현 개요
3.1.1 학습하는 매개변수와 하이퍼파라미터
3.1.2 순전파와 역전파
3.1.3 구현 순서
3.2 텐서
3.2.1 패키지 확인
3.2.2 텐서 생성
3.2.3 넘파이 배열과 텐서의 상호 변환
3.2.4 범위를 지정해서 텐서의 일부에 접근
3.2.5 텐서의 연산
3.2.6 텐서의 형태 변환
3.2.7 다양한 통곗값 계산
3.2.8 연습: 텐서끼리의 연산
3.2.9 해답 예
3.3 활성화 함수
3.3.1 시그모이드 함수
3.3.2 tanh
3.3.3 ReLU
3.3.4 항등 함수
3.3.5 소프트맥스 함수
3.4 손실 함수
3.4.1 평균 제곱 오차
3.4.2 교차 엔트로피 오차
3.5 최적화 알고리즘
3.5.1 기울기와 경사 하강 알고리즘
3.5.2 최적화 알고리즘 개요
3.5.3 SGD
3.5.4 모멘텀
3.5.5 AdaGrad
3.5.6 RMSProp
3.5.7 Adam
3.6 에포크와 배치
3.6.1 에포크과 배치
3.6.2 배치 학습
3.6.3 온라인 학습
3.6.4 미니 배치 학습
3.6.5 학습 예
3.7 간단한 딥러닝 구현
3.7.1 손으로 쓴 문자 이미지 인식
3.7.2 데이터를 훈련용과 테스트용으로 분할
3.7.3 모델 구축
3.7.4 학습
3.7.5 오차 추이
3.7.6 정답률
3.7.7 훈련 완료 모델을 사용한 예측
3.8 연습
3.8.1 데이터를 훈련용과 테스트용으로 분할
3.8.2 모델 구축
3.8.3 학습
3.8.4 오차 추이
3.8.5 정답률
3.8.6 해답 예
3.9 정리

CHAPTER 4 간단한 BERT 구현

4.1 Transformers 개요
4.1.1 Transformers란?
4.1.2 Transformers를 구성하는 클래스
4.1.3 BERT 모델
4.2 Transformers 기초
4.2.1 라이브러리 설치
4.2.2 Transformers 모델: 문장의 일부를 마스크
4.2.3 Transformers 모델: 문장 분류
4.2.4 PreTrainedModel 상속
4.2.5 BERT 설정
4.2.6 토크나이저
4.3 간단한 BERT 구현
4.3.1 라이브러리 설치
4.3.2 누락된 단어 예측: BertForMaskedLM
4.3.3 문장이 연속되는지 판정: BertForNextSentencePrediction
4.4 연습
4.4.1 라이브러리 설치
4.4.2 토크나이저 불러오기
4.4.3 모델 불러오기
4.4.4 연속성을 판정하는 함수
4.4.5 연속성 판정
4.4.6 해답 예
4.5 정리

CHAPTER 5 BERT의 구조

5.1 BERT의 전체 이미지
5.1.1 BERT 학습
5.1.2 BERT 모델
5.1.3 BERT의 입력
5.1.4 BERT의 학습
5.1.5 BERT의 성능
5.2 트랜스포머와 어텐션
5.2.1 트랜스포머의 모델 개요
5.2.2 어텐션이란?
5.2.3 입력과 메모리
5.2.4 어텐션 가중치 계산
5.2.5 값과 내적
5.2.6 셀프 어텐션과 원천 타깃 어텐션
5.2.7 멀티헤드 어텐션
5.2.8 위치별 완전 연결 순방향 신경망
5.2.9 포지셔널 인코딩
5.2.10 어텐션 시각화
5.3 BERT의 구조
5.3.1 라이브러리 설치
5.3.2 BERT 모델의 구조
5.3.3 BERT 설정
5.4 연습
5.4.1 라이브러리 설치
5.4.2 BertForMaskedLM의 구조
5.4.3 BertForNextSentencePrediction의 구조
5.5 정리

CHAPTER 6 파인 튜닝 활용

6.1 전이 학습과 파인 튜닝
6.1.1 전이 학습이란?
6.1.2 전이 학습과 파인 튜닝
6.2 간단한 파인 튜닝
6.2.1 라이브러리 설치
6.2.2 모델 불러오기
6.2.3 최적화 알고리즘
6.2.4 토크나이저 설정
6.2.5 간단한 파인 튜닝
6.3 파인 튜닝을 사용한 감정 분석
6.3.1 라이브러리 설치
6.3.2 모델과 토크나이저 불러오기
6.3.3 데이터셋 불러오기
6.3.4 데이터 전처리
6.3.5 평가용 함수
6.3.6 TrainingArguments 설정
6.3.7 Trainer 설정
6.3.8 모델 훈련
6.3.9 모델 평가
6.4 연습
6.4.1 라이브러리 설치
6.4.2 모델과 토크나이저 불러오기
6.4.3 층 동결
6.4.4 데이터셋 불러오기
6.4.5 데이터 전처리
6.4.6 평가용 함수
6.4.7 TrainingArguments 설정
6.4.8 Trainer 설정
6.4.9 모델 훈련
6.4.10 모델 평가
6.4.11 해답 예
6.5 정리

CHAPTER 7 BERT 활용

7.1 BERT 활용 예
7.1.1 검색 엔진
7.1.2 번역
7.1.3 텍스트 분류
7.1.4 텍스트 요약
7.1.5 기타 활용 예
7.2 BERT 일본어 모델
7.2.1 사용하는 모델과 데이터셋
7.2.2 라이브러리 설치
7.2.3 누락된 단어 예측
7.2.4 문장이 연속되어 있는지 판정
7.3 BERT를 사용한 일본어 뉴스 분류
7.3.1 사용할 데이터셋
7.3.2 구글 드라이브에 훈련 데이터를 배치
7.3.3 라이브러리 설치
7.3.4 구글 드라이브와 연동
7.3.5 데이터셋 불러오기
7.3.6 데이터 저장
7.3.7 모델과 토크나이저 불러오기
7.3.8 데이터 전처리
7.3.9 평가용 함수
7.3.10 TrainingArguments 설정
7.3.11 Trainer 설정
7.3.12 모델 훈련
7.3.13 모델 평가
7.3.14 모델 저장
7.3.15 모델 불러오기
7.3.16 일본어 뉴스 분류
7.4 BERT 한국어 모델
7.4.1 사용하는 모델과 데이터셋
7.4.2 라이브러리 설치
7.4.3 누락된 단어 예측
7.4.4 문장이 연속되어 있는지 판정
7.5 정리