딥러닝에 관련된 거의 모든 최신 기술을 설명한다. 회귀부터 시작해 딥러닝의 기초를 설명하고, 컨볼루션 신경망, 순환 신경망, LTSM, 자연어 처리, 이미지 합성 등에 대한 최신 기술 동향을 소개한다. 특히 현재 활발히 연구 중인 AutoML 분야의 현황과 구글 클라우드를 이용한 AutoML 실습도 다루며, 확률적 텐서플로와 그래프 신경망에 대해서도 친절하게 안내한다.
풍부한 예제를 통해 케라스가 완전 통합된 텐서플로의 사용 방법을 다양한 응용분야에 걸쳐 직접 구축해볼 수 있다. GAN을 통한 필기체 숫자의 생성, RNN과 LTSM이 나오게 된 배경 및 어떤 문제를 해결하고자 했는지에 대한 배경 설명을 듣고 나면 다양한 각도에서 딥러닝을 이해하게 될 것이다.
트랜스포머를 별도로 다루는 새로운 장을 추가했고, BERT, GPT-2, GPT3, Reformer 등 다양한 언어 모델에 대한 상세한 설명과 비교 및 Huggin Face 라이브러리를 통한 다양한 언어 예제 등 2판에 비해 여러 내용을 보강했다. 그래프 신경망 또한 예제와 함께 그 기능과 특징을 자세히 설명한다.
혁신과 실행에 있어 전체적 기술과 관리를 구축하는 데 열정이 있다. 전문 분야는 클라우드 컴퓨팅, 딥러닝, 검색 엔진이다. 현재 구글 CTO 사무소에서 엔지니어링 이사로 재직 중이다. 이전에 구글 바르샤바(Warsaw) 사이트에서 리더로 근무하며 엔지니어링 사이트를 두 배로 늘렸다.
지금까지 운 좋게 유럽 4개국에서 전문적인 경험을 쌓을 수 있었고, EMEA의 6개국과 미국에서 팀을 관리했다. 암스테르담의 주요 과학 출판사인 엘스비어(Elsevier)에서는 부사장으로 과학 출판을 이끌었고, 런던에서는 마이크로소프트 Ask.com의 CTO로 Bing 검색 작업을 수행하는 엔지니어링 사이트 책임자로 일했다. 또한 유럽 최초의 웹 검색 회사 중 하나를 비롯한 여러 공동 펀드 스타트업에서 일했다.
검색, 스마트 에너지, 환경, AI 분야에서 수많은 기술을 공동 발명했고, 20개가 넘는 특허를 출원/등록했으며, 코딩과 머신러닝에 관한 다수의 책을 저술했고 그 책들은 일본어와 중국어로도 번역됐다. 스페인어, 영어, 이탈리아어를 할 수 있으며 현재 폴란드어와 프랑스어를 배우고 있다. 두 아들 로렌조(Lorenzo)와 레오나르도(Leonardo) 그리고 어린 공주 오로라(Aurora)의 아버지이기도 하다.
◈ 차례 ◈
1장. TF와 신경망 기초
__TensorFlow(TF)란 무엇인가?
__Keras란 무엇인가?
__신경망 소개
__퍼셉트론
____TensorFlow 첫 코드 예제
__다층 퍼셉트론 - 신경망 첫 예제
____퍼셉트론 훈련의 문제점과 그 해결책
____활성화 함수 - 시그모이드
____활성화 함수 - tanh
____활성화 함수 - ReLU
____추가적인 2개의 활성화 함수 - ELU와 LeakyReLU
____활성화 함수들
____간단히 말해 - 결국 신경망이란 무엇인가?
__실제 예제 - 필기체 숫자 인식
____원-핫 인코딩
____TensorFlow로 단순 신경망 정의
____단순 TensorFlow망 실행과 베이스라인 구축
____TensorFlow의 단순 신경망을 은닉층으로 개선
____TensorFlow에서 드롭아웃으로 단순망 개선
____TensorFlow에서 서로 다른 최적기 테스트
____에폭 수 증가시키기
____최적기 학습률 조절
____내부 은닉층 개수 증가
____배치 계산 크기 증가
____필기체 인식 실행 차트 요약
__규제화
____과적합을 피하기 위한 규제화 적용
____배치 정규화의 이해
__Google Colab 사용 - CPUs, GPUs, TPUs
__감정 분석
____초매개변수 튜닝과 AutoML
__출력 예측
__역전파에 대한 실용적 개괄
__지금까지 배운 것?
__딥러닝 접근법을 향해
__요약
__참고문헌
2장. 회귀와 분류
__회귀란 무엇인가?
__선형회귀를 사용한 예측
____단순 선형회귀
____다중 선형회귀
____다변량 선형회귀
__선형회귀를 위한 신경망
____TensorFlow Keras를 사용한 단순 선형회귀
____TensorFlow Keras API를 사용한 다중과 다변량 선형회귀
__분류 과제와 결정 경계
____로지스틱 회귀
____MNIST 데이터셋에 로지스틱 회귀 적용
__요약
__참고문헌
3장. 컨볼루션 신경망
__심층 컨볼루션 신경망
____지역 수용 필드
____가중치 공유 및 편향
____수학적 예제
____TensorFlow의 ConvNets
____풀링 계층
______최댓값 풀링
______평균값 풀링
____ConvNets 요약
__DCNN의 예시 - LeNet
____TF에서 LeNet 코드
____딥러닝의 위력 이해하기
__딥러닝으로 CIFAR-10 이미지 인식
____심층 신경망으로 CIFAR-10 성능 향상
____데이터 증강을 통해 CIFAR-10 성능 개선
____CIFAR-10으로 예측
__대형 이미지 인식을 위한 고심층 컨볼루션 신경망
____VGG16 신경망으로 고양이 인식
____tf.keras의 내장 VGG16 Net 활용
____특징 추출을 위해 사전 구축된 딥러닝 모델 재활용
__전이학습을 위한 심층 인셉션 V3망
__다른 CNN 아키텍처
____AlexNet
____잔차 네트워크
____HighwayNets와 DenseNets
____Xception
__스타일 변환
____콘텐츠 거리
____스타일 거리
__요약
__참고문헌
4장. 단어 임베딩
__단어 임베딩 - 유래와 기초
__분산 표현
__정적 임베딩
____Word2Vec
____GloVe
__Gensim을 사용한 자신만의 임베딩 생성
__gensim을 사용한 임베딩 공간 탐색
__워드 임베딩을 사용한 스팸 탐지
____데이터 얻기
____데이터를 사용 준비
____임베딩 행렬 구축
____스팸 분류기 정의
____모델의 훈련과 평가
____스팸 탐지기 실행
__신경망 임베딩 - 단어 이외의 용도
____Item2Vec
____node2vec
__문자와 부분 단어 임베딩
__동적 임베딩
__문장과 문단 임베딩
__언어 모델 기반 임베딩
____BERT를 특징 추출기로 사용
__요약
__참고문헌
5장. 순환 신경망
__기본 RNN 셀
____BPTT
____사라지고 폭발하는 그래디언트
__RNN 셀 변형
____LSTM
____GRU
____핍홀 LSTM
__RNN 변형
____양방향 RNN
____상태 저장 RNN
__RNN 위상들
____예제: 일대다-텍스트 생성을 학습
____예제: 다대일-감정 분석
____예제: 다대다 - POS 태깅
__인코더-디코더 아키텍처 ― seq2seq
____예제: 기계 번역을 위한 어텐션 없는 seq2seq
__어텐션 매커니즘
____예제: 머신 번역을 위한 어텐션이 있는 seq2seq
__요약
__참고문헌
6장. 트랜스포머
__아키텍처
____핵심 직관
______위치 인코딩
______어텐션
______셀프-어텐션
______멀티-헤드 (셀프-)어텐션
____어텐션을 계산하는 방법
____인코더-디코더 아키텍처
____잔류와 정규화 계층
____트랜스포머 아키텍처 개요
____훈련
__트랜스포머의 아키텍처
____트랜스포머 종류
______디코더 또는 자기회귀
______인코더 또는 오토인코딩
______Seq2seq
______멀티모달
______검색
____어텐션
______전체 대 희소
______LSH 어텐션
______지역 어텐션
__사전 훈련
____인코더 사전 훈련
____디코더 사전 훈련
____인코더-디코더 사전 훈련
____사전 훈련 과제의 종류
__대중적이고 잘 알려진 모델에 대한 개요
____BERT
____GPT-2
____GPT-3
____리포머
____빅버드
____트랜스포머-XL
____XLNet
____RoBERTa
____ALBERT
____StructBERT
____T5 및 MUM
____ELECTRA
____DeBERTa
____진화된 트랜스포머와 MEENA
____LaMDA
____스위치 트랜스포머
____RETRO
____패스웨이와 PaLM
__구현
____트랜스포머 참조 구현: 번역의 예
____허깅 페이스
______텍스트 생성
______모델 자동 선택 및 자동 토큰화
______명명된 개체 인식
______요약
______미세 조정
____TFHub
__평가
____품질
______GLUE
______SuperGLUE
______SQuAD
______RACE
______NLP-progress
____크기
______크다고 항상 더 좋지는 않다
____제공 비용
__최적화
____양자화
____가중치 가지치기
____증류
__일반적인 함정: 해야 할 일과 하지 말아야 할 일
____권장
____금지 사항
____트랜스포머의 미래
__요약
7장. 비지도학습
__주성분 분석
____MNIST 데이터셋에 PCA
____TensorFlow 임베딩 API
__K-평균 군집화
____TensorFlow에서의 K-평균
____k-평균 변형
__자기 조직화 지도
____SOM을 사용한 컬러 매핑
__제한된 볼츠만 머신
____RBM을 사용한 이미지 재구성
____심층 신뢰 신경망
__요약
__참고문헌
8장. 오토인코더
__오토인코더 소개
__바닐라 오토인코더
____TensorFlow Keras layers - 맞춤형 계층 정의
____오토인코더를 사용해 필기체 숫자 재구성
__희소 오토인코더
__디노이징 오토인코더
____디노이징 오토인코더를 이용한 이미지 정리
__스택된 오토인코더
____이미지의 노이즈 제거를 위한 컨볼루션 오토인코더
____Keras 오토인코더 예제: 문장 벡터
__가변 인코더
__요약
__참고문헌
9장. 생성 모델
__GAN이란 무엇인가?
____TensorFlow에서 GAN을 사용하는 MNIST
__심층 컨볼루션 GAN(DCGAN)
____MNIST 숫자를 위한 DCGAN
__몇 가지 흥미로운 GAN 아키텍처
____SRGAN
____CycleGAN
____InfoGAN
__GAN의 흥미로운 응용들
__TensorFlow로 CycleGAN 구현
__데이터 생성을 위한 흐름 기반 모델
__데이터 생성을 위한 확산 모델
__요약
__참고문헌
10장. 자기-지도학습
__선행 연구
__자기-지도학습
__자기 예측
____자기회귀 생성
______PixelRNN
______이미지 GPT(IPT)
______GPT-3
______XLNet
______WaveNet
______WaveRNN
____마스킹된 생성
______BERT
______스택 잡음 제거 오토인코더
______컨텍스트 오토인코더
______채색
____본질적 관계 예측
______상대적 위치
______조각 그림 퍼즐 풀기
______회전
____하이브리드 자기 예측
______VQ-VAE
______Jukebox
______DALL-E
______VQ-GAN
__대조학습
____훈련 목표
______대조 손실
______3중항 손실
______N-쌍 손실
______리프트된 구조적 손실
______NCE 손실
______InfoNCE 손실
______소프트 최근접 이웃 손실
____인스턴스 변환
______SimCLR
______Barlow Twins
______BYOL
______특징 군집화
______DeepCluster
______SwAV
______InterCLR
____다중 뷰 코딩
______AMDIM
______CMC
____다중 모드 모델
______CLIP
______CodeSearchNet
______Data2Vec
__프리텍스트 과제
__요약
__참고문헌
11장. 강화학습
__소개
____RL 용어
____심층 강화학습 알고리듬
______훈련되지 않은 에이전트가 행동을 선택하는 방법
______에이전트가 탐색과 활용 사이의 균형을 맞추는 방법
______고도로 상관된 입력 상태 공간을 다루는 방법
______움직이는 목표를 다루는 방법
____최근 몇 년 간의 강화학습 성공
__RL의 시뮬레이션 환경
__OpenAI Gym 소개
____을 하는 랜덤 에이전트
____Gym의 래퍼
__심층 Q-신경망
____카트폴을 위한 DQN
____아타리 게임을 위한 DQN
____DQN 변종
______더블 DQN
______듀얼링 DQN
______레인보우
__딥 확정적 정책 그래디언트
__요약
__참고문헌
12장. 확률적 TensorFlow
__TensorFlow Probability
__TensorFlow Probability 분포
____TFP 분포 사용
______동전 뒤집기 예
______정규분포
____베이즈 네트워크
____TensorFlow Probability를 사용해 예측의 불확실성 처리
______우연적 불확실성
______인식론적 불확실성
______합성 데이터셋 만들기
______TensorFlow를 사용한 회귀 모델 구축
______우연적 불확실성에 대한 확률론적 신경망
______인식적 불확실성에 대한 설명
__요약
__참고문헌
13장. AutoML 소개
__AutoML이란 무엇인가?
__AutoML의 성취
__자동 데이터 준비
__자동 특징 공학
__자동 모델 생성
__AutoKeras
__Google 클라우드 AutoML과 Vertex AI
____Google 클라우드 AutoML 표 솔루션의 사용
____Google 클라우드 AutoML 텍스트 솔루션 사용
__Google 클라우드 AutoML 비디오 솔루션 사용
____비용
__요약
__참고문헌
14장. 딥러닝 배경 수학
__역사
__몇 가지 수학 도구
____벡터
____미분과 그래디언트
____그래디언트 하강
____연쇄 법칙
____몇 가지 미분 규칙
____행렬 연산
__활성화 함수
____Sigmoid의 도함수
____tanh의 도함수
____ReLU의 도함수
__역전파
____전방 단계
____역단계
______경우 1: 은닉층에서 출력층까지
______경우 2: 은닉층에서 은닉층으로
____교차엔트로피와 그 도함수
____배치 그래디언트 하강, 확률적 그래디언트 하강, 미니-배치
______배치 그래디언트 하강(BGD)
______확률적 그래디언트 하강(SGD)
______미니-배치 그래디언트 하강(MBGD)
____역전파와 ConvNets 생각하기
____역전파와 RNN 생각하기
__TensorFlow 참고 사항과 자동 미분
__요약
__참고문헌
15장. TPU
__C/G/T 프로세스 유닛
____CPU와 GPU
____TPU
__4세대 TPU와 에지 TPU
____1세대 TPU
____2세대 TPU
____3세대 TPU
____4세대 TPU
____에지 TPU
__TPU 성능
__TPU를 Colab에서 사용하기
____TPU를 쓸 수 있는지 확인하기
____Keras MNIST TPU 엔드-투-엔드 훈련
__사전 훈련된 TPU 모델 사용
__요약
__참고문헌
16장. 기타 유용한 딥러닝 라이브러리
__허깅 페이스
__OpenAI
____OpenAI GPT-3 API
____OpenAI DALL-E 2
____OpenAI Codex
__PyTorch
__ONNX
__H2O.ai
____H2O AutoML
____H2O를 사용한 AutoML
____H2O 모델 설명 가능성
______부분 종속 도표
______변수 중요도 히트맵
______모델 상관관계
__요약
17장. 그래프 신경망
__그래프 기초
__그래프 머신러닝
__그래프 컨볼루션 - GNN의 직관
__일반 그래프 계층
____그래프 컨볼루션 네트워크
____그래프 어텐션 네트워크
____GraphSAGE
____그래프 동형 네트워크
__일반 그래프 응용
____노드 분류
____그래프 분류
____링크 예측
__그래프 사용자 지정
____사용자 지정 계층 및 메시지 전달
____사용자 정의 그래프 데이터셋
______데이터셋의 단일 그래프
______데이터셋의 복수 그래프 집합
__향후 방향
____이종 그래프
____임시 그래프
__요약
__참고문헌
18장. 머신러닝 모범 사례
__모범 사례의 필요성
__데이터 모범 사례
____특징 선택
____특징과 데이터
______텍스트 데이터 증강
__모델 모범 사례
____기준 모델
____사전 훈련된 모델, 모델 API 및 AutoML
____모델 평가 및 검증
____모델 개선
__요약
__참고문헌
19장. TensorFlow 2 생태계
__TensorFlow Hub
____추론을 위해 사전 훈련된 모델 사용
__TensorFlow Datasets
____TFDS 데이터셋 로드
____TFDS를 사용한 데이터 파이프라인 구축
__TensorFlow Lite
____양자화
____FlatBuffers
____모바일 변환기
____모바일에 최적화된 인터프리터
____지원되는 플랫폼
____아키텍처
____TensorFlow Lite 사용
____응용 일반 사례
____GPU 및 가속기 사용
____응용 사례
__TensorFlow Lite에서 사전 학습된 모델
____이미지 분류
____객체 탐지
____자세 추정
____스마트 응답
____세그멘테이션
____스타일 변환
____텍스트 분류
____거대 언어 모델
____모바일 GPU 사용에 대한 참고 사항
__에지에서의 연합 학습 개요
____TensorFlow FL API
__TensorFlow.js
____바닐라 TensorFlow.js
____모델 변환
____사전 훈련된 모델
____Node.js
__요약
__참고문헌
20장. 고급 컨볼루션 신경망
__복잡한 작업을 위한 CNN 구성
____분류 및 지역화
____의미론적 세그멘테이션
____개체 탐지
____인스턴스 세그멘테이션
__tf.Keras 및 TensorFlow Hub를 사용한 응용 동물원
____Keras 애플리케이션
____TensorFlow Hub
__이미지에 대한 질문에 답하기(시각적 Q&A)
__DeepDream 네트워크 만들기
__네트워크가 학습한 내용 검사
__비디오
____여섯 가지 방식으로 사전 훈련된 네트워크로 비디오 분류
__텍스트 문서
____감정 분석을 위한 CNN 사용
__오디오와 음악
____Dilated ConvNets, WaveNet 및 NSynth
__컨볼루션 작업 요약
____기본 CNN
____확장된 컨볼루션
____전치 컨볼루션
____분리 가능한 컨볼루션
____깊이별 컨볼루션
____깊이별 분리 가능한 컨볼루션
__캡슐 네트워크
____CNN의 문제점
____캡슐 네트워크의 새로운 기능
__요약
__참고문헌
