트랜스포머는 딥러닝 분야에서 성능이 우수한 모델로 현대 인공지능 분야의 핵심 기술이다. 트랜스포머와 비전 트랜스포머 기술을 습득하면 차별화된 역량을 갖출 수 있고 복잡한 문제를 해결할 수 있다. 이 책에서는 자연어 처리와 컴퓨터비전 분야의 기초 실습부터 배포까지 딥러닝 프로젝트(서비스)를 구축하기 위한 다양한 정보를 다룬다. 또한, 트랜스포머 및 비전 트랜스포머 이론을 비롯해 모델을 이해하고 실습을 진행한다. 이 책은 최신 자연어 처리와 컴퓨터비전 분야의 동향과 심층학습에 대한 포괄적인 내용을 담고 있으며, 실전 예제를 통해 강력한 모델을 구축하고자 하는 분들에게 추천한다.
어반베이스의 머신러닝 팀 리더로 근무하면서 컴퓨터비전과 딥러닝을 활용해 2D 도면을 3D로 변환하는 프로젝트를 진행했다. 현재는 카카오스타일의 Vision&NLP 팀 리더로 데이터 리터러시, 데이터 패브릭, MLOps 등 관련 프로젝트를 진행하고 있다. 머신러닝·딥러닝을 비롯해 데이터 품질 관리, 데이터 통합, 비즈니스 인텔리전스 등 데이터 통합에 관심이 있으며, 기술 공유 및 확장 플러그인 배포 등으로 개인이나 조직이 기술을 보다 쉽게 이용하고 활용할 수 있도록 도움을 주고 있다. 저서로 《C#과 파이썬을 활용한 OpenCV 4 프로그래밍》(위키북스, 2021)이 있다.
1부 파이토치 시작하기01장: 인공지능과 방법론 인공지능이란? __인공지능 역사 __인공지능 활용 분야 머신러닝 시스템 __지도 학습__비지도 학습__준지도 학습 __강화 학습머신러닝 아키텍처__데이터 준비__모델링__모델 평가__모델 배포MLOps02장: 파이토치 설치파이토치란?파이토치 특징파이토치 설치__파이토치 CPU 설치__파이토치 GPU 설치__Google Colaboratory03장: 파이토치 기초텐서__텐서 생성__텐서 속성__차원 변환__자료형 설정__장치 설정__장치 변환__넘파이 배열의 텐서 변환__텐서의 넘파이 배열 변환가설__머신러닝에서의 가설__통계적 가설 검정 사례손실 함수__제곱 오차__오차 제곱합__평균 제곱 오차__교차 엔트로피최적화__경사 하강법__학습률__최적화 문제__단순 선형 회귀: 넘파이__단순 선형 회귀: 파이토치데이터세트와 데이터로더__데이터세트__데이터로더__다중 선형 회귀모델/데이터세트 분리__모듈 클래스__비선형 회귀__모델 평가__데이터세트 분리모델 저장 및 불러오기__모델 전체 저장/불러오기__모델 상태 저장/불러오기__체크포인트 저장/불러오기활성화 함수__이진 분류__시그모이드 함수__이진 교차 엔트로피__이진 분류: 파이토치__비선형 활성화 함수순전파와 역전파__순전파 계산__오차 계산__역전파 계산__갱신 결과 비교퍼셉트론__단층 퍼셉트론__다층 퍼셉트론__퍼셉트론 모델 실습04장: 파이토치 심화과대적합과 과소적합__과대적합과 과소적합 문제 해결배치 정규화__정규화 종류__배치 정규화 풀이가중치 초기화__상수 초기화__무작위 초기화__제이비어 & 글로럿 초기화__카이밍 & 허 초기화__직교 초기화__가중치 초기화 실습정칙화__L1 정칙화__L2 정칙화__가중치 감쇠__모멘텀__엘라스틱 넷__드롭아웃__그레이디언트 클리핑데이터 증강 및 변환__텍스트 데이터__이미지 데이터사전 학습된 모델__백본__전이 학습__특징 추출 및 미세 조정2부 자연어 처리05장: 토큰화단어 및 글자 토큰화__단어 토큰화__글자 토큰화형태소 토큰화__형태소 어휘 사전__KoNLPy__NLTK__spaCy하위 단어 토큰화__바이트 페어 인코딩__워드피스06장: 임베딩언어 모델__자기회귀 언어 모델__통계적 언어 모델N-gramTF-IDF__단어 빈도__문서 빈도__역문서 빈도__TF-IDFWord2Vec__단어 벡터화__CBoW__Skip-gram__계층적 소프트맥스__네거티브 샘플링__모델 실습: Skip-gram__모델 실습: GensimfastText__모델 실습순환 신경망__순환 신경망__장단기 메모리__모델 실습합성곱 신경망__합성곱 계층__활성화 맵__풀링__완전 연결 계층__모델 실습07장: 트랜스포머Transformer__입력 임베딩과 위치 인코딩__특수 토큰__트랜스포머 인코더__트랜스포머 디코더__모델 실습GPT__GPT-1__GPT-2__GPT-3__GPT 3.5__GPT-4__모델 실습BERT__사전 학습 방법__모델 실습BART__사전 학습 방법__미세 조정 방법__모델 실습ELECTRA__사전 학습 방법__모델 실습T5__모델 실습3부 컴퓨터 비전08장: 이미지 분류AlexNet__LeNet-5와 AlexNet__모델 학습__모델 추론VGG__AlexNet과 VGG-16__모델 구조 및 데이터 시각화__미세 조정 및 모델 학습ResNet__ResNet의 특징__모델 구현Grad-CAM__클래스 활성화 맵__Grad-CAM09장: 객체 탐지Faster R-CNN__R-CNN__Fast R-CNN__Faster R-CNN__모델 학습 과정__모델 실습SSD__멀티 스케일 특징 맵__기본 박스__모델 학습 과정__모델 실습FCN__업샘플링__모델 구조__모델 실습Mask R-CNN__특징 피라미드 네트워크__관심 영역 정렬__마스크 분류기__모델 실습YOLO__YOLOv1__YOLOv2__YOLOv3__YOLOv4 / YOLOv5__YOLOv6 / YOLOv7__모델 실습: YOLOv810장: 비전 트랜스포머ViT__합성곱 모델과 ViT 모델 비교__ViT의 귀납적 편향__ViT 모델__패치 임베딩__인코더 계층__모델 실습Swin Transformer__ViT와 스윈 트랜스포머 차이__스윈 트랜스포머 모델 구조__모델 실습CvT__합성곱 토큰 임베딩__어텐션에 대한 합성곱 임베딩__모델 실습4부 서비스 모델링11장: 모델 배포모델 경량화__양자화__지식 증류__텐서 분해__ONNX모델 서빙__모델 서빙 웹 프레임워크__포스트맨도커 배포__도커란?__빌드 및 배포데모 애플리케이션__스트림릿__애플리케이션 배포__파이토치 모델 연동부록A: 파이토치 라이트닝__모델 학습__트레이너 클래스부록B: 허깅 페이스__PreTrainedConfig 클래스__PreTrainedModel 클래스__PreTrainedTokenizer 클래스__PreTrainedFeatureExtractor 클래스__PreTrainedImageProcessor 클래스__Auto 클래스__트레이너 클래스부록C: 파이토치 이미지 모델__모델 생성__사전 학습된 모델__미세 조정부록D: 파이토치 컴파일러부록E: 메모리 부족
