기계학습과 딥러닝 알고리즘, 텍스트 분석을 이 책 한 권으로 끝내자!기계학습과 딥러닝 알고리즘을 이용해서 텍스트 분석을 잘하기 위해서는 알고리즘의 작동원리를 정확히 이해하는 것이 중요합니다. 이 책은 텍스트 분석 실습뿐 아니라, 텍스트 분석에서 중요한 역할을 하는 기계학습과 딥러닝 알고리즘의 작동 원리를 자세히 설명합니다. 알고리즘의 이해를 돕기 위해, 알고리즘을 이해하는 데 필요한 수학 개념(벡터, 행렬, 확률 등)에 관한 설명도 제공합니다. 텍스트 분석이나 코딩 경험이 없는 독자도 쉽게 접할 수 있도록, 파이썬 기초와 텍스트 분석의 기초, 텍스트 분석을 하는 데 필요한 기본적인 내용(웹스크레이핑, 정규표현식 등)에 관해서도 부록에서 다룹니다.
연세대학교 언론홍보영상학부 부교수이며 연세대학교 인공지능대학의 겸임 교수로 활동하고 있다. 파이썬 코딩, 빅데이터 통계 분석, 기계학습, 딥러닝, 텍스트 마이닝 등의 수업을 진행하며, 컴퓨테이셔널 미디어 랩을 운영하면서 사회현상과 관련된 온라인 비정형 데이터를 통계 방법과 기계학습?딥러닝 알고리즘을 이용해 분석하는 연구를 수행하고 있다. 연세대학교에서 컴퓨터 과학을 공부했고, 미시간 주립대에서 미디어?정보 전공으로 석사와 박사 학위를 받았다.
[3부] 딥러닝을 이용한 텍스트 분석 13장: 딥러닝 소개13.1 신경망___13.1.1 신경망 소개___13.1.2 신경망의 작동 원리13.2 활성화 함수___13.2.1 시그모이드 함수___13.2.2 하이퍼볼릭 탄젠트 함수___13.2.3 ReLU 함수___13.2.4 Leaky ReLU 함수___13.2.5 ELU 함수___13.2.6 소프트플러스 함수___13.2.7 GELU 함수13.3 경사하강법___13.3.1 사용되는 관측치의 수에 따른 경사하강법 구분___13.3.2 신경망에서의 경사하강법 작동 원리___13.3.3 오차 역전파___13.3.4 경사 소실 문제___13.3.5 경사 폭발 문제___13.3.6 옵티마이저의 종류___13.3.7 가중치 감쇠와 학습률 감쇠13.4 가중치 초기화___13.4.1 Xavier 초기화 방법___13.4.2 He 초기화 방법13.5 예제: 도시의 평균 집값 예측하기 ___13.5.1 SGD 옵티마이저의 사용 예___13.5.2 RMSprop 옵티마이저 사용의 예___13.5.3 Adam 옵티마이저의 사용 예13.6 신경망에서의 과적합 해결 방법 ___13.6.1 L1/L2 규제화___13.6.2 드롭아웃___13.6.3 조기 종료___13.6.4 배치 정규화___13.6.5 계층 정규화 14장: FNN을 이용한 텍스트 분석과 단어 및 문서 임베딩14.1 FNN을 이용한 텍스트 분석14.2 단어 임베딩___14.2.1 원-핫 벡터와 단어 임베딩___14.2.2 Word2vec___14.2.3 FastText14.3 문서 임베딩 ___14.3.1 Doc2vec 15장: CNN을 이용한 텍스트 분석15.1 CNN___15.1.1 CNN 소개___15.1.2 파이썬 코딩하기15.2 CNN을 이용한 텍스트 분석 ___15.2.1 CNN에서의 문서 표현___15.2.2 파이썬 코딩하기 16장: 순환신경망 기반 알고리즘을 이용한 텍스트 분석16.1 RNN___16.1.1 RNN 소개___16.1.2 RNN을 이용한 감성분석___16.1.3 각 단어의 은닉 상태 벡터를 모두 사용하기___16.1.4 여러 개의 RNN 층 사용하기16.2 LSTM ___16.2.1 LSTM 소개___16.2.2 LSTM을 이용한 감성분석___16.2.3 양방향 LSTM___16.2.4 양방향 LSTM을 사용한 감성분석16.3 seq2seq 17장: 트랜스포머17.1 어텐션 알고리즘 17.2 셀프 어텐션17.3 트랜스포머에서의 어텐션 17.4 트랜스포머 소개 ___17.4.1 트랜스포머의 구조___17.4.2 인코더 부분___17.4.3 디코더 부분___17.4.4 트랜스포머의 인코더 블록을 이용한 감성분석 18장: BERT18.1 BERT의 구조 ___18.1.1 BERT 내부 구조___18.1.2 BERT 학습___18.1.3 BERT 논문에서 사용된 다운스트림 작업___18.1.4 BERT를 이용한 각 단어의 벡터 추출하기18.2 파이썬 코딩하기 ___18.2.1 BERT를 사용한 단어와 문장/문서의 벡터 추출하기___18.2.2 영어 텍스트 감성분석___18.2.3 한글 텍스트 감성분석 19장: BERT 기반 방법들19.1 ALBERT ___19.1.1 ALBERT 소개___19.1.2 파이썬 코딩하기19.2 RoBERTa ___19.2.1 RoBERTa 소개___19.2.2 파이썬 코딩하기19.3 ELECTRA ___19.3.1 ELECTRA 소개___19.3.2 파이썬 코딩하기19.4 지식 증류 기반 방법들 ___19.4.1 지식 증류___19.4.2 DistilBERT___19.4.3 TinyBERT19.5 BERTopic ___19.5.1 문서 임베딩___19.5.2 문서 군집화___19.5.3 각 군집(토픽)을 나타내는 단어 찾기___19.5.4 파이썬 코딩하기 20장: GPT 모형들20.1 GPT-1 ___20.1.1 GPT-1에서의 학습20.2 GPT-2 ___20.2.1 학습 데이터___20.2.2 모형의 구조___20.2.3 모형의 성능___20.2.4 파이썬 코딩하기20.3 GPT-3 ___20.3.1 제로샷, 원샷, 퓨샷___20.3.2 학습 데이터___20.3.3 모형의 구조___20.3.4 모형의 성능___20.3.5 GPT-3 미세조정하기20.4 InstructGPT ___20.4.1 InstructGPT에서의 미세 조정___20.4.2 모형의 성능20.5 ChatGPT 21장: 비전 트랜스포머를 이용한 텍스트 분석21.1 ViT 소개 21.2 ViT를 이용한 이미지 분류 21.3 ViT를 이용한 텍스트 분류 ___21.3.1 방법 1: N×D 문서에서 직접 패치를 추출___21.3.2 방법 2: 문서를 패치로 분할하기 전에 Conv1D 필터 적용하기___21.3.3 방법 3: N×C 결과물에서 C×C 패치 추출하기 22장: 오토인코더를 이용한 텍스트 분석22.1 오토인코더 소개 22.2 오토인코더를 MNIST 데이터에 적용해 보기 22.3 오토인코더를 이용해 문서를 저차원 벡터로 표현하기 ___22.3.1 LSTM 기반 오토인코더 사용해 보기___22.3.2 CNN 기반 오토인코더 사용해 보기부록A: 경사하강법에서의 순전파와 역전파A.1 예제 신경망 모형 A.2 순전파 A.3 역전파
