‘사람 말을 알아듣는 AI’를 만들어 보자!
트랜스포머 핵심 원리부터 문서 분류, 기계 독해, 문장 생성 실습까지!
사람 말을 알아듣고 처리하는 인공지능은 어떻게 만들까? 이 책은 딥러닝 기반 자연어 처리 기술을 체계적이고 쉽게 배울 수 있는 입문서다. 이 책은 네이버 영화평, 뉴스 댓글, 질의응답 등 한국어 말뭉치로 실습해 국내 자연어 처리 연구가에게 더욱 효과적이며, 트랜스포머의 핵심 원리와 허깅페이스 패키지 활용법 등 최신 자연어 처리 기술의 진수를 담았다. 국내 대표 포털에서 자연어 처리를 연구하는 저자의 오랜 공력을 엿볼 수 있다.
1~3장에서는 트랜스포머와 전이 학습, BERT와 GPT의 핵심 동작 원리를 이해하고, 이를 바탕으로 4~8장에서는 감성 분석, 자연어 추론, 개체명 인식, 질의응답, 문장 생성 등 5가지 과제를 직접 수행해 본다. 실습 코드는 pytorch-lightning, 허깅페이스의 transformers 등 최신 오픈소스 라이브러리를 사용했다.

서울대학교 국어국문학과를 졸업하고 고려대학교 대학원에서 공학 석사 학위(산업경영공학)를 취득했다. 문장 범주 분류에 큰 영향을 미치는 단어들에 높은 점수를 주는 기법에 대한 논문(SCI 저널 게재)에 1저자로 참여했다. 현재 네이버에서 대화 모델을 개발하고 있다. 주요 업무는 임베딩 학습 및 구축이다. 문장 생성(text generation)에 관심이 많다. 자연어 처리를 주제로 블로그(http://ratsgo.github.io)를 운영하고 있다. 딥러닝과 자연어 처리의 무궁무진한 가능성을 믿는다.

=======================
1장 처음 만나는 자연어 처리
=======================
1-1 딥러닝 기반 자연어 처리 모델
1-2 트랜스퍼 러닝
1-3 학습 파이프라인 소개
1-4 개발 환경 설정

=========================
2장 문장을 작은 단위로 쪼개기
=========================
2-1 토큰화란?
2-2 바이트 페어 인코딩이란?
2-3 어휘 집합 구축하기
2-4 토큰화하기

=======================
3장 숫자 세계로 떠난 자연어
=======================
3-1 미리 학습된 언어 모델
3-2 트랜스포머 살펴보기
3-3 셀프 어텐션 동작 원리
3-4 트랜스포머에 적용된 기술들
3-5 BERT와 GPT 비교
3-6 단어/문장을 벡터로 변환하기

=======================
4장 문서에 꼬리표 달기
=======================
4-1 문서 분류 모델 훑어보기
4-2 문서 분류 모델 학습하기
4-3 학습 마친 모델을 실전 투입하기

=======================
5장 문장 쌍 분류하기
=======================
5-1 문장 쌍 분류 모델 훑어보기
5-2 문장 쌍 분류 모델 학습하기
5-3 학습 마친 모델을 실전 투입하기

=======================
6장 단어에 꼬리표 달기
=======================
6-1 개체명 인식 모델 훑어보기
6-2 개체명 인식 모델 학습하기
6-3 학습 마친 모델을 실전 투입하기

=======================
7장 질문에 답하기
=======================
7-1 질의응답 모델 훑어보기
7-2 질의응답 모델 학습하기
7-3 학습 마친 모델을 실전 투입하기

=======================
8장 문장 생성하기
=======================
8-1 문장 생성 모델 훑어보기
8-2 문장 생성 모델 파인튜닝하기
8-3 프리트레인 마친 모델로 문장 생성하기
8-4 파인튜닝 마친 모델로 문장 생성하기
찾아보기