73가지 핵심 키워드로 정리하는 AI 기술의 모든 것현재의 AI 연구 성과는 오랜 기간에 걸쳐 순차적, 연속적으로 발전해 온 산물이다. 이 책은 딥러닝의 여명기부터 최근의 생성 AI에 이르기까지 주요 AI 기술의 흐름을 73개 주제로 나눠 설명하는 종합 해설서이다. 특히 시간의 흐름에 따른 최신 AI 기술 트렌드를 포괄적이면서도 깊이 있게 통찰할 수 있다. 시류를 크게 타지 않으면서도 핵심을 꿰뚫는 주요 개념들만 모아 정리해 자연스럽게 미래에 대한 정확한 예측으로 연결할 수 있다. 현재 전 세계의 AI 기술이 어떻게 발전하고 있는지, 최첨단 기업과 연구자들이 AI 기술의 신비를 어떻게 풀고 활용하려 하는지 파악할 수 있는 책이다. 기술 트렌드를 전체적으로 훑어보기를 원하는 분야 종사자, 현업 AI/ML 개발자에게 특히 유익하다.
도쿄대학교 정보과학기술대학원 컴퓨터과학전공 박사 과정을 2010년 수료했다. 재학 중이던 2006년 친구들과 함께 PFI(Preferred Infrastructure)를 공동 창업했으며 2014년에는 프리퍼드 네트웍스(Preferred Networks)를 창업했다. 현재 프리퍼드 네트웍스의 대표이사 CER 및 PFCC(Preferred Computational Chemistry)의 대표이사 사장으로 재직 중이다.
[1부: 지능이란 무엇인가, 딥러닝이란 무엇인가]1장: 인공지능의 원리 해명_1.1 딥러닝 모델 학습이 잘 되는 이유_1.2 매니폴드 가설: 현실 세계 데이터의 모델링 기법_1.3 딥러닝이 일반화되는 이유_1.4 독립 성분 분석: 정보 얽힘 풀기_1.5 딥러닝 이론 해석, 신경망 미해결 문제 해명을 향한 진전_1.6 과다 파라미터 표현 신경망과 복권 가설_1.7 인과와 상관: 미지의 분포에 대한 일반화 가능성_1.8 대칭성이 학습에 활용되는 방식_1.9 머신러닝의 새로운 거듭제곱 법칙: 모델이 클수록 일반화 능력과 샘플 효율 향상_1.10 강건한 모델의 과다 파라미터 표현 필요성2장: 사람의 학습_2.1 뇌의 오차 역전파 여부_2.2 뇌의 학습 시스템[2부: 학습 기법]3장: 학습 기법_3.1 학습의 엔진: 수리 최적화 Adagrad, RMSProp, Adam_3.2 랜덤 푸리에 피처 함수: 규모가 큰 문제에도 커널 기법 적용 가능_3.3 정규화: 일반화 능력 얻기_3.4 오차 역전파 기법에 의한 기댓값 최대화_3.5 오차 역전파를 사용하지 않는 학습 기법: Feedback Alignment, Synthetic Gradient, Target Prop_3.6 연속 학습: 과거의 학습 결과를 잊지 않고 새로운 작업 학습_3.7 예측 학습_3.8 진화 전략_3.9 메타 학습: 학습 방법을 학습하는 MAML과 뉴럴 프로세스_3.10 음함수 미분: 경삿값 계산에서 계산 그래프를 워프_3.11 비지도 표현 학습: 다른 뷰 간 상호 정보량 최대화_3.12 지식 증류: 거대 모델의 지식 추출_3.13 마스크 오토인코더: 이미지 인식에서 사전 학습 혁명의 가능성4장: 강화 학습_4.1 강화 학습: 피드백으로부터 최적 행동 획득_4.2 월드 모델: 상상 속에서의 학습 가능성_4.3 안전이 보장되는 강화 학습: 랴푸노프 함수로 제약을 만족시키는 폴리시 도출_4.4 미래 예측에 기반한 플래닝, 학습화 시뮬레이터와 몬테카를로 트리 탐색_4.5 오프라인 강화 학습: 데이터 주도형 학습5장: 고속화, 저전력화, 인프라_5.1 심층 신경망 학습의 고속화 가능성_5.2 모바일향 신경망: 추론 시 전력 효율 향상 3가지 방안_5.3 AI 연구의 뼈아픈 교훈_5.4 MN-3/MN-Core: 세계 최고의 저소비전력 슈퍼컴퓨터[3부: 모델과 아키텍처]6장: 생성 모델_6.1 적대적 생성 신경망: 신경망을 경합시켜 생성 모델 단련_6.2 VW: 재귀 확률적 신경망에 의한 생성과 인식 수행_6.3 Glow: 가역적 생성 모델, GAN보다 안정적으로 학습 가능한 가능도 기반 기법_6.4 셀프 어텐션 메커니즘: 이미지 생성, 기계 번역 등 많은 문제에서 최고 정확도 달성_6.5 연속 다이내믹스 표현 가능 신경망_6.6 정규화 계층: 신경망 학습의 안정화, 고속화, 일반화_6.7 에너지 기반 모델: 노이즈 복원을 통한 생성 모델 학습_6.8 트랜스포머: 모든 작업의 표준 네트워크 아키텍처가 될 가능성_6.9 이산화 생성 모델_6.10 Perceiver: 다양한 입출력에 대응 가능한 신경망7장: 기억의 얼개_7.1 Fast Weight: 어텐션으로 단기 기억 실현_7.2 미분 가능 신경 컴퓨터: 외부 기억을 갖춘 신경망[4부: 애플리케이션]8장: 이미지_8.1 이미지 인식에서 높은 성과를 올린 CNN: 분류 오류가 매년 절반 가까이 감소_8.2 GLOM：파싱 트리에 의한 이미지 인식의 실현 가능성9장: 음성_9.1 웨이브넷: 자연스러운 음성 및 음악 생성을 위한 신경망10장: 공간생성/인식_10.1 Generative Query Network: 이미지로부터 3차원 구조를 이해하여 생성_10.2 자기 지도 학습에 의한 깊이와 자기 이동 추정_10.3 3차원 형상 표현 기법_10.4 이미지로부터 3차원 장면 이해: 국소 피처량 기반 이미지 매칭_10.5 사람이나 동물의 공간 이해 메커니즘의 AI 활용 가능성_10.6 Rotation Averaging: 빠르고 최적인 자세 추정 실현_10.7 DROID-SLAM: 순차적 수정으로 환경에 대응_10.8 NDF: 적은 지도 학습 데이터로 학습 가능한 물체나 3차원 환경의 동변 표현11장: 언어_11.1 seq2seq：텍스트에서 텍스트를 생성하는 신경망_11.2 언어의 창발: 기계 간 커뮤니케이션 가능성_11.3 자유로운 말로 로봇에게 지시_11.4 BERT: 언어 이해의 사전 학습12장: 제어_12.1 확률적 제어: 부정확한 제어가 돕는 학습_12.2 온라인 학습과 최적 제어, 미지의 노이즈에도 강건한 제어 기법13장: 시뮬레이션_13.1 AI에 의한 시뮬레이션의 진화_13.2 시뮬레이션 기반 추론: 관측으로부터 귀납적 파라미터 추정_13.3 딥러닝을 사용하는 물리 시뮬레이션 고속화_13.4 매틀란티스: AI를 사용한 범용 원자 레벨 시뮬레이터14장: 게임_14.1 알파고: CNN과 강화 학습을 조합한 컴퓨터 바둑_14.2 알파고 제로: 제로 베이스에서 학습하여 인간을 초월_14.3 알파스타: 다양성이 있는 학습 환경에서 고도의 스킬 획득15장: 바이오 생명 과학_15.1 알파폴드: 50년간의 생명 과학 그랜드 챌린지 해결16장: 로봇_16.1 전자동 정리 로봇 시스템 개발. 고정밀도 객체 인식 기반 정리_16.2 도메인 무작위화참고 문헌 찾아보기
