“인간보다 뛰어난 존재가 온다!”
인간을 초월한 지능, AGI를 맞이할 준비가 되었는가

이 책은 AGI(인공일반지능)의 시대를 예견하며 기술, 철학, 정책이 교차하는 가장 첨예한 논쟁을 조망한다. 세계적인 AI 석학들의 통찰과 빅테크 기업가들의 비즈니스 관점을 바탕으로 AGI의 본질을 날카롭게 파헤치며, 이를 둘러싼 핵심 쟁점부터 각국의 AI 패권 경쟁까지 AGI와 관련된 뜨거운 논의를 한 권에 담았다. 특히 AGI를 인간 중심으로 설계하기 위한 ‘얼라인먼트’ 기술과 AI 안전 정책의 중요성을 강조하며 기술적 진보와 윤리적 책임의 접점을 제시한다. 인간이 통제할 수 없는 AGI가 등장했을 때 우리는 과연 어떻게 공존할 것인가? 이 질문에 답을 찾고자 한다면 이 책이 그 실마리를 제공할 것이다.

서울대 컴퓨터공학과를 졸업하고 카이스트에서 인공지능 분야 중 지식 표현에 관한 연구로 박사 학위를 취득했다. 삼성전자 전략기획실과 미디어 서비스 사업팀에서 인터넷 사업을 담당한 후 2003년 다음커뮤니케이션 전략 대표와 일본 법인장을 역임했다. 카이스트와 세종대학교 교수를 거쳐 2011년부터 테크프론티어 대표를 맡고 있다. 현재 기업을 위한 기술 전략 컨설팅, 정부 정책 자문과 연구 수행 그리고 기술과 사회를 주제로 강연하고 있다. 인공지능 윤리를 위한 기술 프레임워크, 신뢰 가능한 인공지능 등에 대한 연구 과제를 수행했으며 슬로우뉴스 등 여러 매체에 기술 관련 칼럼을 기고하고 있다. 공공 영역에서는 인공지능 데이터세트 구축을 위한 AI 데이터 로드맵 총괄기획위원, 인공지능 그랜드 챌린지 기획위원으로 활동했다. 지은 책으로는 『신뢰할 수 있는 인공지능』 『한상기의 소셜미디어 특강』 등이 있으며 『인공지능은 어떻게 산업의 미래를 바꾸는가』 『4차 산업혁명과 미래사회 Ⅱ』 『초연결시대인간-미디어-문화』 등에 공동 저자로 참여했다.

| 1부 | AGI의 시대

1장 논쟁의 중심, AGI
1.1 AGI의 시작
1.2 프론티어 모델, AGI, ASI 그리고 ACI
1.3 AGI가 온다
1.4 AGI는 당분간 달성하기 어려울 것이라는 사람들
1.5 AI 전문 연구자와 기업인들의 견해
1.6 AGI는 어떻게 등장하는가
1.7 AGI를 레벨로 나누어서 분류하기
1.8 GPT-4는 튜링 테스트를 통과했는가

2장 AGI의 잠재적 위험
2.1 문학 작품에 나타난 AGI에 대한 경고
2.2 AI의 최고 연구자들의 경고
2.3 AI로 인한 인류 멸종 위기에 대한 논쟁
2.4 파멸론자, 효과적 이타주의자, 효과적 가속주의자
2.5 AI 파멸론에 대한 비판

1부를 마치며

| 2부 | 얼라인먼트: 연구와 정책

3장 얼라인먼트 문제란 무엇인가
3.1 얼라인먼트
3.2 속임수를 사용하는 AI
3.3 챗GPT와 트롤리 문제

4장 얼라인먼트 연구의 주요 방향
4.1 데이터, 학습, 평가 영역에서의 얼라인먼트
4.2 안전과 얼라인먼트 연구의 근본 과제

5장 얼라인먼트 연구 전문 그룹
5.1 얼라인먼트 연구 센터와 모델 평가 및 위협 연구
5.2 데이터 출처 이니셔티브
5.3 주요 대학과 지역의 얼라인먼트 연구 그룹

6장 얼라인먼트 문제에 대응하는 주요 기업의 접근 방법
6.1 오픈AI의 접근
6.2 앤스로픽의 얼라인먼트 기술과 정책
6.3 구글 딥마인드
6.4 집단 얼라인먼트
6.5 해석 가능성을 높이기 위한 연구

2부를 마치며

| 3부 | 정책적 대응

7장 AI 안전과 통제를 위한 주요 국가의 정책 및 국제 협력
7.1 G7 히로시마 AI 프로세스
7.2 유럽연합의 AI법과 관련 이슈
7.3 영국 블레츨리 선언과 AI 안전연구소
7.4 미국 바이든 행정명령과 후속 조치들
7.5 프랑스, 중국, 캐나다 등 여러 국가의 움직임
7.6 프론티어 모델 포럼과 AI 얼라이언스

3부를 마치며