신뢰도 높은 실험을 설계하는 가이드를 제공한다. 특히 각각 과정이 더욱 정확하게 측정가능한 온라인을 대상으로 한다. 구글, 링크드인과 마이크로소프트의 빅테크 기업에서 전 세계인을 대상으로 실행해온 수많은 실험의 노하우를 책에 담았다. 전반부는 온라인 실험에 대한 이론적인 내용을 담고 있으며, 후반부는 이를 실제로 적용할 때 발생할 수 있는 다양한 상황을 다루는 법을 알려준다.

웹 페이지나 앱 외에도 온라인상에서 수행하는 다양한 실험에 대한 조언을 담고 있다. 최근 관심을 받고 있는 메타버스는 높은 자유도를 지녔으며 현실과 매우 유사한 디지털화 된 세계다. 디지털화된 세계에서는 모든 것을 측정할 수 있기 때문에 이를 운영하는 플랫폼은 더욱 다양한 온라인 실험을 수행하고 결과를 활용할 수 있다. 이런 점에서 온라인 웹사이트를 기획하는 기획자, PO, 데이터 과학자뿐만 아니라 온라인 서비스를 운영하고자 하는 회사 대표나 투자자도 이 책을 통해 미래를 대비할 수 있을 것이다.

에어비앤비의 상무 이사이자 기술 펠로우이다. 이 책은 마이크로소프트의 기술 펠로우이자 본사 상무 이사로 있을 때 쓴 것으로, 그 이전에는 아마존의 데이터 마이닝 및 개인화 책임자였다. 스탠포드 대학교에서 컴퓨터 과학 박사 학위를 받았다. 그의 논문은 40,000개 이상의 인용됐으며, 그중 3개가 컴퓨터 과학에서 가장 많이 인용된 상위 1,000개의 논문에 속한다.

1부. 모두를 위한 입문 주제

1장. 소개와 동기
2장. 실험의 실행과 분석-엔드-투-엔드 예제
3장. 트위먼의 법칙과 실험의 신뢰도
4장. 실험 플랫폼과 문화

2부 모두를 위해 선택된 주제

5장. 속도의 중요성: 엔드-투-엔드 사례 연구
6장. 조직 운영을 위한 지표
7장. 실험을 위한 지표와 종합 평가 기준
8장. 제도적 기억과 메타 분석
9장. 종합 대조 실험의 윤리

3부 종합 대조 실험에 대한 보완 및 대체 기법들

10장. 보완 기법들
11장. 관측 인과 연구

4부 실험 플랫폼 구축을 위한 고급 주제

12장. 클라이언트 측 실험
13장. 계측
14장. 랜덤화 단위 선택
15장. 실험 노출 증가시키기: 속도, 품질 및 위험의 트레이드오프
16장. 실험 분석 확장

5부 실험 분석을 위한 고급 주제

17장. 온라인 종합 대조 실험에 사용되는 통계 이론
18장. 분산 추정 및 민감도 개선: 함정 및 해결책
19장. A/A 테스트
20장. 민감도 향상을 위한 트리거링
21장. 샘플 비율 불일치 및 기타 신뢰 관련 가드레일 지표
22장. 실험 간의 누출 및 간섭
23장. 장기 실험효과 측정