설명 가능한 인공지능 또는 해석 가능한 머신러닝 모델을 구축하는 다양한 방법론을 소개한다. 최근 이슈가 되고 있는 인공지능 모델의 윤리적 문제를 다루면서도 동시에 높은 성능과 견고성을 유지할 수 있는 비결을 소개한다. 먼저 해석 가능성이란 무엇인지 설명하고 머신러닝 모델의 윤리적 측면인 공정성, 책임성, 투명성이 필요한 이유 그리고 이를 달성할 방법을 설명한다. 그 다음 다양한 상황과 다양한 데이터 형태를 갖는 각 유스 케이스에서 머신러닝 해석방법론을 적용하는 과정을 실제적으로 다루고 있다. 마지막으로 모델의 복잡성을 줄이고, 편향을 완화시키고, 안정성과 견고성을 향상시키기 위해 모델을 튜닝하는 방법을 학습할 수 있다.
지난 20년 동안 인터넷, 애플리케이션 개발 및 분석의 교차점에 있었다. 현재 세계 식량 안보 향상의 임무를 가진 선도적인 농업 비즈니스 기업인 신젠타(Syngenta)의 기후 및 농업 데이터 과학자다. 그 전에는 클라우드 컴퓨팅과 머신러닝의 힘을 의사결정 과학의 원리와 결합해 사용자를 새로운 장소와 이벤트에 노출시키는 하버드 이노베이션 랩스(Harvard Innovation Labs)가 인큐베이팅한 스타트업을 공동 설립했다. 여가 활동이나 식물의 질병, 또는 고객 평생 가치 등 분야에 상관없이 데이터와 의사결정 사이에서 자주 놓치는 연결 고리를 제공하는 데 열정을 쏟고 있으며, 머신러닝 해석은 이런 격차를 해소하는 데 강력한 도움이 된다.
1부. 머신러닝 해석 소개__1장. 해석, 해석 가능성, 설명 가능성: 왜 이 모두가 중요한가?______기술 요구 사항______머신러닝 해석이란?____단순 몸무게 예측 모델의 이해______해석 가능성과 설명 가능성의 차이점 이해____해석 가능성이란____설명 가능성이란______해석 가능성에 대한 비즈니스 사례____더 나은 의사결정____더 신뢰받는 브랜드____더 윤리적인____더 많은 수익______정리______이미지 소스______더 읽을거리__2장. 해석 가능성의 주요 개념______기술 요구 사항______미션____CVD에 대한 상세정보______접근법______준비____라이브러리 로드____데이터 이해 및 준비______해석 방법론의 종류와 범위____모델 해석 가능성 방법론의 종류____모델 해석 가능성의 범위____로지스틱 회귀로 개별 예측 해석______머신러닝 해석 가능성을 저해하는 요인____비선형성____상호작용성____비단조성______미션 완료______정리______더 읽을거리__3장. 머신러닝 해석의 과제______기술 요구 사항______미션______접근법______준비____라이브러리 로드____데이터의 이해 및 준비______전통적인 모델 해석 방법론____다양한 회귀 방법론으로 지연된 시간 예측____다양한 분류 방법론으로 항공편 지연 여부 분류____차원 축소 방법으로 지연된 항공편 시각화______전통적인 모델 해석 방법론의 한계______본질적으로 해석 가능한 화이트박스 모델____일반화 선형 모델(GLM)____의사결정 트리____RuleFit____최근접 이웃____나이브 베이즈______성능과 해석 가능성 사이의 균형____특수한 모델 속성____성능 평가______최신의 해석 가능한 글래스박스 모델____설명 가능한 부스팅 머신(EBM)____Skoped Rules______미션 완료______정리______데이터셋 소스______더 읽을거리2부. 해석 방법론 마스터하기__4장. 피처 중요도와 피처 영향력______기술 요구 사항______미션____성격과 출생 순서______접근법______준비____라이브러리 로드____데이터 이해 및 준비______결과에 대한 피처의 영향력 측정____트리 기반 모델의 피처 중요도____로지스틱 회귀의 피처 중요도____LDA의 피처 중요도____다층 퍼셉트론의 피처 중요도______PFI 실습____PFI의 단점______PDP 해석____상호작용 PDP____PDP의 단점______ICE 플롯____ICE의 단점______미션 완료______정리______데이터셋 소스______더 읽을거리__5장. 글로벌 모델 독립적 해석 방법론______기술 요구 사항______미션______접근법______준비____라이브러리 로드____데이터 이해 및 준비____데이터 딕셔너리______섀플리 값 소개______SHAP 요약 플롯 및 의존도 플롯 해석____SHAP 요약 플롯 생성____상호작용 이해하기____SHAP 의존도 플롯____SHAP 영향력 플롯______누적 지역 효과 플롯______글로벌 대체 모델______미션 완료______정리______더 읽을거리__6장. 로컬 모델 독립적 해석 방법론______기술 요구 사항______미션______접근법______준비____라이브러리 로드____데이터 이해 및 준비______SHAP의 KernelExplainer 활용해 SHAP 값으로 로컬 해석______LIME ______NLP에 LIME 사용하기______NLP에 SHAP 사용하기______SHAP과 LIME 비교______미션 완료______정리______데이터셋 소스______더 읽을거리__7장. 앵커와 반사실적 설명______기술 요구 사항______미션____재범 위험 평가의 부당한 편향______접근법______준비____라이브러리 로드____데이터 이해 및 준비______앵커 설명에 대한 이해____alibi를 이용해 앵커 및 반사실적 설명 준비하기____앵커 설명을 위한 로컬 해석______반사실적 설명 탐색____프로토타입을 통한 반사실적 설명____What-If 도구(WIT)를 사용한 반사실적 설명______CEM과의 비교______미션 완료______정리______데이터셋 소스______더 읽을거리__8장. 컨볼루션 신경망 시각화______기술 요구 사항______미션______접근법______준비____라이브러리 로드____데이터 이해 및 준비____전통적인 해석 방법론으로 CNN 분류기 평가______활성화 기반 방법론으로 학습 과정을 시각화____중간 활성화____활성화 극대화______그래디언트 기반 귀인 방법론으로 오분류 검증____돌출 맵____Grad-CAM____통합 그래디언트____종합______섭동 기반 귀인 방법론으로 분류 이해____폐쇄 민감도____LIME의 ImageExplainer____CEM____종합____보너스: SHAP의 DeepExplainer______미션 완료______정리______데이터셋 및 이미지 소스______더 읽을거리__9장. 다변량 예측 및 민감도 분석을 위한 해석 방법론______기술 요구 사항______미션______접근법______준비____라이브러리 로드____데이터 이해 및 준비______전통적인 해석 방법론으로 시계열 모델 평가______통합 그래디언트로 LSTM 속성 생성______SHAP의 KernelExplainer로 글로벌 및 로컬 속성 계산______인자 우선순위화로 영향력 있는 피처 식별______인자 고정으로 불확실성 및 비용 민감도 정량화______미션 완료______정리______데이터셋 및 이미지 소스______더 읽을거리3부. 해석 가능성을 위한 튜닝__10장. 해석 가능성을 위한 피처 선택과 피처 엔지니어링______기술 요구 사항______미션______접근법______준비____라이브러리 로드____데이터 이해 및 준비______상관성 없는 피처의 효과 이해______필터링 기반 피처 선택 방법론____기본 필터링 기반 방법론____상관관계 필터링 기반 방법론____순위 필터링 기반 방법론____필터링 기반 방법론 비교______임베디드 피처 선택 방법론______래퍼, 하이브리드, 고급 피처 선택 방법론____래퍼 방법론____하이브리드 방법____고급 피처 선택 방법론____모든 피처 선택 모델 평가______피처 엔지니어링 고려______미션 완료______정리______데이터셋 소스______더 읽을거리__11장. 편향 완화 및 인과관계 추론 방법론______기술 요구 사항______미션______접근법______준비____라이브러리 로드____데이터 이해 및 준비______편향 감지____데이터셋 편향 시각화____데이터셋 편향 정량화____모델 편향 정량화______편향 완화____전처리 편향 완화 방법론____프로세스 내 편향 완화 방법론____후처리 편향 완화 방법론____편향 완화 방법론 비교______인과 모델 생성____실험 결과 이해____인과 모델에 대한 이해____선형 DRL 초기화____인과 모델 적합______이질적 처치 효과____정책 선택______추정치 견고성 테스트____무작위 공통 원인 추가____무작위 변수로 처치 대체______미션 완료______정리______데이터셋 소스______더 읽을거리__12장. 해석 가능성을 위한 단조성 제약조건과 모델 튜닝______기술 요구 사항______미션______접근법______준비____라이브러리 로드____데이터 이해 및 준비______피처 엔지니어링으로 가드레일 배치____서수화____이산화____상호작용 항과 비선형 변환____범주화 인코딩____다른 준비 작업______해석 가능성을 위한 모델 튜닝____케라스 신경망 튜닝____인기 있는 다른 모델 클래스 튜닝____베이지안 하이퍼파라미터 튜닝 및 사용자 정의 메트릭으로 공정성 최적화 ______모델 제약조건 구현____XGBoost에 대한 제약조건______미션 완료______정리______데이터셋 소스______더 읽을거리__13장. 적대적 견고성 ______기술 요구 사항______미션______접근법______준비____라이브러리 로드____데이터 이해 및 준비____CNN 기본 모델 로드____CNN 기본 분류기 평가______우회 공격______전처리를 통한 표적 공격 방어______적대적 학습을 통해 우회 공격으로부터 보호______적대적 견고성 평가 및 인증____모델 견고성과 공격 강도 비교____무작위 평활화로 견고성 인증______미션 완료______정리______데이터 소스______더 읽을거리__14장. 머신러닝 해석 가능성 그다음 단계는? ______ML 해석 가능성의 현재 상황 이해____전체 요약____최신 트렌드____ML 해석 가능성의 미래에 대한 추측____ML의 새로운 비전____종합적인 접근____적절한 표준화____규제 시행____내장된 해석으로 인한 매끄러운 머신러닝 자동화____MLOps 엔지니어와의 긴밀한 통합______더 읽을거리
