ELK 스택으로 알려진 일래스틱 스택은 사용자가 검색 데이터를 효과적으로 수집, 처리, 분석하도록 도와주는 로그 분석 솔루션이다. 주요 상용 기능인 머신러닝이 추가된 일래스틱 스택은 이 분석 프로세스를 훨씬 더 효율적으로 만든다. 2판에서는 시계열 데이터 분석은 물론 분류, 회귀, 아웃라이어 탐지를 위한 일래스틱 스택의 머신러닝 기능에 대해 포괄적인 개요를 제공한다. 머신러닝 개념을 직관적으로 설명하고 있으며 로그 파일, 네트워크 흐름, 애플리케이션 메트릭, 재무 데이터와 같은 다양한 데이터 유형에 대해 시계열 분석을 수행한다. 또한 로깅, 보안 및 메트릭을 위해 일래스틱 스택 내에서 머신러닝을 배포한다. 마지막에는 데이터 프레임 분석이 머신러닝이 도움될 수 있는 완전히 새로운 사용 사례의 문을 어떻게 여는지 알게 될 것이다. 이 책이 끝날 즈음에는 머신러닝을 분산 검색과 데이터 분석 플랫폼에 통합하는 데 필요한 지식과 함께 머신러닝과 일래스틱 스택에 있어 실질적인 경험을 갖게 될 것이다.
일래스틱의 솔루션 아키텍트다. 사용자 행동 및 소셜 분석에 중점을 둔 마케팅 데이터 플랫폼인 리치 파이브(Reach Five)를 공동 설립했다. 또한 탈렌드(Talend)와 오라클(Oracle) 같은 다양한 소프트웨어 공급업체에 근무하면서 솔루션 아키텍트와 아키텍트 직책을 맡았다. 일래스틱 스택을 사용한 머신러닝 이전에 『키바나 5.0 배우기Learning Kibana 5.0』(에이콘, 2017), 『Scalable Big Data Architecture, Talend for Big Data』(Apress, 2015)를 포함한 책을 저술했다. 파리에 기반을 두고 있으며 폴리텍 파리에서 컴퓨터 과학 석사 학위를 받았다.
1장. IT를 위한 머신러닝__IT의 역사적 도전 과제 극복__엄청나게 많은 데이터 처리__자동화된 이상 탐지의 출현__비지도 ML 대 지도 ML__이상 탐지를 위한 비지도 ML 사용하기____특이에 관해 정의하기____정상 상태 학습하기____확률 모델____모델 학습하기____디트랜드____특이성에 대한 점수화____시간 요소__데이터 프레임 분석에 지도 ML 적용하기____지도 학습 과정__요약2장. 활성화와 운영화__기술 요구 사항__일래스틱 ML 기능 활성화____자체 관리형 클러스터에서 ML 활성화____클라우드에서 ML 활성화 - 일래스틱서치 서비스__운영화의 이해____ML 노드____작업____시계열 분석에서 데이터 버킷팅____일래스틱 ML에 데이터 공급____제공하는 인덱스______.ml-config______.ml-state-*______.ml-notification-*______.ml-annoataions-*______.ml-stats-*______.ml-anomalies-*____이상 탐지 오케스트레이션____이상 탐지 모델 스냅숏__요약3장. 이상 탐지__기술 요구 사항__일래스틱 ML 작업 유형__탐지기 해부____함수____필드____partition 필드____by 필드____over 필드____공식(formula)__이벤트 비율의 변화 탐지____카운트 함수 탐색____다른 카운트 함수______논제로 카운트______디스팅트 카운트__메트릭 값에서 변화 탐지____메트릭 함수______min, max, mean, median과 metric______varp______sum, not-null sum__고급 탐지기 함수의 이해____레어(rare)____프리퀀시 레어(frequency rare)____정보 내용(information content)____지오그래픽(geographic)____시간__범주형 피처로 분석 분할____분할 필드 설정____partition과 by_field를 사용한 분할의 차이점____이중 분할에 한계가 있을까?__시간 분석과 모집단 분석의 이해__비정형 메시지 범주화 분석____범주화에 훌륭한 후보가 되는 메시지 유형____범주화에 사용되는 프로세스____범주 분석____범주화 작업 예제____범주화 사용을 피해야 하는 경우__API를 통한 일래스틱 ML 관리__요약4장. 예측 __기술 요구 사항__예언과 대비되는 예측__예측 사용 사례__작업의 예측 이론__단일 시계열 예측__예측 결과 검토__다중 시계열 예측__요약5장. 결과 해석__기술 요구 사항__일래스틱 ML 결과 인덱스 보기__이상 징후 점수____버킷 수준 스코어링____정규화____인플루언서 수준 점수____인플루언서____레코드 수준 점수__결과 인덱스 스키마의 세부 정보____버킷 결과____레코드 결과____인플루언서 결과__다중 버킷 이상 징후____다중 버킷 이상 징후 예제____다중 버킷 스코어링__예측 결과____예측 결과 쿼리__결과 API____결과 API 엔드포인트____전체 버킷 조회 API____범주 조회 API__사용자 정의 대시보드와 캔버스 워크패드____대시보드 “임베디블”____TSVB에서 이상 징후 주석____캔버스 워크패드 사용자 정의__요약6장. ML 분석에 기반한 얼러팅 __기술 요구 사항__얼러팅 개념 이해____모든 이상 징후가 얼럿일 필요는 없다____실시간 얼러팅에는 타이밍이 중요하다__ML UI에서 얼럿 작성____샘플 이상 탐지 작업 정의__샘플 작업에 대한 얼럿 생성____실시간 이례적인 행위 시뮬레이션____얼럿 수신과 검토__와치(watch)로 얼럿 만들기____레거시 기본 ML 와치의 구조 이해______trigger 섹션______input 섹션______condition 섹션______action 섹션____사용자 정의 와치는 몇 가지 고유한 기능을 제공할 수 있다______연결된 입력과 스크립트 내의 조건______연결된 입력 간에 정보 전달__요약7장. AIOps와 근본 원인 분석 __기술 요구 사항__AIOps 용어의 이해__KPI의 중요성과 한계 이해__KPI를 넘어서__더 나은 분석을 위한 데이터 조직화____이상 탐지 데이터피드에 대한 사용자 정의 쿼리____수집 시 데이터 강화__컨텍스트 정보 활용____분석 분할____통계적 인플루언서__RCA를 위해 모든 것을 통합____가동 중단 배경____상관관계와 공유된 인플루언서__요약8장. 다른 일래스틱 스택 앱에서 이상 탐지 __기술 요구 사항__일래스틱 APM의 이상 탐지____APM에 대한 이상 탐지 활성화____APM UI에서 이상 탐지 작업 결과 조회____데이터 인식기를 통한 ML 작업 생성__로그 앱의 이상 탐지____로그 카테고리____로그 이상 징후____메트릭 앱의 이상 탐지__업타임 앱의 이상 탐지__일래스틱 시큐리티 앱의 이상 탐지____사전 구축된 이상 탐지 작업__탐지 얼럿으로서의 이상 탐지 작업__요약9장. 데이터 프레임 분석 소개 __기술 요구 사항__변환하는 방법 학습____왜 변환이 유용한가?____변환 작업의 내부 구조____전자 상거래 주문을 분석하기 위해 변환 사용____더 고급 수준의 피벗과 집계 구성 탐색____배치 변환과 연속 변환의 차이점 발견____연속 변환을 사용해 소셜 미디어 피드 분석__고급 변환 구성에 페인리스 사용____페인리스 소개____변수, 연산자, 제어 흐름____함수__파이썬과 일래스틱서치로 작업하기____파이선 일래스틱서치 클라이언트에 대해 간략하게 둘러보기____일런드의 개발 목적 이해____일런드와 함께하는 첫걸음__요약__더 읽어보기10장. 아웃라이어 탐지 __기술 요구 사항__아웃라이어 탐지의 내부 작동 이해____아웃라이어 탐지에 사용하는 4가지 기술 이해______거리 기반 기술______밀도 기반 기술__피처 영향력 이해______각 점에 대한 피처 영향력은 어떻게 계산하는가? ____아웃라이어 탐지는 이상 탐지와 어떻게 다른가?______확률 모델 기반 대 인스턴스 기반______점수화______데이터 특성______온라인 대 배치(batch)__실제 아웃라이어 탐지 적용__Evaluate API로 아웃라이어 탐지 평가__아웃라이어 탐지를 위한 하이퍼파라미터 조정__요약11장. 분류 분석 __기술 요구 사항__분류: 데이터에서 훈련된 모델로____데이터에서 분류 모델 학습____피처 엔지니어링____모델 평가__분류의 첫 걸음__분류의 내부 구조: 그래디언트 부스트 의사결정 트리____의사결정 트리 소개____그래디언트 부스트 의사결정 트리__하이퍼파라미터__결과 해석____분류 확률____분류 점수____피처 중요도__요약__더 읽어보기12장. 회귀 __기술 요구 사항__회귀 분석을 사용해 주택 가격 예측__회귀를 위한 의사결정 트리 사용__요약__더 읽어보기13장. 추론__기술 요구 사항__훈련된 모델 API 및 파이썬을 사용해 훈련된 머신러닝 모델을 검사하고 가져오며 내보내기__훈련된 모델 API 살펴보기____훈련된 모델 API와 파이썬을 사용해 훈련된 모델 내보내기와 가져오기__추론 프로세서와 인제스트 파이프라인 이해하기____인제스트 파이프라인에서 누락되거나 손상된 데이터 처리____예측에 대한 더 많은 통찰력을 얻기 위한 추론 프로세서 구성 옵션 사용하기__일런드를 사용해 외부 모델을 일래스틱서치로 가져오기____일런드에서 지원하는 외부 모델에 대해 알아보기____scikit-learn의 DecisionTreeClassifier로 훈련하고 일런드를 사용해 일래스틱서치로 가져오기__요약부록. 이상 탐지 팁 __기술 요구 사항__분할 작업 대 비분할 작업의 인플루언서 이해하기__단측함수를 유리하게 사용하기__기간 무시하기____예정된 (알려진) 시간 윈도 무시하기______캘린더 이벤트 생성______원하는 타임프레임을 무시하기 위해 데이터피드 중지 및 시작____예기치 못한 시간 윈도를 사후에 무시하기______작업의 복제와 과거 데이터의 재실행______작업을 이전 모델 스냅숏으로 되돌리기__사용자 정의 규칙과 필터 유리하게 사용하기____사용자 정의 규칙 만들기______“하향식” 얼러팅 철학에 대한 사용자 지정 규칙의 장점__이상 탐지 작업 처리량에 관한 고려 사항__사용 사례의 과도한 엔지니어링 방지하기__런타임 필드에서 이상 탐지 사용하기__요약
