머신러닝은 더 이상 일부 전문가들의 영역이 아니며, 머신러닝의 구현과 운영 모두 여러 분야에서 축적된 경험을 바탕으로 생산적으로 발전해왔다. 이 과정에서 MLOps(Machine Learning Operations)는 기존의 소프트웨어와 시스템의 통합 운영 기술을 도입하고, 머신러닝을 위한 표준 프로세스를 적용해서 최적화해왔다. 쿠버네티스를 포함한 오픈소스 도구들을 통해 이 변화를 탐험해보자.
레드햇의 수석 설계자다. 지금까지 오픈시프트와 레드햇의 기업용 쿠버네티스 서비스를 활용해 데이터 사이언스, 앱 플랫폼을 설계하고 제작하는 일을 지원했다. 소프트웨어 제작에 20년이 넘는 경험이 있고, 쿠버네티스가 등장하기 전부터 마이크로서비스를 만들었다.
1부. 머신러닝 도입의 문제점과 MLOps의 이해(정의와 근거)1장. 머신러닝의 도전 과제__머신러닝 이해하기__머신러닝 가치의 실현__올바른 접근법 선택____데이터의 중요성__머신러닝 도입의 도전 과제____큰 그림에만 집착하기____사일로 살펴보기____빠른 실패 문화__머신러닝 플랫폼 개요__요약__더 알아보기2장. MLOps 이해하기__머신러닝과 기존 프로그래밍의 비교__DevOps의 장점 알아보기__MLOps 이해하기____머신러닝____DevOps____머신러닝 프로젝트 라이프사이클____빠른 피드백 루프____프로젝트 라이프사이클에서의 협업__머신러닝 프로젝트에서의 OSS 역할__쿠버네티스에서 머신러닝 프로젝트 운영__요약__더 알아보기3장. 쿠버네티스 탐험__기술 요구 사항__쿠버네티스 주요 구성 요소 살펴보기____제어 영역____작업자 노드____앱의 실행을 위한 쿠버네티스 객체__쿠버네티스로 클라우드 사용자되기__오퍼레이터 이해하기__로컬 쿠버네티스 환경 설정하기____kubectl 설치____minikube 설치____OLM 설치__구글 클라우드 플랫폼의 가상머신 준비하기__요약2부. MLOps 플랫폼의 작업 영역과 쿠버네티스로 만드는 방법4장. 머신러닝 플랫폼의 구조__기술 요구 사항__셀프서비스 플랫폼 정의__데이터 엔지니어링 구성 요소 알아보기____데이터 엔지니어 워크플로__모델 개발 구성 요소 알아보기____데이터 과학자의 워크플로 이해하기__보안, 모니터링과 자동화__ODH 소개____쿠버네티스에 ODH 오퍼레이터 설치____쿠버네티스 클러스터에 인그레스 제어기 활성화____쿠버네티스에 Keycloak 설치__요약__더 알아보기5장. 데이터 엔지니어링__기술 요구 사항__인증을 위한 Keycloak 설정____ODH 구성 요소에 대한 Keycloak 설정 가져오기____Keycloak 사용자 생성__ODH 구성 요소 설정____ODH 설치__주피터허브의 이해와 활용____주피터허브 설치 확인하기____첫 번째 주피터 노트북 실행__아파치 스파크의 기초 이해____아파치 스파크 작업 실행 이해하기__ODH로 아파치 스파크 클러스터를 필요할 때 제공하는 방법 ____스파크 클러스터 생성____주피터허브로 스파크 클러스터를 생성하는 방법__주피터 노트북에서 스파크 앱을 만들어서 실행하기__요약6장. 머신러닝 엔지니어링__기술 요구 사항__머신러닝 엔지니어링 이해__사용자 노트북 이미지 사용____사용자 노트북 컨테이너 이미지 만들기__MLflow 소개____MLflow 구성 요소 이해____MLflow 설치 확인하기__시험 추적 시스템용 MLflow____시험 실행에 사용자 데이터 추가__모델 레지스트리 시스템으로서 MLflow__요약7장. 모델 배포와 자동화__기술 요구 사항__셀돈 코어를 사용한 모델 추론의 이해____파이썬을 사용한 모델 래핑____모델을 컨테이너로 만들기____셀돈 코어 컨트롤러로 모델 배포하기__셀돈 코어를 사용한 모델의 패키징, 실행, 모니터링__아파치 Airflow 소개____DAG 이해____Airflow 기능 탐험____Airflow 구성 요소 이해____Airflow 설치 확인하기____Airflow DAG 리포지터리 설정____Airflow 런타임 이미지 설정__Airflow에서 머신러닝 모델 배포의 자동화____파이프라인 편집기로 파이프라인 생성하기__요약3부. MLOps와 새로운 플랫폼을 사용한 전체 프로젝트 빌드8장. 우리의 플랫폼을 사용한 전체 머신러닝 프로젝트 만들기__머신러닝 플랫폼의 전체 그림 보기__사업적 과제의 이해__데이터 수집, 처리, 정제____데이터 소스, 경로, 형식의 이해____데이터 처리와 정제의 이해__예비 데이터 분석 수행____데이터 샘플 이해__피처 엔지니어링의 이해____데이터 증강__머신러닝 모델의 빌드와 평가____데이터 평가 기준____모델 빌드____모델 배포__재현 가능성__요약9장. 데이터 파이프라인 만들기__기술 요구 사항__개발을 위한 스파크 클러스터 자동 제공__스파크 데이터 파이프라인 작성____실행 환경 준비____데이터 이해하기____파이프라인 설계와 제작____데이터 파이프라인을 모니터하는 스파크 화면 사용__Airflow를 사용한 데이터 파이프라인 제작과 실행____데이터 파이프라인 DAG 이해____DAG 제작과 실행__요약10장. 모델의 제작, 배포와 모니터링__기술 요구 사항__주피터허브를 사용한 데이터 시각화와 탐색__주피터허브로 모델을 만들고 조정하기__모델 시험 추적과 MLflow를 사용한 버전 관리____모델 시험 추적____모델 버전 관리__모델을 서비스로 배포____모델 호출하기__모델 모니터하기____모니터링 구성 요소의 이해____그라파나와 대시보드 설정__요약11장. 쿠버네티스 기반의 머신러닝__머신러닝 플랫폼 사례 검토____AutoML 검토하기____상업적 플랫폼____ODH__머신러닝 운영 최적화____업무 기대치 설정____지저분한 실제 데이터 처리____부정확한 결과 처리____CD 관리____보안 관리____규정 준수____거버넌스 적용__쿠버네티스 실행____벤더 의존성 방지____다른 쿠버네티스 플랫폼 검토__로드맵__요약__더 알아보기
