빅데이터 처리 기술의 핵심인 하둡(Hadoop)과 NoSQL!
하둡이란 무엇일까? 기업들은 현업에서 어떤 식으로 빅데이터를 처리할까?
하둡 생태계에서의 NoSQL인 HBase를 알아보고, NHN과 KT 클라우드웨어의 주도로 진행된 국내 오픈소스 프로젝트 DuoBase 내의 HBase를 소개한다.

※ 이 책의 대상 독자
데이터 분석 또는 플랫폼 아키텍트, 또는 그와 관련된 업무를 배우려는 대학생, 개발자가 읽어야 할 책이다. 빅데이터를 다룰 때 공통적으로 알아야 할 필수적인 기술들을 실무 경험을 바탕으로 설명하고 있다.

※ 이 책의 구성
이 책은 크게 두 파트로 나뉜다. 첫 번째 파트는 챕터 1부터 4까지로, 하둡에 대한 기본기를 다진다. 챕터 5부터는 두 번째 파트로, 클라우드 컴퓨팅에 대한 주제로 환기하며 하둡을 이용한 빅데이터 도구 및 NoSQL 저장 기술에 대해 자세히 다루고 있다.

Chapter 1. 너치와 루씬으로 시작된 하둡의 역사, 국내외 구축 사례
그리고 하둡을 실제 구축하기 위해 하나의 서버를 이용해 구축하는 분산 모조형과 여러 대의 서버를 이용하여 구축하는 클러스터형에 대해서 알아본다.

Chapter 2. 하둡 분산 파일 시스템 구조 분석
특히 하둡 분산 파일 시스템(HDFS)의 주요 구성 요소인 네임노드와 데이터노드, 그리고 세컨더리 네임노드의 각자 역할과 동작 방식에 대해서 자세히 살펴본다.

Chapter 3. 빅데이터에 대한 개념 정의, 맵리듀스 살펴보기
특히, 맵리듀스의 필요성에 대해 전통적인 방식과 비교를 통해 이해하기 쉽게 설명하고 여러 가지 맵리듀스 예제를 작성해가며 맵리듀스 응용에 대한 감각을 익힌다.

Chapter 4. 하둡의 초기 버전부터 1.0 까지의 발전, 각 버전의 특징 논의
API의 변화, 덧붙이기 기능, 보안 요소를 중심으로 현재의 하둡을 깊게 이해한다. 그리고 네임노드 장애에 대응할 수 있도록 설계된 하둡 2.0의 파일 시스템과 차세대 맵리듀스로 불리우는 YARN 프레임워크를 통해 앞으로의 하둡의 발전 방향을 살펴본다.

Chapter 5. 클라우드 컴퓨팅의 기본 개념, 아마존 주요 서비스 소개
더불어 하둡을 직접 구축한 사례와 클라우드 서비스를 활용해 구축할 수 있는 방법에 대해 소개한다.

Chapter 6. 아마존의 하둡 서비스, Hive, Pig, EC2
인프라 구축 및 관리에 대한 오버헤드, 그리고 동적으로 증가하는 빅데이터에 대한 효율적인 처리를 위해서 아마존의 하둡 서비스는 클라우드 인프라를 200% 활용하여 빅데이터 운용에 대한 탄력성을 제공한다. 이러한 서비스를 직접 사용해 보고, 클라우드 환경에서의 빅데이터 운용에 대한 이슈를 살펴보기로 한다.

Chapter 7. 마하웃(Mahout), 알하이브(RHive), 지라프(Giraph) 프레임워크
다양한 기계 학습 알고리즘을 손쉽게 사용할 수 있게 해주는 도구인 마하웃(Mahout), 통계 분석 도구인 R과 하둡의 대용량 스토리지 기능을 결합한 알하이브(RHive), 하둡을 통한 그래프 데이터 처리 도구인 지라프(Giraph) 프레임워크를 살펴본다. 이러한 도구들을 통해 하둡과 맵리듀스가 생소한 사용자들도 대용량의 데이터 처리할 수 있도록 돕는다.

Chapter 8. 빅데이터 저장, 실시간 질의 및 분석을 위한 NoSQL
개발 및 배포하려는 서비스 또는 빅데이터 환경에 있어, NoSQL을 하나의 적용 가능한 솔루션으로 객관적으로 평가할 수 있도록, 그 등장 배경을 비롯하여 NoSQL의 기본적 특성, NoSQL 종류별 특성과 그것의 기본 데이터 모델링 기법에 대하여 하나하나 짚어 보는 것을 목표로 한다.

Chapter 9. 하둡 생태계에서의 NoSQL인 HBase
HBase의 특징적인 데이터 모델링 및 스키마를 알아보고, HBase의 시스템 구조를 살펴본다. 그리고 간단한 예제를 통하여 HBase를 설치하고 기본적으로 운영하는 방법에 대하여 알아본다. 마지막으로, HBase의 제약점과 부족한 점을 보완하기 위해 NHN과 KT 클라우드웨어 주도로 진행하는 국내 오픈소스 프로젝트인 DuoBase 내의 HBase를 소개한다.

Chapter 1 | 하둡 소개와 클러스터 구축하기 1. 하둡 소개 클라우드 컴퓨팅과 하둡 하둡의 역사 2. 하둡 구축 사례 해외 구축 사례 국내 구축 사례 3. 하둡 클러스터 구축하기 분산 파일 시스템 하둡 클러스터 구축을 위한 준비사항 분산 모조형(Pseudo-distribution) 구축하기 분산형(Cluster) 구축하기 4. 하둡 인터페이스 하둡 분산 파일 시스템 명령어 인터페이스 5. 요약 Chapter 2 | 하둡 분산 처리 파일 시스템 1. 하둡 분산 파일 시스템의 설계 2. 하둡 분산 파일 시스템의 전체 구조 살펴보기 3. 네임노드의 역할 메타데이터 관리 메타데이터의 안전한 보관 - Edits와 FsImage 파일과 세컨더리 네임노드 데이터노드 관리 4. 데이터노드의 역할 블록 관리 데이터 복제와 과정 데이터노드 추가 5. 요약 Chapter 3 | 빅데이터와 맵리듀스 1. 빅데이터의 개요 빅데이터란? 빅데이터의 가치 창출 2. 맵리듀스(MapReduce) 맵리듀스 예제 : 단어 빈도수 세기(Word Count) 맵리듀스 소스 코드 : 단어 빈도수 세기(Word Count) - Java 기반 맵리듀스 소스 코드 : 단어 빈도수 세기(Word Count) - Ruby 언어 기반 3. 맵리듀스의 구조 예제로 살펴본 맵리듀스 구조 구조적 관점에서의 맵리듀스 최적화 방법 4. 맵리듀스의 고장 감내성(Fault Tolerance) 5. 맵리듀스 프로그래밍 검색 정렬 역 인덱스 가장 인기 있는 단어 찾기 숫자 합산 6. 하둡 구축하기 : 맵리듀스 예제로 살펴보기 단어 빈도수 세기 맵리듀스 프로그래밍 맵리듀스 - 사용자 인터페이스 7. 요약 Chapter 4 | 하둡 버전별 특징 및 진화 1. 하둡 0.1x 버전의 API 2. 하둡의 덧붙이기(append) 기능 3. 하둡의 보안 관련 기능 4. 하둡 2.0.0 alpha 하둡 2.0.0 alpha 설치 하둡 분산 파일 시스템의 변경 차세대 맵리듀스 프레임워크 : YARN 5. 요약 Chapter 5 | 클라우드 컴퓨팅과 하둡 1. 대규모 하둡 클러스터 구축과 사례 2. 클라우드 인프라 서비스의 등장 아마존 클라우드 서비스 3. 아마존 EC2에 하둡 클러스터 구축하기 Apache Whirr란? 하둡 클러스터 구축하기 4. 요약 Chapter 6 | 아마존 Elastic MapReduce 200% 활용하기 1. 아마존 EMR(Elastic MapReduce) 활용하기 아마존 EMR이란? 아마존 EMR의 구조 아마존 EMR의 특징 아마존 EMR의 잡 플로우와 스텝 아마존 EMR을 사용 전 알아야 할 사항 아마존 EMR 실전 활용 2. 요약 Chapter 7 | 하둡을 이용한 빅데이터 분석 1. 하둡을 이용한 기계 학습(Mahout) 설치 및 컴파일 K-means 군집 알고리즘 벡터 유사도를 이용한 협업적 필터링 요약 2. 하둡을 이용한 통계 분석 RHive(R and Hive) R 설치 및 활용 Hive 설치 및 활용 RHive 설치 및 활용 요약 3. 하둡을 이용한 그래프 데이터 처리 Giraphi 4. 요약 Chapter 8 | 데이터에서의 DBMS, NoSQL 1. NoSQL 등장 배경 : 빅데이터 그리고 Web 2.0 Web 2.0에 의한 빅데이터의 등장 빅데이터에 의한 NoSQL의 등장 빅데이터와 Web 2.0에 적합한 데이터 스토어로서의 NoSQL 2. NoSQL 정의 및 종류별 특징 3. NoSQL 데이터 모델 개요 및 분류 4. NoSQL 데이터 모델링 NoSQL 데이터 모델링 기본 개념 일반적인 NoSQL 모델링 기법 5. 주요 NoSQL의 비교 및 선택 6. 요약 Chapter 9 | HBase : 하둡에서의 NoSQL 1. 하둡 생태계에서의 HBaseB 2. HBase 소개 3. HBase 데이터 모델 맵(map) 지속성(persistent) 분산(distributed) 정렬(sorted) 다차원(multidimensional) 스파스(sparse) 4. HBase 스키마 5. HBase 구조 6. HBase 구축 및 운영 7. HBase의 확장 - DuoBase 내의 HBase B 8. HBase의 사용자 정의 인덱스 HBase 사용자 정의 인덱스 - HFile 포맷의 확장 HBase 사용자 정의 인덱스 - 리전의 확장 HBase 사용자 정의 인덱스 - 멤스토어의 확장 9. 요약