[CE] MapReduce

Database에서 performance를 향상시키기 위해 채용하는 Database Sharding의 varaiation.
대용량 데이터를 처리에서 높은 perforamnce를 확보하기 위해 제안된 분산 모델 (=일종의 프로그래밍 모델임.)

• Google에서 2004년 발표한 대용량 데이터 처리용 Framework
• 여러 processor들로 병렬처리하고 controller가 이를 제어하는 Sharding 의 한 종류로 높은 수준의 parallerization(병렬 처리) 지원
• 여러 대의 서버를 이용하여 대규모 데이터 분석을 가능하게 함.

여러 대의 서버를 이용하여 다음을 수행하는 분산처리 기술과 관련 프레임워크를 의미

 

Split

• 큰 데이터를 작게 나눔

Map

• 이를 여러 서버에 나누어 주어 처리.

Reduce

• 처리된 데이터를 합쳐서 representative infomation을 추출.

Sharding

대규모 데이터베이스를 여러 머신에 나누어 저장하는 기술을 가르킴. 데이터를 여러 조각으로 나눠 저장하면서 데이터베이스의 확장성과 보안성 등이 보다 좋아지는 기술이다. 블록체인에서도 많이 애용된다.

보다 자세한 건 다음의 URL참고.

• 갈아먹는 BigData [1] MapReduce 이해하기
• MapReduce: Simplified Data Processing on Large dataset, Jeff et al, google