[AWS EMR] 30. EMR
ㅇ EMR? > Elastic Map Reduce의 줄임말로, 빅데이터 프레임워크(ex. Hadoop, Spark) 실행을 간소화하는 관리형 클러스터 플랫폼 * Map Reduce: 흩어져있는 데이터를 Key, Value 형태로 연관 데이터끼리 묶는 Map단계와 Map화한 작업 중 중복 데이터를 제거하고 원하는 데이터를 추출하는 Reduce 단계로 처리 과정을 나누어 작업하는 것 ㅇ EMR 구성요소 1) Master 노드 > 클러스터를 관리하며 분산 애플리케이션의 마스터 구성 요소 실행(ex. YARM Resource Manager Service, HDFS NameNode) > 클러스터로 전송된 작업의 상태 추적 및 모니터링 2) Core 노드 > 실제 작업 및 저장 공간 > HDFS와 NodeManag..
2020.06.04