ㅇ EMR? > Elastic Map Reduce의 줄임말로, 빅데이터 프레임워크(ex. Hadoop, Spark) 실행을 간소화하는 관리형 클러스터 플랫폼 * Map Reduce: 흩어져있는 데이터를 Key, Value 형태로 연관 데이터끼리 묶는 Map단계와 Map화한 작업 중 중복 데이터를 제거하고 원하는 데이터를 추출하는 Reduce 단계로 처리 과정을 나누어 작업하는 것 ㅇ EMR 구성요소 1) Master 노드 > 클러스터를 관리하며 분산 애플리케이션의 마스터 구성 요소 실행(ex. YARM Resource Manager Service, HDFS NameNode) > 클러스터로 전송된 작업의 상태 추적 및 모니터링 2) Core 노드 > 실제 작업 및 저장 공간 > HDFS와 NodeManag..

ㅇ ElastiCache? > AWS의 In-Memory-Cache를 손쉽게 생성하고 확장 가능한 서비스 * In-Memory-Cache: 모든 데이터를 메모리(RAM)에만 올려 놓고 사용하는 데이터베이스의 일종 > 일반적인 데이터베이스: 디스크(HDD, SSD)에 데이터를 영구 저장하고 필요한 데이터만 메모리에 읽어 사용 > In-Memory-Cache: 디스크에 접근 없이 메모리로만 모든 처리를 수행해 데이터 저장 및 검색 속도가 매우 빠르지만, 지정된 메모리 크기까지만 데이터 저장 가능하고, 서버 전원 공급이 중단되면 데이터 소멸 > 읽기 중심의 서비스를 제공해야하는 환경이나 고속 데이터 분석을 요구하는 환경에 적합 > 두 가지 엔진 지원 1) Memcached > 웹, 모바일 앱, 게임, 광고 기..

ㅇ EFS? > 인스턴스에 사용 가능한 간단하고 확장 가능한 파일 스토리지 서비스 > Disk Size 관리가 필요 없음 > Disk Size에 따른 Throughput 및 IOPS가 자동 증가/감소 * Throughput: 단위 시간 당 작업 처리량 * IOPS: HDD, SSD 또는 NVMe 등 저장장치의 속도 측정 단위 ㅇ EFS 생성 > [EC2 서비스] - [보안그룹]에서 EFS 제작에 사용될 보안그룹의 인바운드 규칙에 NFS (2049 포트)를 허용하도록 설정 > [EFS 서비스] - [파일 시스템 생성] 선택 > 포트번호(2049))가 열려있는 시큐리티 그룹을 넣고 진행 > 이름, 수명주기 및 모드 선택 * 수명주기: 최근 액세스가 없을 경우 IA Storage로 이전하여 비용을 절감하는 기..

안녕하세요, 달콤한달팽이입니다.🐌😎 이전 글에서 S3를 생성하고, 사용하는 방법을 실습해보며 CLI를 사용하는 방식에 대해 가볍게 알아보았습니다. 이번 글에선 CLI를 사용하는 방법을 조금 더 자세하게 알아보는 시간을 가져볼 예정입니다. S3를 처음 사용해보시는 분이라면 아래 글을 먼저 읽어보시는 것을 권장드려요!  [AWS] S3 사용하기안녕하세요, 달콤한달팽이입니다.🐌😎 오늘은 AWS를 사용하여 객체를 저장하고, 이를 사용하는 방법을 알아보겠습니다. S3란? S3란, AWS에서 제공하는 객체 스토리지 서비스로 파일을 저장하기sweetysnail1011.tistory.com AWS CLI란?AWS CLI란, AWS의 오픈 소스 도구로 명령어를 통해 AWS 서비스와 상호 작용을 할 수 있는 기능을..

ㅇ Peering Connection? > 피어링 연결 시 두 개의 VPC가 필요하며, 요청 VPC는 자신의 계정에서 현재 리전의 VPC 중 하나를 선택 가능한데, 수락 VPC는 현재 자신의 계정에 속한 현재 리전의 VPC 뿐만 아니라 다린 리전의 VPC나 다른 계정의 VPC를 선택하는 것이 가능 ㅇ Peering Connection사용 > 아래와 같이 기본 설정과 각 계정당 TG 필요 > transit gateway attachment의 type을 "Peering Connection"으로 선택하고, 상대방의 리전과 계정 ID 입력 > 이후 요청 수락 상태인 pending acceptance가 됨 > 수락 VPC에서 [작업] - [Accept] 선택 > 라우팅 테이블 설정 1. 도쿄 2. 서울 > Tra..

ㅇ RAM(Resource Access Manager)? > AWS 계정 간 리소스 공유를 지원하는 서비스 ex) 다른 계정 VPC와 Transit Gateway를 사용하기 위해서는 Transit Gateway Attachment가 필요한데, 리소스 공유가 되어있지 않아 VPC 선택이 불가능 ㅇ RAM 사용 > 다음 그림과 같이 기본 구성 및 TG 생성 1. 계정 A에서 > [RAM 서비스] - [리소스 공유] - [리소스 공유 생성] 선택 > 리소스 이름과 리소스 공유에 추가할 리소스를 선택(Transit Gateway)하고, 상대방 계정ID(계정 B) 입력 > 라우팅 테이블 수정 2. 계정 B에서 > [RAM 서비스] - [리소스 공유] - [리소스 공유 생성]에 요청을 받은 리소스가 Pending ..