본문 바로가기

SW LAB/Cloud

AWS SA Professional 자격증 : 시험 대비 용어 정리 프롬스의 SWDEVLAB AWS SA Professional 자격증 : 시험 대비 용어 정리 자격증 대비로 공부를 하면서 모르는 용어에 대해 간단하게 정리를 하였습니다. 용어 목록 컴퓨팅 Fargate 서버리스 컴퓨팅 엔진 비용 : 시간당 사용된 CPU, Memory Lambda 비용 : 요청수, 메모리 함수 실행 초 SAM Stateless Application Model. YAML 템플릿을 사용하여 애플리케이션 (lambda, API End Point, DynamoDB 등) 을 설명하는데 사용. 배포과정에서 CloudFormation으로 변환 ECR Elastic Container Registry. Docker 컨테이너 이미지를 손쉽게 저장, 관리, 배포할 수 있게 해주는 완전 관리형 Docker C.. 더보기
AWS CLI를 이용하여 S3 다루기 AWS CLI를 이용하여 S3 다루기 계정 확인 프로그래밍 방식 엑세스 유형을 갖고 있는 AWS 사용자가 필요합니다. 없다면, 프로그래밍 방식 엑스스 유형을 지닌 사용자를 IAM에서 생성합니다. 그리고 Access Key, Secret Key에 대한 정보를 담은 CSV 파일을 잘 보관하도록 합니다. AWS CLI 설치 AWS의 Command Line Interface를 이용하기 위해서는 AWS CLI를 설치해야 합니다. AWS CLI 사용설명서에 더 자세한 내용이 있습니다. 본문은 Windows에 AWS CLI 버전 2 설치 항목에 해당하는 내용을 참고하여 설치를 진행하였습니다. 파일 다운로드를 하고, 설치를 진행합니다. AWS CLI Version 2는 WindowsXP 이상, 64Bit 에서만 지원합.. 더보기
AWS SA Professional 시험 후기 프롬스의 SWDEVLAB AWS SA Professional 시험 후기 기존에 SA Associate를 합격해야만, SA Professional에 지원을 할 수 있었지만, 현재는 바로 SA Professional에 지원을 할 수 있습니다. 그래서 바로 SA Professional 자격증을 목표로 잡고 공부를 시작했습니다. 시험 공부 과정 2020년 3월 초부터 시작하여 하루에 30분, 길게는 1~2시간정도씩 약 두달간 준비를 했습니다. 가장 중요하게 생각되는 것은 무작정 관련 서적을 구매해서 공부를 하는 것 보다는 다른 사람들이 어떤 과정을 겪고 무엇을 참고해서 합격할 수 있는지에 대한 정보였습니다. 저는 인터넷에 떠돌고 있는 문제들을 참고하였고, 이해가 안가는 문제를 대상으로 하나하나 검색하면서 이해하.. 더보기
클라우드에서 빅데이터 아키텍처란? 데이터베이스 : 빅데이터 클라우드는 데이터의 처리 및 저장 방법을 비롯하여 애플리케이션이 디자인되는 방식을 바꾸고 있습니다. Polyglot Persistence Solution은 모든 솔루션의 데이터를 처리하는 단일 범용 데이터베이스 대신, 각각이 특정 기능을 제공하도록 최적화된 여러 특수한 데이터 저장소를 사용합니다. 단일 데이터 계층에서 읽고 쓰는 비즈니스 논리의 여러 계층이 더 이상 존재하지 않습니다. 대신, 솔루션을 통해 데이터가 흐르는 방식, 처리되는 위치, 저장되는 위치, 파이프라인의 다음 구성 요소에서 사용되는 방식을 설명하는 데이터 파이프라인을 중심으로 솔루션이 디자인됩니다. Microsoft Azure에서는 관계형 데이터, 비관계형 데이터, 빅 데이터로 데이터 유형을 나누고 있습니다. .. 더보기
AWS ECS : 소개 Amazon ECS 란 ? ECS의 가장 기본적인 단위는 클러스터입니다. 클러스터는 도커 컨테이너를 실행할 수 있는 가상의 공간으로 이해할 수 있습니다. ECS 클러스터는 기본적으로 EC2와 같은 컴퓨팅 자원을 기본적으로 포함하고 있지 않은 논리적인 단위입니다. 따라서 컴퓨팅 자원이 없는 빈 클러스터를 만드는 것도 가능합니다. 그리고 EC2에 ecs-client라는 서비스를 실행해서 특정 클러스터에 연결할 수 있습니다. 이렇게 클러스터에 연결된 EC2 인스턴스를 컨테이너 인스턴스라고 부릅니다. ecs-client는 컨테이너 인스턴스의 자원을 모니터링 및 관리하고, 클러스터로 요청된 컨테이너들을 적절하게 실행하는 역할을 합니다. 태스크 디피니션(task definition)과 태스크(task) ECS에서 .. 더보기
AWS CloudFront : Log 만들기 AWS CloudFront Log 만들기 CF Log 테스트 자료를 만들기 위해 동일한 필드로 구성하여 생성할 수 있습니다. 천만건 까지 생성해봤고, 로는 BearTrail 같은 상용도구로 열어서 볼 수 있습니다. 라인 수가 너무 많으면 일반적인 에디트 도구 (notepad++) 로 열리지 않습니다. 언어는 JAVA 입니다. 로그를 생성하는 CfLogMakeService 클래스 정의입니다. import java.io.File; import java.io.FileWriter; import java.text.SimpleDateFormat; import java.util.ArrayList; import java.util.Calendar; import java.util.List; import java.util... 더보기
AWS Athena : 성능 테스트 AWS Athena Performance Test 본 내용은 Athena 를 이용하여 로그를 분석하기 위한 최적화 내용과 수행에 사용한 SQL Script, 그리고 성능 측정 자료 로 구성되어 있습니다. Overview Prerequisite Optimization SQL Script 중요 자료, 성능 측정 테스트파일 정보 및 변환 소요시간 Select (단건 파일 대용량 측면에서 측정) Select (다중 파일 대용량 측면에서 측정) Prerequisite Bucket 생성 kjham-athena 각 로그파일이 위치하는 Bucket 내 디렉토리는 다음과 같습니다. s3://kjham-athena ㄴcust_idx=value ㄴdist_idx=value ㄴyear=value ㄴmonth=value ㄴda.. 더보기
AWS Athena : 최적화 AWS Athena Optimization CloudFront AccessLog Analysis 웹 사이트, 비디오 및 API 작업을 대기 시간이 짧고 전송 속도가 빠른 브라우저 및 클라이언트에 제공하기 위해 Amazon 에서는 CloudFront를 제공합니다. 그리고 CloudFront의 로그는 S3에 저장되도록 구성할 수 있습니다. 그리고 로그를 분석하기 위한 다양한 방안들이 있습니다. Amazon Redshift Amazon Athena Amazon ES Amazon EMR 본문에서는 일반적으로 선택하는 Athena를 이용한 방안을 다루고, 최적화 부분을 알아봅니다. Athena Optimazation 최적화를 수행하기 위해 비용과 성능 두 가지 측면이 있습니다. 비용 부분에서는 데이터 저장과 쿼리.. 더보기