2019년 하반기 회고

상반기 회고 당시에는 하반기에는 분기별 회고를 해서 더 잘 정리해야겠다 생각했는데,
하반기 회고 조차 늦어지게 되었습니다.

💼 회사


새 회사로 이직을 하게 되면서, 인수인계 기간이 지난 후 약 3주정도 휴가를 즐겼습니다.

여행도 다녀오고, 쉬는 기간동안 카페 투어도 하고 이곳 저곳 돌아다녔지만 생각보다 생산성 있는 휴가는 아니여서
아직 아쉬움이 남아있습니다.

새 회사로 오게되어 회사에 적응하는 시간을 보내고 실무에 투입되었습니다.
이정도 규모의 회사에서는 어떻게 서비스를 하고 있고, 현재 서비스에서 어떤 문제를 가지고 있어서 그것을 해결하기 위해 어떤 고민을 하고 있는지, 앞으로 어떤 계획이 있는지 등을 어깨넘어 보면서 새로운것들을 알아가고 있습니다.
생각보다 많은 일들이 동시에 빠르게 진행 되고 있으면서도 아쉬움이 느껴졌습니다.

무엇보다 업무적 문서화가 아닌 공유 목적의 개인적인 문서화와 일정 관리 체계가 이렇게 잘 되어 있는 기업에서 일해본 경험이 처음이라 이러한 부분은 너무 만족스럽습니다.

최근에 스타트업에서 성장한다는 주니어의 착각 이라는 포스팅을 접하게 되었습니다.
해당 글을 보며 과연 이전 회사에서 내가 느끼고 있었던 나는 이곳과 함께 빠르게 성장하고 있다 라는 생각이 어찌보면 혼자만의 착각이 아니였을까 다시 한번 돌아보는 기회를 준 고마운 글이었습니다.

지금은 스타트업에서 근무할때 처럼 기존의 것이 문제가 된다면 새로운걸 빠르게 도입하고 결과물을 확인하고 기존의 것은 대체 할 수 있는것은 아니지만,

오히려 많은 사람들이 쓰고 있는 솔루션에서 호환성 유지를 위해 문제 없이 기능을 개선하면서도

과연 최적의 방법일까 다시 한 번 더 고민해보면서 얻고 있는 이점들이 있습니다.

📒 블로그


블로그 배포 방식 변경

상반기에는 Travis CI로 블로그를 배포하도록 변경하였는데, Github Actions 신청이 가능해지면서 배포 방식을 Github Actions로 옮겼습니다.

Travis CI에서 Private Repo Free 제한이 Codeship 서비스와 동일하게 월 100회인줄 알았으나, 토탈 100회인것을 알고 시간여유가 있을때 빠르게 옮겨야겠다 싶었습니다.

코드는 이전과 동일하게 Dropbox에서 동기화 하면서도 Github Private Repo로 형상관리 하고있습니다.

해당 내용은 Github Actions를 이용하여 Hexo 블로그 배포하기 에 포스팅 되어있습니다만,
허원철님의 Github Actions 를 사용하는게 더 빠르게 설정하기 좋은것 같습니다.

TIL Repo 생성

새로 알게 된 것들, 오류를 해결한 경험 등을 블로그에 포스팅해서 한글로 공유하고 싶었으나,
오히려 포스팅이다보니 어느정도 갖춰 작성하려는것에 대한 부담감으로 작성을 미루게 되는 문제점이 발생했습니다.

이를 해결하고자 기존에 Notion에 간단하게 정리하거나 가볍게 정리할 내용을
TIL 레포지토리 에 작성하고 있습니다.

🏃 일상


💪 운동

상반기에 잠시나마 운동을 시작 했는데, 퇴사 시기와 맞물리게 헬스장도 끝나서 아직까지 운동을 안하고 있습니다.

운동을 할 때는 운동을 해도 왜 이렇게 체력은 늘지 않고 피곤할까 하며 몰랐는데,
안 하면서 저질 체력을 더 크게 느끼고 있습니다….

이동욱님의 하반기 회고록 포스팅을 보며 자극되는점이 너무 많았고,
더 오래 오래 지금 하고 있는 일을 하기 위해서는 건강이 제일 우선이기때문에 상반기에는 다시 운동을 시작해야겠습니다.

신년 계획


1일 1커밋

12월즈음부터 1일 1커밋을 진행하고 있는데, 이걸로 얻을 수 있는 장점은 잠시나마 커밋을 하기 위해 시간을 내고 있다는것었습니다.

하지만 한달쯤 진행 해 보았는데 이것을 깨뜨리지 않기 위해 오히려 의미없는 커밋을 하고 있는건 아닌가라는 것을 고민하게 되었습니다.

그래도 이것을 이어가기 위해서 무언가 정리하고 공부하게 된다 라는점은 이점으로 자리잡고 있어,
상반기에는 지속하는게 목표이긴하나, 이것때문에 무언가를 포기한다거나 하는식으로 너무 얽매이지는 않도록 해야겠습니다.

프로젝트

매번 흐지부지 되는 프로젝트가 너무 많아서 그저 강의를 따라해서 만들어낸 결과물이 아닌,
혼자서 무언가 만들어낸 결과물이 나올 수 있는 프로젝트를 진행하는게 목표입니다.

진행할 아이템은 많으나 가볍게 시작해서 빠르게 결과물을 내어볼 수 있는게 이중에 무엇일지 생각해보고,
만들어보고싶습니다.

운동

자극제

남들과 나 자신을 비교하는 제 성격이 장점은 아니나, 이 부분을 자극제로 사용할 수 있는 방향으로 긍정적으로 활용 해왔습니다.
그리고 감사하게도 항상 제 가까이에 제가 자극이 될 수 있는 좋은분들이 계셔주셔서 지금의 제가 있을 수 있지 않았을까 생각합니다.

이동욱 개발자님유튜브에서 진행하여 주신 인터뷰회고록 등을 보며 더 열심히, 그리고 꾸준히 해야겠다는 자극을 얻을 수 있었습니다.
특히나 더 오래 하고 싶어서 본인에게 투자하신다는 부분에서는 뭔가 대단하시다고 느껴졌습니다.

하지만 다른사람이 편한 신발이 내게도 편할 수 없는것처럼 곧이 곧대로 따라하는게 아니라
저에게 맞는 방식을 찾아서 제게 좋은 자극이 되어주시는 분들과 같이 꾸준히, 그리고 열심히 해야겠습니다.

일정관리

내가 해오던 것, 해야할 것, 하고싶은것과 개인적인 캘린더 일정 들을 이곳 저곳에 따로 정리하다보니
매번 내가 지금 무엇을 해야할지 무엇을 하기로 했는지를 잊는 경우가 많습니다.

회사 다이어리(미팅 내용정리 및 공유 내용 정리와 일정 기입), Notion(개인적인 일정 또는 내용 정리), 캘린더 앱, 카카오톡 캘린더 등을 모두 따로 관리 하는게 필요한 것만 볼 수 있다는 장점이 있지만,
오늘 무엇을 하기로 했지? 라는 생각이 들 때는 모든것을 들여다 보아야한다는 단점을 요즘들어 느끼고 있습니다.

또한 개인적으로 무언가를 진행해야하고 진행할것이다 라는것이 주어지면 큰 틀만 잡고 잘게 나누지 않아,
기한이 없어 계속 진행이 늘어지는 문제가 있어서 개인적인 일정도 기한을 정하는게 좋을 것 같습니다.

독서

원래부터 책을 가까이 하지 않았었고 책을 읽을 시간이 있다면 관심 있는 기술 서적을 더 많이 읽는 편인데,
정리되지 않은 상태로 말을 하고 글을 적는것을 고치는데 도움이 되지 않을까 싶어
두달에 한권정도는 업무 외의 책을 읽을 수 있지 않을까 생각하고 있습니다.

AWS Dev Day Seoul, 2019 메모

틀린 내용이 있다면 제가 졸아서 잘못 메모했을 수 있습니다…..

AWS Fargate를 사용한 서버리스 컨테이너 활용 하기 - 삼성전자 개발자 포털 사례

  • ECS
  • EKS
  • Fargate for ECS
  • Fargate for EKS (on the roadmap)

ECS

쿠베 없이 간단하게 사용가능

EC2 인스턴스를 직접관리해야하는 단점

Fargate를 활용해 해결 가능

  • 서버가 없는 컨테이너 환경
  • 서비스와 컨테이너에대한설정만 관리
  • ECS 대비 EC2 관리에대한 부담만 덜어짐
  • ECR을 이용해 이미지를 배포할 수 있음
  • Networking - aws
  • LayerStorage - task당 10GB
  • VolumeStorage - 공용 볼륨

QA Automation을 중점적으로 CI/CD를 구축함

SRE

아키텍쳐 ECS 클러스터를 이용함.

Fargate 활용시 → 무중단배포전략 기본 탑재, 빠르게 deploy 가능, 비용 절감

ECS의 EC2옵션에 비해 45%절감(compute 비용만)

task 별로 관리가 가능하기때문

워크스페이스를 CloudFoundry playform 오픈 소스를 사용하여 구현
프로메테우스기반으로 VALET 대시보드 구현

task가 runtime으로 넘어갔을때만 과금이 됨.

클러스터안에 서비스가 매핑

활용 사례

백엔드기준

  • 서치, k-v DB, API

클러스터세팅

  • TG,vpc,subnet,SG

task cpu : 1024 MB , 512 task CPU

Events 탭을 이용하여, 이벤트 발생 확인 가능

build.sh → upload.sh (ECR에 업로드)

ECS workshop - https://ecsworkshop.com/

실시간 데이터 처리를 위한 현대적 애플리케이션 개발 방법

Amplify

CLI 툴체인 및 UI 구성요소 포함하는 클라이언트 프레임워크

전체 앱 구축 테스트 배포 및 호스팅을 위한 dev tool 제공

AppSync

관리형 서버리스 gQL 서비스

다양한 데이터 소스 활용 가능

디바이스가 오프라인일 경우에도 가능

오프라인시 변경된 데이터만 동기화처리

queries → get

mutation → create | update

subscriptions → pub | sub

Cognito

IAM을 모두 제공할 수 없음

Kinesis

DocumentDB

엘라스틱서치 DB 랑 유사하게보임

몽고 DB와 호환됨

초당 수백만건 요청 처리 가능

컴퓨팅과 스토리지 레이어를 분리하여 컴퓨팅 리소스만 확장 가능, 스토리지는 오토스케일됨

데이터를 파티션으로 분산저장(3개의 AZ에 복제)

AppSync를 활용하여 query와 mutation 분리

DevOps 개발자가 되기 위한 쿠버네티스 핵심 활용 예제 알아보기

3개의 az에 마스터 노드 배포

az당 두개의 인스턴스 배포

c타입 인스턴스로 배포됨

deprecated 되는 시점에 마스터노드를 강제 업데이트함.

Latest 버전부터 3개 이내의 버전으로 관리되도록 aws에서 관리해줌

EKS는 명령형 인프라가 아닌 선언형 인프라

VPC ink → Network load Balancer

How To Connect with Kubernetes

  • 쿠버네티스에서 제공하는 로드밸런서
  • ALB ingress → IP가 유동적이라 Lambda에서 처리할 수 있으나 번거로움
  • 쿠버네티스의 Node Port 이용

kube2Iam을 이용해 IAM을 관리

HPA → pod 오토스케일링

Cluster autoscaler → 노드 오토스케일링(pod를 더 이상 배치할 공간이 없을때)

Monitoring

프로메테우스를 통해 수집 → 그라파나를 통해 → cloudwatch 메트릭을 사용해 대시보드 제공

로그 : 엘라스틱서치와 클라우드워치 fluentD

클라우드워치를 두고 로그패턴을 이용해 노티 가능 → 엘라스틱서치로 전송

엘라스틱 서치 Authentication은 cognito

nginx 리버스프록시로 사용해 키바나접근

AWS Xray를 이용해 APM 체크

배포는 Spinnaker를 이용해서 쿠버네티스 배포할때 용이

pod는 엔드포인트도 계속 변경됨
eks 자체 기능으로 IAM과 쿠버네티스의 IAM을 연결하는 기능 제공예정

Monitor

기존에는 가장 성능 좋은 쿠버네티스 로깅 플랫폼 fluentd(루비로 작성됨)
→ fluent Bit이 C로 만들어진 더 고성능을 요구할때 사용할 수 있는 플랫폼

Networking

어노테이션만으로 nlb alb 등 선택 가능
ALB는 L7형태로 ingress controller에서 해석해서 처리

Logging

EFK
pod → fluentd → cloudwatch→ kibana
FluentBit을 사용하면 더 Optimized 할 수 있다.

Application Mesh

기존 서비스 Mesh는 envoy proxy를 사용
AppMesh는 EKS만 쓸 수 있는게 아닌 Fargate ECS EC2 EKS Kube on EC2등에서도 사용가능

Distribute Logging

전체 콜스택 모니터링하기 어려움
X-Ray를 활용
모든 쿼리스트링 모니터링 가능

코드 기반 인프라(IaC)를 활용한 현대 애플리케이션 개발 가속화, 우리도 할 수 있어요

Re-host
데이터센터 → EC2

Re-platform
가상머신 → 컨테이너

Re-factor
모놀리스 → 마이크로 서비스

Re-invent
호스트플릿 → 서버리스

자동화

  • 인프라 구성 자동화
    • 서비스에 필요한 리소스 프로비저닝
  • 애플리케이션 배포 자동화
    • 애플리케이션을 더 효율적, 안전하며, 빠르게 배포
    • 애플리케이션을 빌드, 테스트, 배포

코드기반 인프라의 목적

인프라 변경 사항을 반복적이고 예측 가능하게 함.

CloudFormation

클라우드 인프라 템플릿을 정의하기 위한 언어 - JSON | YAML

1
2
3
4
$ cdk init
$ cdk diff
$ cdk deploy [paramter]
# if you type "y", deploy the app

CDK Deploy 를 활용하면 Cloudformation을 활용해 배포하게됨

cdk를 사용하면 table.grantReadWriteData(fn); 과 같은 함수를 통해 권한을 얻을 수 있음

APIGateway.LambdaRestApi()를 사용하면 API Gateway에 대한 IAM 권한을 가질 수 있음.

→ serverless framework 사용시 serverless.yml 파일에 iam을 설정하던 부분을 함수로 명시 하는거였음.

Loader

ECS Clustuer, ECS Fargate를 이용해 클러스터 생성(규모에 상관없이 재사용가능하도록함)

Monitor

cdk-watchful를 활용하여 cloud watch와 연결 가능

jsii →js로 만든것을 다른언어에서 사용가능하도록 해줌 cdk에서 활용됨

프로세스

Code Commit → CDK 앱과 Lambda 함수 코드는 동일한 리포지토리에 저장됨

Code Build → CdkCodeBuild 프로젝트는 CDK 앱을 synthesize하여 CloudFormation 템플릿을 생성

배포환경은 동일하게 로컬환경은 개발자 본인만을 위한것이다.

클라우드9이나 CloudFormation, 도커등 동일한 환경을 제공할 수 있어야함.

점심 도시락


닭강정, 새우튀김, 갈비찜?돼지고기찜? + 된장국 (나머진 안 먹어봐서 모르겠습니다)

굿즈(SWAGS)

  • 티셔츠
  • 머그컵
  • 방향제
  • 담요
  • 보틀
  • 디퓨저
  • 다이어리

2019년 상반기 회고

일년이 어떻게 흘러간지 한해가 지날수록 더 기억이 안 나서
정리의 필요성을 느껴, 올해부터는 회고를 진행해볼까 합니다.

💼 회사


01월~02월

서버리스 아키텍쳐 구현 마무리


12월부터 설계 및 개발을 진행하였던 서버리스 아키텍처를 12월 중순쯤 배포하였으나,
이슈 사항들이 많아 마무리 짓는데 생각보다 오래 걸렸습니다.

외부 싱크 여부를 판단하기 위한 데이터들을 Insert 또는 Update 하다 보니,
RDS 콘솔 상에서 IOPS 쓰기가 1000 이상이 되는 경우가 발생했습니다.

해당 데이터를 레디스(Elastic Cache)나 noSQL(DynamoDB)에 쌓은 후, 다시 RDS로 옮기는 것도 검토해보았지만, 실제 구현할 경우 관리 포인트가 너무 많이 발생하게 되어 연동 속도를 줄이더라도 Lambda의 동시성을 조절하는 것으로 처리하였습니다.

02월~03월

자세히 보기