AWS Summit Seoul 2023 - Day1에 다녀와서
안녕하세요!
2023 AWS Summit 행사 1일차입니다
1일차는 산업 업종별 강연이 주제로서 각 기업들이 어떻게 AWS 를 이용해서 업무를 진행하는지 강연을 진행하고있고, 1층 Hall B에서 EXPO 를 통해 각 기업들의 AWS 적용사례를 실제로 볼 수 있는 부스들로 이루어져 있습니다.
저는 첫째날에 3개의 강연과 EXPO 에서 AWS 의 Cloud 를 다루는 기업들을 살펴보았습니다.
강연 시간표
강연 내용
기조연설 - AWS 모니터링 담당 Nandini Ramani 부사장님, AWS Korea 함기호 대표이사님, 오순영 금융AI센터장님, 야놀자 엔지니어링 수석 이준영 부대표
다양한 AWS의 기술들을 소개했는데 가장 기억에 남는 것은 아무래도 Bedrock 이었다. Bedrock은 AWS에서 제공하는 파운데이션모델이다.
파운데이션모델은 쉽게말해 요즘 핫한 대규모 Generative AI, 즉 ChatGPT와 같은 모델을 뜻하는 듯하다. 요즘 하루가 다르게 오픈소스로 대규모 AI가 공개되고 있는데 이를 이용한 기능를 만들때 사용할 수 있는 서비스가 아닐까 싶다.
첫날부터 많은 사람들이 현장에 있어서 신기했고 AWS 행사에 예상외로 많은 사람들이 있어 놀래고 웅장해지는 시간이었다. 그래서 정신없이 흘러가고, 기조연설 중간에는 다음 트랙에 대한 일정을 짜는시간도 가졌다.
중앙 집중식 Observability 구축
첫번째 강연은 오디토리움에서 메가트렌드라는 분야로 강연으로 시작하였습니다.
해당 강연은 정영민 (솔루션즈 아키텍트, AWS) , 정찬훈 (Software Engineer, SendBird) ,김아린 프로 (삼성전자) 총 3분께서 Global Scale Service의 중앙 집중식 Observability 구축하기 라는 주제로 이야기를 시작하셧습니다.
정영민- AWS 솔류션즈 아키텍트
- 우리는 어떤시대를 살고있는가?
- 글로벌 스케일시대
- 수백만 명 이상의 사용자
- 데이터 처리량 : TB , PB, EB
- 시스템 요구성능 : Micro-second latency
- 전 세계적 사용
- 초당 수백만건의 요청건수
- 사용기기: Mobile, IoT 기기
- 글로벌 스케일시대
- Observability
- Monitoring 이상의 개념
- 시스템 내부의 현재 상태를 잘 이해할 수 있도록 시스템 외부로 효과적인 정보를 전달 하는 것
- Monitoring 은 어디에 문제가 생겼는지 알수있지만 / Observability 는 무엇이 문제를 일으켯는지 파악하고, 시스템 상태가 최종 사용자에게 어떤 영향을 주는지 알고싶은것
- 구성요소
- log ; 사용자 정의 데이터, issue 에 대한 context 파악
- metric: 수치화 데이터 graph 로 표현하여 데이터 트랜드이해
- trace : 사용자 중심도구, 각 모듈간의 상관관게 파악
- 구성의 어려움을 AWS 와 함께해 어려움을 해소
- 연동이 뛰어남
- 비용 해소
- key takeways
- 복잡한 아키텍처를 효율적으로 관측하는 aws managed observability 도구
- multi region / multi account 를 한곳에서 관측 가능
- 비즈니스 의사결정에 적합한 데이터를 제공하는 observability
Full-stack Observability 를 향한 여정 - 삼성전자 김아린 프로
- prometheus 도입의 한계점 (2019)
- 장기보관의 어려움
- read 가 많을 경우 cpu 사용량 증가
- clustering을 지원하지 않아 ha 구서의 어려움이 있다.
- Thanos & prometheus 도입 2020~2022
- aws s3 에 저장
- 자동으로 sacle-out 되지않음
- 지속적인 관리필요
- amazon managed service for prometheus 도입
- prometheus & apm 아키텍처 2023
- 전환효과
- 운영 효율성 편의성증가
- 리소스 scale-out/in 에 따라 운영지표의 수집,저장,알림,쿼리 자동확장축소가능
- 관리할 리소스 감소
- 운영 안정성 강화
- aws 보안 서비스와 통합되어 데이터에 빠르고 안전하게 접근
- alerting system이 독립적인 서버로 분리되어 업데이트 시 안정적
- 운영 효율성 편의성증가
- 향후 central managed observability 으로 발전하게 된다면 (adot & amp)
- 분산된 데이터를 한곳으로 중앙화해 효율적인 관리 및 운영 비용감소
- aws 보안기술로 안전하게 보호할수있엇 보안성 강화
- 다양한 aws 서비스와 통합가능
Multi Accounts 를 관찰하는 단 하나의 Account - 정찬훈 (Software Engineer, SendBird)
-
sendbird
- 디지털 커뮤니케이션 플랫폼
- 채팅관련 api provider
-
상용 솔루션을 사용의 한게점
- heavy cost 을 위해서 ⇒ less Metric , less Logs 을 통해 일어날 일 ⇒ less centralization, more context, engineering fragmentation
- vendor 의존성
-
위 문제점을 해소하기위한 생각할 부분
- less cost
- easy to learn
- less work
- granular control
- 등등
점심식사는 AWS 에서 제공해주셧습니다
클라우드 네이티브 데이터베이스
이커머스 기업 쿠팡은 폭발적인 성장에 대응하기 위하여 Amazon Aurora 기반의 선택과 집중을 통해 DBA가 보다 의미 있는 일에 투자할 수 있도록 하고 있습니다.
삼성전자의 채팅플러스는 높은 수준의 가용성을 요구하는 통신 서비스의 특성에 맞게 적절한 AWS 데이터베이스를 활용하고 있습니다.
이 세션에서는 쿠팡이 Amazon Aurora를 통하여 얻은 경험 기반의 혁신 사례를 소개하며, 삼성전자에서 수 천만 명의 트래픽을 다루기 위해 Amazon DynamoDB, Amazon ElastiCache for Redis를 활용했던 경험을 공유합니다.
해당 강연은 김영진 (솔루션즈 아키텍트, AWS),김티나 (DBA, 쿠팡) , 권용석 프로 (삼성전자) 총 3분께서 삼성전자/쿠팡의 대규모 트래픽 처리를 위한 클라우드 네이티브 데이터베이스 활용 라는 주제로 이야기를 시작하셧습니다.
김영진 - AWS 솔루션즈 아키텍트
- 자체 db 관리 및 분석의 어려움
- hw , sw 설치 구성 패치 백업
- 성능 고가용성 문제
- 스토리지를 위한 용량 계획및 확장 클러스터
- 보안 및 규정 준수
- 개발자는 이제 특별히 구축된 다양한 db 를 사용하여 고도로 분산된 애플리케이션을 구축
- 고려사항
- 어플리케이션 워크로드
- 데이터의 형태
- 어플리케이션 성능 요구사항
- 운영부담
shared repository architectrue style design strategy - 권용석 프로 (삼성전자)
- 2019 RCS 1.0 migration
- 모놀리식 아키텍처
- 클러스터당 1,000,000 명의 사용자
- 각 사업자에 대해 10~20개의 클러스터
- lift and shift 전환
- rcs 2.0
- 재설계/구현
- 마이크로 서비스 아키텍처
- 하위 도메인으로 분리
- issue) 데이터 의존성에서 분리 ⇒ stateless 를 위해
- 정합성 & 성능 이 중요시
- 효과
- 성능 처리량 5~10배향상
- 비용 30% 절감
- 장애 rcs1.0 에 비해 13% 감소
권용석 프로님의 마지막 말씀이 인상 깊어서 가져왔습니다.
목적에 맞는 managed service와 도메인특성을 반영한 전략이 결합되어 견고한 서비스를 만든다.
대용량 트래픽, 쿠팡의 db 엔지니어가 클라우드를 사용하는 방법 - 김티나 DBA (쿠팡)
- 쿠팡은 msa 를 이용해서 서비스간의 트패픽을 분리시킴
- 서비스내에서 서비스를 세부화 해 트래픽증가에 대한 문제 해결
- dml(데이터수정) ddl(테이블구조변경) acl(db접근권한요청) 작업이 계속적으로 증가
어떻게 반복되는 작업을줄일수있을가?
스마트 지원서비스
- 반복되어 요청되는 작업을 자동으로 수행해주는것으로 함
- 관리자와 사용자 모두에게 편해야 한다
- 신뢰 가능한 서비스여야한다.
스마트 지원서비스 개발하기 위한 조건
- 신뢰가능한 메타정보 제공 - 최신 서버 구성 정보 제공
- 장애에 대한 즉각적인 대응
- 예측가능한 장애에 대한 방어 프로세스
- 모니터링,에러로그
- 커뮤티케이션 최소화 (쿠팡에서 스마트지원서비스 분야에서 가장많은 요청을 받음)
- 데이터베이스 표준화
- 쉬운 서비스 가이드 문서 및 Q&A
- 에러패턴정리
스마트지원서비스- dml 작업 수행
- 사용자가 직접적으로 관리하지못하고 스마트 지원 서비스를 통해서 작업 수행
스마트 지원서비스 -ddl 작업 수행
- 작업에 대한 오류도 많고 많은 모니터링을 요구함
- 많은 작업을 요구해 한번에 한건만 처리가능하도록 되어있음
- 스케줄러를 통해 ddl 작업을 할수있도록 함
서비스 안정화를 위해서
-
세션관리
-
데이터 사이즈 관리
-
쿠팡의 블루/그린 서비스
- 목적: db 가용성 확보
- 사용성
- 서버 버전 패치
- db migration
- 대용량 테이블 변경
- 유지/보수
쿠팡의 김티나님의 마지막 한말씀도 의미가 있어서 기록에 남겨봤습니다.
우리는 고객의 삶을 더 좋게 변화시키기 위해 존재한다. 고객은 언제나 우리가 내리는 모든 결정의 시작과 끝이다.
EXPO 참여 - 첫번째 시간
두번째 강연이 끝나고 EXPO 에서 평소에 관심이 있는 기업들의 박스에 방문해, 기술들을 살펴보고 체험해보는 시간을 가졌습니다.
SNOWFLAKE
snowflake 는 클라우드 컴퓨팅 기반 데이터 웨어하우징 회사입니다.
서비스로서의 데이터 웨어하우스(Saas) 를 제공해주며 복잡하게 구성된 웨어하우스를 안전관리 해주고 있습니다.
빠르고 사용하기 쉬운 데이터 스토리지, 처리, 분석 솔루션을 제공하고있습니다
snowflake 를 이용해 아래의 기능을 처리할 수 잇습니다.
- 더 간단하고 빠른 데이터 탐색을 위해 noSQL 데이터 레이크 교체
- 빠르고 확장 가능한 BI 및 분석을 제공하기 위해 데이터웨어 하우스 현대화
- 데이터 사일로를 통합하여 비용 및 복잡성 감소
Cloud Data Warehouse 로서 계속된 발전을 이끌고 있는 기업으로서 기술을 살펴볼수있는 좋은 기회였습니다.
AWS 자격증 취득 센터
-
aws 는 총 3종류 12개의 자격증으로 이루어져있습니다.
- 프렉티셔널 자격증 (기초)
- Associate 자격증 (일반)
- Pro 자격증(프로)
- 스페셜 (특정분야 전문 자격증), Pro 와 같은 레벨
-
현재 FE개발자로서 취득에 적합한 자격증으로 Solutions Architect- Associate 를 권장받앗습니다
EXPO 를 방문한 이후에 3번째 강연에 참여했습니다.
스타트업의 빠른 성장, 안정적인 서비스 운영 노하우는?
빠른 성장과 안정적인 운영이라는 두 마리 토끼를 잡기 위해, Cloud Native를 통해 글로벌 서비스를 제공하는 두 스타트업의 이야기를 살펴봅니다.
기계학습 (ML)을 위한 대규모 데이터의 효율적인 관리와 AI 서비스 개발을 도와주는 Superb AI의 클라우드 네이티브 노하우, 그리고 EKS Multi tenancy 기반으로 170개국 팬들에게 커뮤니티 및 이커머스 서비스를 안정적으로 제공하는 비마이프렌즈의 경험담을 전달드립니다.
해당 강연은 강철 (어카운트 매니저, AWS) ,이정권 (CTO, Superb AI) ,하명진 (DevOps 팀장, Bemyfriends)총 3분께서 스타트업의 빠른 성장, 안정적인 서비스 운영 노하우는? 라는 주제로 이야기를 시작하셧습니다.
강철 (어카운트 매니저, AWS) - Managed Service
스타트업이 managed service 를 써야하는 이유?
- 반복적인 운영업무 감소
- 민첩성 & 효율성 향상
- 서비스의 가용성 & 신뢰성 향상
스타트업의 어려운 점
- money
- Resource
- time
advantage of cloud native
초기 구축 비용 뿐만 아니라 인프라 운영 및 유지관리에 들어가는 시간들도 비용.
생산성, 본질에 집중해 제품의 가치를 늘려보자
Saas 로 팬덤 비즈니스를? 글로벌 팬덤 비즈니스 스타트업 비마이프렌즈 - 하명진
-
비마이프렌즈
-
b.stage ⇒ 맞춤형 글로벌 팬덤 비즈니스를 위한 올인원 saas 솔루션 비스테이지
-
Saas Multi-Tenancy 아키텍처
- 비용절감
- 확장성
- 보안
- 관리용의성
-
saas 는 Multi-Tenancy 를 사용하는 것이 효과적
Multi-Tenancy에서 eks 는 필수
spike trafffic 에 맞는 각 워크로드에 맞는 오픈소스를 적절히 활용
나에게 지금 필요한 데이터는 무엇일까? 더 똑똑하게 ai 개발하는 방법 - 이정권 superb ai
- SuperbAi
- 모든 단계의 ai 단계 조직을 지원해 ai 기술이 널리 보급될수있도록 기여하는것
- 데이터문제를 집중적으로 해결하는 데이터플랫폼을 만드는것을 목표
- Superb label
- 다양한 데이터셋 가공기능
- 다양한 참여자들의 협업
- 작업과정제어와 모니터링
- ai 도구를 통한 자동화
- Superb Cura
- data label metadata 관리
- 강력한 qeury 기능
- embedding 을 통한 분석
- ai 도구분석
-
Clould Native 로 문제해결방법
-
대규모 데이터 처리의 문제점
- 다양한 데이터 처리 파이프라인
- 강력한 모니터링 기능의 요구
- 안정적인 데이터 서빙
- 전 세계 어디에서나 낮은 지연 시간 보장
- 지속적으로 쌓이는 이미지들의 저장 비용
-
해결
- 다양한 크기와 종류의 데이터 처리 파이프라인 ⇒ aws step functions, aws lambda, fargate,serverless workflow orchestration
- 강력한 모니터링 기능의 요구 ⇒ aws cloudwatch 를 통한 로그 수집/쿼리
- 안정적인 데이터 서빙 , 전 세계 어디에서나 낮은 지연 시간 보장, 지속적으로 쌓이는 이미지들의 저장 비용 ⇒ s3 intelligent-tiering 을 이용한 비용 최적화
-
ai 모델 문제점과 해결방안
- ai 학습 및 추론과정에서 요구되는 높은 gpu 사용량⇒ aws sagemaker 을 통한 gpu 활용(training, inference)
-
유연한 워크플로우를 위한 Event-driven 구조
- 실험적인 ai 기술을 보다 적극적으로 도입할 필요성
- 다양하고 전문적인 알고리즘과 구현 방식의 요구
- 유연성과 안정성, 부하의 분산
⇒ aws eks 를 통한 containerized app serving , managed db 활용, cdc 를 통한 event-driven 구조
-
빠른 배포주기
- 빠르게 변하는 ai/ml 도메인
-
이정권님의 마지막 말이 인상깊어 적어두었습니다.
ai 를 위한 현대적인 데이터 플랫폼을 만드는 기업, 다양한 데이터, 지역, 목적을 가진 사용자를 대상으로 다양한 알고리즘을 통해 제공하는 일을 하고있다.
EXPO 참여 - 두번째 시간
많은 기업들의 부스가 있었지만 시간이 부족해서 몇개의 기업들을 선택적으로 참여할 수 밖에 없어 아쉬웠습니다.
유데미
온라인 강의 - 자신의 일정에 맞춰 뭐든지 배워 보세요 | Udemy
유데미는 미국 온라인 아카데미 기업체인데 현재 웅진싱크빅을 통해 접근할수있습니다.
프로그래밍, 디자인, 그래픽 등 다양한 분야를 접근 할 수 있는 유데미에서 행사부스를 통해 자신들이 AWS 를 어떻게 이용하는지와 유데미를 이용하는데 필요한 정보를 얻을수 있는 시간이었습니다.
DATADOG
Cloud Monitoring as a Service | Datadog
- Datadog이란?
- Datadog는 hybrid-cloud 환경에서의 서버, 컨테이너, 애플리케이션, 서비스 등에 대해 end-to-end 가시성을 제공하는 DevOps 환경을 위한 모니터링 및 분석 서비스 하는 기업입니다
- Datadog 를 이용해 어떻게 문제 해결을 할 수 있는가?
- 주요 성능 메트릭 및 이벤트 모니터링. All in One Place
- 여러 소스의 데이터를 실시간으로 확인하여 host, device 또는 추가 메타데이터를 통해 태그 형태로 호스트 뷰를 분할 및 축소 가능
- 조식 전체와 외부에서 접근 제어가 가능하고 공유가 가능한 고해상도 대형 그래프 및 대시보드 생성
- 모니터링 자동화 기능을 통해 인프라 관리 효율성 향상
- 긴밀하게 통합된 구성 관리 툴과 NAT의 강력한 API를 활용하여 Datadog 모니터링 자동화
- 이상 징후 탐지 기능을 통해 잠재적인 이슈를 자동으로 탐지
- 강력하고 사용자 지정 가능한 태그를 사용하여 동적 인프라 내에서 장치 및 서비스 자동으로 그룹화
- 메트릭 및 시스템 이벤트를 오버레이하여 문제를 즉시 식별
- 상이한 IT 시스템 및 구성 요소 간에 메트릭과 이벤트를 상호 연계하여 시스템 변경 사항이 다른 시스템에 영향을 미치는지 평가 가능
- 올바른 코드 변경, 관련 구성 업데이트 관련 문제 식별
- 프로덕션 데이터와 함께 팀원들과 컨텍스트 내에서 문제 논의
- 운영 서비스 관련 팀 및 팀원에게 중요한 문제에 대해 알림(Alert) 기능 사용
- 통합 서비스 또는 인프라의 모든 시스템에서 발생한 개별 장치에서 메트릭 및 이벤트에 대한 세밀한 경고 생성
- datadog 는 350 가지 이상의 integration 을 지원합니다
Datadog 의 cto 님께서 AWS 을 이용한 회사의 기술을 보여주셧습니다.
아직 기술력이 부족해 말씀하시는것을 다 이해하지는 못했지만, 직접 화면에 입출력을 통해 산출물을 보니 모니터링 분석 서비스에 대해서 새로운 경험을 해보는 시간이었습니다.
MongoDB
MongoDB: The Developer Data Platform
해당 인프라는 FE 개발자로 DB를 공부하는 과정에서 사용해본적 있어 흥미로운 감정을 가지고 부스에 참여했습니다.
여러가지 정보를 살펴보며 제가 찾아보지 못한 부분을 볼 수 있어서 색다른 경험이었습니다.
Day2 에 MongoDB 에서 강연이 있다고해서 해당 내용은 참여후에 따로 기록해둘 예정입니다
-
- 기조연설 - AWS 모니터링 담당 Nandini Ramani 부사장님, AWS Korea 함기호 대표이사님, 오순영 금융AI센터장님, 야놀자 엔지니어링 수석 이준영 부대표
- 중앙 집중식 Observability 구축
- 정영민- AWS 솔류션즈 아키텍트
- Full-stack Observability 를 향한 여정 - 삼성전자 김아린 프로
- Multi Accounts 를 관찰하는 단 하나의 Account - 정찬훈 (Software Engineer, SendBird)
- 클라우드 네이티브 데이터베이스
- 김영진 - AWS 솔루션즈 아키텍트
- shared repository architectrue style design strategy - 권용석 프로 (삼성전자)
- 대용량 트래픽, 쿠팡의 db 엔지니어가 클라우드를 사용하는 방법 - 김티나 DBA (쿠팡)
- EXPO 참여 - 첫번째 시간
- SNOWFLAKE
- AWS 자격증 취득 센터
- 스타트업의 빠른 성장, 안정적인 서비스 운영 노하우는?
- 강철 (어카운트 매니저, AWS) - Managed Service
- Saas 로 팬덤 비즈니스를? 글로벌 팬덤 비즈니스 스타트업 비마이프렌즈 - 하명진
- 나에게 지금 필요한 데이터는 무엇일까? 더 똑똑하게 ai 개발하는 방법 - 이정권 superb ai
- EXPO 참여 - 두번째 시간
- 유데미
- DATADOG
- MongoDB