2022-09-12 업데이트 전달 드립니다.
관련 자료에 대해서 댓글로 이야기 해주셔도 좋습니다 !
Amazon SageMaker JumpStart 소개
SageMaker JumpStart는 머신러닝으로 해결 가능한 다양한 문제 유형을 학습된 오픈소스 모델과 함께 제공합니다. 배포전에 사용자의 데이터로 추가 학습하여 튜닝할 수 있습니다. 또한, 인프라 설정 텟픔릿과 SageMaker를 실행 할 수 있는 Jupyter Notebook을 함께 제공합니다.
Amazon SageMaker JumpStart Virtual Workshop 소개
SageMaker JumpStart Virtual Workshop이 예정이라서 소개드립니다. 일정은 9월 27일 오후 11시 30분 부터 입니다. JumpStart로 빠르게 ML을 시작하고 싶은 분들에게 추천 드립니다.
Amazon SageMaker Autopilot Virtual Workshop 소개
SageMaker Autopilot Virtual Workshop 소개드립니다. 일정은 8월 23일에 있었고, 현재는 영상이 공개되어 있습니다. Amazon SageMaker Autopilot으로 자동으로 데이터를 학습하고, 자신의 모델을 만들고 싶으신 분들은 워크숍 영상을 보시면 좋을 것 같습니다.
Machine Learning Engineering on AWS 책 소개
AWS Hero인 Joshua Arvin Lat의 2번째 책
"Machine Learning Engineering on AWS: Building, Scaling, and Securing Machine Learning Systems and MLOps Pipelines in Production"이 2022년 11월 9일 공개됩니다.
아래의 내용을 다룬다고 하네요.
- Amazon SageMaker, Amazon EKS 등을 사용하여 AWS에서 ML 워크로드를 관리하는 실용적인 지식 습득
- 컨테이너 및 서버리스 서비스를 사용하여 다양한 ML 엔지니어링 요구 사항을 해결하는 방법
- AWS에서 자동화된 MLOps 파이프라인 및 워크플로 설계, 구축 및 보호하는 방법
흥미로운 주제가 많고, 이분의 경험을 빠르게 습득할 수 있을것 같아서 기대가 됩니다.
Amazon SageMaker에서 GPT등 대형 모델을 서빙 할 수 있는 볼륨과 타임아웃을 구성 지원
EBS 볼륨 크기 및 타임아웃 쿼타를 사용자 설정이 대형 모델(최대 500GB)을 배포할 수 있는 크기까지 확장 되었다고 하네요. 이번 런치로 사용자들은 SageMaker의 완전 관리형 실시간 비동기 예측 서비스에 GPT나 OPT 같은 대형 모델 배포할 수 있을 것 같습니다. 기존에 30GB로 제한 되었던 EBS 볼륨 크기는 이제 500GB까지 설정가능하고, 컨테이너 헬스 체크와 다운로드 타임아웃도 60분까지 설정 가능하게 되었습니다. 최근에 출시된 ml.p4d 및 ml.g5 인스턴스에서 멀티 GPU를 사용하여 메모리에 모델을 로드하여 고성능 추론을 구성할 수도 있습니다 !
기타 관심가는 서비스 업데이트
AWS Glue Crawler history 제공
AWS Glue Crawler history는 데이터 스키마 정보를 추론하는 데 사용되는 크롤러 실행, 스케쥴, 데이터 소스, 태그를 볼 수 있는 편리한 방법을 제공합니다. 크롤러 기록은 데이터베이스 스키마의 변경 사항, Amazon S3 파티션 변경 사항 및 사용된 DPU 시간을 포함하여 각 크롤링에 대한 데이터 변경 사항에 대한 요약을 제공합니다.
저도 아테나를 사용하기 위해서 AWS Glue Crawler를 사용하고 있는데요. 편리한 기능이 추가된 것 같아서 기대되네요.
Amazon DynamoDB에서 트랜잭션당 최대 100개의 작업을 지원
Amazon DynamoDB transactions을 용하면 여러 아이템을 변경을 all-or-nothing으로 처리할 수 있습니다. 기존에 25개 작업(action)로 제한되어 있었지만, 이제 100개 작업까지 처리가 가능하다고 하네요.
Amazon RDS, AWS Lambda, AWS Step Functions, Amazon Managed Prometheus 및 AWS KMS용 AWS Controllers for Kubernetes (ACK) 일반 공개
AWS 서비스를 K8s 컨트롤러를 통해서 관리하는 방법이 있군요. AWS 리소스 관리 방법으로 잘 사용될 수도 있을 것 같아서 흥미로워서 기록해봅니다. 둘러보니 정의는 쿠베로하고 워크로드는 실제 AWS 서비스를 사용하는것 같습니다.
Amazon Kinesis Data Analytics for Apache Flink 에 신규 컨테이너 메트릭 지원
Amazon Kinesis Data Analytics for Apache Flink에서 3가지 신규 컨테이너 레벨 메트릭을 CloudWatch에서 지원한다고 하네요.
- CPU Utilization
- Memory Utilization
- Disk Utilization of Flink Task Managers
새로운 메트릭은 Task Manager 리소스 사용량에 대한 향상된 가시성을 제공하며 Kinesis Data Analytics에서 실행되는 애플리케이션을 쉽게 확장하는 데 사용 가능하다고 합니다.
참고로, Amazon Kinesis Data Analytics를 사용하면 Apache Flink를 통해 스트리밍 데이터를 실시간으로 쉽게 변환하고 분석할 수 있습니다. Amazon Kinesis Data Analytics는 Apache Flink 애플리케이션 구축 및 관리의 복잡성을 줄여주는데요. Amazon MSK, Amazon Kinesis Data Streams, Amazon Opensearch Service, Amazon DynamoDB 스트림, Amazon Simple Storage Service(Amazon S3) 등과 통합도 가능합니다.
Top comments (0)