DEV Community πŸ‘©β€πŸ’»πŸ‘¨β€πŸ’»

DEV Community πŸ‘©β€πŸ’»πŸ‘¨β€πŸ’» is a community of 968,873 amazing developers

We're a place where coders share, stay up-to-date and grow their careers.

Create account Log in
you gyoung-yoon
you gyoung-yoon

Posted on

[2022-09-12] AWS ML Weekly Updates

2022-09-12 μ—…λ°μ΄νŠΈ 전달 λ“œλ¦½λ‹ˆλ‹€.
κ΄€λ ¨ μžλ£Œμ— λŒ€ν•΄μ„œ λŒ“κΈ€λ‘œ 이야기 해주셔도 μ’‹μŠ΅λ‹ˆλ‹€ !


Amazon SageMaker JumpStart μ†Œκ°œ

SageMaker JumpStartλŠ” λ¨Έμ‹ λŸ¬λ‹μœΌλ‘œ ν•΄κ²° κ°€λŠ₯ν•œ λ‹€μ–‘ν•œ 문제 μœ ν˜•μ„ ν•™μŠ΅λœ μ˜€ν”ˆμ†ŒμŠ€ λͺ¨λΈκ³Ό ν•¨κ»˜ μ œκ³΅ν•©λ‹ˆλ‹€. 배포전에 μ‚¬μš©μžμ˜ λ°μ΄ν„°λ‘œ μΆ”κ°€ ν•™μŠ΅ν•˜μ—¬ νŠœλ‹ν•  수 μžˆμŠ΅λ‹ˆλ‹€. λ˜ν•œ, 인프라 μ„€μ • ν…Ÿν””λ¦Ώκ³Ό SageMakerλ₯Ό μ‹€ν–‰ ν•  수 μžˆλŠ” Jupyter Notebook을 ν•¨κ»˜ μ œκ³΅ν•©λ‹ˆλ‹€.


Amazon SageMaker JumpStart Virtual Workshop μ†Œκ°œ

SageMaker JumpStart Virtual Workshop이 μ˜ˆμ •μ΄λΌμ„œ μ†Œκ°œλ“œλ¦½λ‹ˆλ‹€. 일정은 9μ›” 27일 μ˜€ν›„ 11μ‹œ 30λΆ„ λΆ€ν„° μž…λ‹ˆλ‹€. JumpStart둜 λΉ λ₯΄κ²Œ ML을 μ‹œμž‘ν•˜κ³  싢은 λΆ„λ“€μ—κ²Œ μΆ”μ²œ λ“œλ¦½λ‹ˆλ‹€.


Amazon SageMaker Autopilot Virtual Workshop μ†Œκ°œ

SageMaker Autopilot Virtual Workshop μ†Œκ°œλ“œλ¦½λ‹ˆλ‹€. 일정은 8μ›” 23일에 μžˆμ—ˆκ³ , ν˜„μž¬λŠ” μ˜μƒμ΄ κ³΅κ°œλ˜μ–΄ μžˆμŠ΅λ‹ˆλ‹€. Amazon SageMaker Autopilot으둜 μžλ™μœΌλ‘œ 데이터λ₯Ό ν•™μŠ΅ν•˜κ³ , μžμ‹ μ˜ λͺ¨λΈμ„ λ§Œλ“€κ³  μ‹ΆμœΌμ‹  뢄듀은 μ›Œν¬μˆ μ˜μƒμ„ λ³΄μ‹œλ©΄ 쒋을 것 κ°™μŠ΅λ‹ˆλ‹€.


Machine Learning Engineering on AWS μ±… μ†Œκ°œ

AWS Hero인 Joshua Arvin Lat의 2번째 μ±…
"Machine Learning Engineering on AWS: Building, Scaling, and Securing Machine Learning Systems and MLOps Pipelines in Production"이 2022λ…„ 11μ›” 9일 κ³΅κ°œλ©λ‹ˆλ‹€.

μ•„λž˜μ˜ λ‚΄μš©μ„ 닀룬닀고 ν•˜λ„€μš”.

  • Amazon SageMaker, Amazon EKS 등을 μ‚¬μš©ν•˜μ—¬ AWSμ—μ„œ ML μ›Œν¬λ‘œλ“œλ₯Ό κ΄€λ¦¬ν•˜λŠ” μ‹€μš©μ μΈ 지식 μŠ΅λ“
  • μ»¨ν…Œμ΄λ„ˆ 및 μ„œλ²„λ¦¬μŠ€ μ„œλΉ„μŠ€λ₯Ό μ‚¬μš©ν•˜μ—¬ λ‹€μ–‘ν•œ ML μ—”μ§€λ‹ˆμ–΄λ§ μš”κ΅¬ 사항을 ν•΄κ²°ν•˜λŠ” 방법
  • AWSμ—μ„œ μžλ™ν™”λœ MLOps νŒŒμ΄ν”„λΌμΈ 및 μ›Œν¬ν”Œλ‘œ 섀계, ꡬ좕 및 λ³΄ν˜Έν•˜λŠ” 방법

ν₯미둜운 μ£Όμ œκ°€ 많고, μ΄λΆ„μ˜ κ²½ν—˜μ„ λΉ λ₯΄κ²Œ μŠ΅λ“ν•  수 μžˆμ„κ²ƒ κ°™μ•„μ„œ κΈ°λŒ€κ°€ λ©λ‹ˆλ‹€.


Amazon SageMakerμ—μ„œ GPTλ“± λŒ€ν˜• λͺ¨λΈμ„ μ„œλΉ™ ν•  수 μžˆλŠ” λ³Όλ₯¨κ³Ό νƒ€μž„μ•„μ›ƒμ„ ꡬ성 지원

EBS λ³Όλ₯¨ 크기 및 νƒ€μž„μ•„μ›ƒ 쿼타λ₯Ό μ‚¬μš©μž 섀정이 λŒ€ν˜• λͺ¨λΈ(μ΅œλŒ€ 500GB)을 배포할 수 μžˆλŠ” ν¬κΈ°κΉŒμ§€ ν™•μž₯ λ˜μ—ˆλ‹€κ³  ν•˜λ„€μš”. 이번 런치둜 μ‚¬μš©μžλ“€μ€ SageMaker의 μ™„μ „ κ΄€λ¦¬ν˜• μ‹€μ‹œκ°„ 비동기 예츑 μ„œλΉ„μŠ€μ— GPTλ‚˜ OPT 같은 λŒ€ν˜• λͺ¨λΈ 배포할 수 μžˆμ„ 것 κ°™μŠ΅λ‹ˆλ‹€. 기쑴에 30GB둜 μ œν•œ λ˜μ—ˆλ˜ EBS λ³Όλ₯¨ ν¬κΈ°λŠ” 이제 500GBκΉŒμ§€ μ„€μ •κ°€λŠ₯ν•˜κ³ , μ»¨ν…Œμ΄λ„ˆ ν—¬μŠ€ 체크와 λ‹€μš΄λ‘œλ“œ νƒ€μž„μ•„μ›ƒλ„ 60λΆ„κΉŒμ§€ μ„€μ • κ°€λŠ₯ν•˜κ²Œ λ˜μ—ˆμŠ΅λ‹ˆλ‹€. μ΅œκ·Όμ— μΆœμ‹œλœ ml.p4d 및 ml.g5 μΈμŠ€ν„΄μŠ€μ—μ„œ λ©€ν‹° GPUλ₯Ό μ‚¬μš©ν•˜μ—¬ λ©”λͺ¨λ¦¬μ— λͺ¨λΈμ„ λ‘œλ“œν•˜μ—¬ κ³ μ„±λŠ₯ 좔둠을 ꡬ성할 μˆ˜λ„ μžˆμŠ΅λ‹ˆλ‹€ !


기타 κ΄€μ‹¬κ°€λŠ” μ„œλΉ„μŠ€ μ—…λ°μ΄νŠΈ

AWS Glue Crawler history 제곡

AWS Glue Crawler historyλŠ” 데이터 μŠ€ν‚€λ§ˆ 정보λ₯Ό μΆ”λ‘ ν•˜λŠ” 데 μ‚¬μš©λ˜λŠ” 크둀러 μ‹€ν–‰, μŠ€μΌ€μ₯΄, 데이터 μ†ŒμŠ€, νƒœκ·Έλ₯Ό λ³Ό 수 μžˆλŠ” νŽΈλ¦¬ν•œ 방법을 μ œκ³΅ν•©λ‹ˆλ‹€. 크둀러 기둝은 λ°μ΄ν„°λ² μ΄μŠ€ μŠ€ν‚€λ§ˆμ˜ λ³€κ²½ 사항, Amazon S3 νŒŒν‹°μ…˜ λ³€κ²½ 사항 및 μ‚¬μš©λœ DPU μ‹œκ°„μ„ ν¬ν•¨ν•˜μ—¬ 각 크둀링에 λŒ€ν•œ 데이터 λ³€κ²½ 사항에 λŒ€ν•œ μš”μ•½μ„ μ œκ³΅ν•©λ‹ˆλ‹€.

저도 μ•„ν…Œλ‚˜λ₯Ό μ‚¬μš©ν•˜κΈ° μœ„ν•΄μ„œ AWS Glue Crawlerλ₯Ό μ‚¬μš©ν•˜κ³  μžˆλŠ”λ°μš”. νŽΈλ¦¬ν•œ κΈ°λŠ₯이 μΆ”κ°€λœ 것 κ°™μ•„μ„œ κΈ°λŒ€λ˜λ„€μš”.


Amazon DynamoDBμ—μ„œ νŠΈλžœμž­μ…˜λ‹Ή μ΅œλŒ€ 100개의 μž‘μ—…μ„ 지원

Amazon DynamoDB transactions을 μš©ν•˜λ©΄ μ—¬λŸ¬ μ•„μ΄ν…œμ„ 변경을 all-or-nothing으둜 μ²˜λ¦¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€. 기쑴에 25개 μž‘μ—…(action)둜 μ œν•œλ˜μ–΄ μžˆμ—ˆμ§€λ§Œ, 이제 100개 μž‘μ—…κΉŒμ§€ μ²˜λ¦¬κ°€ κ°€λŠ₯ν•˜λ‹€κ³  ν•˜λ„€μš”.


Amazon RDS, AWS Lambda, AWS Step Functions, Amazon Managed Prometheus 및 AWS KMS용 AWS Controllers for Kubernetes (ACK) 일반 곡개

AWS μ„œλΉ„μŠ€λ₯Ό K8s 컨트둀러λ₯Ό ν†΅ν•΄μ„œ κ΄€λ¦¬ν•˜λŠ” 방법이 μžˆκ΅°μš”. AWS λ¦¬μ†ŒμŠ€ 관리 λ°©λ²•μœΌλ‘œ 잘 μ‚¬μš©λ  μˆ˜λ„ μžˆμ„ 것 κ°™μ•„μ„œ ν₯λ―Έλ‘œμ›Œμ„œ κΈ°λ‘ν•΄λ΄…λ‹ˆλ‹€. λ‘˜λŸ¬λ³΄λ‹ˆ μ •μ˜λŠ” μΏ λ² λ‘œν•˜κ³  μ›Œν¬λ‘œλ“œλŠ” μ‹€μ œ AWS μ„œλΉ„μŠ€λ₯Ό μ‚¬μš©ν•˜λŠ”κ²ƒ κ°™μŠ΅λ‹ˆλ‹€.


Amazon Kinesis Data Analytics for Apache Flink 에 μ‹ κ·œ μ»¨ν…Œμ΄λ„ˆ λ©”νŠΈλ¦­ 지원

Amazon Kinesis Data Analytics for Apache Flinkμ—μ„œ 3가지 μ‹ κ·œ μ»¨ν…Œμ΄λ„ˆ 레벨 λ©”νŠΈλ¦­μ„ CloudWatchμ—μ„œ μ§€μ›ν•œλ‹€κ³  ν•˜λ„€μš”.

  • CPU Utilization
  • Memory Utilization
  • Disk Utilization of Flink Task Managers

μƒˆλ‘œμš΄ λ©”νŠΈλ¦­μ€ Task Manager λ¦¬μ†ŒμŠ€ μ‚¬μš©λŸ‰μ— λŒ€ν•œ ν–₯μƒλœ κ°€μ‹œμ„±μ„ μ œκ³΅ν•˜λ©° Kinesis Data Analyticsμ—μ„œ μ‹€ν–‰λ˜λŠ” μ• ν”Œλ¦¬μΌ€μ΄μ…˜μ„ μ‰½κ²Œ ν™•μž₯ν•˜λŠ” 데 μ‚¬μš© κ°€λŠ₯ν•˜λ‹€κ³  ν•©λ‹ˆλ‹€.

참고둜, Amazon Kinesis Data Analyticsλ₯Ό μ‚¬μš©ν•˜λ©΄ Apache Flinkλ₯Ό 톡해 슀트리밍 데이터λ₯Ό μ‹€μ‹œκ°„μœΌλ‘œ μ‰½κ²Œ λ³€ν™˜ν•˜κ³  뢄석할 수 μžˆμŠ΅λ‹ˆλ‹€. Amazon Kinesis Data AnalyticsλŠ” Apache Flink μ• ν”Œλ¦¬μΌ€μ΄μ…˜ ꡬ좕 및 κ΄€λ¦¬μ˜ λ³΅μž‘μ„±μ„ μ€„μ—¬μ£ΌλŠ”λ°μš”. Amazon MSK, Amazon Kinesis Data Streams, Amazon Opensearch Service, Amazon DynamoDB 슀트림, Amazon Simple Storage Service(Amazon S3) λ“±κ³Ό 톡합도 κ°€λŠ₯ν•©λ‹ˆλ‹€.


더 λ§Žμ€ AWS ML Weekly Updates 리슀트

Top comments (0)

🌚 Life is too short to browse without dark mode