호랑 테크 블로그

Build GenAI & ML for Performance and Scale, using Amazon EKS, Amazon FSx and AWS Inferentia 워크샵 내용을 정리합니다.워크샵 제공해주신 AWS 관계자님 & CloudNET@ 가시다님 감사합니다. 워크샵에서는 EKS에서 LLM을 다루기 위한 AWS 서비스를 소개합니다.FSx for LustreAWS InterentiaAmazon FSx for Lustre에 모델 데이터 호스팅AI 모델(Mistral-7B-Instruct)을 Amazon S3에 저장하고, 이 데이터를 빠르게 사용할 수 있도록 Amazon FSx for Lustre 에 연결합니다. Kubernetes 기반의 Amazon EKS 클러스터는 이 파일 시스템에서 모델 데이터를 ..

Why ?A서비스, EKS 파드 하나가 계속 죽어요B서비스, AWS 비용이 전달 대비 100%올랐어요C서비스, 누가 우리 서비스 공격하는 것 같아요 로그 보여주세요D서비스, 뭐지? 누가 우리 계정 RDS 날려먹었는데요?어려움 점사용해야할 툴이 제각각이다각 기술 사용 역량이 필요하며 사례별 경험이 필요, 담당자 별로 실력차이가 있을 수 있음요청이 다수인 경우, 요청별 시간이 많이 걸림반복 업무어려운 점을 ChatGPT처럼 사용자의 질문에 따라 답할 수 있는 툴이 있을까 찾아보니 HolmesGPT 이 있어 소개합니다.HolmesGPTHolmesGPT는 LLM을 사용하여 알림에 더 빠르게 수행하여 분석을 자동으로 진행합니다.Fetch logs, traces, and metricsDetermine if issu..

Amazon EKS(Elastic Kubernetes Service)는 AI/ML 워크로드를 운영하기에 적합한 환경을 제공합니다.이번 글에서는 DoEKS(Data on Amazon EKS) 프로젝트를 참고하여 EKS에서 AI/ML 모델을 운영하는 과정을 실습하였습니다.DoEKS는 EKS에서 확장 가능한 데이터 플랫폼을 구축하기 위한 도구 모음으로, Terraform 블루프린트 및 AWS CDK를 활용한 IaC(Infrastructure as Code) 템플릿, AI/ML 워크로드 실행을 위한 모범 사례, 성능 벤치마크 및 다양한 실습 예제를 제공합니다.본 실습의 목표는 다음과 같습니다. AI/ML 생태계 이해 – Amazon EKS에서 실행되는 AI/ML 도구 및 워크로드의 흐름을 이해합니다.EKS 기반..