호랑 테크 블로그

Build GenAI & ML for Performance and Scale, using Amazon EKS, Amazon FSx and AWS Inferentia 워크샵 내용을 정리합니다.워크샵 제공해주신 AWS 관계자님 & CloudNET@ 가시다님 감사합니다. 워크샵에서는 EKS에서 LLM을 다루기 위한 AWS 서비스를 소개합니다.FSx for LustreAWS InterentiaAmazon FSx for Lustre에 모델 데이터 호스팅AI 모델(Mistral-7B-Instruct)을 Amazon S3에 저장하고, 이 데이터를 빠르게 사용할 수 있도록 Amazon FSx for Lustre 에 연결합니다. Kubernetes 기반의 Amazon EKS 클러스터는 이 파일 시스템에서 모델 데이터를 ..

Why ?A서비스, EKS 파드 하나가 계속 죽어요B서비스, AWS 비용이 전달 대비 100%올랐어요C서비스, 누가 우리 서비스 공격하는 것 같아요 로그 보여주세요D서비스, 뭐지? 누가 우리 계정 RDS 날려먹었는데요?어려움 점사용해야할 툴이 제각각이다각 기술 사용 역량이 필요하며 사례별 경험이 필요, 담당자 별로 실력차이가 있을 수 있음요청이 다수인 경우, 요청별 시간이 많이 걸림반복 업무어려운 점을 ChatGPT처럼 사용자의 질문에 따라 답할 수 있는 툴이 있을까 찾아보니 HolmesGPT 이 있어 소개합니다.HolmesGPTHolmesGPT는 LLM을 사용하여 알림에 더 빠르게 수행하여 분석을 자동으로 진행합니다.Fetch logs, traces, and metricsDetermine if issu..

작년 ChatGPT를 시작으로 생성형 AI 기술이 각광받고 있습니다. 필자는 ChatGPT AI 기술인 LLM(대형 언어 모델)를 관심있게 보고 있었는데 AWSKRUG 모임에서 제공해주신 발표를 통해 LLM 기술을 쉽게 접할 수 있었습니다. 특히 최근 마곡 소모임에서 테라폼 공식 문서를 학습하고, 평가해주는 모델을 생성하는 것을 보고 인상 깊게 생각했는데요. 그렇다면 앤서블(Ansible) 을 LLM로 학습시켜 돌려보면 어떨까 라는 생각으로 해당 글을 작성하게 되었습니다. 앤서블을 LLM을 통해 학습시켜야겠다는 생각은 앤서블 최신 버전에 따른 모듈 변경이였는데요. 오픈소스 프로젝트를 주로 보는 필자 입장으로 보자면 다음의 과정을 통해 LLM의 필요성을 느꼈습니다.  앤서블 최신 버전 업데이트로 모듈과 옵..