호랑 테크 블로그

Kubeflow는 AI/ML 워크로드를 관리하는 강력한 도구이지만, 학습 목적으로 구성하기에 강력한 컴퓨팅 성능이 필요합니다.클라우드 환경에서는 요구 컴퓨팅 성능이 곧 비용이라, 학습 목적으로는 부담이 큽니다. 여러 서칭 결과 비용을 최소화하기 위해 찾았던 툴인 Charmed Kubeflow를 통해 Ubuntu 서버(2xlarge)로 kubeflow 구성하고, addon 대시보드를 구성한 실습 내용을 공유합니다.   본 실습의 목표는 다음과 같습니다.Kubeflow 비용 최소화 - EKS 클러스터 구성과 최소 2xlarge 인스턴스 2대가 필요한 비용을 2xlarge 인스턴스 한대로 구성Kubeflow Add-on 모니터링 – 10여가지의 유기적으로 연결된 Add-on들을 분석할 수 있는 대시보드 구성I..

OverviewEKS 내 VPC CNI 네트워킹 모범사례를 실습하고, Kubeflow에서의 Istio 구성을 확인하겠습니다. EKS 네트워킹 모범사례 정리M/L 및 데이터 워크로드 기반의 EKS 프로젝트(DoEKS) 에서 AWS VPC CNI고려사항을 정리하고 실습하겠습니다. Networking for Data | Data on EKSVPC and IP Considerationsawslabs.github.io  VPC와 IP 고려 사항1. EKS 클러스터에서의 Warm Pool 유지AWS 각 인스턴스 유형은 최대 네트워크 인터페이스 수, 네트워크 인터페이스 당 최대 개인 IP를 지원합니다.aws ec2 describe-instance-types \ --filters "Name=instance-typ..

Overview MLOps 플랫폼 Kubeflow의 Karpenter 활용 사례를 참고하여 구성 원리를 알아보겠습니다. Karpenter, 카펜터 활용 사례를 확인하기 전 카펜터를 확인하겠습니다. 카펜터는 EC2 Fleet 기반의 클러스터 오토스케일러입니다. 다른 클러스터 오토스케일러인 CA(Cluster Autoscaler)와 특징을 비교하면 다음과 같습니다. CA(Cluster Autosclaer) Karpenter 노드 구성 서비스 EC2 Auto Scaling Group EC2 Fleet 노드 구성 관리 ASG가 노드 구성 Karpenter가 구성 주요 특징 - 단일 인스턴스 타입으로만 노드 그룹 구성 가능 - 노드 증감이 약 5분정도 소요됨(ASG를 통한 노드 검사 및 증설 요청) - 노드 그룹..