kubernetes 4

RayCluster on EKS and Serving LLM Model

Amazon EKS(Elastic Kubernetes Service)는 AI/ML 워크로드를 운영하기에 적합한 환경을 제공합니다.이번 글에서는 DoEKS(Data on Amazon EKS) 프로젝트를 참고하여 EKS에서 AI/ML 모델을 운영하는 과정을 실습하였습니다.DoEKS는 EKS에서 확장 가능한 데이터 플랫폼을 구축하기 위한 도구 모음으로, Terraform 블루프린트 및 AWS CDK를 활용한 IaC(Infrastructure as Code) 템플릿, AI/ML 워크로드 실행을 위한 모범 사례, 성능 벤치마크 및 다양한 실습 예제를 제공합니다.본 실습의 목표는 다음과 같습니다. AI/ML 생태계 이해 – Amazon EKS에서 실행되는 AI/ML 도구 및 워크로드의 흐름을 이해합니다.EKS 기반..

Cloud Tech 2025.02.09

Kubernetes CI & CD (ArgoCD, Jenkins)

Overview지난 글에서 학습한 Jenkins CI 파이프라인을 확장하여 쿠버네티스 CI&CD를 Jenkins와 ArgoCD, Gogs를 통해 구성하겠습니다.  환경 구성실습 쿠버네티스 환경은 Kind로 구성하였습니다.Kind는 테스트 목적으로 로컬 환경에서 쿠버네티스를 구성시키는 도구입니다.# Install Kindbrew install kindkind --version# Install kubectlbrew install kubernetes-clikubectl version --client=true## kubectl -> k 단축키 설정echo "alias kubectl=kubecolor" >> ~/.zshrc# Install Helmbrew install helmhelm versionapiserve..

Cloud Tech 2024.12.22

k8s node-shell 원리이해

Node-shell ?k8s 컨트롤 노드를 통해서 워크 노드에 root 권한으로 접근시킬 수 있는 툴입니다. kubectl krew 확장 도구로 설치가 간단하며, 워크 노드 서버 접근에 자주 사용되는 툴입니다.다만, k8s api-server만 접근이 가능하게 되면 워크 노드도 접근이 가능하기에 예상치 못한 보안 이슈를 가져올 수 있습니다. 이번 장에서는 해당 툴의 원리를 확인하고 발생할 수 있는 보안 이슈를 확인하겠습니다.  GitHub - kvaps/kubectl-node-shell: Exec into node via kubectlExec into node via kubectl. Contribute to kvaps/kubectl-node-shell development by creating an ac..

Cloud Tech 2024.10.04

쿠버네티스 네트워크이해하기(Kind, Pause, Ephemeral Container, FlannelCNI)

Overview 지난 글에서 도커 네트워크를 확인한 것을 바탕으로 쿠버네티스 네트워크 구성을 살펴보겠습니다. 블로그 내용은 CloudNet@ KANS3 스터디를 참고하였습니다.Kind(Kubernetes in Docker)Kind는 도커 컨테이너 위에 로컬 kubernetes 클러스터를 실행하기 위한 도구 입니다. Kind는 Kubernetes 클러스터를 로컬 환경에서 손쉽게 시뮬레이션하고, 개발, 테스트, 학습 목적으로 사용됩니다.Docker(Host) 안에 또 다른 Docker를 실행하여 쿠버네티스 Control Plane과 Work Node를 구성합니다.Mac에서의 환경 구성M1 MAX 에서 구성docker 설치 Install Docker Desktop on MacInstall Docker for ..

Cloud Tech 2024.09.06