AWS

Boto3 설정 설정에는 credential 과 non-credentials 로 나뉜다. credentials aws_access_key_id aws_secret_access_key aws_session_token non-credentials region Boto3 Credential 정보 찾는 순서와 위치 boto3는 인증 정보를 실행되면 특정 위치의 파일을 읽어서 가져오거나 작성한 Python 코드에서 정보를 찾는다. 찾는 순서는 1. (Python 코드) boto.client() 을 만들며 사용한 파라미터 값 2. (Python 코드) boto.session() 을 만들며 사용한 파라미터 값 3. Python 코드를 실행하는 PC 또는 서버에 설정된 환경 변수 4. Python 코드를 실행하는 PC..

안녕하세요. Amazon EKS 클러스터 업그레이드를 준비하면서 여러 AWS 공식 문서들을 참고 했었는데요. 참고하면서 좋았던 AWS 클러스터 업그레이드 가이드 문서를 리뷰해 정리하여 글로 써보았습니다. Amazon EKS 버전 업그레이드를 준비하면서 어떻게 준비해야할지 알아가는 목적으로 업그레이드 준비 방향성과 큰 틀 알기, 상세 방법은 링크를 참조해서 보면 좋을 것 같습니다. 😌 가이드 내용의 큰 틀은 다음과 같습니다. 1. Amazon EKS 릴리즈 일정 확인 2. 버전 업그레이드 시 검토, 알아야 할 내용 - Amazon EKS 및 Kubernetes 주요 업데이트 검토 - Kubernetes api deprecation-policy 이해 - Amazon EKS 업그레이드 중 예상되는 상황 3. ..

안녕하세요 쓰니입니다. 저는 G사의 데이터레이크 데이터파이프라인의 환경인 AWS EKS 서비스를 운영하고 있는데요. 이번 글에서는 AWS EKS 1.24 버전을 1.25 버전으로 업그레이드 했던 경험을 공유하려 합니다. 사례 공유로 업그레이드를 어떻게 준비했는지, 1.25 버전의 주요 변경 점, 조치 내용 이야기가 주 내용입니다. 내용은 아래 순으로 진행됩니다. 1. 버전 업그레이드 배경 2. 버전 업그레이드 준비 3. 버전 업그레이드 후기 1. 버전 업그레이드 배경 AWS는 안정적인 서비스 제공을 위해서 주기적으로 버전 업그레이드를 권장하고 지원하는데요. 운영 중인 AWS EKS 클러스터의 1.24 버전이 EOS 기간이 얼마 남지 않아 클러스터 버전 업그레이드를 준비하게 되었습니다. 2. 버전 업그레이..

안녕하세요 쓰니입니다. 조직이 커지고, 복잡해 질수록 다양한 이유로 IP를 구분하여 사용하기 때문에 관련한 자원 할당과 관리가 어려운 것 같습니다. 저희 회사에서도 airflow on EKS 에 kubernetes executor를 사용해 파이프라인을 운영 중인데요. 최근 회사의 합병 이후 늘어나는 신규 파이프라인으로 서브넷 IP 부족 현상이 일어나 조치를 했습니다. 리서치한 내용이 좋아서 비슷한 문제를 겪으시는 분들께 도움이 되길 바라며 여러분께 소개하려 합니다. 다음에는 이슈 해결을 위해 차근차근 적용한 방법을 정리한 글을 작성해보도록 하겠습니다. 해결책: Case1. 새로운 클러스터 생성 - 더 큰 범위의 VPC CIDR 범위 계획 - IPv6 사용 Case2. 기존 EKS 클러스터 사용 - VPC..