검색 결과

“CI/CD”20건

All Frontend Backend AI DevOps Architecture Etc

DevOps
ChatOps를 통한 업무 자동화(feat. Slack Hubot)
LINE NEXT DevOps 팀은 Slack Hubot을 활용하여 일감 관리, 애플리케이션 배포, 미들웨어 설정 배포, 서비스 유지 보수 관리 등 다양한 업무를 ChatOps 기반으로 자동화한 경험을 공유합니다. DevOps 팀은 개발 팀과 협업하여 소프트웨어 개발을 지원하고, 반복적이고 비효율적인 부분을 자동화하며, 문제가 될 수 있는 부분을 사전에 예측하여 개발 및 운영 사이클을 가속화하고 안정화하는 역할을 수행합니다. 이를 위해 CI/CD 도구 제공 및 운영, 모니터링 시스템 구축, 배포 프로세스 설계 및 모니터링, 이상 발생 시 롤백 등을 담당합니다. 본 글에서는 이러한 자동화 경험을 통해 서비스의 24시간 365일 가용성을 유지하고 안정적으로 운영하는 방안을 제시합니다.
ChatOpsSlack Hubot업무 자동화
라인·2023년 10월 25일
DevOps
Cgroup Driver 선택하기
이 글은 카카오의 Kubernetes 기반 Container Platform인 DKOS 운영 중 발견된 Cgroup Driver 관련 이슈를 다룹니다. Kubernetes 문서에서 systemd 환경에서 kubelet과 Docker가 cgroupfs 드라이버를 사용할 경우 시스템 불안정성이 발생할 수 있다는 내용을 확인하고, Cgroup Driver의 중요성을 인지하게 되었습니다. 글에서는 먼저 Cgroup의 개념과 역할을 설명하고, Container Resource 제어에 어떻게 활용되는지 소개합니다. 이후 Cgroup Driver의 역할과 동작 구조를 분석하고, 이러한 분석을 바탕으로 DKOS에서 어떤 Cgroup Driver를 선택하게 되었는지 공유합니다. 이를 통해 Kubernetes 환경에서 안정적인 Container Platform 운영을 위한 Cgroup Driver 선택의 중요성을 강조합니다.
Cgroup DriverKubernetesDocker
카카오·2020년 6월 28일
DevOps
AWS Signer를 사용하여 컨테이너 이미지 빌드 파이프라인을 보호하기 위한 모범 사례
이 글은 AWS Signer를 사용하여 컨테이너 이미지 빌드 파이프라인을 보호하기 위한 모범 사례를 다룹니다. AWS Signer는 코드의 신뢰성과 무결성을 보장하는 완전관리형 코드 서명 서비스로, 코드 서명 인증서 및 키 관리를 단순화합니다. 2023년 6월 발표된 컨테이너 이미지 서명 기능은 Amazon ECR에 저장된 컨테이너 이미지 서명 및 확인을 지원하며, 승인된 이미지만 Amazon EKS 클러스터에 배포되도록 검증할 수 있습니다. AWS Signer는 CI/CD 통합, 서명 ID 관리, 다른 AWS 서비스와의 네이티브 통합을 통해 코드 보안을 강화하고 소프트웨어 공급망의 보안, 거버넌스 및 규정 준수 요구 사항을 충족하는 데 기여합니다.
AWS Signer컨테이너 이미지CI/CD
AWS·2024년 3월 4일
DevOps
Customize GitLab Auto DevOps with Existing Cluster (On-Premise Kubernetes)
이 글은 온-프레미스 환경의 쿠버네티스 클러스터에서 GitLab Auto DevOps 기능을 커스터마이징하는 방법을 다룹니다. GitLab Auto DevOps는 소프트웨어 배포의 복잡성을 줄이고 개발 생산성을 향상시키는 데 도움을 줍니다. 특히, kubespray로 설치된 자체 쿠버네티스 클러스터와 GitLab Auto DevOps를 연동하는 구체적인 과정을 설명합니다. 클러스터 추가, 서비스 계정 생성, Nginx 인그레스 설치 등의 단계를 포함하며, CI/CD 모범 사례와 도구를 활용하여 현대적인 소프트웨어 개발 라이프사이클을 단순화하는 것을 목표로 합니다. 코드를 푸시하면 GitLab이 나머지 배포 과정을 자동으로 처리하도록 설정하여 효율성을 높이는 방법을 제시합니다.
GitLabAuto DevOpsKubernetes
사람인·2021년 6월 30일
DevOps
[Hands On] Elastic Beanstalk를 사용한 웹 애플리케이션 배포 Python(Django) – Jenkins를 활용한 CI/CD 환경 구축
본 글은 AWS Elastic Beanstalk를 사용하여 Python(Django) 웹 애플리케이션을 배포하는 과정을 다룹니다. 특히 Jenkins를 활용하여 CI/CD(지속적 통합/지속적 배포) 환경을 구축하는 방법에 초점을 맞춥니다. 이를 통해 개발자는 코드 변경 사항을 자동으로 빌드, 테스트, 배포하는 파이프라인을 구축하여 효율적인 개발 및 운영 환경을 마련할 수 있습니다. Elastic Beanstalk는 애플리케이션 배포 및 관리를 자동화해주는 AWS의 서비스로, 개발자가 인프라 관리에 대한 부담을 줄이고 애플리케이션 개발에 집중할 수 있도록 돕습니다. Jenkins는 오픈소스 자동화 서버로, CI/CD 파이프라인 구축에 널리 사용됩니다.
Elastic BeanstalkPythonDjango
농심데이터시스템·2021년 11월 15일
DevOps
Argo CD 설치 따라해보기
본 글은 Argo CD 설치 과정을 상세하게 안내하는 기술 블로그 게시물입니다. Argo CD는 Kubernetes 네이티브 GitOps 도구로, 선언적 구성 관리를 통해 애플리케이션 배포 및 관리를 자동화합니다. 글에서는 Argo CD의 기본 개념과 설치 방법을 단계별로 설명하며, 특히 Kubernetes 환경에서 Argo CD를 성공적으로 설정하는 데 필요한 정보들을 제공합니다. 이를 통해 개발자 및 운영자는 CI/CD 파이프라인을 구축하고 애플리케이션의 배포 효율성을 높일 수 있습니다. GitOps 워크플로우를 도입하려는 팀에게 유용한 가이드라인을 제시합니다.
Argo CDKubernetesCI/CD
데보션·2021년 9월 14일
DevOps
뮤직카우의 Amazon RDS와 Amazon Redshift 간 CDC 파이프라인 Zero-ETL로 쉽게 구축하기
뮤직카우는 미국 서비스 출시를 앞두고 실시간 데이터 분석을 위한 데이터 플랫폼 구축의 필요성을 느꼈습니다. 기존 한국 서비스는 하이브리드 클라우드 환경에서 배치 기반 ETL을 사용했지만, 미국 서비스는 100% 클라우드 환경에서 준 실시간 데이터 반영(CDC) 요구사항이 있었습니다. 제한된 인력으로 효율적인 CDC 파이프라인 구축이 필요했으며, 이를 위해 Amazon RDS와 Amazon Redshift 간의 Zero-ETL 기능을 활용하는 방안을 모색했습니다. Zero-ETL은 기존 ETL 과정 없이 데이터를 자동으로 복제하여 데이터 웨어하우스에 반영하므로, 개발 및 운영 부담을 크게 줄여줍니다. 이 글은 뮤직카우가 Zero-ETL을 통해 어떻게 간편하고 효율적으로 CDC 파이프라인을 구축했는지 설명합니다.
Amazon RDSAmazon RedshiftCDC
AWS·2025년 7월 22일
DevOps
Vector를 활용해 멀티 CDN 로그 및 트래픽 관리하기
LINE Enablement Engineering 팀의 SRE가 멀티 CDN 환경에서 Vector를 활용하여 로그 및 트래픽을 효율적으로 관리한 경험을 공유하는 글입니다. 기존에 여러 데이터 소스와 산재된 대시보드를 한 곳으로 통합하고, 직접 개발한 익스포터 관리의 번거로움을 해결하기 위해 Vector의 log_to_metric 기능을 도입했습니다. 또한, 다양한 내부 제품 및 플랫폼의 로그와 메트릭 수집 체계를 통합하여 종합적인 인사이트를 얻을 수 있는 모니터링 체계 기반을 마련하는 과정을 설명합니다. 이 글은 로그, 모니터링, 쿠버네티스에 대한 경험이 있는 독자를 대상으로 합니다.
VectorCDN로그 관리
라인·2023년 10월 13일
DevOps
AWS DMS를 이용한 CDC 데이터 실시간 수집 및 분석 데이터 파이프라인 구축하기
본 글은 관계형 데이터베이스(RDBMS)의 데이터를 Amazon S3 기반의 데이터 레이크로 실시간 수집하고 분석하는 데이터 파이프라인 구축 방법을 다룹니다. 특히 MSA 환경에서 여러 RDBMS의 데이터를 통합 관리하고 분석해야 하는 필요성에 주목합니다. AWS DMS를 활용하여 RDBMS의 변경 데이터 캡처(CDC) 정보를 실시간으로 Amazon S3에 저장하고, Amazon Kinesis Data Streams와 Data Firehose를 통해 Amazon OpenSearch Service에도 저장하여 실시간 분석이 가능함을 설명합니다. 또한, Amazon Athena를 이용한 배치 분석 방법도 제시하며, 대규모 데이터 처리 및 분석을 위한 효과적인 데이터 파이프라인 구축 전략을 소개합니다.
AWS DMSCDC데이터 파이프라인
AWS·2024년 3월 25일
DevOps
GCP CDN 적용하기
이 글은 워드프레스로 구축된 웹사이트의 정적 리소스(이미지 등) 캐싱을 통해 응답 속도를 개선하는 GCP CDN 적용 방법을 다룹니다. GCP CDN은 콘텐츠 전송 네트워크(CDN)의 일종으로, 사용자와 가까운 엣지 로케이션에 콘텐츠를 분산시켜 지연 시간을 줄이고 사용자 경험을 향상시키는 것을 목표로 합니다. 글에서는 구체적인 적용 과정과 그로 인한 성능 개선 효과를 설명하며, 웹사이트의 로딩 속도 최적화에 관심 있는 개발자들에게 유용한 정보를 제공합니다. GCP CDN을 활용하여 웹사이트의 전반적인 성능을 향상시키는 방법을 배울 수 있습니다.
GCPCDN워드프레스
레모네이드·2021년 2월 15일
DevOps
AWX를 이용한 CI/CD Pipeline: Pylon
카카오페이 SRE팀 RE파트에서 레거시 배포 환경의 문제점을 개선하기 위해 AWX를 활용한 CI/CD 파이프라인 구축 경험을 공유합니다. 기존 물리 서버 환경에서의 배포 방식은 매개변수 입력 오류, 롤백 시 불필요한 빌드, 변경사항 전개 미흡, 배포 이력 및 버전 관리 부재 등의 리스크를 안고 있었습니다. 이러한 문제들을 해결하기 위해 AWX를 도입하여 배포 프로세스를 자동화하고 표준화함으로써 안전하고 빠른 배포를 달성했습니다. 이 글은 레거시 시스템의 배포 효율화 및 안정성 확보에 대한 구체적인 방법론과 경험을 제공하여 유사한 환경의 팀들에게 실질적인 도움을 줄 수 있을 것으로 기대됩니다.
CI/CDAWX배포
카카오페이·2023년 11월 30일
DevOps
Github Actions의 의존성 캐싱을 통한 서버 배포속도 향상
이 글은 Github Actions의 의존성 캐싱 기능을 활용하여 CI/CD 파이프라인의 배포 속도를 향상시키는 방법을 다룹니다. 많은 개발자가 CI/CD 속도 문제로 어려움을 겪고 있으며, 핏펫에서도 이러한 문제를 경험했습니다. 본문에서는 Terraform 코드를 사용하여 AWS 환경에 대한 프로바이더 설정, VPC, 서브넷, 보안 그룹 등 인프라 구성을 상세히 설명합니다. 특히, AWS 로드 밸런서(ALB)와 타겟 그룹 생성 과정을 보여주며, Github Actions의 캐싱 전략을 통해 빌드 및 배포 시간을 단축하는 구체적인 방안을 제시합니다. 이를 통해 전반적인 개발 워크플로우의 효율성을 높일 수 있습니다.
GitHub ActionsCI/CD배포 속도
핏펫·2022년 7월 28일
DevOps
Elasticsearch 병렬 테스트를 향한 여정
본 글은 Elasticsearch에 의존하는 검색 시스템에서 2배 이상의 성능 향상을 달성한 병렬 테스트 도입 경험을 공유합니다. 기존 통합 테스트 방식은 1,500개 이상의 테스트 코드로 인해 CI/CD 환경에서 10분 이상 소요되는 문제를 안고 있었습니다. 이를 해결하기 위해 Gradle의 `--parallel` 옵션을 활용한 병렬 테스트를 시도했으나, Elasticsearch와 DB에 대한 공유 의존성으로 인해 테스트 실패를 경험했습니다. 글의 핵심은 이러한 공유 의존성 문제를 해결하기 위한 '격리 전략'에 있으며, 이를 통해 병렬 테스트를 성공적으로 도입하고 빠른 피드백 루프를 구축하는 방법을 다룹니다.
Elasticsearch병렬 테스트CI/CD
우아한형제들·2024년 8월 1일
DevOps
AWS Solutions Constructs를 조합하여 CDK 작성하기
이 글은 AWS CDK를 사용하면서 반복적인 패턴을 효율적으로 관리하기 위해 AWS Solutions Constructs를 활용하는 방법을 소개합니다. AWS Solutions Constructs는 AWS CDK의 오픈 소스 확장으로, 잘 설계된 다중 서비스 패턴을 제공하여 개발자가 예측 가능하고 반복 가능한 인프라를 신속하게 생성하도록 돕습니다. 이를 통해 클라우드 서비스의 빠른 혁신 속도 속에서도 모범 사례를 쉽게 구현하고, 확장 가능하며 안전한 방식으로 일반적인 작업을 수행할 수 있습니다. 특히, 여러 Constructs를 조합하여 단일 워크로드를 구성하는 방법을 설명하며, CDK, TypeScript, Lambda, API Gateway, SQS 등에 대한 사전 지식이 필요함을 언급합니다. 이 글은 인프라 구축의 생산성과 편의성을 높이는 데 초점을 맞추고 있습니다.
AWS CDKAWS Solutions ConstructsKubernetes
AWS·2023년 1월 5일
DevOps
Gitlab 마이그레이션 후 업그레이드 (with. Gitlab-Runner)
다나와 기술 블로그는 Gitlab v12.8.5에서 v15.4.2로 업그레이드한 경험을 공유합니다. CVE 취약점 발견으로 인해 업그레이드를 진행했으며, 기존 Kubernetes 기반의 Gitlab-Runner 구조를 Docker 기반으로 변경했습니다. Kubernetes를 사용했던 이유는 빌드 시 발생하는 컴퓨팅 리소스 부하를 분산하기 위함이었으나, 실제 사용 시 리소스 사용량이 분산되지 않는 경우가 많아 Docker로 전환했습니다. 마이그레이션 과정은 백업 및 복원 단계를 포함하며, 업그레이드는 특정 버전 순서를 따라 진행해야 합니다. 패키지 매니저를 이용한 업그레이드 방법도 설명하며, Gitlab Runner의 변경은 CI/CD 파이프라인의 효율성을 높이는 데 중점을 두었습니다.
Gitlab마이그레이션업그레이드
다나와·2022년 11월 28일
DevOps
GitHub Actions를 활용한 개발 효율화
본 글은 네이버 예약·주문 팀에서 GitHub Actions를 활용하여 개발 효율성을 높인 경험을 공유합니다. 초기에는 PR Lint test 실행을 목적으로 도입되었으나, 테스트 중복 실행 등의 개선점을 발견하며 다양한 Action을 탐색하게 되었습니다. GitHub Actions는 GitHub에서 제공하는 CI/CD 플랫폼으로, 트리거 이벤트 발생 시 Runner에서 워크플로우를 실행하는 구조입니다. GitHub-hosted Runner와 Self-hosted Runner 두 가지 실행 환경을 제공하며, 보안 및 비용 측면을 고려하여 적합한 방식을 선택해야 합니다. 약 6개월간 적용한 Action들과 작성한 워크플로우를 예시로 들어 도입 과정과 장점을 상세히 설명하며, 개발 생산성 향상에 기여한 사례를 제시합니다.
GitHub ActionsCI/CD개발 효율화
네이버플레이스·2023년 6월 7일
DevOps
Kubernetes 환경 CD(Continuous Deployment) 개선하기
숨고의 DevOps 엔지니어가 Kubernetes 환경에서의 CD(Continuous Deployment) 개선 경험을 공유하는 글입니다. 기존에는 애플리케이션 코드와 Kubernetes 배포를 위한 Manifest 파일이 동일한 저장소에서 관리되어, Manifest 파일만 변경해도 컨테이너 빌드 절차를 거쳐야 하고, 여러 저장소에 분산된 Manifest 관리의 어려움, 코드 변경 로그와 Manifest 변경 로그의 혼재, 그리고 수정 권한으로 인한 안정성 저하 등의 문제가 있었습니다. 이러한 문제를 해결하기 위해 애플리케이션 코드와 Manifest 파일을 분리하고, GitOps 방법론을 적용하여 Kubernetes 클러스터 관리 및 애플리케이션 배포의 효율성과 안정성을 높였습니다. 이 글은 Kubernetes 환경에서 CD 개선을 고민하는 DevOps 엔지니어 및 개발자에게 실질적인 도움을 줄 수 있는 내용을 담고 있습니다.
KubernetesCDContinuous Deployment
숨고·2020년 12월 21일
DevOps
백엔드팀에서 GitHub Actions를 사용하는 방법
테이블링 백엔드팀은 기존 AWS CodePipeline과 CodeBuild를 사용한 CI/CD 환경에서 일부 프로젝트에 GitHub Actions를 도입했습니다. 기존 환경은 gulp.js 기반으로 동작하여 오류 추적이 어렵다는 단점이 있었습니다. GitHub Actions 도입은 코드 관리와의 연동성, YAML 파일 기반의 간편한 설정, 재사용 가능한 워크플로우 및 액션, 마켓플레이스의 풍부한 액션 지원 등의 장점 때문입니다. 또한, 팀 내 YAML 파일 사용 경험이 적어 파일명, job/step 명명 규칙, 확장자 등 컨벤션과 가이드라인을 설정하는 과정도 공유합니다. 이를 통해 백엔드팀의 CI/CD 효율성을 높이고자 합니다.
GitHub ActionsCI/CDAWS CodePipeline
테이블링·2023년 11월 9일
DevOps
World Quality Report(2022-23) 소개 (2)
World Quality Report 2022-23'의 두 번째 글로, Quality Engineering 및 Testing의 최신 트렌드를 다룹니다. 특히 'Quality Infrastructure Testing and Provisioning'에 초점을 맞춰, 테스트 환경 관리의 중요성과 함께 Non-production 환경에서의 Cloud Provisioning 현황을 분석합니다. 테스트 환경 관리는 IT 프로젝트 및 소프트웨어 개발 생명주기 전반에 걸쳐 테스트 환경을 이해하고 적용하는 기능으로 정의되며, 올해 보고서는 이러한 환경 프로비저닝이 어떻게 적용되고 있는지, 그리고 클라우드 환경에서의 발전상을 조명합니다. 이는 DevOps 문화와 더불어 효율적인 테스트 환경 구축 및 관리가 품질 향상에 미치는 영향을 강조합니다.
Quality Infrastructure TestingTest Environment ManagementCloud Provisioning
SKCNC·2022년 11월 23일
DevOps
AWS CDK 개발 여정
이 글은 AWS CDK를 사용하여 인프라를 구축했던 경험을 공유합니다. IaC(Infrastructure as Code) 개발 도구 선택 과정부터 개발 및 배포 파이프라인 구축까지 겪었던 시행착오와 고민을 다룹니다. AWS SDK, AWS CLI, AWS CloudFormation, AWS CDK, Terraform 등 다양한 IaC 도구를 비교 검토하며, 특히 AWS CDK와 Terraform을 중심으로 장단점을 분석합니다. Multi Cloud 활용 계획, 운영 주체의 친숙도, 언어 지원, 라이선스 비용 등을 고려하여 최종 도구를 선정하는 과정을 상세히 설명하며, Public Cloud 전환 프로젝트에서의 실질적인 경험을 바탕으로 IaC 도입을 고려하는 개발자들에게 유용한 정보를 제공합니다.
AWS CDKIaCCloudFormation
데보션·2024년 3월 25일