본문 바로가기

전체 글118

[Kafka] Kafka가 빠른 이유 kafka 홈페이지 : https://kafka.apache.org/ Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org Apache Kafka는 최근 많은 회사에서 데이터 파이프라인의 중추적인 플랫폼으로 채택되어 이용되고 있다. 그 이유로는 많은 데이터를 신속하게 처리하는 성능, 폭넓은 확장성과 다양한 플러그인까지 지원하는것을 이유로 들 수 있다. 이번 글은 위 주제에서 카프카는 어떻게 신속하게 데이터를 처리할 수 있는지에 대하여 다뤄볼 것이다. 카프카는 공식 홈페이지에선 최저 2ms의 낮은 지연 대기 시간을 가진다고 소개하며, Confluent사의 자료를 토대로 하드웨어의 성능이 적절하게 충족할 때, 초당 처리량이.. 2024. 4. 19.
[Kubernetes] Errors during downloading metadata for repository 'kubernetes' 쿠버네티스 클러스터의 노드에서 타 패키지를 이용하고자 yum으로 설치하려고 하는 중 아래와 같은 에러가 발생했다. 내용으로 보았을 때, 쿠버네티스 패키지를 설치하기 위해서 등록했던 쿠버네티스 레포지토리를 찾을 수 없어서 404 에러를 반환하였고, 이로 인하여 yum을 이용한 어떠한 패키지도 설치할 수 없었다. Search 이를 해결하기 위하여 추가적으로 자료 조사를 진행하였고, 아래와 같은 공지를 확인할 수 있었다. https://kubernetes.io/blog/2023/08/31/legacy-package-repository-deprecation/ Kubernetes Legacy Package Repositories Will Be Frozen On September 13, 2023 Authors: B.. 2024. 4. 9.
[Kubernetes] Kubestronaut Kubestronaut 올해 2024 3.19 - 3.22일 간 유럽에서 있었던 KubeCon / CloudNativeCon에서 다양한 주제로 발표가 있었다. 발표 자료 / 시간표 : https://kccnceu2024.sched.com/?iframe=no KubeCon + CloudNativeCon Europe 2024 Schedule Check out the schedule for KubeCon + CloudNativeCon Europe 2024 kccnceu2024.sched.com 그중 Kubestronaut라는 프로그램을 새로 발표했는데, CNCF의 Kubernetes 인증( CKA , CKAD , CKS , KCNA , KCSA )을 전부 통과한 인원(전부 유효기간 시)은 아래 자격과 혜택을 .. 2024. 4. 9.
[Prometheus] Kube-Proxy Metric 활성화 사내에서 kube-prometheus-stack을 이용하여 쿠버네티스 클러스터 모니터링을 구축하던 차였다. 기본적으로 Apiserver 및 노드와 파드의 상태를 모니터링하는 부분은 별 문제가 없으나,일부 Helm에서 생성되는 쿠버네티스 컴포넌트의 대시보드가 아래처럼 아무런 데이터가 나오지 않았다.   데이터가 없는 주요 컴포넌트는 kube-proxy, etcd, kube-controller-manager, kube-scheduler가 있었다. 우선 kube-proxy부터 순차적으로 자료 조사를 진행하였다.   해당 원인은 쉽게 파악이 되었고 해결하였는데, ConfigMap에서 kube-proxy의 Metric수집을 위한 주소가 없기 때문이라는 것을 파악했다.    Troubleshoot # kube-sy.. 2024. 4. 4.
[SRE] USE / RED Method 시스템을 구축하고 운영하는 데 있어 성능과 장애를 모니터링하는 것은 중요한 부분이지만 어떠한 기준을 가지고 성능을 측정하고 수치화할 수 있는지에 대하여는 다른 이야기이다. 그러한 부분에서 모니터링의 성능 측정에 대한 다양한 방법론이 제기되었다. 해당 글에서는 이 중 대표적으로 많이 이용되는 USE 방법론과 RED 방법론에 대하여 알아볼 것이다. 1. USE Method USE 방법론은 Brendan Gregg가 고안한 방법론으로, 시스템에 중점을 둔 체크리스트를 구성하여 리소스의 병목 현상이나 오류를 신속하게 식별하여 서버를 분석하는 방법이다. https://www.brendangregg.com/usemethod.html The USE Method The USE Method Boeing 707 Emerg.. 2024. 3. 30.
[ELK/EFK] 로그 수집 - Filebeat / Logstash / Fluentd / Fluent-bit 최근에는 많은 기업들이 Elastic 재단의 ELK stack(또는 EFK stack)을 활용하여 로그를 수집하고 이를 시각화하여 운영 상 발생하는 이슈를 잡아내고 비즈니스 의사결정에 참고를 한다. 저번의 글에서는 데이터 저장소의 역할을 하는 Elasticsearch와 데이터를 확인할 수 있는 대시보드인 Kibana를 쿠버네티스 환경에서 간단하게 생성하고 연동해 보았다.  [ELK] Kubernetes 환경에서 Elasticsearch / Kibana 설치최근에는 많은 회사들이 ELK(EFK) Stack으로 데이터 파이프라인을 구축하여 다양한 분야에서 활용한다. https://ssnotebook.tistory.com/entry/ELK-Elasticsearch [ELK] Elasticsearch 1. 엘라.. 2024. 3. 20.

티스토리툴바