Observability9 [EFK] 쿠버네티스 환경 내 Fluent-Bit 사이드카로 엘라스틱 서치 로깅 이전 글에서는 로그 수집기의 종류와 아키텍처를 알아보았다. [ELK/EFK] 로그 수집 - Filebeat / Logstash / Fluentd / Fluent-bit최근에는 많은 기업들이 Elastic 재단의 ELK stack(또는 EFK stack)을 활용하여 로그를 수집하고 이를 시각화하여 운영 상 발생하는 이슈를 잡아내고 비즈니스 의사결정에 참고를 한다. 저번의 글에서ssnotebook.tistory.com 이번 글에서는 Fluent-Bit을 쿠버네티스 파드 내에서 사이드카 형식으로 구축을 하고, 수집한 로그 정보를 엘라스틱 서치로 바로 전송하는 과정을 알아볼 것이다. 사이드카란 사이드카란 이륜차 옆에 좌석을 설치하여, 두 사람이 함께 같이 탈 수 있게 한 유형의 이륜차를 의미한다.아래 사진.. 2024. 9. 13. [Fluent-Bit] Parser Timezone 적용 Fluent-bit에서 Parser를 이용할 때, 이는 기본적으로 UTC를 기준으로 Timezone을 사용한다. https://docs.fluentbit.io/manual/v/dev-2.2/pipeline/parsers/configuring-parser Configuring Parser | Fluent Bit: Official ManualSpecify the data type of parsed field. The syntax is types : : ... . The supported types are string(default), integer, bool, float, hex. The option is supported by ltsv, logfmt and regex.docs.fluentbit.io .. 2024. 9. 11. [Elastic APM] APM Index 날짜 별 관리 사내에서 애플리케이션 모니터링을 위하여, 쿠버네티스 클러스터 내 Apm Server를 구축하고, 마이크로 서비스의 Agent에서 집계한 데이터를 엘라스틱서치로 전송하는 파이프라인을 구축하였다. 처음에는 별 문제가 없었으나, Apm 데이터가 점점 쌓이며 관리에 대한 방법에 대하여 필요성이 느껴졌다. 그리하여 Index Lifecycle Policies를 적용하려고 했고, 여기서 각 Index에 Apm이 생성된 날짜가 있으면 더 효율적으로 관리할 수 있을 것으로 판단하여 관련 옵션을 찾아보았고, 다음과 같이 적용하였다. 아래는 Apm Server의 apm-server.yml(설정 값)으로 이용되는 ConfigMap의 예제 파일이다. # APM Server : 7.12.1 버전 기준apiVersion:.. 2024. 6. 4. [Prometheus] Kube-Proxy Metric 활성화 사내에서 kube-prometheus-stack을 이용하여 쿠버네티스 클러스터 모니터링을 구축하던 차였다. 기본적으로 Apiserver 및 노드와 파드의 상태를 모니터링하는 부분은 별 문제가 없으나, 일부 Helm에서 생성되는 쿠버네티스 컴포넌트의 대시보드가 아래처럼 아무런 데이터가 나오지 않았다. 데이터가 없는 주요 컴포넌트는 kube-proxy, etcd, kube-controller-manager, kube-scheduler가 있었다. 우선 kube-proxy부터 순차적으로 자료 조사를 진행하였다. 해당 원인은 쉽게 파악이 되었고 해결하였는데, ConfigMap에서 kube-proxy의 Metric수집을 위한 주소가 없기 때문이라는 것을 파악했다. Troubleshoot # kube-system에 .. 2024. 4. 4. [ELK/EFK] 로그 수집 - Filebeat / Logstash / Fluentd / Fluent-bit 최근에는 많은 기업들이 Elastic 재단의 ELK stack(또는 EFK stack)을 활용하여 로그를 수집하고 이를 시각화하여 운영 상 발생하는 이슈를 잡아내고 비즈니스 의사결정에 참고를 한다. 저번의 글에서는 데이터 저장소의 역할을 하는 Elasticsearch와 데이터를 확인할 수 있는 대시보드인 Kibana를 쿠버네티스 환경에서 간단하게 생성하고 연동해 보았다. [ELK] Kubernetes 환경에서 Elasticsearch / Kibana 설치 최근에는 많은 회사들이 ELK(EFK) Stack으로 데이터 파이프라인을 구축하여 다양한 분야에서 활용한다. https://ssnotebook.tistory.com/entry/ELK-Elasticsearch [ELK] Elasticsearch 1. 엘라.. 2024. 3. 20. [ELK] Kubernetes 환경에서 Elasticsearch / Kibana 설치 최근에는 많은 회사들이 Elastic Stack으로 데이터 파이프라인을 구축하여 다양한 분야에서 활용한다. https://ssnotebook.tistory.com/entry/ELK-Elasticsearch [ELK] Elasticsearch 1. 엘라스틱 서치(Elasticsearch) : 아파치 루씬(Apache Lucene)을 기반으로 Java로 개발된 엘라스틱 서치는 분산형 RESTful 검색 및 분석 엔진으로 Elastic 재단에서 개발한 엘라스틱 스택(Elastic Stack)의 핵심적 ssnotebook.tistory.com 여기서 필수적으로 이용이 되는 Elasticsearch(데이터 저장) / Kibana(시각화 대시보드)를 쿠버네티스 Pod 환경에서 이미지 기반으로 구동하는 예시를 알아볼.. 2024. 2. 21. 이전 1 2 다음
