elasticSearch4 [EFK] 쿠버네티스 환경 내 Fluent-Bit 사이드카로 엘라스틱 서치 로깅 이전 글에서는 로그 수집기의 종류와 아키텍처를 알아보았다. [ELK/EFK] 로그 수집 - Filebeat / Logstash / Fluentd / Fluent-bit최근에는 많은 기업들이 Elastic 재단의 ELK stack(또는 EFK stack)을 활용하여 로그를 수집하고 이를 시각화하여 운영 상 발생하는 이슈를 잡아내고 비즈니스 의사결정에 참고를 한다. 저번의 글에서ssnotebook.tistory.com 이번 글에서는 Fluent-Bit을 쿠버네티스 파드 내에서 사이드카 형식으로 구축을 하고, 수집한 로그 정보를 엘라스틱 서치로 바로 전송하는 과정을 알아볼 것이다. 사이드카란 사이드카란 이륜차 옆에 좌석을 설치하여, 두 사람이 함께 같이 탈 수 있게 한 유형의 이륜차를 의미한다.아래 사진.. 2024. 9. 13. [Elastic APM] APM Index 날짜 별 관리 사내에서 애플리케이션 모니터링을 위하여, 쿠버네티스 클러스터 내 Apm Server를 구축하고, 마이크로 서비스의 Agent에서 집계한 데이터를 엘라스틱서치로 전송하는 파이프라인을 구축하였다. 처음에는 별 문제가 없었으나, Apm 데이터가 점점 쌓이며 관리에 대한 방법에 대하여 필요성이 느껴졌다. 그리하여 Index Lifecycle Policies를 적용하려고 했고, 여기서 각 Index에 Apm이 생성된 날짜가 있으면 더 효율적으로 관리할 수 있을 것으로 판단하여 관련 옵션을 찾아보았고, 다음과 같이 적용하였다. 아래는 Apm Server의 apm-server.yml(설정 값)으로 이용되는 ConfigMap의 예제 파일이다. # APM Server : 7.12.1 버전 기준apiVersion:.. 2024. 6. 4. [ELK] Kubernetes 환경에서 Elasticsearch / Kibana 설치 최근에는 많은 회사들이 Elastic Stack으로 데이터 파이프라인을 구축하여 다양한 분야에서 활용한다. https://ssnotebook.tistory.com/entry/ELK-Elasticsearch [ELK] Elasticsearch 1. 엘라스틱 서치(Elasticsearch) : 아파치 루씬(Apache Lucene)을 기반으로 Java로 개발된 엘라스틱 서치는 분산형 RESTful 검색 및 분석 엔진으로 Elastic 재단에서 개발한 엘라스틱 스택(Elastic Stack)의 핵심적 ssnotebook.tistory.com 여기서 필수적으로 이용이 되는 Elasticsearch(데이터 저장) / Kibana(시각화 대시보드)를 쿠버네티스 Pod 환경에서 이미지 기반으로 구동하는 예시를 알아볼.. 2024. 2. 21. [ELK] Elasticsearch 1. 엘라스틱 서치(Elasticsearch) : 아파치 루씬(Apache Lucene)을 기반으로 Java로 개발된 엘라스틱 서치는 분산형 RESTful 검색 및 분석 엔진으로 Elastic 재단에서 개발한 엘라스틱 스택(Elastic Stack)의 핵심적인 역할을 맡고 있다. 엘라스틱 스택 : 엘라스틱 재단에서 개발한 데이터의 대규모 수집, 분석, 검색 및 시각화에 최적화된 솔루션을 일컫는 스택을 의미하는데 대표적으로 아래 3가지 스택을 가지고 ELK 스택이라고도 한다. 엘라스틱 서치(Elasticsearch) : 데이터 저장, 검색 및 분석 등의 역할을 수행 로그 스태시(Logstash) : 데이터 수집 및 전처리 등의 역할을 수행 키바나(Kibana) : 수집한 데이터의 시각화와 데이터에 관한 정.. 2024. 1. 14. 이전 1 다음
