본문 바로가기

전체 글120

[ELK] Elasticsearch 1. 엘라스틱 서치(Elasticsearch) :  아파치 루씬(Apache Lucene)을 기반으로 Java로 개발된 엘라스틱 서치는  분산형 RESTful 검색 및 분석 엔진으로 Elastic 재단에서 개발한 엘라스틱 스택(Elastic Stack)의 핵심적인 역할을 맡고 있다. 엘라스틱 스택 : 엘라스틱 재단에서 개발한 데이터의 대규모 수집, 분석, 검색 및 시각화에 최적화된 솔루션을 일컫는 스택을 의미하는데 대표적으로 아래 3가지 스택을 가지고 ELK 스택이라고도 한다.  엘라스틱 서치(Elasticsearch) : 데이터 저장, 검색 및 분석 등의 역할을 수행로그 스태시(Logstash) : 데이터 수집 및 전처리 등의 역할을 수행키바나(Kibana) : 수집한 데이터의 시각화와 데이터에 관한 .. 2024. 1. 14.
[Network] NAT / SNAT / DNAT 일반적으로 가정에서 공유기에 연결된 PC는 사설 IP(Private IP)를 공유기로부터 배정받고, 외부로 패킷이 나갈 때는 공인 IP(Public IP)로 나가게 되어 통신을 하게 되는데, 이러한 IP 변환 과정에는 라우터의 NAT를 사용하게 된다. 통신의 흐름을 보면 아래 사진과 같이 볼 수 있다. 예시 : PC(Private IP) -> 공유기(NAT) -> 구글(Public IP) -> 공유기(NAT) -> PC(Private IP) NAT(Network Address Translator) : NAT는 패킷이 라우터를 지나갈 때 패킷의 IP 헤더에 있는 네트워크 주소 정보를 수정하여 IP 주소를 다른 IP 주소로 매핑하는 방법이다. NAT는 다양한 장점이 존재한다. IPv4는 2 ** 32(40억.. 2023. 12. 21.
[Fluent-Bit] Too many open files 사내 프로젝트로 Fluent-Bit을 K8S환경 내 Side-car방식으로 Elasticsearch에 로그 적재를 할 때, 발생했던 문제에 관하여 다루는 자료이다. 개요 :프로젝트 내 Microservice의 개수만큼 Deployment를 생성했었는데, 해당 Deployment에는 하나의 애플리케이션 서버 컨테이너와, 해당 애플리케이션 로그를 수집하는 Fluent-Bit 컨테이너(총 2개의 컨테이너)가 하나의 파드 안에 배포되는 형식으로 생성하였다. Fluent-Bit : https://docs.fluentbit.io/manual/about/what-is-fluent-bit What is Fluent Bit? - Fluent Bit: Official ManualRather than serving as a.. 2023. 11. 30.
[Kubernetes] calico-node PodInitializing 대기 현상 해결 쿠버네티스 클러스터 환경에서 모든 노드의 서버를 재시작하면서 발생한 현상이다. calico-node의 daemonset의 Init-Container가 실행되지 않고, 해당 컨테이너가 실행되는 것을 무한 대기하는 현상이 발생한 것이다. 위와 같은 현상을 겪은 Github Issue도 찾아서 확인하였고, iptables에 관하여 언급한 사람이 있어서 초기에 쿠버네티스 설정했던 네트워크 설정이 초기화가 된 것으로 추측하였다. https://github.com/projectcalico/calico/issues/6256 Kubernetes cluster fails bringing up calico node · Issue #6256 · projectcalico/calico Our kubernetes clusters.. 2023. 11. 6.
[FastAPI] FastAPI란 Python으로 Application Server를 구축할 때 사람들이 많이 이용하는 프레임워크에는 3가지가 있다. 무겁지만 오랜 기간 이용되어 큰 커뮤니티와 다양한 레퍼런스를 가지고 있어서 빠르게 개발이 가능한 Django, 간결하고 가벼운 구조를 가지고 있어서 마이크로 서비스 개발을 빠르게 할 수 있는 Flask, 비동기 처리와 데이터 검증에 최적화되어 타 프레임워크보다 높은 성능을 가진 FastAPI가 있는데, 그중에서 FastAPI에 대하여 알아볼 것이다. FastAPI 공식 홈페이지 : https://fastapi.tiangolo.com/ko/ FastAPI FastAPI framework, high performance, easy to learn, fast to code, ready for p.. 2023. 10. 6.
[Kubernetes] Secrets 암호화 쿠버네티스 환경에서 주로 yaml 파일의 선언형 자료를 이용하여 어플리케이션 단위를 관리하는데, 그 선언형 자료에서 공통적인 상수 값들은 주로 Configmap을 이용하고, 일반적으로 공개되지 않아야하는 값들은 Secret을 통하여 값을 배정하게 된다. 하지만 여기서 큰 문제가 발생한다. 쿠버네티스 클러스터에서 기본적으로 Secret 값은 암호화되지 않고 그저 Base64로 인코딩되어 저장된다는 것이다. https://kubernetes.io/ko/docs/concepts/configuration/secret/ 시크릿(Secret) 시크릿은 암호, 토큰 또는 키와 같은 소량의 중요한 데이터를 포함하는 오브젝트이다. 이를 사용하지 않으면 중요한 정보가 파드 명세나 컨테이너 이미지에 포함될 수 있다. 시크릿.. 2023. 9. 26.

티스토리툴바