코딩하는 감자

최근에 디스크 용량이 급격히 증가해서 시스템의 디스크가 꽉 차버린 적이 있었고, 그로 인해 서버가 다운되는 상황을 미리 방지하고자 다른 서버도 자원을 관리하고자 했다. Telegraf, InfluxDB를 사용하여 시스템 메트릭을 수집하고, 그 데이터를 Grafana를 통해 시각화 하려고 한다. 로키 리눅스 서버에서 진행하였다. DNF 패키지 관리자가 추가적인 기능을 제공하도록 확장sudo dnf install -y dnf-plugins-core Grafana의 RPM 패키지가 있는 저장소를 DNF에 추가sudo dnf config-manager --add-repo https://packages.grafana.com/oss/rpm GPG 키는 저장소에서 다운로드한 패키지의 신뢰성을 확인(키를 추가하여 저..

InfluxDB v1.x 버전에서는 localhost:8086으로 접속했을 때 "404 page not found" 오류 발생. 원인 : InfluxDB v1.x는 기본적으로 웹 인터페이스를 제공하지 않음. 웹 인터페이스는 InfluxDB v2부터 지원. 결론 -> 웹 인터페이스는 사용할 수 없고, CLI나 외부 도구(Grafana 등)를 사용해야 함.

telegraf.conf 파일에서 잘못된 옵션을 사용하거나 누락된 설정으로 인해 오류가 발생.notepad .\telegraf.conf 로 conf 파일의 잘못된 옵션 수정기본적으로 사용 가능한 옵션들이 모두 작성되어있으며 사용할 것 외엔 주석 처리가 되어있었음주석 처리 되지 않은 옵션과 중복되지 않게 추가하여 주어야 하며, 필요한 옵션을 찾아 주석을 지워줘야함 InfluxDB에 데이터가 표시되지 않음Telegraf의 로그 파일을 확인하여 데이터 수집 및 전송 과정에서 오류가 발생했는지 확인하고, Telegraf를 테스트 모드로 실행하여 데이터가 제대로 수집되고 있는지 확인해야함telegraf --config telegraf.conf --test Grafana 대시보드에 데이터가 표시되지 않음Grafan..

- Telegraf: 다양한 시스템 메트릭(CPU, 메모리, 디스크 사용량 등)을 수집하는 에이전트- InfluxDB: 시계열 데이터베이스로, Telegraf가 수집한 데이터를 저장- Grafana: InfluxDB에 저장된 데이터를 시각화하여 모니터링 대시보드를 구축하는 도구 설치 및 설정 과정 (Windows & Linux)1) Telegraf 설치 및 설정 (Windows)Telegraf 다운로드 및 설치# PowerShell에서 Telegraf 다운로드wget https://dl.influxdata.com/telegraf/releases/telegraf-1.31.2_windows_amd64.zip -UseBasicParsing -OutFile telegraf-1.31.2_windows_amd64...

파이썬에서 종속성 관리와 패키징을 위한 도구 Poetry requires Python 3.9+. It is multi-platform and the goal is to make it work equally well on Linux, macOS and Windows. 파이썬 3.9 버전 이상을 필요로 함자주 쓰게 되는 명령어================================================# 의존성 설치poetry install# 패키지 추가poetry add requests# 패키지 제거poetry remove requests# 의존성 업데이트poetry update# 전체 업데이트poetry update requests===================================..

오늘날의 데이터 환경에서 실시간 데이터 처리는 필수입니다. 다양한 애플리케이션과 서비스가 실시간 데이터를 처리하고 분석해야 하는 상황에서, Kafka는 매우 중요한 역할을 합니다. Kafka의 개념과 원리, 그리고 실제 적용 사례를 통해 왜 이 기술이 실시간 데이터 스트리밍의 강자로 자리잡았는지 알아보겠습니다. Kafka란 무엇인가?Kafka는 LinkedIn에서 개발하고 현재는 Apache Software Foundation에서 관리하는 오픈 소스 분산 스트리밍 플랫폼입니다. 처음에는 실시간 로그 데이터를 처리하기 위해 개발되었지만, 현재는 데이터 스트리밍, 메시지 큐잉, 데이터 파이프라인 구축 등 다양한 용도로 사용되고 있습니다. Kafka의 핵심 기능은 실시간 데이터 스트림을 생성, 저장, 처리, ..