Elasticsearch6 ES 공부 자료 ES 가이드 북 https://esbook.kimjmin.net/ Elastic 가이드 북 - Elastic 가이드북 7. 인덱스 설정과 매핑 - Settings & Mappings esbook.kimjmin.net ilm policy 확인 방법 https://stdhsw.tistory.com/entry/Elasticsearch%EC%9D%98-Index-ilm-%EC%84%A4%EC%A0%95%ED%95%98%EA%B8%B0 Elasticsearch의 Index ilm policy 설정하기 Index ilm policy이란 ilm의 뜻은 index lifecycle management의 약자입니다. 즉 해당 인덱스의 생명주기를 뜻하게 됩니다. 인덱스에 생명주기를 설정하여 기간이 오래된 인덱스를 자동적으.. 2022. 9. 22. ES curator 인덱스 관리 보완 인덱스 관리 보완 배경 ES 반납된 클러스터들을 정리하면서 전체적으로 인덱스 삭제가 제대로 되는지 확인해보았습니다. 인덱스 삭제가 제대로 진행되지 않은 클러스터들이 있었고 이유를 확인해보니 생성한 인덱스의 날짜 형식이 curator의 action_config에 정의된 timestring 형식과 다르기 때문이었습니다. curator는 삭제, 이동 등의 action을 action_config 파일에 정의를 하는데 현재 curator에서 관리하는 인덱스는 아래와 같은 형식으로 정의되어 있습니다. filters: - filtertype: pattern #별 다른 요청이 없으면 kibana-2021.11.22 이런 형식의 모든 인덱스를 unit_count에 설정할 날짜 기준으로 관리를 합니다. kind: pref.. 2022. 9. 22. ES rolling restart (vm 정지 & 시작) 코드 작성 배경 ceph library 이슈로 vm 재부팅이 필요하여 ES vm들의 정지 & 시작을 진행했습니다. 커맨드에서 reboot은 ceph 라이브러리 버그를 수정하지 못하여 콘솔 상에서 vm들의 재부팅(shelve & unshelve) 이 필요했습니다. ES rolling restart 코드를 이용하여 전체 ES 서비스의 상태를 유지하면서 서버를 하나씩 재부팅을 진행하였습니다. rolling restart를 진행하는 이유는 샤드 할당 disable 처리를 하지 않고 elasticsearch 서비스를 재시작하게 되면 해당 서버에 할당되어 있던 모든 인덱스가 다른 서버로 재할당 되는 과정이 생기면서 불필요한 I/O가 매우 많이 발생하게 됩니다. 이러한 상황을 방지하기 위해 rolling restar.. 2022. 9. 22. Elasticsearch 클러스터 반납 ansible 코드 작성 코드 작성 배경 사내에서 Elasticsearch (이하 ES) 클러스터 구성할 때 설정하는 작업들이 있습니다. ES 설치 및 서비스 구동, curator를 이용하여 로그들을 주기적으로 삭제하는 crontab 설정, ES data node들에 쿼리를 날리기 위해 LB와 연결되는 domain 설정, elasticsearch exporter를 이용하여 prometheus 모니터링 target 설정 등의 작업들을 진행합니다. ES 클러스터 반납을 하기 위해서는 위의 설정한 항목들(ES 서비스 중지, 도메인 삭제, crontab 해제, 모니터링 해제)의 해제 작업을 해주어야 합니다. LB와 클러스터들이 생성된 vm들의 경우에는 반납 과정 처리 후 삭제해주면 되고, PM(physical machine)의 경우에는.. 2022. 8. 28. 이전 1 2 다음