목록전체 글 (63)

파워노트

logstash 기본 사용

# Logstash 는 간단하게 설명하자면 - input data 를 ( 서버의 로그 , 데이터 베이스의 데이터 등을 읽어 들여 ) filter ( 가공하여 ) output( elasticsearch 에 적재 한다 .) # 다운로드 및 설치 ubuntu@ubuntu:~$ curl https://artifacts.elastic.co/downloads/logstash/logstash-7.9.3.tar.gz --output logstash-7.9.3.tar.gz ubuntu@ubuntu:~$ tar -xvf logstash-7.9.3.tar.gz # 기본 사용옵션 ./bin/logstash -n --node.name NAME : 노드 이름 , host name -f --path.config CONFIG_PAT..
ElasticSearch 2020. 11. 26. 15:22
ElasticSearch index Mapping

# Index Mapping 예제 curl -XDELETE 'localhost:9200/b_vod?pretty' curl -XPUT 'localhost:9200/b_vod?pretty' -H 'Content-Type: application/json' -d' { "mappings": { "*":{ "_all": { "enabled": false }, "properties": { "broad_no": { "type": "integer" }, "cdn_loc_cd": { "type": "integer" }, "level": { "type": "integer" }, "m_rank_1": { "type": "integer" }, "m_rank_2": { "type": "integer" }, "m_rank_3": ..
ElasticSearch 2020. 11. 10. 16:57
ElasticSearch max_result_window 설정

# ElasticSearch 의 조회 기존 size가 10000 이다. 이보다 큰 사이즈를 가져 올때에는 Elasticsearch 에서 처리를 못하고 이후의 데이터를 조회 하지 못한다. [ 오류 메시지 ] Caused by: QueryPhaseExecutionException[Batch size is too large, size must be less than or equal to: [30] but was [1000]. Scroll batch sizes cost as much memory as result windows so they are controlled by the [index.max_result_window] index level setting.] ....... [ 원인 ] 결과 조회값 설정이 ..
ElasticSearch 2020. 11. 10. 16:52
Prev 1 ··· 11 12 13 14 15 16 17 ··· 21 Next