파워노트

# 오류 현상 정리 docker로 elasticsearch 를 실행하였으나 아래와 같은 오류가 떠서 진행이 되지 않는다. ** docker를 실행하는 Host PC에 설정을 하면 된다. bootstrap checks failed max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] * 참고 : 한마디로 메모리를 많이 쓸수 있으니 영역을 크게 설정해야 실행이 된다는 소리. max_map_count : 이 파일은 프로세스가 가질 수있는 최대 메모리 맵 영역 수를 포함합니다. 메모리 맵 영역은 mmap 및 mprotect에 의해 직접 malloc 호출의 부작용으로 사용되며 공유 라이브러리를로드 할 때..

# Logstash 는 간단하게 설명하자면 - input data 를 ( 서버의 로그 , 데이터 베이스의 데이터 등을 읽어 들여 ) filter ( 가공하여 ) output( elasticsearch 에 적재 한다 .) # 다운로드 및 설치 ubuntu@ubuntu:~$ curl https://artifacts.elastic.co/downloads/logstash/logstash-7.9.3.tar.gz --output logstash-7.9.3.tar.gz ubuntu@ubuntu:~$ tar -xvf logstash-7.9.3.tar.gz # 기본 사용옵션 ./bin/logstash -n --node.name NAME : 노드 이름 , host name -f --path.config CONFIG_PAT..

# Index Mapping 예제 curl -XDELETE 'localhost:9200/b_vod?pretty' curl -XPUT 'localhost:9200/b_vod?pretty' -H 'Content-Type: application/json' -d' { "mappings": { "*":{ "_all": { "enabled": false }, "properties": { "broad_no": { "type": "integer" }, "cdn_loc_cd": { "type": "integer" }, "level": { "type": "integer" }, "m_rank_1": { "type": "integer" }, "m_rank_2": { "type": "integer" }, "m_rank_3": ..

# ElasticSearch 의 조회 기존 size가 10000 이다. 이보다 큰 사이즈를 가져 올때에는 Elasticsearch 에서 처리를 못하고 이후의 데이터를 조회 하지 못한다. [ 오류 메시지 ] Caused by: QueryPhaseExecutionException[Batch size is too large, size must be less than or equal to: [30] but was [1000]. Scroll batch sizes cost as much memory as result windows so they are controlled by the [index.max_result_window] index level setting.] ....... [ 원인 ] 결과 조회값 설정이 ..

##### index 생성 curl -XPUT 'localhost:9200/customer?pretty' #index 생성 및 id document 생성 curl -XPOST 'localhost:9200/customer2/info/1?pretty' -H 'Content-Type: application/json' -d '{ "name": "victolee" }' # id 가 없는 경우 임의의 id 생성 curl -XPOST 'localhost:9200/customer2/info?pretty' -H 'Content-Type: application/json' -d '{ "name": "victolee2" }' # File생성이후 File load하여 document 생성. vi data.json { "name..