5AMSUNG

구백글(900gle) 의 개발 환경을 es8 로 바꾸고 나서 부터 문제가 발생했다. 글은 오암성에 쓰지만 프로젝트는 스티브 스잡의 'aqqle' 에 코드반영.. high level client 의 버전은 7.17 버전이후 8버전이 알파상태라 써도 되나 .. 싶은.. 900gle 이 맛이 갔는데 이게 다 업데이트 때문이라는... es8.8.1 도 카피를 떳더니 충돌나서 데몬이 올라오지도 않고 암튼 ann 쿼리로 900gle 을 업데이트 하려고 했는데 이 쿼리가 es 8 부터 실행되는... 8.6 이상이였나.. 아무튼 7.15 를 8.8.1 로 업데이트 하니.. 끝.. (해결이 아닌 맛이감) 문제의 쿼리 { "query": { "match_all": {} }, "knn": { "field": "name_ve..

itemNm 에서 실패검색어를 기반으로 조회 했을때 유의미한 데이터를 추출한다. 띄어쓰기 영향 X 공백기준 앞뒤 순서 영향 X 위의 조건을 고려하여 적합한 쿼리 구현 후보 1. wildcard *{keyword}* 의 경우 단일 단어에서는 유의미한 결과가 나오지만 공백을 포함한 단어에서는 재현율이 좋지 않음 후보 2. query_string 작업의 의도에 가장 부합하는 결과를 도출할 수 있음. query result 후보 3. match 동일한 키워드에서 무의미한 데이터 같이 추출 됨

아마도 이런글 때문에 애드센스에서 자꾸 빠꾸를 먹는것 같다. 가치가 별로 없는 콘텐츠 - 사용자에게 유용하지 않으며 이해하기 어려운 콘텐츠 (예: 필러 텍스트 또는 'ipsum lorem 텍스트' 입니다. 풀어서 설명하자면 텍스트 양을 채우기 위해 같은 단어를 반복하거나 또는 말도 안되는 단어 조합으로 그럴듯하게 게시글을 채우는 것 국을 이 시키들아 나만 볼려고 만든 거긴한데 다른사람도 이거 보고 테스트 할때 귀찮게 데이터셋을 만드는 수고를 덜 수 있다는 생각은 안하냐?!!! 아무튼 테스트 할때 써먹을 코드 아래는 인덱스에 벌크로 색인하는 코드 index : coo POST _bulk {"index":{"_index":"coo", "_id":"1"}} {"name":"나이키", "weight" : 1, ..

아마도 이런 스타일의 글 때문에도 애드센스 심사에서 빠꾸를 먹는것 같다. 구백글은 쉽게 받았는데 .. 젠장.. 자주쓰는 명령어를 모아보잣 _termvectors 색인된 도큐먼트의 역 인덱스의 내용을 확인할 때는 도큐먼트 별로 _termvectors API를이용해서 확인 GET /_termvectors/?fields= _explain 특정 문서가 쿼리와 일치하는(또는 일치하지 않는) 이유에 대한 정보를 반환합니다. GET //_explain/ POST //_explain/ _analyze Elasticsearch 에서는 분석된 문장을 _analyze API를 이용해서 확인할 수 있습니다. 토크나이저는 tokenizer, 토큰 필터는 filter 항목의 값으로 입력하면 됩니다. 토크나이저는 하나만 적용되기 ..

노드 속성을 사용하여 hot-warm-cold 아키텍처를 구현하는 방식은 더 이상 권장되지 않습니다. Elasticsearch 7.10 은 데이터 수명 주기 구성을 덜 복잡하게 만들었습니다. 이 블로그 게시물에서는 몇 가지 변경 사항, 사용 방법 및 그 과정에서 몇 가지 모범 사례를 살펴보겠습니다. 데이터 수명 주기는 많은 단계를 포함할 수 있으므로 다음을 살펴보겠습니다. 클러스터를 계층(핫, 웜, 콜드)으로 분할하여 새 데이터가 올바른 위치로 이동하도록 합니다. 계층 간에 데이터를 마이그레이션하기 위해 인덱스 수명 주기 관리(ILM) 내에서 이러한 계층을 활용합니다. 검색 가능한 스냅샷을 사용하여 콜드 계층 내에서 데이터 밀도를 높입니다. 데이터가 계층을 통해 흐르는 방식에 대한 실제 예와 함께 모든 ..

간만에 ES 테스트 N-gram tokenizer 우선 프로젝트로 이동 es8.6환경 만들어 놓은게 있으니 활용 cd /Users/doo/docker/es8.6.2 docker compose up -d --build 아 역시나 이럴줄 .. 900gle es 로 변경 - es 7.15.1 cd /Users/doo/project/900gle/docker/elastic-stack docker compose up -d --build ngram 토크나이저로 home 을 분해해 보면 아래와 같이 분해가 된다 { "tokens" : [ { "token" : "h", "start_offset" : 0, "end_offset" : 1, "type" : "word", "position" : 0 }, { "token" : ..

ES8 에서 사용할 payload-score 플러그인을 만들어보자 https://github.com/900gle/payload-dscore/branches/all 에서 master (7.15.1) 를 베이스로 한 8.4.1 을 만든다 8.4.1 branch 생성 원격 branch 를 패치 받아서 로컬에 8.4.1 을 내려 받자. 그리고 체크아웃 #패치 git fetch #8.4.1 을 체크아웃 받자 git checkout 8.4.1 git fetch git checkout 8.4.1

Elasticsearch 8.4 Plugin Build & Install TEST 작업 요약 github.com (https://github.com/elastic/elasticsearch.git) 에서 elasticsearch 소스 다운로드 소스에서 plugin > example > rest-handler 복사 build.gradle 수정 및 plugin 빌드 elasticsearch 에 빌드한 플러그인 설치 - docker compose 테스트 1. elasticsearch project source code download - https://github.com/elastic/elasticsearch.git $ cd plugin $ git clone https://github.com/elastic/el..

900gle 에서 사용할 elasticsearch 8.4.1 plugin 만들기 for gradle plugin localproject path : /Users/doo/project/dooplugin docker elk localproject path : /Users/doo/docker/900gle-elk project base 는 아래의 프로젝틀를 기반으로 생성 https://ldh-6019.tistory.com/394?category=1096525 [es8] Elasticsearch Plugin 8.4.1 Elasticsearch 8.4 Plugin Build & Install TEST 작업 요약 github.com (https://github.com/elastic/elasticsearch.git) ..

IP 와 location 정보를 색인하는데 .. 의미는 없지만 timestamp 를 찍어 보고 싶었다. _timestamp Elasticsearch 초기 _timestamp에는 인덱스에 매핑 필드를 사용할 수 있었습니다. 이 기능은 버전 2.0부터 더 이상 사용되지 않지만, 그렇다고 해서 더 이상 타임스탬프가 있는 문서를 인덱싱할 수 없다는 의미는 아닙니다. Elasticsearch 타임스탬프는 여전히 가능하지만 생성하는 데 필요한 프로세스에는 약간의 노하우가 필요합니다. 이 기사에서는 Elasticsearch 타임스탬프를 생성하는 데 도움이 되는 단계별 지침을 제공합니다. 자 이렇다고 한다. _timestamp 필드는 더 이상 사용되지 않습니다. 버전 2.0부터 더 이상 사용 되지 않으므로 이 매핑 필..