5AMSUNG

구백글(900gle) 의 개발 환경을 es8 로 바꾸고 나서 부터 문제가 발생했다. 글은 오암성에 쓰지만 프로젝트는 스티브 스잡의 'aqqle' 에 코드반영.. high level client 의 버전은 7.17 버전이후 8버전이 알파상태라 써도 되나 .. 싶은.. 900gle 이 맛이 갔는데 이게 다 업데이트 때문이라는... es8.8.1 도 카피를 떳더니 충돌나서 데몬이 올라오지도 않고 암튼 ann 쿼리로 900gle 을 업데이트 하려고 했는데 이 쿼리가 es 8 부터 실행되는... 8.6 이상이였나.. 아무튼 7.15 를 8.8.1 로 업데이트 하니.. 끝.. (해결이 아닌 맛이감) 문제의 쿼리 { "query": { "match_all": {} }, "knn": { "field": "name_ve..

itemNm 에서 실패검색어를 기반으로 조회 했을때 유의미한 데이터를 추출한다. 띄어쓰기 영향 X 공백기준 앞뒤 순서 영향 X 위의 조건을 고려하여 적합한 쿼리 구현 후보 1. wildcard *{keyword}* 의 경우 단일 단어에서는 유의미한 결과가 나오지만 공백을 포함한 단어에서는 재현율이 좋지 않음 후보 2. query_string 작업의 의도에 가장 부합하는 결과를 도출할 수 있음. query result 후보 3. match 동일한 키워드에서 무의미한 데이터 같이 추출 됨

아마도 이런글 때문에 애드센스에서 자꾸 빠꾸를 먹는것 같다. 가치가 별로 없는 콘텐츠 - 사용자에게 유용하지 않으며 이해하기 어려운 콘텐츠 (예: 필러 텍스트 또는 'ipsum lorem 텍스트' 입니다. 풀어서 설명하자면 텍스트 양을 채우기 위해 같은 단어를 반복하거나 또는 말도 안되는 단어 조합으로 그럴듯하게 게시글을 채우는 것 국을 이 시키들아 나만 볼려고 만든 거긴한데 다른사람도 이거 보고 테스트 할때 귀찮게 데이터셋을 만드는 수고를 덜 수 있다는 생각은 안하냐?!!! 아무튼 테스트 할때 써먹을 코드 아래는 인덱스에 벌크로 색인하는 코드 index : coo POST _bulk {"index":{"_index":"coo", "_id":"1"}} {"name":"나이키", "weight" : 1, ..

아마도 이런 스타일의 글 때문에도 애드센스 심사에서 빠꾸를 먹는것 같다. 구백글은 쉽게 받았는데 .. 젠장.. 자주쓰는 명령어를 모아보잣 _termvectors 색인된 도큐먼트의 역 인덱스의 내용을 확인할 때는 도큐먼트 별로 _termvectors API를이용해서 확인 GET /_termvectors/?fields= _explain 특정 문서가 쿼리와 일치하는(또는 일치하지 않는) 이유에 대한 정보를 반환합니다. GET //_explain/ POST //_explain/ _analyze Elasticsearch 에서는 분석된 문장을 _analyze API를 이용해서 확인할 수 있습니다. 토크나이저는 tokenizer, 토큰 필터는 filter 항목의 값으로 입력하면 됩니다. 토크나이저는 하나만 적용되기 ..

elastic stack 8.4.1 을 설치 후 kibana maps 가 있길래 한번 건들여봄 국가별 ip 와 위도 경도 정보가 있는 파일을 ES에 색인하고 maps 를 실행시켜서 확인해보았다. 색인 구조를 가지고 있는 index.json 파일 나중에 아이피도 테스트 해봐야 하니까 ip 정보는 ip type 타입으로 맵핑, location 정보는 geo_point 타입으로 맵핑 나머지는 주소정보니까 대충 keyword 타입으로 맵핑 { "settings": { "number_of_shards": 2, "number_of_replicas": 0 }, "mappings": { "dynamic": "true", "_source": { "enabled": "true" }, "properties": { "priv..

원인좀 파악해주세요. 라고 빡치게 한다면 Search Profiler 를 사용해보자. 이유를 설명해주면 근거를 대라고 하는 얼토당토 않은 사람도 많으니.. 걀걀 Kibana Dev Tools 에 가면 가장많이 쓰는 Console 옆에 Search Profiler 라는 탭(?) 이 있다. 눌러보자 이런화면인데 왼쪽은 쿼리를 넣고 오른쪽에서는 Query 와 Aggregation 의 프로파일링된 내용을 확인 할 수 있다. 자.. 쿼리를 넣고 파란버튼 Profile 클릭 하면 아래와 같이 프로파일된 내용을 확인 할 수 있다. 디테일을 봐볼까? View details 를 클릭해보면 상세 내용을 확인할 수 있다. 눌러보자 Lucene 구문 으로 바뀐 structure 쿼리를 볼 수 있다. 놀라운 사실.. match..

노드 속성을 사용하여 hot-warm-cold 아키텍처를 구현하는 방식은 더 이상 권장되지 않습니다. Elasticsearch 7.10 은 데이터 수명 주기 구성을 덜 복잡하게 만들었습니다. 이 블로그 게시물에서는 몇 가지 변경 사항, 사용 방법 및 그 과정에서 몇 가지 모범 사례를 살펴보겠습니다. 데이터 수명 주기는 많은 단계를 포함할 수 있으므로 다음을 살펴보겠습니다. 클러스터를 계층(핫, 웜, 콜드)으로 분할하여 새 데이터가 올바른 위치로 이동하도록 합니다. 계층 간에 데이터를 마이그레이션하기 위해 인덱스 수명 주기 관리(ILM) 내에서 이러한 계층을 활용합니다. 검색 가능한 스냅샷을 사용하여 콜드 계층 내에서 데이터 밀도를 높입니다. 데이터가 계층을 통해 흐르는 방식에 대한 실제 예와 함께 모든 ..

간만에 ES 테스트 N-gram tokenizer 우선 프로젝트로 이동 es8.6환경 만들어 놓은게 있으니 활용 cd /Users/doo/docker/es8.6.2 docker compose up -d --build 아 역시나 이럴줄 .. 900gle es 로 변경 - es 7.15.1 cd /Users/doo/project/900gle/docker/elastic-stack docker compose up -d --build ngram 토크나이저로 home 을 분해해 보면 아래와 같이 분해가 된다 { "tokens" : [ { "token" : "h", "start_offset" : 0, "end_offset" : 1, "type" : "word", "position" : 0 }, { "token" : ..

ES8 에서 사용할 payload-score 플러그인을 만들어보자 https://github.com/900gle/payload-dscore/branches/all 에서 master (7.15.1) 를 베이스로 한 8.4.1 을 만든다 8.4.1 branch 생성 원격 branch 를 패치 받아서 로컬에 8.4.1 을 내려 받자. 그리고 체크아웃 #패치 git fetch #8.4.1 을 체크아웃 받자 git checkout 8.4.1 git fetch git checkout 8.4.1

Elasticsearch 8.4 Plugin Build & Install TEST 작업 요약 github.com (https://github.com/elastic/elasticsearch.git) 에서 elasticsearch 소스 다운로드 소스에서 plugin > example > rest-handler 복사 build.gradle 수정 및 plugin 빌드 elasticsearch 에 빌드한 플러그인 설치 - docker compose 테스트 1. elasticsearch project source code download - https://github.com/elastic/elasticsearch.git $ cd plugin $ git clone https://github.com/elastic/el..