🙉

Elastic - Query DSL

Intro::

Elasticsearch의 검색 기능에 대한 전반적인 내용을 알아봅시다.

풀 텍스트 쿼리 - Full Text Query

match_all

// 아래 두 쿼리는 동일한 결과가 나온다.
GET my_index/_search

GET my_index/_search
{
  "query":{
    "match_all":{ }
  }
}
JSON
복사

match

풀 텍스트 검색에서 가장 일반적인 쿼리이다.

match 검색에 여러 개의 검색어를 집어넣게 되면 디폴트로 OR 조건으로 검색이 되어 입력된 검색어 별로 하나라도 포함된 모든 문서를 모두 검색합니다. 이때 operator 옵션을 사용해 검색 조건을 AND로 바꿀 수 도 있습니다.

GET my_index/_search
{
  "query": {
    "match": {
      "message": "quick dog",
      "operator": "and"
    }
  }
}
JSON
복사

match_phrase

정확히 일치하는 내용을 검색하기 위해 사용하는 쿼리이다. match_phrase는 입력된 검색어를 순서까지 고려하여 검색을 수행한다.

GET my_index/_search
{
  "query": {
    "match_phrase": {
      "message": "lazy dog",
      "slop": 1// 지정된 값 만큼 단어 사이에 다른 검색어가 끼어드는 것을 허
    }
  }
}
JSON
복사

query_string

메세지 필드에서 도큐먼트를 검색하는 쿼리입니다.

GET my_index/_search
{
  "query": {
    "query_string": {
      "default_field": "message",
      "query": "(jumping AND lazy) OR \"quick dog\""
    }
  }
}
JSON
복사

Bool 복합 쿼리 - Bool Query

앞의 query_string 쿼리는 여러 조건을 조합하기에는 용이한 문법이지만 옵션이 한정되어 있습니다. 본문 검색에서 여러 쿼리를 조합하기 위해서는 상위에 bool 쿼리를 사용하고 그 안에 다른 쿼리들을 넣는 식으로 사용이 가능합니다. bool 쿼리는 다음의 4개의 인자를 가지고 있으며 그 인자 안에 다른 쿼리들을 배열로 넣는 방식으로 동작합니다.

•

must : 쿼리가 참인 도큐먼트들을 검색합니다.

•

must_not : 쿼리가 거짓인 도큐먼트들을 검색합니다.

•

should : 검색 결과 중 이 쿼리에 해당하는 도큐먼트의 점수를 높입니다.

•

filter : 쿼리가 참인 도큐먼트를 검색하지만 스코어를 계산하지 않습니다. must 보다 검색 속도가 빠르고 캐싱이 가능합니다.

GET my_index/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "message": "quick"
          }
        },
        {
          "match_phrase": {
            "message": "lazy dog"
          }
        }
      ]
    }
  }
}
JSON
복사

정확도 - Relevancy

Elasticsearch와 같은 풀 텍스트 검색엔진은 검색 결과가 입력된 검색 조건과 얼마나 정확하게 일치하는 지를 계산하는 알고리즘을 가지고 있어 이 정확도를 기반으로 사용자가 가장 원하는 결과를 먼저 보여줄 수 있습니다. 이 정확한 정도를 relevancy라고 합니다.

스코어(score) 점수

 각 검색 결과의 score항목에 스코어 점수가 표시되고 이 점수가 높은 결과부터 나타납니다. 그리고 상단의 max_score에는 전체 결과 중에서 가장 높은 점수가 표시됩니다. Elasticsearch는 이 점수를 계산하기 위해 BM25 알고리즘을 이용합니다.

이 계산에는 크게 TF, IDF 그리고 Field Length 총 3가지 요소가 사용됩니다.

TF (Term Frequency)

도큐먼트 내에 검색된 텀(term)이 더 많을수록 점수가 높아지는 것을 Term Frequency라고 합니다.

IDF (Inverse Document Frequency)

검색한 텀을 포함하고 있는 도큐먼트 개수가 많을 수록 그 텀의 자신의 점수가 감소하는 것을 Inverse Document Frequency라고 합니다. 간단하게 설명하자면 희소한 단어가 검색에 더 중요한 텀일 가능성이 높다는 말입니다.

Field Length

도큐먼트에서 필드 길이가 큰 필드보다는 짧은 필드에 있는 텀의 비중이 더 큽니다. 블로그 포스트를 검색하는 경우 검색하려는 단어가 제목과 내용 필드에 모두 있는 경우 텍스트 길이가 긴 내용 필드보다는 텍스트 길이가 짧은 필드에 검색어를 포함하고 있는 블로그 포스트가 더 점수가 높게 나타납니다.

Bool : Should

bool 쿼리의 should 는 검색 점수를 조정하기 위해 사용되어집니다.

// fox 검색 결과 중 lazy를 포함한 결과에 가중치 부여
GET my_index/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "message": "fox"
          }
        }
      ],
      "should": [
        {
          "match": {
            "message": "lazy"
          }
        }
      ]
    }
  }
}
JSON
복사

// 결과
{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : {
      "value" : 4,
      "relation" : "eq"
    },
    "max_score" : 0.9489644,
    "hits" : [
      {
        "_index" : "my_index",
        "_type" : "_doc",
        "_id" : "2",
        "_score" : 0.9489644,
        "_source" : {
          "message" : "The quick brown fox jumps over the lazy dog"
        }
      },
      {
        "_index" : "my_index",
        "_type" : "_doc",
        "_id" : "1",
        "_score" : 0.32951736,
        "_source" : {
          "message" : "The quick brown fox"
        }
      }
    ]
  }
}
JSON
복사

should는 match_phrase와 함께 유용하게 사용할 수 있습니다. 쇼핑몰 상품 검색 같은 사례에서는 보통 검색어로 입력된 단어가 하나라도 포함된 결과들을 모두 가져오도록 되어 있을 것입니다. 이 때 검색 결과 중에서 입력한 검색어 전체 문장이 정확히 일치하는 결과를 맨 상위에 위치시키면 다른 결과들을 누락시키지 않으면서 사용자가 원하는 수준 높은 품질의 결과를 제공할 수 있을 것 입니다.

정확값 쿼리 - Exact Value Query

지금까지의 풀 텍스트 검색은 스코어 점수 기반으로 relevancy가 높은 결과부터 가져옵니다. 정확값 Exact Value를 통해 값이 정확히 일치하는지의 여부를 따지는 검색이라고 이해하면 됩니다. Exact Value에는 term, range 와 같은 쿼리들이 이 부분에 속하며, 스코어를 계산하지 않기 때문에 보통 bool 쿼리의 filter 내부에서 사용하게 됩니다.

filter 안에 넣은 검색 조건들은 스코어를 계산하지 않지만 캐싱이 되기 때문에 쿼리가 더 가볍고 빠르게 실행됩니다.

bool: filter

GET my_index/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "message": "fox"
          }
        }
      ],
      "filter": [
        {
          "match": {
            "message": "quick"
          }
        }
      ]
    }
  }
}
JSON
복사

결론적으로 filter는 검색에 조건은 추가하지만 스코어에는 영향을 주지 않도록 제어할 때 사용합니다. 보통 쇼핑몰에서 검색어로 정확도가 높은 상품명을 검색하면서 생산업체를 다시 필터링 하는 등의 용도로 사용이 가능합니다.

keyword

문자열 데이터는 keyword형식으로 저장하여 정확값 검색이 가능합니다.

GET my_index/_search
{
  "query": {
    "bool": {
      "filter": [
        {
          "match": {
            "message.keyword": "Brown fox brown dog"
          }
        }
      ]
    }
  }
}
JSON
복사

범위 쿼리 - Range Query

숫자, 날짜 형식은 range 쿼리를 이용해 검색을 합니다. range 쿼리는 range : { <필드명>: { <파라메터>:<값> } } 으로 입력됩니다. range 쿼리 파라미터는 아래의 4가지가 있습니다.

•

gte (Greater-than or equal to) - 이상 (같거나 큼) 

•

gt (Greater-than) – 초과 (큼)

•

lte (Less-than or equal to) - 이하 (같거나 작음)

•

lt (Less-than) - 미만 (작음)

// price 값이 700 이상 900 미만인 데이터 검색
GET phones/_search
{
  "query": {
    "range": {
      "price": {
        "gte": 700,
        "lt": 900// 700 <= x < 900
      }
    }
  }
}
JSON
복사

날짜 검색

// 2016-01-01 이후인 데이터 검색
GET phones/_search
{
  "query": {
    "range": {
      "date": {
        "gt": "2016-01-01"
      }
    }
  }
}
JSON
복사

// 날짜 포멧을 다르게 하고 싶은 경우 format 사용
GET phones/_search
{
  "query": {
    "range": {
      "date": {
        "gt": "31/12/2015",
        "lt": "2018",
        "format": "dd/MM/yyyy||yyyy"//  2015년 12월 31일 부터 2018년 이전 
      }
    }
  }
}

// date 값이 2016-01-01 의 6개월 후 부터 오늘 (2019-09-03) 의 365일 이전 사이 값 검색
GET phones/_search
{
  "query": {
    "range": {
      "date": {
        "gt": "2016-01-01||+6M",
        "lt": "now-365d"
      }
    }
  }
}
JSON
복사