ElasticSearch每一天的排序順序一致，但隨機分配在幾天

Question

我想返回一個過濾器查詢的隨機結果，以給我的所有文檔在第一頁結果上的公平機會。爲了避免在重複搜索過程中混淆用戶（並輕鬆支持分頁），結果應保持當前一致。

爲此，我開發了以下腳本排序查詢。它將文檔ID（一個guid，因此已經相當隨機）與每日鹽（僅僅是一年中的某一天和當前年份合併）結合起來，並將結果散列化，以產生我期望的相當隨機的字符串，該字符串僅作爲'每日食鹽'每天都會改變（忽略此特定查詢中的無關元素，它是從代碼生成的）。

{ 
    "from": 0, 
    "size": 20, 
    "sort": { 
    "_script": { 
     "order": "asc", 
     "type": "string", 
     "script": "org.elasticsearch.common.Digest.md5Hex(dailySalt + doc['id'].value)", 
     "params": { 
     "dailySalt": "184-2013" 
     } 
    } 
    }, 
    "query": { 
    "filtered": { 
     "query": { 
     "match_all": {} 
     }, 
     "filter": { 
     "bool": { 
      "must": [ 
      { 
       "term": { 
       "tag_id": "Some Tag" 
       } 
      }, 
      { 
       "match_all": {} 
      } 
      ] 
     } 
     } 
    } 
    }, 
    "fields": [ 
    "id" 
    ] 
} 

從this similar question and answer

它的工作原理的啓發，但不是很好。隨着每日鹽量的增加，結果略有不同，但是相同的文件不斷出現在最重要的結果周圍。他們略微移動，但肯定有一致的模式。

我試着將哈希函數更改爲另一個我發現： org.elasticsearch.cluster.routing.operation.hash.djb.DjbHashFunction.DJB_HASH 但它給出了共同的最高結果非常類似的結果。

我不是密碼學專家，所以我認爲這是常見哈希函數的行爲，並且必須有一些特殊的哈希函數用於基於類似輸入的更多隨機結果？

是否有人熟悉ElasticSearch中的一種？我使用的是Searchbox.io（雲託管的彈性搜索服務），因此安裝我自己的自定義函數不是一個選項。

還是我從一個完全錯誤的角度接近這個問題？

編輯 我只是看着由腳本產生的所得排序鍵，並且它看來，腳本只施加到結果的第一頁，然後分選第一頁（而不是施加到完整的結果集並因此改變第一頁中的文檔）。

這是我的第一頁結果（爲簡潔起見而編輯）。但是你可以在第一頁看到，排序鍵從0c ***到fa ***不等，第一個0-20文檔，總共200個文檔。

使用 'dailySalt'= 185-2013

{ 
"took": 2, 
"timed_out": false, 
"_shards": { 
    "total": 1, 
    "successful": 1, 
    "failed": 0 
}, 
"hits": { 
    "total": 196, 
    "max_score": null, 
    "hits": [{ 
     "fields": { 
      "id": "27662ef8-d2a7-4fde-80f6-1571b83c4cde" 
     }, 
     "sort": ["0cbf8b4e7927f0a53a5b82f2630ff9ad"] 
    }, { 
     "fields": { 
      "id": "d9b11797-053f-495e-a676-0ec959dba879" 
     }, 
     "sort": ["0fa8730a5239f8a3d1286cbe16619bfa"] 
    }, { 
     "fields": { 
      "id": "482c893f-1083-4860-892e-1b25cf442199" 
     }, 
     "sort": ["295edd71cc48ac41c5e2f91315abf5ce"] 
    }, { 
     "fields": { 
      "id": "581fd0f1-9ecb-4e5c-920b-06413bfbf4f7" 
     }, 
     "sort": ["4b9f0d17bc2333d13a1963b4f6afb829"] 
    }, { 
     "fields": { 
      "id": "de3dddb8-e296-4446-ac4c-135cc925669d" 
     }, 
     "sort": ["4c5d0bcb50f5b600e539ba46b33b1007"] 
    }, { 
     "fields": { 
      "id": "c83ad22e-80b4-40f1-8e56-2153a1a1f9e8" 
     }, 
     "sort": ["55efe0a692ab3205405f1c74732b8205"] 
    }, { 
     "fields": { 
      "id": "7bd19829-4f37-4e02-9fd1-0239b8ae8db4" 
     }, 
     "sort": ["5adcd22c7c507244d7ba382812accdf3"] 
    }, { 
     "fields": { 
      "id": "42fcec43-851f-4133-a8db-1d2bf0b86ec8" 
     }, 
     "sort": ["6757f46bd554e3353a2ebf35c6b3d24c"] 
    }, { 
     "fields": { 
      "id": "e119132b-4e93-4047-8513-1ce2452f0cdd" 
     }, 
     "sort": ["6dbcb59a2b5e91523896d57695251b29"] 
    }, { 
     "fields": { 
      "id": "7d0acf5d-7c14-45a2-97b7-17939ff512f4" 
     }, 
     "sort": ["9d99752ec0802e55dcfb3c83bcd2e4bb"] 
    }, { 
     "fields": { 
      "id": "2cdc21e4-3312-460b-9a18-094e4f95a56c" 
     }, 
     "sort": ["9dc43d1d39e64cfe04c6d7b8f565faaa"] 
    }, { 
     "fields": { 
      "id": "0f665cb3-5648-416c-b08f-146d2a019319" 
     }, 
     "sort": ["b61bb718fe63a287b6fcdc8bcd638604"] 
    }, { 
     "fields": { 
      "id": "1e852d49-2b3b-4d7a-9f1b-1495b94e723e" 
     }, 
     "sort": ["ba7ad8a3a6e195a6bc28e341f9d6965b"] 
    }, { 
     "fields": { 
      "id": "ca2a5922-bb42-4317-b61c-129925436a1f" 
     }, 
     "sort": ["bca0411cf8d67b4dcd5b205a5010367f"] 
    }, { 
     "fields": { 
      "id": "b1dac760-7d73-4b60-bd6d-08ea9453e68c" 
     }, 
     "sort": ["be3714cfb2517e98d525aaea6e40cfa5"] 
    }, { 
     "fields": { 
      "id": "c4b08def-59db-4ac0-b16f-0c3fae4c01f2" 
     }, 
     "sort": ["c4220b31c305d536c7a7d1639da32c66"] 
    }, { 
     "fields": { 
      "id": "cc7ac1fd-3e88-4503-a837-2000ebb6e2d9" 
     }, 
     "sort": ["ceb5710fe2418fe3b353bf7b1f737570"] 
    }, { 
     "fields": { 
      "id": "5a5f90c9-b44f-4ca2-9d16-117c8e9fd388" 
     }, 
     "sort": ["dc5fea76598633cb08c1459983ebca62"] 
    }, { 
     "fields": { 
      "id": "6d811d5b-4138-4a41-a186-1b9aa2b65623" 
     }, 
     "sort": ["ea3c55ac123ac9e819b145402407d1de"] 
    }, { 
     "fields": { 
      "id": "b489d2da-b4a1-44de-acde-219109edd42f" 
     }, 
     "sort": ["fab53cc11983b45b081d4b01df555c59"] 
    }] 
} 
} 

Answer 1

所以看起來這是Elastic Search腳本排序的問題。它僅將腳本應用於第1頁的結果，然後僅對該1頁進行排序。我無法在任何地方找到這種行爲記錄，因此不確定是否因性能原因而出現錯誤或設計問題。

無論如何，使用custom_score查詢和一個類似的score函數腳本，給出了所需的結果（由於速度的原因，我使用了DJB哈希代替原始MD5，爲字符串設計，並返回一個int評分腳本）：

{ 
    "from": 0, 
    "size": 20, 
    "query": { 
    "custom_score": { 
     "script": "org.elasticsearch.cluster.routing.operation.hash.djb.DjbHashFunction.DJB_HASH(dailySalt + doc['id'].value)", 
     "params": { 
     "dailySalt": "185-2013" 
     }, 
     "query": { 
     "filtered": { 
      "query": { 
      "match_all": {} 
      }, 
      "filter": { 
      "bool": { 
       "must": [ 
       { 
        "term": { 
        "tag_id": "Some Tag" 
        } 
       }, 
       { 
        "match_all": {} 
       } 
       ] 
      } 
      } 
     } 
     } 
    } 
    }, 
    "fields": [ 
    "id" 
    ] 
} 

Answer 2

MD5是一個cryptographic hash function，並且這樣的功能表現出屬性稱爲avalanche effect。簡而言之，即使輸入的小改變也會改變輸出。例如，您可以使用在線MD5計算器進行試驗。

There are no chance collisions要麼 - 你不會發現兩個字符串散列到相同的值，即使你花了你的整個生命試圖找到它們。

這兩個屬性保證你寫的腳本永遠爲每一個文檔生成一個唯一的隨機值。哈希函數在這裏不是問題。

有多少個文件？每頁顯示多少個結果？什麼樣的模式可以看到？某些文件隨機出現在首頁上的可能性非常大。