對上述query做預(yù)處理后可以得到：“chaoyang兩居二手房”

2. 分詞

分詞（Tokenization）指根據(jù)一些規(guī)則，將一段文本切換為若干個(gè)字或詞語的流程，如“永遠(yuǎn)有光芒”，可拆分為“永遠(yuǎn)/有/光芒”，這里的每一個(gè)字或詞可以看作一個(gè)輸入單元（Token），OpenAI的API的收費(fèi)標(biāo)準(zhǔn)便是按Token為單位計(jì)費(fèi)的。

常見的分詞工具有jieba、HanLP、NLPIR、THULAC、IK Analyzer。值得一提的是，大多分詞工具也支持自定義詞典。對于垂直搜索引擎而言，結(jié)合分詞工具和自定義詞典切分自然語言十分方便。

通過使用分詞工具，我們可以將query可切分為“chaoyang”、“兩居”、“二手房”3個(gè)Token。

3. 糾錯(cuò)

糾錯(cuò)（Query Correction）是預(yù)處理中的重要流程之一，通過對用戶輸入的query進(jìn)行修正或重寫，提高搜索結(jié)果的精準(zhǔn)度。糾錯(cuò)一般包括以下幾種方法：拼寫檢查、詞典糾錯(cuò)、基于上下文糾錯(cuò)、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等方法。房產(chǎn)搜索引擎主要使用拼寫檢查、基于詞典糾錯(cuò)等方法。

關(guān)于機(jī)器學(xué)習(xí)或深度學(xué)習(xí)，主要采用HMM、Seq2Seq、Transformer、Pointer-Generator Networks等模型進(jìn)行改寫生成。另外，BERT的應(yīng)用也是不錯(cuò)的選擇，在工業(yè)界被廣泛應(yīng)用。

根據(jù)糾錯(cuò)規(guī)則，此處將query處理為“朝陽/兩居/二手房”。

4. 擴(kuò)展

擴(kuò)展（Expansion）一般指對用戶的query進(jìn)行擴(kuò)展，以便召回更多符合用戶需求的數(shù)據(jù)。擴(kuò)展通常有以下方法：

• 同義詞擴(kuò)展：將查詢詞中的同近義詞進(jìn)行轉(zhuǎn)換或替換。如用戶輸入“北京九號線”可將詞語擴(kuò)展至“國家圖書館”、“郭公莊”等沿線站點(diǎn)；
• 模糊匹配擴(kuò)展：對查詢詞進(jìn)行模糊匹配，用來糾正潛在的拼寫或語法錯(cuò)誤相關(guān)詞擴(kuò)展。如對于“橡樹”可擴(kuò)展至“橡樹灣”；
• 根據(jù)查詢詞的內(nèi)容和上下文：添加相關(guān)的查詢詞或?qū)傩?，以擴(kuò)展搜索結(jié)果。對于用戶輸入“學(xué)區(qū)房”可將其擴(kuò)展為包括標(biāo)題“xx學(xué)?！钡臋z索結(jié)果；
• 基于用戶畫像的擴(kuò)展：根據(jù)用戶的歷史搜索行為、興趣偏好、地理位置等上下文信息，擴(kuò)展用戶查詢詞，以更好地匹配搜索結(jié)果。如，對于經(jīng)常瀏覽別墅的用戶，在對其“二手房”的搜索上可加上“別墅二手房”等關(guān)聯(lián)詞匯。

5. 意圖識別

意圖識別指通過各種方法，對用戶的query進(jìn)行分析，確定用戶需求的過程。用戶意圖可分為精準(zhǔn)意圖和模糊意圖。

精準(zhǔn)意圖識別一般根據(jù)用戶的query，檢索其用戶意圖精準(zhǔn)對應(yīng)的item。模糊意圖識別一般可以采用基于模板規(guī)則、行為統(tǒng)計(jì)反饋、深度學(xué)習(xí)等方法。由于方法較為繁雜，此處不做詳細(xì)介紹，若感興趣的讀者可自行檢索相關(guān)文章

通過意圖識別：我們可以得到query相關(guān)詞匯“朝陽”、“兩居”、“二手房”，代表的實(shí)體含義為 {Region：’朝陽’；House Type：’兩居’; House Status：’二手房’}。

6. 權(quán)賦

權(quán)賦是指在文本處理中對詞項(xiàng)（term）進(jìn)行權(quán)重計(jì)算和權(quán)重賦予的過程。權(quán)重計(jì)算通常使用TF-IDF、TF-DF、BM25、概率模型、隱語義分析、基于知識圖譜的算法等。

房產(chǎn)信息具備高度結(jié)構(gòu)話特征，因此在項(xiàng)目初期，使用權(quán)重計(jì)算的場景較為稀少。而在處理房產(chǎn)資訊的檢索時(shí)，可以使用該方法，進(jìn)行數(shù)據(jù)處理。

7. 敏感信息

敏感信息：query分析中，對敏感信息（如違法、隱私）等信息進(jìn)行識別和過濾的過程。可通過基于規(guī)則的方法、基于機(jī)器學(xué)習(xí)、基于深度學(xué)習(xí)的方法等實(shí)現(xiàn)

3.2 召回

召回是根據(jù)處理過的用戶query，在數(shù)據(jù)庫查詢符合條件數(shù)據(jù)的過程。召回是搜索引擎中的重要環(huán)節(jié)，垂直搜索引擎亦不例外。召回策略決定著搜索結(jié)果的質(zhì)量。例如，用戶想要尋找北京的房源，若召回的是上海的房源，那么排序再好，也對用戶的需求解決沒有任何幫助。

除了召回策略外，數(shù)據(jù)質(zhì)量也至關(guān)重要。在互聯(lián)網(wǎng)房產(chǎn)行業(yè)，房源數(shù)據(jù)主要來自用戶發(fā)布和商家發(fā)布，資訊的數(shù)據(jù)來源是多方的，包括企業(yè)發(fā)布、用戶發(fā)布、第三方公開資訊等。

除了內(nèi)容信息外，用戶行為和用戶日志數(shù)據(jù)也需進(jìn)行儲存，它們是召回策略的重要參考依據(jù)。

1. 數(shù)據(jù)儲存與加工

搜索引擎的質(zhì)量取決于搜索策略和數(shù)據(jù)質(zhì)量。低質(zhì)數(shù)據(jù)泛濫，對用戶的瀏覽體驗(yàn)造成了嚴(yán)重的負(fù)面影響。這是當(dāng)前中文搜索為人所詬病的原因之一。在Chatgpt、文心一言等AIGC工具迅速發(fā)展的情形下，這種影響將會(huì)愈發(fā)嚴(yán)重。因此，數(shù)據(jù)在存儲時(shí)，除了本身實(shí)體屬性外，還需要引入一些額外的標(biāo)簽對數(shù)據(jù)質(zhì)量進(jìn)行多方面評價(jià)。

對于房源信息，數(shù)據(jù)庫通常會(huì)錄入房源的標(biāo)題、名稱、類型、位置、價(jià)格、戶型、面積、樓層、朝向、發(fā)布時(shí)間等字段，同時(shí)這些將這些數(shù)據(jù)做結(jié)構(gòu)化處理，方便搜索引擎和其他業(yè)務(wù)查詢。除此之外，也可以引入房源質(zhì)量評分、VR評分、戶型評分、評級等多維評價(jià)標(biāo)簽或指數(shù)，作為召回策略的條件。

2. 召回方式

與大多搜索引擎系統(tǒng)一樣，房產(chǎn)搜索引擎通常采取多路召回策略，下面介紹幾種常用的召回策略：

• 文本索引召回：文本索引通常使用倒排索引方式。預(yù)先構(gòu)建關(guān)鍵詞-包含關(guān)鍵詞文檔的索引，根據(jù)用戶輸入的關(guān)鍵詞，對房產(chǎn)數(shù)據(jù)庫中的已有的索引進(jìn)行檢索，查找包含關(guān)鍵詞的房源（文檔）信息。例如，用戶在平臺搜索“三室兩廳”，搜索引擎根據(jù)數(shù)據(jù)庫中查找包含“三室”和“兩廳”的文檔索引，從中返回符合搜索條件的房源信息并呈現(xiàn)給用戶。
• 精準(zhǔn)召回：根據(jù)用戶輸入的召回條件，從房產(chǎn)數(shù)據(jù)庫中篩選出符合條件的房源信息，保證召回的準(zhǔn)確性和完整性。例如，用戶在房產(chǎn)平臺搜索“深圳市羅湖區(qū)，90平米以下的二手房”。根據(jù)用戶輸入的query，不進(jìn)行糾錯(cuò)、擴(kuò)展等操作，優(yōu)先在數(shù)據(jù)庫中篩查找符合query的房源信息。
• 同義詞改寫：將用戶輸入的query轉(zhuǎn)換為相似的同義詞，從而擴(kuò)大召回范圍，提高召回的覆蓋率。例如，當(dāng)用戶在房產(chǎn)平臺搜索“帶陽臺的房子”，搜索引擎可以將“陽臺”改寫為“露臺”，“陽光房”等同義詞，從而擴(kuò)大搜索范圍，提高召回率。
• U2I：基于用戶歷史行為數(shù)據(jù)，將用戶行為、偏好等信息作為召回條件之一，提高召回的個(gè)性化程度。比如經(jīng)常搜索小戶型房源的用戶，我們可以在召回時(shí)將“小戶型”（1或2室）加入到召回條件中，提高搜索結(jié)果的滿意度。
• I2I：基于不同房源之間的相似度，將某個(gè)房源特征加入到召回條件中，推薦相似的房源信息。例如，用戶收藏了一套花園別墅。基于該房源的特征，比如位置、房型、面積、價(jià)格等，在搜索結(jié)果中適當(dāng)推薦其它具有相似特征的別墅給用戶。

除此之外，召回策略還包含向量召回、基于深度學(xué)習(xí)召回等方式，有興趣的讀者可以通過作者其他文章了解。

召回是從海量的物品庫里快速找出用戶可能感興趣的物品的過程，它決定了推薦系統(tǒng)的上限。如果召回的物品與用戶需求無關(guān)，那么后面的排序就算再好也無法解決用戶需求。召回率越高，用戶就有更多的選擇空間，推薦系統(tǒng)就更能滿足用戶的需求。

除了分詞、召回的處理外，搜索引擎還涉及到排序和評價(jià)等模塊，讀者朋友們可以通過點(diǎn)擊下方傳送門進(jìn)行查看。

傳送門：深度解析 | 垂直搜索引擎構(gòu)建：一個(gè)例子（下）

參考文獻(xiàn)

1 J Shen, R Lyu, X Ren, M Vanni, B Sadler. Mining Entity Synonyms with Efficient Neural Set Generation. AAAI,2019.

2 H Fei, S Tan, P Li. Hierarchical multi-task word embedding learning for synonym prediction. KDD,2019.