首先拉到上帝視角談?wù)勑畔z索（Information Retireval）。信息檢索是上網(wǎng)的一大基礎(chǔ)需求，大到整個互聯(lián)網(wǎng)的信息，小到應(yīng)用里某個功能頁面的信息，都在信息檢索的范疇內(nèi)。用戶總是希望更高效地找到需要的信息，幫助用戶快速找到需要的信息通常是做好一個產(chǎn)品的第一步。首先我們聊聊一般線上用戶是怎么發(fā)現(xiàn)需要的信息的呢？

一、什么是推薦系統(tǒng)？

1.1用戶如何在發(fā)現(xiàn)信息

互聯(lián)網(wǎng)上發(fā)現(xiàn)信息的方式大致有這么七種，我把用戶發(fā)現(xiàn)內(nèi)容的主動性和內(nèi)容的熱門程度分成兩個坐標(biāo)軸如下圖所示,圓圈大小代表現(xiàn)在的流行程度：

從用戶發(fā)現(xiàn)信息的方式我們可以發(fā)現(xiàn)，用戶在不同場景下為了更高效率地發(fā)現(xiàn)自己想要的信息，采用的方法也不盡相同。在用戶沒有明確目標(biāo)的場景下，“個性化推薦”是經(jīng)行業(yè)驗(yàn)證，效率最高的一種形式，我們平常說的推薦系統(tǒng)就是上面談到的“個性化推薦”。

1.2什么是推薦系統(tǒng)？

下面我面聊一下維基百科對推薦系統(tǒng)的定義

推薦系統(tǒng)是通過預(yù)估用戶對物品(信息)的喜好來向用戶建議合適的信息的技術(shù).
Recommender systems or recommendation systems (sometimes replacing "system" with a synonym such as platform or engine) are a subclass of information filteringsystem that seek to predict the 'rating' or 'preference' that a user would give to an item.

從定義本身出發(fā)，我們可以看到推薦系統(tǒng)里涉及到的三個主要元素：用戶、（合適的）場景和信息。用戶不同、場景不同就構(gòu)成和無數(shù)的信息推薦的組合，這就是我們經(jīng)常聽到的“千人千面”。了解完推薦系統(tǒng)我們就想知道為什么需要推薦系統(tǒng)，它能給推薦系統(tǒng)的用戶和提供方分別帶來什么？

二、為什么需要推薦系統(tǒng)？

隨著移動互聯(lián)網(wǎng)占據(jù)用戶的碎片時間越來越多，人們被動接受信息的場景越加廣泛。與此同時互聯(lián)網(wǎng)上的信息量也呈現(xiàn)出爆炸式的增長。選擇太多也是煩惱，用戶很容易迷失在無窮無盡的信息中。針對有海量內(nèi)容的內(nèi)容型的產(chǎn)品，推薦系統(tǒng)能給用戶和平臺帶來什么？

2.1用戶角度

從用戶角度看，推薦系統(tǒng)幫助用戶在沒有明確信息消費(fèi)目標(biāo)的場景下，更方便快捷地獲取感興趣的信息。相比于其它類型的信息發(fā)現(xiàn)形式，推薦系統(tǒng)更好地滿足了用戶消費(fèi)信息的需求，因此用戶也更愿意使用基于推薦系統(tǒng)的產(chǎn)品。

2.2平臺角度

• 提升用戶粘性：在推薦系統(tǒng)的調(diào)教下，用戶使用越多，推薦的內(nèi)容越符合自己的興趣，因此用戶變得更懶，逐漸放棄思考，只等著推薦系統(tǒng)去給他們投食，慢慢的越吃越胖（換句話說用戶的替換成本提高），就離不開了。

• 提升用戶內(nèi)容消費(fèi)量：用戶能更輕松獲取到自己想要的內(nèi)容，相應(yīng)的也會消費(fèi)更多的內(nèi)容，而更多內(nèi)容消費(fèi)往往意味著更高的收入。

• 提升用戶時長：同上。

2.3從行業(yè)角度

• 亞馬遜上35% 的購買來自推薦系統(tǒng)，麥肯錫數(shù)據(jù)。

• 2016年雙十一，得益于個性化推薦，阿里巴巴平臺取得了20%的增長。

• Youtube上70%的用戶時長都是推薦系統(tǒng)貢獻(xiàn)的。

• Netflix 75% 的播放都來自推薦系統(tǒng)，推薦系統(tǒng)幫助Netflix 每年節(jié)省10億美元。

因此在內(nèi)容平臺上利用推薦系統(tǒng)分發(fā)內(nèi)容給用戶和平臺雙方都帶來顯而易見的好處。我們確定要做推薦系統(tǒng)，那么推薦系統(tǒng)的目標(biāo)是什么呢？

三、內(nèi)容推薦系統(tǒng)的目標(biāo)是什么？

我們從哪些角度來衡量一個推薦系統(tǒng)的效果呢？（參考:項(xiàng)量，《推薦系統(tǒng)實(shí)踐》，我根據(jù)自己的經(jīng)驗(yàn)增減衡量的維度并對衡量維度從上到下排序）

上面說到推薦系統(tǒng)的9個評價(jià)維度，我們通常用某些數(shù)據(jù)指標(biāo)去“逼近”對應(yīng)的維度目標(biāo)（如表中效果評估列所示）。基本方式就是：設(shè)置推薦的目標(biāo)->用數(shù)據(jù)指標(biāo)來逼近目標(biāo)->用算法策略來優(yōu)化指標(biāo)。我們應(yīng)該怎么做來優(yōu)化上訴的指標(biāo)，以提升推薦系統(tǒng)的體驗(yàn)?zāi)兀肯旅嫖覀冞M(jìn)入到工作原理的環(huán)節(jié)。

四、推薦系統(tǒng)工作原理

推薦系統(tǒng)的本質(zhì)就是匹配“用戶的興趣”和“內(nèi)容的特征”

換句話說我們會整理出用戶特征（畫像）和內(nèi)容特征（畫像），然后通過一些關(guān)聯(lián)方式把兩者關(guān)聯(lián)起來，這樣我們就能在特定的場景下給用戶推薦可能感興趣的內(nèi)容(就是某些關(guān)聯(lián)方式下表現(xiàn)好的內(nèi)容)。

4.1關(guān)聯(lián)用戶和內(nèi)容的方式

那么怎么把用戶和內(nèi)容關(guān)聯(lián)起來呢？回答這個問題之前大家可以思考：“為什么會看到這篇文章？”我們通過一問一答的方式來介紹用戶與內(nèi)容的關(guān)聯(lián)，關(guān)聯(lián)的方法主要有下面四種：

(1)基于內(nèi)容

問：為什么會看到這篇文章？

答：我對文章的標(biāo)題、內(nèi)容感興趣，這篇文章的信息對我有用（之前看過類似的文章，或者同一個創(chuàng)作者的文章）。

基于內(nèi)容的推薦是最直觀也最容易的，用戶喜歡哪些類型的內(nèi)容，我給給他們推薦哪些類型的內(nèi)容。這類聯(lián)系算法的基礎(chǔ)是我們對內(nèi)容本身有了解，能識別每條內(nèi)容的具體屬性。好比說我想給用戶推薦體育類的內(nèi)容，但是我不知道哪些內(nèi)容是關(guān)于體育的，也是白費(fèi)。

• 基于主題/頻道：給用戶推薦用戶感興趣的主題下的優(yōu)質(zhì)內(nèi)容；

• 基于標(biāo)簽/關(guān)鍵字：給用戶推薦用戶感興趣的關(guān)鍵詞下的優(yōu)質(zhì)內(nèi)容；

• 創(chuàng)作者/內(nèi)容源頭：給用戶推薦用戶感興趣的作者的優(yōu)質(zhì)內(nèi)容；

• 基于其它深度的隱語義：機(jī)器通過聚類等手段能夠計(jì)算出一些人無法直觀描述，但是有意義的分類，然后給用戶推薦這些隱分類下的優(yōu)質(zhì)內(nèi)容。

(2)基于協(xié)同

問：為什么會看到這篇文章？

答：與我興趣相同的用戶也看了這篇文章（根據(jù)相似用戶的行為）。

協(xié)同過濾簡單來說是利用興趣相投、擁有共同經(jīng)驗(yàn)之群體的喜好來推薦用戶感興趣的內(nèi)容。

• 基于物品的協(xié)同：亞馬遜著名的”買過該商品的用戶還買了”-““Customer Who Bought This Item Also Bought”就是通過基于物品的協(xié)同做的。

• 基于用戶的協(xié)同：基于用戶的協(xié)同本質(zhì)上是根據(jù)用戶的行為找到相似的用戶然后根據(jù)其它用戶的喜好進(jìn)行推薦。

• 基于向量：把用戶和物品映射成空間上的向量，然后計(jì)算相似。

(3)基于網(wǎng)絡(luò)結(jié)構(gòu)

問：為什么會看到這篇文章？

答：我的朋友再看，影響到我了。

基于網(wǎng)絡(luò)結(jié)構(gòu)就是把用戶和內(nèi)容的內(nèi)容相關(guān)性和操作記錄構(gòu)成網(wǎng)絡(luò)拓?fù)浣Y(jié)果。

• 基于社交網(wǎng)絡(luò)：微信的看一看就是單行基于社交網(wǎng)絡(luò)的推薦，主打朋友推薦的內(nèi)容；

• 基于結(jié)構(gòu)網(wǎng)絡(luò)：看過相似的文章的用戶有存在相關(guān)性，越相似的用戶之間的連接度越大，基于這樣的設(shè)計(jì)構(gòu)建出網(wǎng)絡(luò)，然后進(jìn)行相似用戶的內(nèi)容推薦。

(4)基于場景

問：為什么會看到這篇文章？

答：這篇文章在這個時間、地點(diǎn)比其它的更好。

基于場景就是根據(jù)用戶當(dāng)時的使用場景進(jìn)行推薦。

• 基于時間：推薦當(dāng)前時刻的優(yōu)質(zhì)內(nèi)容；

• 基于地點(diǎn)：推薦當(dāng)前所處位置的優(yōu)質(zhì)內(nèi)容；

• 基于熱門：推薦當(dāng)前平臺上表現(xiàn)好的內(nèi)容。

總而言之，為了能更大限度的提升推薦效果，我們需要更深入更廣泛地挖掘用戶和內(nèi)容之間的聯(lián)系，全方位地提升推薦的效果。

五、打開黑盒，一次推薦請求經(jīng)歷了什么？

接下來我們打開黑盒，深入了解一下用戶打開推薦流后都發(fā)生了什么？

(1)推薦請求信息-帶上用戶信息請求推薦服務(wù)

• 請求帶上用戶設(shè)備請求信息：用戶ID，地理位置，IP，注冊時間，設(shè)備信息，版本信息等；

• 獲取用戶畫像：性別，年齡，喜歡的內(nèi)容類別，喜歡的關(guān)鍵詞，喜歡的作者，用戶手機(jī)上安裝的它app等信息。

(2)召回-根據(jù)用戶畫像和場景從內(nèi)容庫中找到用戶可能感興趣的內(nèi)容

1. 召回就是上訴的關(guān)聯(lián)用戶和內(nèi)容的方式，目的是去窮盡“用戶對內(nèi)容感興趣的原因”盡可能廣泛地把用戶可能感興趣的內(nèi)容挖掘出來。

(3)過濾-根據(jù)用戶的操作歷史過濾用戶很可能不感興趣的內(nèi)容

• 過濾階段會過濾用戶歷史看到過的內(nèi)容；

• 過濾掉用戶主動做過負(fù)反饋的內(nèi)容；

• 過濾掉用戶看過的相似內(nèi)容；

(4)預(yù)估排序-對召回的內(nèi)容使用更多維的角度進(jìn)行排序

簡單科普一下排序模型：一個排序模型就是一個方程，我們輸入用戶和一堆文章，這個方程就會返回基于用戶興趣排序的列表：

模型的訓(xùn)練過程就是我們用很多樣本(數(shù)據(jù))去告訴算法，什么樣的用戶喜歡什么樣的內(nèi)容。有了這樣的模型之后我們就能預(yù)測用戶對其它哪些內(nèi)容感興趣了。

• 一個排序模型一般只針對一個指標(biāo)去優(yōu)化，一般第一步都是進(jìn)行點(diǎn)擊率的預(yù)估：用戶最可能點(diǎn)擊哪些內(nèi)容。

• 其它排序目標(biāo)：文章前面我們提到了推薦算法的目標(biāo)，點(diǎn)擊率只是其中一部分關(guān)鍵指標(biāo)，我們還經(jīng)常關(guān)注時長，點(diǎn)贊，評論，閱讀完成等其它指標(biāo)，以求全方位地提升推薦效果。這樣基于每個目標(biāo)我們都會單獨(dú)計(jì)算一個模型，然后把不同目標(biāo)得到的結(jié)果進(jìn)行加權(quán)組合。

  

  
  

(5)策略重排-對于排序后出現(xiàn)的不理想的情況或者一些強(qiáng)制性需求進(jìn)行重排

絕大多數(shù)的重排規(guī)則都會犧牲部分推薦指標(biāo)而換取其它推薦目標(biāo)的提升，因?yàn)檫@些規(guī)則都打壓了高點(diǎn)擊高停留的文章，或是強(qiáng)制展現(xiàn)了低點(diǎn)擊低停留的文章。部分規(guī)則是為了保護(hù)作者端的利益，例如文章來源規(guī)則；部分規(guī)則是為了提高權(quán)威度，例如打壓低俗等；部分規(guī)則是為了提高多樣性等次級目標(biāo)，例如同類內(nèi)容不連續(xù)3個出現(xiàn)、同樣排版的內(nèi)容不同時三個出現(xiàn)，防止刷屏。

• 加權(quán)降權(quán)：給一些平臺鼓勵的內(nèi)容進(jìn)行加權(quán)，比如排序分?jǐn)?shù)乘以1.3倍，這樣這些內(nèi)容出現(xiàn)的概率高，可以提高平臺的權(quán)威度也可以跟優(yōu)質(zhì)作者更好地合作；反之給一些平臺不鼓勵的內(nèi)容進(jìn)行降權(quán)，比如得分乘以0.8，這樣這些內(nèi)容出現(xiàn)的概率就低，也能提高平臺的權(quán)威度。

• 窗口限制：限制某類內(nèi)容出現(xiàn)的頻率，比如標(biāo)題黨內(nèi)容每次10條最多出現(xiàn)3條；比如限制優(yōu)質(zhì)內(nèi)容每5條至少出現(xiàn)1條。這樣的策略能提高推薦的權(quán)威性和多樣性。

• 固定位置限制：某些內(nèi)容強(qiáng)制出現(xiàn)在某個位置，或者某些內(nèi)容要連著出，某些內(nèi)容要隔著出等等，這類策略能夠滿足一些政策性需求和一些特殊活動的需求。

最后排序的結(jié)果返回給客戶端就是我們在手機(jī)上看到的結(jié)果了。

推薦系統(tǒng)的弊端-加速信息繭房

信息繭房是指人們的信息領(lǐng)域會習(xí)慣性地被自己的興趣所引導(dǎo)，從而將自己的生活桎梏于像蠶繭一般的“繭房”中的現(xiàn)象。簡單的說就是用戶只能看到自己想看的內(nèi)容而其它一些重要的內(nèi)容都被用戶忽略了。推薦系統(tǒng)會加重這樣的情況，最終大家都會變成每天閱讀大量內(nèi)容，卻又無比的孤獨(dú)和閉塞。

六、非技術(shù)人員與推薦系統(tǒng)

在了解了推薦系統(tǒng)的基本工作原理后，我們引申思考一下，作為一個非技術(shù)人員，能夠怎么提高推薦系統(tǒng)的效果呢？前面說到了推薦系統(tǒng)的9個評價(jià)目標(biāo)，我們分別針對這些目標(biāo)設(shè)定了相應(yīng)的指標(biāo)來逼近這些目標(biāo)，但是很多時候這些指標(biāo)都是有疏漏的，無法全面地描繪用戶體驗(yàn)。因此我們需要去發(fā)現(xiàn)推薦系統(tǒng)中的問題，發(fā)掘其中的機(jī)會。關(guān)于運(yùn)營在推薦系統(tǒng)中的工作可以參考本專輯的另一篇文章：《推薦系統(tǒng)下的運(yùn)營怎么前進(jìn)？“爹爹”框架指導(dǎo)方向》

6.1發(fā)現(xiàn)問題

讓機(jī)器自己發(fā)現(xiàn)推薦的問題是很難的，需要長期使用，把自己帶入到用戶的角色，反復(fù)琢磨才能挖掘出問題。我們把推薦的9個目標(biāo)當(dāng)作發(fā)現(xiàn)問題的參考可以得到，常見問題如下：

• 推薦的不準(zhǔn)確，不是用戶感興趣的內(nèi)容；

• 內(nèi)容匱乏，找不到感興趣的品類里優(yōu)質(zhì)的內(nèi)容；

• 推薦出來的低俗標(biāo)題黨內(nèi)容占比偏大；

• 推薦內(nèi)容時效性不夠強(qiáng)，內(nèi)容偏舊；

• 推薦的內(nèi)容品類過于單一，主題相同，看起來千篇一律；

• 優(yōu)質(zhì)內(nèi)容得不到有效曝光，內(nèi)容生態(tài)沒有建立起來；

• 推薦算法不能快速地識別用戶的興趣，導(dǎo)致用戶流失；

• 其它。

推薦相關(guān)調(diào)優(yōu)后臺

推薦系統(tǒng)是一個龐大復(fù)雜的系統(tǒng)，難以保證不出現(xiàn)問題，因此也需要對應(yīng)的后臺方便追蹤問題，主要涉及的后臺如下：

用戶相關(guān)后臺

• 用戶畫像后臺：展現(xiàn)詳盡的用戶畫像，包含用戶信息，標(biāo)簽、權(quán)重等，主要看推薦的內(nèi)容和用戶的興趣是否相符；

• 用戶行為歷史：展現(xiàn)用戶對內(nèi)容的展現(xiàn)，點(diǎn)擊歷史，對應(yīng)的召回策略。主要對比用戶的具體行為和我們推薦的效果；

• 負(fù)反饋后臺：主要看用戶點(diǎn)過“不喜歡”、“舉報(bào)”的內(nèi)容，我們有沒有再推薦類似的內(nèi)容。

內(nèi)容相關(guān)后臺

• 內(nèi)容畫像后臺：展現(xiàn)詳盡的內(nèi)容畫像，曝光所屬的分類，標(biāo)簽權(quán)重等，主要看畫像的準(zhǔn)確性。

• 內(nèi)容表現(xiàn)后臺：主要查看內(nèi)容隨著時間的點(diǎn)擊展現(xiàn)和其它互動的變化；

• 召回查詢：主要看召回策略的合理性；

• 創(chuàng)作者后臺：查看創(chuàng)作者的歷史發(fā)文表現(xiàn)。

6.2發(fā)現(xiàn)機(jī)會

不同的場景往往對應(yīng)不同的推薦目標(biāo)，因此也需要不同的推薦策略，作為產(chǎn)品運(yùn)營人員就需要深入發(fā)掘這些推薦場景對應(yīng)的用戶需求，然后才能做出更好的推薦效果。常見的場景差異如下：

• 在信息流的首頁用戶更希望能看到全面，權(quán)威時效性強(qiáng)的內(nèi)容；

• 在內(nèi)容詳情頁，用戶可能更想看到與當(dāng)前內(nèi)容相關(guān)的內(nèi)容；

• 在發(fā)現(xiàn)性的入口，用戶可能更想看到熱門，新鮮的內(nèi)容；

• 推薦內(nèi)容和推薦商品又有區(qū)別；

• 推薦短內(nèi)容和推薦長內(nèi)容又有區(qū)別；

• 推薦觀看和推薦關(guān)注又有區(qū)別；

• 其它。

七、寫在最后

本文從推薦系統(tǒng)是什么開始，講解了為什么做推薦系統(tǒng)？推薦系統(tǒng)的目標(biāo)是什么？然后怎么搭建一套能夠滿足目標(biāo)的推薦系統(tǒng)。最后討論了非技術(shù)人員怎么優(yōu)化推薦系統(tǒng)。時至今日，推薦系統(tǒng)已經(jīng)成為內(nèi)容型產(chǎn)品幾乎必備的基礎(chǔ)功能，用戶預(yù)期用內(nèi)容型的產(chǎn)品就是有個性化推薦，如果沒有體驗(yàn)上就會相對競品差。因此我們必須迎頭趕上，然而推薦效果的優(yōu)化是無止盡的，需要我們不斷地努力，添磚加瓦。

-END-