chinesefreesexvideos高潮,欧美极品少妇性运交,久久久国产一区二区三区,99久久婷婷国产综合精品,成人国产一区二区三区

導(dǎo)讀：產(chǎn)品經(jīng)理要不要懂技術(shù)？要的！本系列文章將從最簡(jiǎn)單的概念開(kāi)始，逐步講解推薦系統(tǒng)的發(fā)展歷程和最新實(shí)踐。以產(chǎn)品經(jīng)理的視角，闡述推薦系統(tǒng)涉及的算法，技術(shù)和架構(gòu)。本章是第二章，將系統(tǒng)性地通過(guò)圖文的方式介紹協(xié)同過(guò)濾算法。

我有個(gè)兄弟，是抖音的點(diǎn)贊狂魔，他的點(diǎn)贊次數(shù)高達(dá)6924次，而且他大多數(shù)的贊都是給那些青春靚麗的小姐姐們，如下圖?？此亩兑敉扑]內(nèi)容，都是滿(mǎn)目的小姐姐唱啊跳啊不亦樂(lè)乎，他也覺(jué)得甚爽。不過(guò)，好景不長(zhǎng)，沒(méi)多久他就跟我說(shuō)：“我再也不敢再點(diǎn)了，我老婆已經(jīng)發(fā)現(xiàn)我給小姐姐們點(diǎn)了上1000個(gè)贊，而且知道我點(diǎn)贊的視頻，也會(huì)推薦給她”。

把好友看過(guò)的視頻推薦給用戶(hù)，這就是協(xié)同過(guò)濾。準(zhǔn)確地說(shuō)，叫用戶(hù)協(xié)同過(guò)濾（User Collaborative Filtering）。

一、協(xié)同過(guò)濾概述（Collaborative Filtering）

協(xié)同過(guò)濾（簡(jiǎn)稱(chēng)CF）是推薦系統(tǒng)最重要的思想之一。在早期，協(xié)同過(guò)濾幾乎等同于推薦系統(tǒng)。協(xié)同過(guò)濾思想產(chǎn)生于1994年，被用于郵件系統(tǒng)上。2001年，亞馬遜用協(xié)同過(guò)濾算法來(lái)推薦相似商品。

協(xié)同過(guò)濾的思想比較簡(jiǎn)單，主要有三種：

用戶(hù)協(xié)同過(guò)濾（UserCF）：相似的用戶(hù)可能喜歡相同物品。如加了好友的兩個(gè)用戶(hù)，或者點(diǎn)擊行為類(lèi)似的用戶(hù)被視為相似用戶(hù)。如我兄弟和她的太太互加了抖音好友，他們兩人各自喜歡的視頻，可能會(huì)產(chǎn)生互相推薦。

物品協(xié)同過(guò)濾（ItemCF）：相似的物品可能被同個(gè)用戶(hù)喜歡。這個(gè)就是著名的世界杯期間沃爾瑪尿布和啤酒的故事了。這里因?yàn)槭澜绫陂g，奶爸要喝啤酒看球，又要帶娃，啤酒和尿布同時(shí)被奶爸所需要，也就是相似商品，可以放在一起銷(xiāo)售。

模型協(xié)同過(guò)濾：使用矩陣分解模型來(lái)學(xué)習(xí)用戶(hù)和物品的協(xié)同過(guò)濾信息。一般這種協(xié)同過(guò)濾模型有：SVD，SVD++等。這種協(xié)同過(guò)濾要比前兩個(gè)來(lái)得抽象些，這里先不解釋?zhuān)竺嬖斒觥?/p>

下面按照物品協(xié)同過(guò)濾，用戶(hù)協(xié)同過(guò)濾和模型協(xié)同過(guò)濾的順序，詳細(xì)解釋這幾種算法。

二、物品協(xié)同過(guò)濾的計(jì)算

2003年，亞馬遜發(fā)表了一篇論文，闡述了他們?nèi)绾斡梦锲穮f(xié)同過(guò)濾算法（Item-to-Item Collaborative Filtering），搭建他們“看了又看”功能。如下圖：

這是17年前的截圖，圖跟紙質(zhì)老照片那樣變得斑駁。圖中是在購(gòu)物車(chē)關(guān)聯(lián)頁(yè)面的相關(guān)推薦。那么，這個(gè)協(xié)同過(guò)濾推薦是如何做計(jì)算出來(lái)的呢？

前面第一章說(shuō)到，人工智能實(shí)踐過(guò)程三個(gè)步驟：數(shù)據(jù)，學(xué)習(xí)和決策。這里也將用同樣步驟，以圖書(shū)銷(xiāo)售推薦為例，解釋物品協(xié)同過(guò)濾的過(guò)程。為了簡(jiǎn)單化，假設(shè)某圖書(shū)銷(xiāo)售平臺(tái)總共有6本書(shū)銷(xiāo)售，有6個(gè)用戶(hù)購(gòu)買(mǎi)。

數(shù)據(jù)：用戶(hù)的評(píng)分?jǐn)?shù)據(jù)，分值1-5分。每個(gè)用戶(hù)對(duì)圖書(shū)的評(píng)分如下圖矩陣所示。

學(xué)習(xí)算法：前面說(shuō)到ItemCF的定義是，相似的物品可能被同個(gè)用戶(hù)喜歡。反過(guò)來(lái)講，就是被同個(gè)用戶(hù)喜歡的物品是相似商品。如上圖中，圖書(shū)1和圖書(shū)2兩本書(shū)，被用戶(hù)A同時(shí)喜歡，這兩本書(shū)具有相似性。而圖書(shū)5和圖書(shū)6，沒(méi)有被同個(gè)用戶(hù)同時(shí)喜歡，不具有相似性。

如果用余弦相似度計(jì)算圖書(shū)1和圖書(shū)2的相似度，也叫做cosine距離，計(jì)算過(guò)程為：

回想高中時(shí)候的課本我們就可以知道，上面的similarity計(jì)算公式，實(shí)際上就是計(jì)算書(shū)籍1的評(píng)分向量（4,5,4,0,0,0）和書(shū)籍2的評(píng)分向量（3,0,3,3,4,0）的 cos 夾角。

用同樣的方式，可以算出圖書(shū)1跟其他五本圖書(shū)相似度分別為0.27, 0 .79，0.32,0.99和0。對(duì)每?jī)杀緯?shū)計(jì)算完這個(gè)相似度后，就可以獲得全部圖書(shū)的相似矩陣。

一個(gè)平臺(tái)不僅僅有6本圖書(shū)6個(gè)用戶(hù)，我們?cè)贁U(kuò)展到一般的情況。計(jì)算物品的相似度，實(shí)際是計(jì)算每?jī)蓚€(gè)物品評(píng)分向量的cosine距離，評(píng)分向量的每一維，代表了一個(gè)用戶(hù)，下圖中，表格的第一行代表了所有用戶(hù)對(duì)物品A的評(píng)分。當(dāng)有100萬(wàn)個(gè)用戶(hù)時(shí)，也就是計(jì)算每?jī)蓚€(gè)100萬(wàn)維向量的距離。這樣就導(dǎo)致計(jì)算量很大，而且很多平臺(tái)不僅僅只有100萬(wàn)用戶(hù)，因而這個(gè)低效的計(jì)算方式需要改進(jìn)。

預(yù)測(cè)決策：

有了評(píng)分矩陣之后，預(yù)測(cè)決策一般有兩種場(chǎng)景。

一種是根據(jù)相似度排序推薦最近鄰物品。類(lèi)似于“看了還看”，“買(mǎi)了還買(mǎi)”場(chǎng)景。在這里的例子中，我們知道圖書(shū)1和其他圖書(shū)的相似度排序分別是圖書(shū)5，圖書(shū)3，圖書(shū)4和圖書(shū)2。當(dāng)用戶(hù)點(diǎn)擊了圖書(shū)1時(shí)，就可以按照相似順序從高到低推薦。

第二種是根據(jù)相似度預(yù)測(cè)評(píng)分推薦物品。如何決策要不要給用戶(hù)B推薦圖書(shū)2，圖書(shū)4和圖書(shū)6呢？如下圖，通過(guò)用戶(hù)B對(duì)圖書(shū)1的評(píng)分 * 未知圖書(shū)與圖書(shū)1的相似度來(lái)預(yù)測(cè)用戶(hù)B對(duì)剩下圖書(shū)的評(píng)分。如圖書(shū)2的預(yù)測(cè)評(píng)分 =  圖書(shū)1的評(píng)分5分 * 圖書(shū)1和圖書(shū)2的相似度0.27 ，從而用戶(hù)B對(duì)圖書(shū)2的評(píng)分是：5*0.27=1.35。同樣方式計(jì)算出其他圖書(shū)的評(píng)分預(yù)測(cè)。

從上面的結(jié)果來(lái)看，用戶(hù)B對(duì)其他圖書(shū)評(píng)分比較低，這幾本圖書(shū)推薦的可能性大大減少。

物品協(xié)同過(guò)濾實(shí)際使用

這是推薦系統(tǒng)里最樸素的算法，因?yàn)樗挠?jì)算量會(huì)隨著用戶(hù)和物品的數(shù)量呈指數(shù)增長(zhǎng)，所以它并不適合在大量用戶(hù)或大量物品的場(chǎng)景使用。在它誕生的年代，還沒(méi)有大數(shù)據(jù)，這種計(jì)算方式耗費(fèi)大量?jī)?nèi)存，需要做大量的優(yōu)化。我嘗試過(guò)用100萬(wàn)用戶(hù)，100萬(wàn)物品和500萬(wàn)條的數(shù)據(jù)在256G內(nèi)存的機(jī)器上做過(guò)嘗試，計(jì)算一分鐘后就宣告內(nèi)存耗盡。確實(shí)需要計(jì)算的話(huà)，一般使用Spark來(lái)實(shí)現(xiàn)。

因?yàn)檫@個(gè)缺點(diǎn)，就需要新的算法來(lái)計(jì)算物品的協(xié)同過(guò)濾。

前面提到，計(jì)算任意兩物品之間的相似度后，有兩個(gè)使用場(chǎng)景。針對(duì)這兩個(gè)場(chǎng)景，分別有不同的迭代算法：

• 根據(jù)相似度排序推薦最近鄰物品：使用如Word2vec，Item2vec等Embedding類(lèi)的算法，將物品嵌入固定的向量空間中，再使用LSH算法(局部敏感哈希算法)取最近鄰物品。這個(gè)后續(xù)文章會(huì)介紹。

• 根據(jù)相似度預(yù)測(cè)評(píng)分推薦物品：本章后續(xù)介紹的SVD算法。

雖然這個(gè)算法使用較少了，但是物品協(xié)同過(guò)濾的思想都是一脈相乘的，理解了這個(gè)簡(jiǎn)單的cosine相似度計(jì)算方式，可以更好理解后續(xù)的迭代算法。

最后補(bǔ)充一下，物品協(xié)同過(guò)濾的一個(gè)缺點(diǎn)，或者說(shuō)是協(xié)同過(guò)濾的缺點(diǎn)，對(duì)于一個(gè)新物品，協(xié)同過(guò)濾是無(wú)法推薦的。因?yàn)樾挛锲酚脩?hù)無(wú)評(píng)分，導(dǎo)致它跟所有物品的相似度都是為0。這個(gè)是使用這個(gè)算法時(shí)非常需要注意的一個(gè)點(diǎn)。

三、用戶(hù)協(xié)同過(guò)濾計(jì)算

用戶(hù)協(xié)同過(guò)濾（UserCF）的計(jì)算方式跟物品協(xié)同過(guò)濾（ItemCF）的計(jì)算方式類(lèi)似。不同的是由計(jì)算兩兩物品的相似度，轉(zhuǎn)換成計(jì)算兩兩用戶(hù)的相似度。如下圖所示：

評(píng)分了相同圖書(shū)的用戶(hù)為相似用戶(hù)，他們的相似度同樣也用cosine相似度公式來(lái)計(jì)算。計(jì)算完相似度后，就可以根據(jù)用戶(hù)間的相似性，預(yù)測(cè)用戶(hù)對(duì)未評(píng)分圖書(shū)進(jìn)行評(píng)分預(yù)測(cè)。

但是在亞馬遜上，由于用戶(hù)評(píng)分的稀疏性（很多用戶(hù)壓根不評(píng)分），沒(méi)有評(píng)分的用戶(hù)無(wú)法跟其他用戶(hù)計(jì)算相似性，從而導(dǎo)致很多用戶(hù)之間沒(méi)有相似度。所以2001年的時(shí)候，亞馬遜選擇物品協(xié)同過(guò)濾算法來(lái)做推薦，并發(fā)表了論文。這個(gè)論文也導(dǎo)致大家一度認(rèn)為物品協(xié)同過(guò)濾優(yōu)于用戶(hù)協(xié)同過(guò)濾。

其實(shí)只有最合適的算法，沒(méi)有最優(yōu)的算法

時(shí)間到了移動(dòng)互聯(lián)網(wǎng)的今天，我們更多是用點(diǎn)擊數(shù)據(jù)，用戶(hù)好友關(guān)系，通訊錄或者甚至是同一個(gè)WIFI地址來(lái)計(jì)算用戶(hù)協(xié)同過(guò)濾，數(shù)據(jù)稀疏性得到一定程度上的解決?，F(xiàn)在，用戶(hù)的協(xié)同過(guò)濾在信息流內(nèi)容推薦，社交性的推薦系統(tǒng)有著很好的利用。比如抖音，因?yàn)閮?nèi)容更新頻繁，用戶(hù)協(xié)同過(guò)濾可以作為很好的召回手段，所以也就會(huì)出現(xiàn)老公點(diǎn)贊的視頻會(huì)被推薦給他老婆的情景。

同樣地，這里介紹的cosine相似度的算法，也不是工業(yè)界現(xiàn)在最佳實(shí)踐的用戶(hù)相似度計(jì)算方式了。用戶(hù)相似度的計(jì)算，現(xiàn)在的最佳實(shí)踐也同樣也是用Embedding的方式實(shí)現(xiàn)。

而且，用戶(hù)相似度的計(jì)算，最有效的方式不一定是通過(guò)本節(jié)中介紹的計(jì)算方式，帶社交功能的APP可以通過(guò)用戶(hù)的好友關(guān)系，一般的APP可以通過(guò)獲取用戶(hù)的通訊錄實(shí)現(xiàn)用戶(hù)協(xié)同過(guò)濾。這些方式都來(lái)的更加簡(jiǎn)單和直接。

四、模型協(xié)同過(guò)濾-矩陣分解（SVD）

對(duì)于很多沒(méi)有計(jì)算機(jī)專(zhuān)業(yè)背景的人來(lái)說(shuō)，直接理解SVD算法是很困難的。需要有高等數(shù)學(xué)，線(xiàn)性代數(shù)，還要理解機(jī)器學(xué)習(xí)模型中的目標(biāo)函數(shù)，損失函數(shù)，梯度，正則化，最小二乘法等概念。很多文章介紹SVD都很技術(shù)，這里不準(zhǔn)備采用技術(shù)大咖們的方式。我還是繼續(xù)用圖文的方式介紹，這也許是世界上最簡(jiǎn)單的理解SVD的方式。

首先介紹一下背景。

SVD算法的誕生，跟美國(guó)Netflix公司有關(guān)。這家公司中文名叫網(wǎng)飛，拍了大家熟悉的網(wǎng)劇《紙牌屋》。

時(shí)間來(lái)到2006年，Netflix發(fā)起一個(gè)推薦系統(tǒng)的懸賞競(jìng)賽。他們公開(kāi)了自己網(wǎng)站的用戶(hù)數(shù)據(jù)評(píng)分?jǐn)?shù)據(jù)包，并放出100萬(wàn)美元懸賞優(yōu)化推薦算法。凡是能在Netflix現(xiàn)有的推薦系統(tǒng)基礎(chǔ)上，把均方根誤差降低10%的人，都能參與瓜分這100萬(wàn)美元。消息一放出，引來(lái)了無(wú)數(shù)高手參加。這場(chǎng)比賽中，最佳算法就是SVD。

背景介紹完了，接下來(lái)直接介紹SVD是怎么計(jì)算的。

還是跟前面那樣，簡(jiǎn)單化問(wèn)題：假設(shè)一個(gè)平臺(tái)只有4個(gè)用戶(hù)和4本圖書(shū)。

1、數(shù)據(jù)：用戶(hù)對(duì)物品評(píng)分1-5分，且有以下評(píng)分記錄。

2、學(xué)習(xí)算法：

根據(jù)線(xiàn)性代數(shù)我們知道，一個(gè)矩陣可以分解為多個(gè)矩陣的乘積。SVD英文全稱(chēng)叫做Singular Value Decomposition，這個(gè)算法是個(gè)矩陣分解的通用名稱(chēng)，在不同領(lǐng)域有不同的形式。在推薦系統(tǒng)領(lǐng)域，可以簡(jiǎn)單的認(rèn)為，SVD就是將一個(gè)矩陣，在一定的精度損失下，將一個(gè)矩陣分解成兩個(gè)矩陣。運(yùn)用這個(gè)算法，我們可以將上圖的矩陣做以下的近似分解：

其中，用戶(hù)矩陣部分代表著每個(gè)用戶(hù)的偏好在一個(gè)二維隱語(yǔ)義空間上的映射。同樣地，物品矩陣代表著每本圖書(shū)的特性在一個(gè)二維隱語(yǔ)義空間上的映射。這兩個(gè)矩陣也就是模型的結(jié)果。這樣，我們訓(xùn)練模型的時(shí)候，就只需要訓(xùn)練用戶(hù)矩陣中的8個(gè)參數(shù)和物品矩陣中的8個(gè)參數(shù)即可。大大減少了計(jì)算量。

模型訓(xùn)練的過(guò)程，簡(jiǎn)單地說(shuō)，就是通過(guò)最小二乘法，不斷將用戶(hù)評(píng)分?jǐn)?shù)據(jù)迭代入矩陣中計(jì)算，直到把均方誤差優(yōu)化到最小。上圖的結(jié)果是我通過(guò)Spark的ML庫(kù)ALS模塊直接計(jì)算的。

算法的具體目標(biāo)函數(shù)，損失函數(shù)和梯度等，詳述則涉及很多機(jī)器學(xué)習(xí)知識(shí)點(diǎn)，這里就不作介紹了。技術(shù)方面有很多解讀文章，需要進(jìn)一步理解的同學(xué)，可以搜索相關(guān)文章閱讀。

3、預(yù)測(cè)決策：

通過(guò)模型訓(xùn)練，我們得到用戶(hù)矩陣Q和物品矩陣P后，全部用戶(hù)對(duì)全部圖書(shū)的評(píng)分預(yù)測(cè)可以通過(guò)R = PQ來(lái)獲得。如上圖中，用戶(hù)A的向量(1.40,-1.18)乘以物品2的向量（2.19,0.73）則可得用戶(hù)A對(duì)物品1的評(píng)分預(yù)測(cè)為：1.40×(-1.18)+2.19×0.73=2.21。

對(duì)所有的用戶(hù)和物品都執(zhí)行相同操作，可以得到全部用戶(hù)對(duì)全部物品的評(píng)分。如下圖右側(cè)矩陣：

得到全部的評(píng)分預(yù)測(cè)后，我們就可以對(duì)每本圖書(shū)進(jìn)行擇優(yōu)推薦。需要注意的是，用戶(hù)矩陣和物品矩陣的乘積，得到的評(píng)分預(yù)估值，與用戶(hù)的實(shí)際評(píng)分不是全等關(guān)系，而是近似相等的關(guān)系。如上圖中兩個(gè)矩陣綠色部分，用戶(hù)實(shí)際評(píng)分和預(yù)估評(píng)分都是近似的，有一定的誤差。

在現(xiàn)在的實(shí)際應(yīng)用中，SVD一般作為協(xié)同過(guò)濾的離線(xiàn)召回使用。一般地，將需要給用戶(hù)推薦的物品提前離線(xiàn)計(jì)算好，存在HBASE中，在用戶(hù)有請(qǐng)求的時(shí)候，直接讀取推薦的結(jié)果，放入初排階段的召回集中。

五、總結(jié)

1、協(xié)同過(guò)濾優(yōu)點(diǎn)：

協(xié)同推薦是應(yīng)用最廣泛的推薦算法?；趦?nèi)容推薦的算法，需要給物品打上標(biāo)簽和給用戶(hù)建用戶(hù)畫(huà)像，才能實(shí)現(xiàn)匹配推薦。相比之下，協(xié)同過(guò)濾簡(jiǎn)單了許多。它是僅使用用戶(hù)行為的進(jìn)行推薦，我們不需要對(duì)物品或信息進(jìn)行完整的標(biāo)簽化分析，避免了一些人可能難以量化描述的概念的標(biāo)簽構(gòu)建，又可以很好地發(fā)現(xiàn)用戶(hù)的潛在興趣偏好。

2、協(xié)同過(guò)濾缺點(diǎn)：

因?yàn)閰f(xié)同過(guò)濾依賴(lài)用戶(hù)的歷史數(shù)據(jù)，面對(duì)新的用戶(hù)或者新的物品，在開(kāi)始的時(shí)候沒(méi)有數(shù)據(jù)或數(shù)據(jù)較少時(shí)，協(xié)同過(guò)濾算法無(wú)法做出推薦。需要等數(shù)據(jù)積累，或者其他方案進(jìn)行彌補(bǔ)缺陷，也就是常說(shuō)的冷啟動(dòng)的問(wèn)題。

3、機(jī)器學(xué)習(xí)領(lǐng)域

當(dāng)精確的方式不行難以計(jì)算或者速度太慢的時(shí)候，往往會(huì)選擇犧牲一點(diǎn)精度，達(dá)到差不多但非常快速的效果。SVD就是其中的一個(gè)例子。

4、沒(méi)有完美的算法，只有最合適的算法

現(xiàn)在的實(shí)踐，也不是單純用協(xié)同過(guò)濾來(lái)做推薦，而是將他們作為其中的一個(gè)或幾個(gè)召回策略來(lái)使用。

下篇文章將介紹大數(shù)據(jù)生態(tài)，敬請(qǐng)期待，謝謝！

—END—