失去一個老用戶會帶來巨大的損失，大概需要公司拉新10個新用戶才能予以彌補(bǔ)。如何預(yù)測客戶即將流失，讓公司采取合適的挽回措施，是每個公司都要關(guān)注的重點(diǎn)問題。

利用類神經(jīng)網(wǎng)絡(luò)構(gòu)建用戶流失分析模型，以預(yù)測用戶是否有流失的可能。

Jupyter Notebook ：一個對于數(shù)據(jù)分析師來說特別合適的Python編輯器，強(qiáng)烈推薦大家去使用。

Python：在機(jī)器學(xué)習(xí)時代，Python是最受歡迎的機(jī)器學(xué)習(xí)語言。有很多機(jī)器學(xué)習(xí)的庫，可以方便高效的去實(shí)現(xiàn)機(jī)器學(xué)習(xí)。

pandas：是基于 Numpy 構(gòu)建的含有更高級數(shù)據(jù)結(jié)構(gòu)和工具的數(shù)據(jù)分析包。能很方便的進(jìn)行各種數(shù)據(jù)清洗。是每個數(shù)據(jù)分析師必學(xué)的Python包之一。

sklearn：是機(jī)器學(xué)習(xí)中一個常用的第三方包，里面對一些常用那個的機(jī)器學(xué)習(xí)方法進(jìn)行了封裝，使得大家能夠更加簡單的使用機(jī)器學(xué)習(xí)的方法。本文主要用這個包進(jìn)行訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集的拆分以及數(shù)據(jù)尺度的標(biāo)準(zhǔn)化。

Keras：是一個高層神經(jīng)網(wǎng)絡(luò)API，Keras由純Python編寫而成并基Tensorflow、Theano以及CNTK后端。本文是基于Tensorflow后端構(gòu)建神經(jīng)網(wǎng)絡(luò)模型。Tensorflow是谷歌開發(fā)的一個開源的人工智能庫。

接下來我們真正進(jìn)入實(shí)戰(zhàn)部分。

#載入pandas包來讀取csv格式的數(shù)據(jù)集

import pandas as pd

#把 csv格式的數(shù)據(jù)集導(dǎo)入到DataFrame對象中

df = pd.read_csv('C:/Users/36540/Desktop/lossertest.csv',  header = 0)

df.head()

我們首先使用pandas包把csv格式的數(shù)據(jù)集導(dǎo)入DataFrame對象中，大概介紹下數(shù)據(jù)集的對象，從左到右分別是，用戶ID、國家、注冊時間、B類用戶標(biāo)記、最近登錄時間、購買次數(shù)、購買金額、流失標(biāo)記。

我們需要把所有的數(shù)據(jù)轉(zhuǎn)化為數(shù)值型的數(shù)據(jù)，且沒有缺失值。

#把totalPaiedAmount列也就是用戶付款金額的缺失值替換為0

df['totalPaiedAmount'] = df['totalPaiedAmount'].fillna(0)

df['totalBuyCount'] = df['totalBuyCount'].fillna(0)

根據(jù)業(yè)務(wù)邏輯，首先把用戶付款次數(shù)和付款金額的缺失值替換為0。

#利用pandas中的to_datetime函數(shù)把字符串的日期變?yōu)闀r間序列
df['registrationTime'] = pd.to_datetime(df['registrationTime'], format='%Y-%m-%d %H:%M:%S')
df['registrationTime']

直接導(dǎo)入的pandas的數(shù)據(jù)是字符串格式的時間，我們需要將數(shù)據(jù)轉(zhuǎn)化為時間序列格式。這里用到pandas自帶的to_datetime函數(shù)，可以方便快速的把字符串轉(zhuǎn)化為時間序列。

#同理最近登錄時間也轉(zhuǎn)化為實(shí)踐序列

df['lastLoginTime'] = pd.to_datetime(df['lastLoginTime'], format='%Y-%m-%d %H:%M:%S')

df['lastLoginTime']

根據(jù)業(yè)務(wù)邏輯需要把時間轉(zhuǎn)化為距今的時間間隔。

import datetime

#獲取當(dāng)前時間

now_time = datetime.datetime.now()

now_time

根據(jù)datetime包，獲取當(dāng)前的時間。

 #把數(shù)據(jù)序列轉(zhuǎn)化為距今的時間間隔

df['registrationTime'] = now_time-df['registrationTime']

df['registrationTime']

df['lastLoginTime'] = now_time-df['lastLoginTime']

df['registrationTime']

在DataFrame對象中，可以直接對2個時間格式數(shù)據(jù)進(jìn)行相減，得到時間間隔。但是這個不是數(shù)值型，我們還需要進(jìn)行處理。

先根據(jù)業(yè)務(wù)邏輯把最近登錄時間缺失的部分替換為注冊時間。

#把最近登錄時間列的空值替換為同索引行注冊時間列的值

df.loc[df['lastLoginTime'].isnull(),'lastLoginTime']=df[df['lastLoginTime'].isnull()]['registrationTime']

df['registrationTime']

根據(jù)pandas中自帶的isnull可以很方便的替換缺失值。

#因?yàn)閿?shù)據(jù)量有點(diǎn)大，取前1w行數(shù)據(jù)測試下

df = df.iloc[0:1000]

#把時間間隔轉(zhuǎn)化為數(shù)值型的天數(shù)

j = 0

for i in df['registrationTime']:

df = df.replace(df['registrationTime'][j],i.days)

j += 1

建立一個for循環(huán)把所有的時間隔間轉(zhuǎn)化為數(shù)值型的時間隔間天數(shù)，.days函數(shù)可以方便獲取時間隔間的天數(shù)。經(jīng)過我是實(shí)踐發(fā)現(xiàn)，Python對于這個轉(zhuǎn)化的處理速度很慢。所以我就取了前1000條數(shù)據(jù)進(jìn)行測試處理。建議大家還是在mysql中直接用時間函數(shù)獲取時間差天數(shù)，數(shù)據(jù)庫中的處理速度快了很多。我50W+的數(shù)據(jù)只要10幾秒就可以完成。

#不知道為什么這樣操作就會報(bào)錯，歡迎大家研究研究

for i in range(0,df['registrationTime']):

df = df.replace(df['registrationTime'][i],df['registrationTime'][i].days)

我本來是這樣編寫for循環(huán)的，不知道為什么運(yùn)行幾條就報(bào)錯。差了很多資料也沒找到原因。也歡迎大家研究研究。找到原因可以評論或者私信我。

到這里數(shù)據(jù)清洗也就基本完成了，我來最后檢查一遍，數(shù)據(jù)集是否還有缺失值。

#對數(shù)據(jù)集進(jìn)檢查，看看是否還有缺失值

df[df.isnull().values==True]

可以發(fā)現(xiàn)，還有缺失值的列已經(jīng)不存在了。接下來就把第一列對于結(jié)果無關(guān)的用戶ID列刪除。

#把第一列無用的用戶ID列刪除

df = df.iloc[:,1:]

數(shù)據(jù)清洗步驟就全部完成了，我再來看看數(shù)據(jù)集現(xiàn)在的樣子，來最終檢查一遍處理結(jié)果。

df.head()

df.info()

可以發(fā)現(xiàn)所有的數(shù)據(jù)都已經(jīng)變成float64或者 int64，已經(jīng)達(dá)到了我們處理的目的。

接下來把輸入輸出項(xiàng)確定下，前6列是輸入的指標(biāo)，最后一列流失標(biāo)記是輸出項(xiàng)。

#把輸入輸出項(xiàng)確定下

y = df.iloc[:,-1]

x = df.iloc[:,:-1]

x.shape

y.shape

可以發(fā)現(xiàn)輸入項(xiàng)是1000行數(shù)據(jù)，6列。輸出是1000行數(shù)，1列。

#sklearn把數(shù)據(jù)集拆分成訓(xùn)練集和測試集
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.33, random_state = 123)
x_train.shape
y_train.shape
x_test.shape
y_test.shape

利用sklearn包中的train_test_split函數(shù)可以很方便的區(qū)分訓(xùn)練集和測試集。test_size代表測試的大小，0.33也就是訓(xùn)練集和測試集的比為3：1，random_state代表區(qū)分的隨機(jī)標(biāo)準(zhǔn)，這個如果不確定的話，每次拆分的結(jié)果也就是不一樣，這屬性是為了數(shù)據(jù)可以復(fù)現(xiàn)。大家不要使用123，可以隨意填寫。從上圖可以看到，數(shù)據(jù)已經(jīng)被拆分為670行和330行2個數(shù)據(jù)集了。

所有神經(jīng)網(wǎng)絡(luò)的輸入層必須進(jìn)行標(biāo)準(zhǔn)處理，因?yàn)椴煌械拇笮∈遣灰粯?，這樣的話沒法進(jìn)行對比。所以需要對數(shù)據(jù)集進(jìn)行標(biāo)準(zhǔn)化處理。

#使用sklearn把數(shù)據(jù)集進(jìn)行尺度標(biāo)準(zhǔn)化
from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
x_train = sc.fit_transform(x_train)
x_test = sc.fit_transform(x_test)
x_test

sklearn包中的StandardScaler函數(shù)可以方便對數(shù)據(jù)進(jìn)行去均值和方差歸一化處理。首先定義一個對象，sc = StandardScaler()，然后把數(shù)據(jù)集放進(jìn)去就可以直接輸出一個標(biāo)準(zhǔn)化完成的數(shù)據(jù)集。輸出的數(shù)據(jù)集如上圖所示。

訓(xùn)練ANN

#使用keras包搭建人工神經(jīng)網(wǎng)絡(luò)
import keras
#序貫（Sequential）模型包
from keras.models import Sequential
#神經(jīng)網(wǎng)絡(luò)層
from keras.layers import Dense
#優(yōu)化器
from keras.optimizers import SGD
#創(chuàng)建一個空的神經(jīng)網(wǎng)絡(luò)模型
classifier = Sequential()

我們利用keras包來交輕松的完成人工神經(jīng)網(wǎng)絡(luò)的搭建。首先載入一個序貫（Sequential）模型。序貫?zāi)Ｐ褪嵌鄠€網(wǎng)絡(luò)層的線性堆疊，也就是“一條路走到黑”?？梢酝ㄟ^向Sequential模型傳遞一個layer的list來構(gòu)造該模型，也可以通過.add()方法一個個的將layer加入模型中。本文采用.add()方法將2層神經(jīng)網(wǎng)絡(luò)輸入模型中。優(yōu)化器的選擇是SGD，因?yàn)楸緛頂?shù)據(jù)量比較小，而且訓(xùn)練次數(shù)也不多，所以選擇最賤簡答的SGD。平時對于性能的有要求的可以使用Adam優(yōu)化器。

#創(chuàng)建輸入層
classifier.add(Dense(units = 3, kernel_initializer = 'uniform', activation = 'relu', input_dim = 6))
#創(chuàng)建輸出層
classifier.add(Dense(units = 1, kernel_initializer = 'uniform', activation = 'sigmoid'))

將神經(jīng)網(wǎng)絡(luò)的輸入輸出層添加到模型中。

Dense就是常用的全連接層，所實(shí)現(xiàn)的運(yùn)算是output = activation(dot(input, kernel)+bias)。

參數(shù)

units：大于0的整數(shù)，代表該層的輸出維度。一般為輸入項(xiàng)的一半，但是真正合適的值還是要經(jīng)過多次訓(xùn)練才能得出。

activation：激活函數(shù)，為預(yù)定義的激活函數(shù)名（參考激活函數(shù)），或逐元素（element-wise）的Theano函數(shù)。如果不指定該參數(shù)，將不會使用任何激活函數(shù)（即使用線性激活函數(shù)：a(x)=x）。本文用的relu和sigmoid。都是最基礎(chǔ)的。

bias_initializer：偏置向量初始化方法，為預(yù)定義初始化方法名的字符串，或用于初始化偏置向量的初始化器。不同的層可能使用不同的關(guān)鍵字來傳遞初始化方法，一般來說指定初始化方法的關(guān)鍵字。本文用的Glorot均勻分布初始化方法，又成Xavier均勻初始化，參數(shù)從[-limit, limit]的均勻分布產(chǎn)生，其中l(wèi)imit為sqrt(6 / (fan_in + fan_out))。fan_in為權(quán)值張量的輸入單元數(shù)，fan_out是權(quán)重張量的輸出單元數(shù)。

形如(batch_size, ..., input_dim)的nD張量，最常見的情況為(batch_size, input_dim)的2D張量。

classifier.compile(loss='binary_crossentropy',
optimizer=SGD(),
metrics=['accuracy'])
history = classifier.fit(x_train, y_train,
batch_size=10,
epochs=100,
validation_data=(x_test, y_test))

然后設(shè)置模型的損失函數(shù)loss為binary_crossentropy（亦稱作對數(shù)損失，logloss）。目標(biāo)函數(shù)，或稱損失函數(shù)，是編譯一個模型必須的兩個參數(shù)之一。

優(yōu)化器選擇了SGD，也就是最簡單基礎(chǔ)的一個優(yōu)化器。

性能評估模塊提供了一系列用于模型性能評估的函數(shù),這些函數(shù)在模型編譯時由metrics關(guān)鍵字設(shè)置。性能評估函數(shù)類似與目標(biāo)函數(shù), 只不過該性能的評估結(jié)果講不會用于訓(xùn)練。

Keras以Numpy數(shù)組作為輸入數(shù)據(jù)和標(biāo)簽的數(shù)據(jù)類型。訓(xùn)練模型一般使用fit函數(shù)。把訓(xùn)練集輸入，然后batch_size選擇每次訓(xùn)練數(shù)量，epochs是訓(xùn)練的次數(shù)。validation_data驗(yàn)證的數(shù)據(jù)集。

最后看到上面的訓(xùn)練結(jié)果loss為0.0973,acc為0.9612。這個結(jié)果已經(jīng)是一個比較好的結(jié)果。

y_pred = classifier.predict(x_test)
y_pred

利用predict把測試集的結(jié)果輸出來，輸出的是0-1的概率值，我可以假設(shè)大于0.5為流失，把結(jié)果轉(zhuǎn)化為0和1和結(jié)果。0.5只是一個大概的值，最合適的話還是要自己去測試得出。

y_pred = (y_pred > 0.5)
y_pred.shape
y_pred.flatten().astype(int)

最終把結(jié)果轉(zhuǎn)化為0和1和，通過flatten吧數(shù)據(jù)轉(zhuǎn)化為一維的數(shù)據(jù)，并且利用astype(int)把True和False轉(zhuǎn)化為0和1。

from sklearn.metrics import accuracy_score
accuracy_score(y_test, y_pred )

根據(jù)accuracy_score直接得到結(jié)果，可以發(fā)現(xiàn)結(jié)果為0.9727，這個數(shù)據(jù)是好的結(jié)果。準(zhǔn)確率有97%。但是我們僅僅看著數(shù)據(jù)是不夠的，因?yàn)榧偃?000個人里只有50個流失，那我全部亂猜為不流失，這樣準(zhǔn)確率也有95%。所以要再看看流失和非流失的準(zhǔn)確率。

from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_test, y_pred )
cm

可以發(fā)現(xiàn)非流失用戶全部猜對，但是流失的只對了3個。說明模型對于非流失用戶的準(zhǔn)確性還需要提高。結(jié)果看看更加詳細(xì)的結(jié)果。

from sklearn.metrics import classification_report
print(classification_report(y_test, y_pred))

利用classification_report函數(shù)直接獲取結(jié)果。我們觀察結(jié)果可以發(fā)現(xiàn)，流失用戶的f1-score只有0.40.這是比較小的值，還有很大的提高空間。雖然全部用戶的準(zhǔn)確率97%，看上去很美好，實(shí)際一拆分的結(jié)果并不如人意。當(dāng)然這里只是一個測試的結(jié)果，后續(xù)我們可以增加輸入層的數(shù)據(jù)指標(biāo)，增加訓(xùn)練的次數(shù)去提高準(zhǔn)確率。

-END-