很多人都在玩抖音，并且越玩越嗨，究其根源就是抖音根據(jù)個人愛好進(jìn)行的精準(zhǔn)視頻推薦，那么問題來了，精準(zhǔn)度怎么測試呢? 其實(shí)精準(zhǔn)度就是一個概率值，并且像抖音這樣的推薦系統(tǒng)通常是使用人工智能分類算法實(shí)現(xiàn)的，而分類算法有個AUC指標(biāo)可以很好的衡量概率值的大小評測是否合適。本文就通過兩步來介紹怎樣通過分類算法的AUC指標(biāo)來評測類似抖音推薦系統(tǒng)的推薦精準(zhǔn)度。

一、了解TPR與FPR指標(biāo)

·目標(biāo)

了解TPR與FPR的定義以及作用

·步驟

1.了解AI模型分類算法的4個關(guān)鍵定義

TP:抖音推薦的視頻確實(shí)是用戶想要的視頻

TN:抖音沒推薦的視頻確實(shí)是用戶不想要的視頻

FP:抖音推薦的視頻是用戶不想要的視頻

FN:抖音沒推薦的視頻是用戶想要的視頻

2.了解TPR和FPR的公式

TPR = TP / (TP + FN) FPR = FP / (FP + TN) 3.TPF和FPR的作用

分別用于衡量推薦精準(zhǔn)度圖形的橫縱坐標(biāo)

二、了解SOC以及AUC

·目標(biāo)

掌握SOC、AUC的定義以及作用

·步驟

1.SOC曲線圖的定義

ROC曲線的橫軸就是上面提到的FPR，縱軸就是上面提到的TPR，其圖形如下圖藍(lán)色線段所示：

越接近于左上角表示衡量的概率值越合理

2.AUC指標(biāo)

? AUC的概率意義是隨機(jī)取一對用戶喜歡的視頻和用戶不喜歡的抖音視頻，將用戶喜歡的視頻優(yōu)先于用戶不喜歡的視頻進(jìn)行推送的概率值，因此這個值越大越好

? 從幾何意義上看AUC就代表SOC曲線的面積。代表了系統(tǒng)將用戶喜歡的視頻按照概率值從大大小進(jìn)行排序的分類能力，因此AUC可以很好的衡量公司開發(fā)的推薦系統(tǒng)推薦的概率值也就是精準(zhǔn)度是否合理

總結(jié)

本文以抖音為例提出了怎樣測試推薦系統(tǒng)推薦的精準(zhǔn)性，從界面上是看不出來哪個視頻推薦給用戶的概率值應(yīng)該是更高的，而通過實(shí)現(xiàn)推薦系統(tǒng)的分類算法自帶的AUC指標(biāo)進(jìn)行衡量可以很好的評測這個概率值，同時這個概率值的評測往往也是推薦系統(tǒng)的測試重點(diǎn)和難點(diǎn)。

本文來自：傳智播客軟件測試學(xué)院 test.itcast.cn