Python數(shù)據(jù)挖掘?qū)ｎ}實(shí)戰(zhàn)培訓(xùn)

【課程目標(biāo)】

本課程主要講解如何利用Python進(jìn)行時(shí)間序列的數(shù)據(jù)建模。

通過(guò)本課程的學(xué)習(xí)，達(dá)到如下目的：

1、 全面掌握Python語(yǔ)言以及其編程思想。

2、 掌握常用擴(kuò)展庫(kù)的使用，特別是數(shù)據(jù)挖掘相關(guān)庫(kù)的使用。

3、 學(xué)會(huì)使用Python完成數(shù)據(jù)挖掘項(xiàng)目整個(gè)過(guò)程。

4、 掌握利用Python實(shí)現(xiàn)可視化呈現(xiàn)。

5、 掌握數(shù)據(jù)挖掘常見(jiàn)算法在Python中的實(shí)現(xiàn)。

【授課時(shí)間】

2-5天時(shí)間

（要根據(jù)學(xué)員的實(shí)際情況調(diào)整重點(diǎn)內(nèi)容及時(shí)間）

【授課對(duì)象】

業(yè)務(wù)支持部、IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開(kāi)發(fā)部、大數(shù)據(jù)分析中心、網(wǎng)絡(luò)運(yùn)維部等相關(guān)技術(shù)人員。

【學(xué)員要求】

1、 每個(gè)學(xué)員自備一臺(tái)便攜機(jī)(必須)。

2、 便攜機(jī)中事先安裝好Python 3.9版本及以上。

3、 安裝好Numpy,Pandas,statsmodels,sklearn,scipy等常用庫(kù)。

注：講師現(xiàn)場(chǎng)提供分析的數(shù)據(jù)源。

【授課方式】

語(yǔ)言基礎(chǔ) + 挖掘模型 + 案例演練 + 開(kāi)發(fā)實(shí)踐 + 可視化呈現(xiàn)

采用互動(dòng)式教學(xué)，圍繞業(yè)務(wù)問(wèn)題，展開(kāi)數(shù)據(jù)分析過(guò)程，全過(guò)程演練操作，讓學(xué)員在分析、分享、講授、總結(jié)、自我實(shí)踐過(guò)程中獲得能力提升。

【課程大綱】

第一部分： 數(shù)據(jù)挖掘基礎(chǔ)

1、 數(shù)據(jù)挖掘概述

2、 數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程（CRISP-DM）

? 商業(yè)理解

? 數(shù)據(jù)準(zhǔn)備

? 數(shù)據(jù)理解

? 模型建立

? 模型評(píng)估

? 模型應(yīng)用

案例：客戶(hù)流失預(yù)測(cè)及客戶(hù)挽留

3、 數(shù)據(jù)挖掘常用模型

第二部分： 數(shù)據(jù)預(yù)處理篇

1、 數(shù)據(jù)預(yù)處理的主要任務(wù)

? 數(shù)據(jù)集成：多個(gè)數(shù)據(jù)集的合并

? 數(shù)據(jù)清理：異常值的處理

? 數(shù)據(jù)處理：數(shù)據(jù)篩選、數(shù)據(jù)精簡(jiǎn)、數(shù)據(jù)平衡

? 變量處理：變量變換、變量派生、變量精簡(jiǎn)

? 數(shù)據(jù)歸約：實(shí)現(xiàn)降維，避免維災(zāi)難

2、 數(shù)據(jù)集成

? 數(shù)據(jù)追加（添加數(shù)據(jù)）

? 變量合并（添加變量）

3、 數(shù)據(jù)理解（異常數(shù)據(jù)處理）

? 取值范圍限定

? 重復(fù)值處理

? 無(wú)效值/錯(cuò)誤值處理

? 缺失值處理

? 離群值/極端值處理

? 數(shù)據(jù)質(zhì)量評(píng)估

4、 數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)處理

? 數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）

? 數(shù)據(jù)精簡(jiǎn)：數(shù)據(jù)分段/離散化（減少變量的取值個(gè)數(shù)）

? 數(shù)據(jù)平衡：正反樣本比例均衡

5、 數(shù)據(jù)準(zhǔn)備：變量處理

? 變量變換：原變量取值更新，比如標(biāo)準(zhǔn)化

? 變量派生：根據(jù)舊變量生成新的變量

? 變量精簡(jiǎn)：降維，減少變量個(gè)數(shù)

6、 數(shù)據(jù)降維

? 常用降維的方法

? 如何確定變量個(gè)數(shù)

? 特征選擇：選擇重要變量，剔除不重要的變量

2 從變量本身考慮

2 從輸入變量與目標(biāo)變量的相關(guān)性考慮

2 對(duì)輸入變量進(jìn)行合并

? 因子分析（主成分分析）

2 因子分析的原理

2 因子個(gè)數(shù)如何選擇

2 如何解讀因子含義

案例：提取影響電信客戶(hù)流失的主成分分析

7、 數(shù)據(jù)探索性分析

? 常用統(tǒng)計(jì)指標(biāo)分析

? 單變量：數(shù)值變量/分類(lèi)變量

? 雙變量：交叉分析/相關(guān)性分析

? 多變量：特征選擇、因子分析

演練：描述性分析（頻數(shù)、描述、探索、分類(lèi)匯總）

8、 數(shù)據(jù)可視化

? 數(shù)據(jù)可視化：柱狀圖、條形圖、餅圖、折線圖、箱圖、散點(diǎn)圖等

? 圖形的表達(dá)及適用場(chǎng)景

演練：各種圖形繪制

第三部分： 用戶(hù)專(zhuān)題分析

1、 用戶(hù)專(zhuān)題分析的主要任務(wù)

2、 客戶(hù)群細(xì)分與聚類(lèi)分析

問(wèn)題：我們的客戶(hù)有幾類(lèi)？各類(lèi)特征是什么？如何實(shí)現(xiàn)客戶(hù)細(xì)分，開(kāi)發(fā)符合細(xì)分市場(chǎng)的新產(chǎn)品？

? 聚類(lèi)方法原理介紹

? 聚類(lèi)方法作用及其適用場(chǎng)景

? 聚類(lèi)分析的種類(lèi)

? K均值聚類(lèi)

案例：移動(dòng)三大品牌細(xì)分市場(chǎng)合適嗎？

演練：寶潔公司如何選擇新產(chǎn)品試銷(xiāo)區(qū)域？

演練：如何評(píng)選優(yōu)秀員工？

演練：中國(guó)各省份發(fā)達(dá)程度分析，讓數(shù)據(jù)自動(dòng)聚類(lèi)

? 最優(yōu)K值選擇

2 Elbow手肘法

2 Silhouette Coefficient輪廓系數(shù)

2 Calinski-Harabasz Index準(zhǔn)則

? 雙聚類(lèi)bicluster及評(píng)估

? 譜聚類(lèi)聯(lián)合

2 聯(lián)合譜聚類(lèi)SpectralCoclustering

2 雙向譜聚類(lèi)SpectralBiclustering

? DBSCAN鄰近聚類(lèi)

3、 客戶(hù)喜好評(píng)估與主成分分析PCA

營(yíng)銷(xiāo)問(wèn)題：如何匯聚大眾的共同喜好？

? 主成分分析方法介紹

? 主成分分析基本思想

? 主成分分析步驟

案例：如何評(píng)估汽車(chē)購(gòu)買(mǎi)者的客戶(hù)細(xì)分市場(chǎng)

4、 客戶(hù)價(jià)值評(píng)估與RFM模型

營(yíng)銷(xiāo)問(wèn)題：如何評(píng)估客戶(hù)的價(jià)值？不同的價(jià)值客戶(hù)有何區(qū)別對(duì)待？

? RFM模型（客戶(hù)價(jià)值評(píng)估）

? RFM模型，更深入了解你的客戶(hù)價(jià)值

? RFM模型與市場(chǎng)策略

? RFM模型與活躍度分析

案例：淘寶客戶(hù)價(jià)值評(píng)估與促銷(xiāo)名單

案例：重購(gòu)用戶(hù)特征分析

第四部分： 產(chǎn)品專(zhuān)題分析

1、 產(chǎn)品專(zhuān)題分析主要任務(wù)

? 產(chǎn)品設(shè)計(jì)分析

? 市場(chǎng)占有分析

? 累計(jì)銷(xiāo)量分析

? 定價(jià)策略分析

2、 產(chǎn)品設(shè)計(jì)優(yōu)化（聯(lián)合分析法）

問(wèn)題：如何設(shè)計(jì)最優(yōu)的功能特征？

? 評(píng)估功能特征的重要性

? 評(píng)估功能特征的價(jià)值

案例：產(chǎn)品開(kāi)發(fā)與設(shè)計(jì)分析

3、 產(chǎn)品評(píng)估模型（隨機(jī)效用理論）

? 屬性重要性評(píng)估

? 市場(chǎng)占有率評(píng)估

? 產(chǎn)品價(jià)格彈性評(píng)估

? 評(píng)估產(chǎn)品的品牌價(jià)值

? 動(dòng)態(tài)調(diào)價(jià)（納會(huì)均衡價(jià)格）

案例：品牌價(jià)值與價(jià)格敏感度分析

案例：納什均衡價(jià)格

第五部分： 產(chǎn)品定價(jià)策略

營(yíng)銷(xiāo)問(wèn)題：產(chǎn)品如何實(shí)現(xiàn)最優(yōu)定價(jià)？套餐價(jià)格如何確定？采用哪些定價(jià)策略可達(dá)到利潤(rùn)最大化？

1、 常見(jiàn)的定價(jià)方法

2、 產(chǎn)品定價(jià)的理論依據(jù)

? 需求曲線與利潤(rùn)最大化

? 如何求解最優(yōu)定價(jià)

案例：產(chǎn)品最優(yōu)定價(jià)求解

3、 如何評(píng)估需求曲線

? 價(jià)格彈性

? 曲線方程（線性、乘冪）

4、 如何做產(chǎn)品組合定價(jià)

5、 如何做產(chǎn)品捆綁/套餐定價(jià)

? 最大收益定價(jià)（演進(jìn)規(guī)劃求解）

? 避免價(jià)格反轉(zhuǎn)的套餐定價(jià)

案例：電信公司的寬帶、IPTV、移動(dòng)電話套餐定價(jià)

6、 非線性定價(jià)原理

? 要理解支付意愿曲線

? 支付意愿曲線與需求曲線的異同

案例：雙重收費(fèi)如何定價(jià)（如會(huì)費(fèi)+按次計(jì)費(fèi)）

7、 階梯定價(jià)策略

案例：電力公司如何做階梯定價(jià)

8、 數(shù)量折扣定價(jià)策略

案例：如何通過(guò)折扣來(lái)實(shí)現(xiàn)薄利多銷(xiāo)

9、 定價(jià)策略的評(píng)估與選擇

案例：零售公司如何選擇最優(yōu)定價(jià)策略

10、 航空公司的收益管理

? 收益管理介紹

? 如何確定機(jī)票預(yù)訂限制

? 如何確定機(jī)票超售數(shù)量

? 如何評(píng)估模型的收益

案例：FBN航空公司如何實(shí)現(xiàn)收益管理（預(yù)訂/超售）

第六部分： 產(chǎn)品推薦與協(xié)同過(guò)濾

問(wèn)題：購(gòu)買(mǎi)A產(chǎn)品的顧客還常常要購(gòu)買(mǎi)其他什么產(chǎn)品？應(yīng)該給客戶(hù)推薦什么產(chǎn)品最有可能被接受？

1、 從搜索引擎到推薦引擎

2、 常用產(chǎn)品推薦模型及算法

3、 基于流行度的推薦

? 基于排行榜的推薦，適用于剛注冊(cè)的用戶(hù)

? 優(yōu)化思路：分群推薦

4、 基于內(nèi)容的推薦CBR

? 關(guān)鍵問(wèn)題：如何計(jì)算物品的相似度

? 優(yōu)缺點(diǎn)

? 優(yōu)化：Rocchio算法、基于標(biāo)簽的推薦、基于興趣度的推薦

5、 基于用戶(hù)的推薦

? 關(guān)鍵問(wèn)題：如何對(duì)用戶(hù)分類(lèi)/計(jì)算用戶(hù)的相似度

? 算法：按屬性分類(lèi)、按偏好分類(lèi)、按地理位置

6、 協(xié)同過(guò)濾的推薦

? 基于用戶(hù)的協(xié)同過(guò)濾

? 基于物品的協(xié)同過(guò)濾

? 冷啟動(dòng)的問(wèn)題

案例：計(jì)算用戶(hù)相似度、計(jì)算物品相似度

7、 基于分類(lèi)模型的推薦

8、 其它推薦算法

? LFM基于隱語(yǔ)義模型

? 按社交關(guān)系

? 基于時(shí)間上下文

9、 多推薦引擎的協(xié)同工作

第七部分： 信用評(píng)分卡模型

信用評(píng)分卡模型簡(jiǎn)介

評(píng)分卡的關(guān)鍵問(wèn)題

信用評(píng)分卡建立過(guò)程

? 篩選重要屬性

? 數(shù)據(jù)集轉(zhuǎn)化

? 建立分類(lèi)模型

? 計(jì)算屬性分值

? 確定審批閾值

篩選重要屬性

? 屬性分段

? 基本概念：WOE、IV

? 屬性重要性評(píng)估

數(shù)據(jù)集轉(zhuǎn)化

? 連續(xù)屬性最優(yōu)分段

? 計(jì)算屬性取值的WOE

建立分類(lèi)模型

? 訓(xùn)練邏輯回歸模型

? 評(píng)估模型

? 得到字段系數(shù)

計(jì)算屬性分值

? 計(jì)算補(bǔ)償與刻度值

? 計(jì)算各字段得分

? 生成評(píng)分卡

確定審批閾值

? 畫(huà)K-S曲線

? 計(jì)算K-S值

? 獲取最優(yōu)閾值

第八部分： 交叉銷(xiāo)售與關(guān)聯(lián)規(guī)則

1、 關(guān)聯(lián)規(guī)則概述

2、 常用關(guān)聯(lián)規(guī)則算法

? Apriori算法

2 發(fā)現(xiàn)頻繁集

2 生成關(guān)聯(lián)規(guī)則

? FP-Growth算法

2 構(gòu)建FP樹(shù)

2 提取規(guī)則

案例：使用apriori實(shí)現(xiàn)關(guān)聯(lián)分析

10、 基于關(guān)聯(lián)分析的推薦

? 如何制定套餐，實(shí)現(xiàn)交叉/捆綁銷(xiāo)售

案例：啤酒與尿布、颶風(fēng)與蛋撻

? 關(guān)聯(lián)分析模型原理（Association）

? 關(guān)聯(lián)規(guī)則的兩個(gè)關(guān)鍵參數(shù)

2 支持度

2 置信度

? 關(guān)聯(lián)分析的適用場(chǎng)景

案例：購(gòu)物籃分析與產(chǎn)品捆綁銷(xiāo)售/布局優(yōu)化

案例：通信產(chǎn)品的交叉銷(xiāo)售與產(chǎn)品推薦

結(jié)束：課程總結(jié)與問(wèn)題答疑。