大數(shù)據(jù)分析與挖掘綜合能力提升實(shí)戰(zhàn)

【課程目標(biāo)】

本課程為高階課程，面向所有業(yè)務(wù)支撐部門及數(shù)據(jù)分析部門。

本課程的主要目的是，幫助學(xué)員掌握一些業(yè)務(wù)專題挖掘模型，幫助學(xué)員建立對(duì)復(fù)雜業(yè)務(wù)問題的數(shù)據(jù)挖掘綜合能力。

本課程具體內(nèi)容包括：

1、 數(shù)據(jù)挖掘流程，數(shù)據(jù)預(yù)處理

2、 用戶專題分析：用戶群劃分/客戶價(jià)值評(píng)估/客戶偏好分析/用戶行為預(yù)測(cè)

3、 產(chǎn)品專題分析：產(chǎn)品設(shè)計(jì)優(yōu)化、產(chǎn)品功能評(píng)估、產(chǎn)品最優(yōu)定價(jià)策略

4、 精準(zhǔn)推薦算法：協(xié)同過濾、關(guān)聯(lián)分析、基于內(nèi)容/用戶的推薦(CBR/UBR)

5、 金融風(fēng)險(xiǎn)評(píng)估：信用評(píng)分卡模型、風(fēng)險(xiǎn)預(yù)測(cè)模型

本系列課程從實(shí)際的業(yè)務(wù)需求出發(fā)，結(jié)合行業(yè)的典型應(yīng)用特點(diǎn)，圍繞實(shí)際的商業(yè)問題，對(duì)數(shù)據(jù)預(yù)測(cè)建模的過程進(jìn)行了全面的介紹（從模型選擇，到特征選擇，再到訓(xùn)練模型，評(píng)估模型，以及優(yōu)化模型和模型解讀），通過大量的操作演練，幫助學(xué)員掌握數(shù)據(jù)建模的思路、方法、技巧，以提升學(xué)員的數(shù)據(jù)建模的能力，支撐運(yùn)營(yíng)決策的目的。

通過本課程的學(xué)習(xí)，達(dá)到如下目的：

1、 熟悉數(shù)據(jù)挖掘的標(biāo)準(zhǔn)過程，熟悉每個(gè)步驟的具體操作。

2、 掌握數(shù)據(jù)預(yù)處理的任務(wù)，熟練使用SPSS工具完成預(yù)處理。

3、 熟練掌握常用的業(yè)務(wù)專題分析模型：

a) 學(xué)會(huì)做市場(chǎng)客戶細(xì)分，劃分客戶群

b) 學(xué)會(huì)實(shí)現(xiàn)客戶價(jià)值評(píng)估

c) 學(xué)會(huì)產(chǎn)品功能設(shè)計(jì)與新產(chǎn)品銷量預(yù)測(cè)

d) 熟悉產(chǎn)品定價(jià)策略，尋找產(chǎn)品最優(yōu)定價(jià)

e) 熟悉精準(zhǔn)推薦策略，學(xué)會(huì)精準(zhǔn)推薦產(chǎn)品

f) 掌握信用評(píng)分卡的模型構(gòu)建

【授課時(shí)間】

2-3天時(shí)間（每天6個(gè)小時(shí)）

【授課對(duì)象】

業(yè)務(wù)支撐部、運(yùn)營(yíng)分析部、數(shù)據(jù)分析部、大數(shù)據(jù)系統(tǒng)開發(fā)部等對(duì)業(yè)務(wù)數(shù)據(jù)分析有較高要求的相關(guān)人員。

【學(xué)員要求】

1、 每個(gè)學(xué)員自備一臺(tái)便攜機(jī)(必須)。

2、 便攜機(jī)中事先安裝好Microsoft Office Excel 2013版本及以上。

3、 便攜機(jī)中事先安裝好IBM SPSS Statistics v24版本及以上。

注：講師可以提供試用版本軟件及分析數(shù)據(jù)源。

【授課方式】

數(shù)據(jù)分析基礎(chǔ) + 方法講解 + 實(shí)際業(yè)務(wù)問題分析 + 工具實(shí)踐操作

采用互動(dòng)式教學(xué)，圍繞業(yè)務(wù)問題，展開數(shù)據(jù)分析過程，全過程演練操作，讓學(xué)員在分析、分享、講授、總結(jié)、自我實(shí)踐過程中獲得能力提升。

【課程大綱】

第一部分： 數(shù)據(jù)挖掘流程—挖掘步驟篇

1、 數(shù)據(jù)挖掘概述

2、 數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程（CRISP-DM）

? 商業(yè)理解

? 數(shù)據(jù)準(zhǔn)備

? 數(shù)據(jù)理解

? 模型建立

? 模型評(píng)估

? 模型應(yīng)用

案例：客戶流失預(yù)測(cè)及客戶挽留

3、 數(shù)據(jù)集概述

4、 SPSS工具介紹

5、 數(shù)據(jù)挖掘常用模型

第二部分： 數(shù)據(jù)挖掘流程—數(shù)據(jù)預(yù)處理

如何整理數(shù)據(jù)，了解數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行預(yù)處理？

1、 數(shù)據(jù)預(yù)處理的四大任務(wù)

? 數(shù)據(jù)集成：多個(gè)數(shù)據(jù)集合并

? 數(shù)據(jù)清洗：異常值的處理

? 樣本處理：樣本篩選、樣本抽樣、樣本平衡

? 變量處理：變量變換、變量派生、變量精簡(jiǎn)

2、 數(shù)據(jù)集成（數(shù)據(jù)集合并）

? 樣本追加（添加數(shù)據(jù)行）：橫向合并

? 變量合并（添加變量列）：縱向合并

3、 數(shù)據(jù)清洗（異常數(shù)據(jù)處理）

? 取值范圍限定

? 重復(fù)值處理

? 無效值/錯(cuò)誤值處理

? 缺失值處理

? 離群值/極端值處理

? 數(shù)據(jù)質(zhì)量評(píng)估

4、 樣本處理：行處理

? 樣本篩選：指定條件篩選指定樣本集（減少樣本數(shù)量）

? 樣本抽樣：隨機(jī)抽取部分樣本集（減少樣本數(shù)量）

? 樣本平衡：正反樣本比例均衡

5、 變量處理：列處理

? 變量變換：原變量取值更新，比如標(biāo)準(zhǔn)化

? 變量派生：根據(jù)舊變量生成新的變量

? 變量精簡(jiǎn)：變量刪除/降維，減少變量個(gè)數(shù)

? 類型轉(zhuǎn)換：數(shù)據(jù)類型的相互轉(zhuǎn)換

6、 變量精簡(jiǎn)/變量降維常用方法

? 常用降維方法

? 如何確定降維后變量個(gè)數(shù)

? 特征選擇：選擇重要變量，剔除不重要變量

2 基于變量本身特征來選擇屬性

2 基于數(shù)據(jù)間的相關(guān)性來選擇屬性

2 利用IV值篩選

2 基于信息增益來選擇屬性

? 因子合并：將多個(gè)變量進(jìn)行合并

2 PCA主成分分析

2 判別分析

7、 類型轉(zhuǎn)換

8、 因子合并/主成分分析

? 因子分析的原因

? 因子個(gè)數(shù)選擇原則

? 如何解讀因子含義

案例：提取影響電信客戶流失的主成分分析

9、 數(shù)據(jù)探索性分析

演練：描述性分析（頻數(shù)、描述、探索、分類匯總）

10、 數(shù)據(jù)可視化

演練：各種圖形繪制

第三部分： 市場(chǎng)細(xì)分模型—聚類模型篇

問題：我們的客戶有幾類？各類特征是什么？如何實(shí)現(xiàn)客戶細(xì)分，開發(fā)符合細(xì)分市場(chǎng)的新產(chǎn)品？如何提取客戶特征，從而對(duì)產(chǎn)品進(jìn)行市場(chǎng)定位？

1、 市場(chǎng)細(xì)分的常用方法

? 有指導(dǎo)細(xì)分

? 無指導(dǎo)細(xì)分

2、 聚類分析

? 如何更好的了解客戶群體和市場(chǎng)細(xì)分？

? 如何識(shí)別客戶群體特征？

? 如何確定客戶要分成多少適當(dāng)?shù)念悇e？

? 聚類方法原理介紹

? 聚類方法作用及其適用場(chǎng)景

? 聚類分析的種類

2 K均值聚類

2 層次聚類

2 兩步聚類

? K均值聚類（快速聚類）

案例：移動(dòng)三大品牌細(xì)分市場(chǎng)合適嗎？

演練：寶潔公司如何選擇新產(chǎn)品試銷區(qū)域？

演練：如何自動(dòng)評(píng)選優(yōu)秀員工？

演練：中國(guó)各省份發(fā)達(dá)程度分析，讓數(shù)據(jù)自動(dòng)聚類

? 層次聚類（系統(tǒng)聚類）：發(fā)現(xiàn)多個(gè)類別

? R型聚類與Q型聚類的區(qū)別

案例：中移動(dòng)如何實(shí)現(xiàn)客戶細(xì)分及營(yíng)銷策略

演練：中國(guó)省市經(jīng)濟(jì)發(fā)展情況分析（Q型聚類）

演練：裁判評(píng)分的標(biāo)準(zhǔn)衡量，避免“黑哨”（R型聚類）

? 兩步聚類

3、 客戶細(xì)分與PCA分析法

? PCA主成分分析的原理

? PCA分析法的適用場(chǎng)景

演練：利用PCA對(duì)汽車客戶群進(jìn)行細(xì)分

演練：如何針對(duì)汽車客戶群設(shè)計(jì)汽車

第四部分： 客戶價(jià)值評(píng)估—RFM模型篇

營(yíng)銷問題：如何評(píng)估客戶的價(jià)值？不同的價(jià)值客戶有何區(qū)別對(duì)待？

1、 如何評(píng)價(jià)客戶生命周期的價(jià)值

? 貼現(xiàn)率與留存率

? 評(píng)估客戶的真實(shí)價(jià)值

? 使用雙向表衡量屬性敏感度

? 變化的邊際利潤(rùn)

案例：評(píng)估營(yíng)銷行為的合理性

2、 RFM模型（客戶價(jià)值評(píng)估）

? RFM模型，更深入了解你的客戶價(jià)值

? RFM模型與市場(chǎng)策略

? RFM模型與活躍度分析

演練：“雙11”淘寶商家如何選擇價(jià)值客戶進(jìn)行促銷

演練：結(jié)合響應(yīng)模型，宜家IKE實(shí)現(xiàn)最大化營(yíng)銷利潤(rùn)

案例：重購(gòu)用戶特征分析

第五部分： 產(chǎn)品設(shè)計(jì)優(yōu)化—隨機(jī)效用理論

1、 產(chǎn)品專題分析主要任務(wù)

? 產(chǎn)品設(shè)計(jì)分析

? 市場(chǎng)占有分析

? 累計(jì)銷量分析

? 定價(jià)策略分析

2、 產(chǎn)品設(shè)計(jì)優(yōu)化（聯(lián)合分析法）

問題：如何設(shè)計(jì)最優(yōu)的功能特征？

? 評(píng)估功能特征的重要性

? 評(píng)估功能特征的價(jià)值

案例：產(chǎn)品開發(fā)與設(shè)計(jì)分析

3、 產(chǎn)品評(píng)估模型（隨機(jī)效用理論）

? 屬性重要性評(píng)估

? 市場(chǎng)占有率評(píng)估

? 產(chǎn)品價(jià)格彈性評(píng)估

? 評(píng)估產(chǎn)品的品牌價(jià)值

? 動(dòng)態(tài)調(diào)價(jià)（納會(huì)均衡價(jià)格）

案例：品牌價(jià)值與價(jià)格敏感度分析

案例：納什均衡價(jià)格

第六部分： 產(chǎn)品定價(jià)策略—最優(yōu)定價(jià)篇

營(yíng)銷問題：產(chǎn)品如何實(shí)現(xiàn)最優(yōu)定價(jià)？套餐價(jià)格如何確定？采用哪種定價(jià)策略可達(dá)到利潤(rùn)最大化？

1、 常見的定價(jià)方法

2、 產(chǎn)品定價(jià)的理論依據(jù)

? 需求曲線與利潤(rùn)最大化

? 如何求解最優(yōu)定價(jià)

案例：產(chǎn)品最優(yōu)定價(jià)求解

3、 如何評(píng)估需求曲線

? 價(jià)格彈性

? 曲線方程（線性、乘冪）

4、 如何做產(chǎn)品組合定價(jià)

5、 如何做產(chǎn)品捆綁/套餐定價(jià)

? 最大收益定價(jià)（演進(jìn)規(guī)劃求解）

? 避免價(jià)格反轉(zhuǎn)的套餐定價(jià)

案例：電信公司的寬帶、IPTV、移動(dòng)電話套餐定價(jià)

6、 非線性定價(jià)原理

? 要理解支付意愿曲線

? 支付意愿曲線與需求曲線的異同

案例：雙重收費(fèi)如何定價(jià)（如會(huì)費(fèi)+按次計(jì)費(fèi)）

7、 階梯定價(jià)策略

案例：電力公司如何做階梯定價(jià)

8、 數(shù)量折扣定價(jià)策略

案例：如何通過折扣來實(shí)現(xiàn)薄利多銷

9、 定價(jià)策略的評(píng)估與選擇

案例：零售公司如何選擇最優(yōu)定價(jià)策略

10、 航空公司的收益管理

? 收益管理介紹

? 如何確定機(jī)票預(yù)訂限制

? 如何確定機(jī)票超售數(shù)量

? 如何評(píng)估模型的收益

案例：FBN航空公司如何實(shí)現(xiàn)收益管理（預(yù)訂/超售）

第七部分： 產(chǎn)品推薦算法—推薦模型篇

問題：購(gòu)買A產(chǎn)品的顧客還常常要購(gòu)買其他什么產(chǎn)品？應(yīng)該給客戶推薦什么產(chǎn)品最有可能被接受？

1、 從搜索引擎到推薦引擎

2、 常用產(chǎn)品推薦模型及算法

3、 基于流行度的推薦

? 基于排行榜的推薦，適用于剛注冊(cè)的用戶

? 優(yōu)化思路：分群推薦

4、 基于內(nèi)容的推薦CBR

? 關(guān)鍵問題：如何計(jì)算物品的相似度

? 優(yōu)缺點(diǎn)

? 優(yōu)化：Rocchio算法、基于標(biāo)簽的推薦、基于興趣度的推薦

5、 基于用戶的推薦

? 關(guān)鍵問題：如何對(duì)用戶分類/計(jì)算用戶的相似度

? 算法：按屬性分類、RFM模型、PCA、聚類、按偏好分類、按地理位置

6、 協(xié)同過濾的推薦

? 基于用戶的協(xié)同過濾

? 基于物品的協(xié)同過濾

? 冷啟動(dòng)的問題

案例：計(jì)算用戶相似度、計(jì)算物品相似度

7、 基于關(guān)聯(lián)分析的推薦

? 如何制定套餐，實(shí)現(xiàn)交叉/捆綁銷售

案例：啤酒與尿布、颶風(fēng)與蛋撻

? 關(guān)聯(lián)分析模型原理（Association）

? 關(guān)聯(lián)規(guī)則的兩個(gè)關(guān)鍵參數(shù)

2 支持度

2 置信度

? 關(guān)聯(lián)分析的適用場(chǎng)景

案例：購(gòu)物籃分析與產(chǎn)品捆綁銷售/布局優(yōu)化

案例：通信產(chǎn)品的交叉銷售與產(chǎn)品推薦

8、 基于分類模型的推薦

9、 其它推薦算法

? LFM基于隱語(yǔ)義模型

? 按社交關(guān)系

? 基于時(shí)間上下文

10、 多推薦引擎的協(xié)同工作

第八部分： 銀行信用評(píng)估—信用評(píng)分卡模型

信用評(píng)分卡模型簡(jiǎn)介

評(píng)分卡的關(guān)鍵問題

信用評(píng)分卡建立過程

? 篩選重要屬性

? 數(shù)據(jù)集轉(zhuǎn)化

? 建立分類模型

? 計(jì)算屬性分值

? 確定審批閾值

篩選重要屬性

? 屬性分段

? 基本概念：WOE、IV

? 屬性重要性評(píng)估

數(shù)據(jù)集轉(zhuǎn)化

? 連續(xù)屬性最優(yōu)分段

? 計(jì)算屬性取值的WOE

建立分類模型

? 訓(xùn)練邏輯回歸模型

? 評(píng)估模型

? 得到字段系數(shù)

計(jì)算屬性分值

? 計(jì)算補(bǔ)償與刻度值

? 計(jì)算各字段得分

? 生成評(píng)分卡

確定審批閾值

? 畫K-S曲線

? 計(jì)算K-S值

? 獲取最優(yōu)閾值

案例：構(gòu)建銀行小額貸款的用戶信用模型

結(jié)束：課程總結(jié)與問題答疑。