金融行業(yè)風險預(yù)測模型實戰(zhàn)

【課程目標】

本課程專注于金融行業(yè)的風控模型，面向數(shù)據(jù)分析部等專門負責數(shù)據(jù)分析與建模的人士。

本課程的主要目的是，培養(yǎng)學(xué)員的大數(shù)據(jù)意識和大數(shù)據(jù)思維，掌握常用的數(shù)據(jù)分析方法和數(shù)據(jù)分析模型，并能夠用于對客戶行為作分析和預(yù)測，提升學(xué)員的數(shù)據(jù)分析綜合能力。

通過本課程的學(xué)習，達到如下目的：

1、 掌握數(shù)據(jù)分析和數(shù)據(jù)建模的基本過程和步驟

2、 掌握客戶行為分析中常用的分析方法

3、 掌握業(yè)務(wù)的影響因素分析常用的方法

4、 掌握常用客戶行為預(yù)測模型，包括邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、判別分析等等，以及分類模型的優(yōu)化

5、 掌握金融行業(yè)信用評分卡模型，構(gòu)建信用評分模型

本課程突出數(shù)據(jù)挖掘的實際應(yīng)用，結(jié)合行業(yè)的典型應(yīng)用特點，從實際問題入手，引出相關(guān)知識，進行大數(shù)據(jù)的收集與處理；探索數(shù)據(jù)之間的規(guī)律及關(guān)聯(lián)性，幫助學(xué)員掌握系統(tǒng)的數(shù)據(jù)預(yù)處理方法；介紹常用的模型，訓(xùn)練模型，并優(yōu)化模型，以達到最優(yōu)分析結(jié)果。

【授課時間】

2-3天時間（每天6個小時）

【授課對象】

風險控制部、業(yè)務(wù)支撐、網(wǎng)絡(luò)中心、IT系統(tǒng)部、數(shù)據(jù)分析部等對數(shù)據(jù)建模有較高要求的相關(guān)領(lǐng)域人員。

【學(xué)員要求】

1、 每個學(xué)員自備一臺便攜機(必須)。

2、 便攜機中事先安裝好Office Excel 2013版本及以上。

3、 便攜機中事先安裝好IBM SPSS Statistics v24版本以上軟件。

注：講師可以提供試用版本軟件及分析數(shù)據(jù)源。

【授課方式】

理論精講 + 案例演練 + 實際業(yè)務(wù)問題分析 + SPSS實際操作

【課程大綱】

第一部分： 數(shù)據(jù)核心理念—數(shù)據(jù)思維篇

問題：什么是數(shù)據(jù)思維？大數(shù)據(jù)決策的底層邏輯以及決策依據(jù)是什么？

1、 數(shù)字化五大技術(shù)戰(zhàn)略：ABCDI戰(zhàn)略

? A：人工智能，目的是用機器模擬人類行為

? B：區(qū)塊鏈，構(gòu)建不可篡改的分布記賬系統(tǒng)

? C：云計算，搭建按需分配的計算資源平臺

? D：大數(shù)據(jù)，實現(xiàn)智能化的判斷和決策機制

? I：物聯(lián)網(wǎng)，實現(xiàn)萬物互聯(lián)通信的基礎(chǔ)架構(gòu)

2、 大數(shù)據(jù)的本質(zhì)

? 數(shù)據(jù)，是事物發(fā)展和變化過程中留下的痕跡

? 大數(shù)據(jù)不在于量大，而在于全（多維性）

? 業(yè)務(wù)導(dǎo)向還是技術(shù)導(dǎo)向

3、 大數(shù)據(jù)決策的底層邏輯（即四大核心價值）

? 探索業(yè)務(wù)規(guī)律，按規(guī)律來管理決策

案例：客流規(guī)律與排班及最佳營銷時機

案例：致命交通事故發(fā)生的時間規(guī)律

? 發(fā)現(xiàn)運營變化，定短板來運營決策

案例：考核周期導(dǎo)致的員工月初懈怠

案例：工序信號異常監(jiān)測設(shè)備故障

? 理清要素關(guān)系，找影響因素來決策

案例：情緒對于股市漲跌的影響

案例：為何升職反而會增加離職風險？

? 預(yù)測未來趨勢，通過預(yù)判進行決策

案例：惠普預(yù)測員工離職風險及挽留

案例：保險公司的車險預(yù)測與個性化保費定價

4、 大數(shù)據(jù)決策的三個關(guān)鍵環(huán)節(jié)

? 業(yè)務(wù)數(shù)據(jù)化：將業(yè)務(wù)問題轉(zhuǎn)化為數(shù)據(jù)問題

? 數(shù)據(jù)信息化：提取數(shù)據(jù)中的業(yè)務(wù)規(guī)律信息

? 信息策略化：基于規(guī)律形成業(yè)務(wù)應(yīng)對策略

案例：用數(shù)據(jù)來識別喜歡賺“差價”的營業(yè)員

第二部分： 數(shù)據(jù)分析基礎(chǔ)—流程步驟篇

1、 數(shù)據(jù)分析的六步曲

2、 步驟1：明確目的，確定分析思路

? 確定分析目的：要解決什么樣的業(yè)務(wù)問題

? 確定分析思路：分解業(yè)務(wù)問題，構(gòu)建分析框架

3、 步驟2：收集數(shù)據(jù)，尋找分析素材

? 明確數(shù)據(jù)范圍

? 確定收集來源

? 確定收集方法

4、 步驟3：整理數(shù)據(jù)，確保數(shù)據(jù)質(zhì)量

? 數(shù)據(jù)質(zhì)量評估

? 數(shù)據(jù)清洗、數(shù)據(jù)處理和變量處理

? 探索性分析

5、 步驟4：分析數(shù)據(jù)，尋找業(yè)務(wù)答案

? 選擇合適的分析方法

? 構(gòu)建合適的分析模型

? 選擇合適的分析工具

6、 步驟5：呈現(xiàn)數(shù)，解讀業(yè)務(wù)規(guī)律

? 選擇恰當?shù)膱D表

? 選擇合適的可視化工具

? 提煉業(yè)務(wù)含義

7、 步驟6：撰寫報告，形成業(yè)務(wù)策略

? 選擇報告種類

? 完整的報告結(jié)構(gòu)

演練：產(chǎn)品精準營銷案例分析

? 如何搭建精準營銷分析框架

? 精準營銷分析的過程和步驟

第三部分： 用戶行為分析—統(tǒng)計方法篇

問題：數(shù)據(jù)分析方法的種類？分析方法的不同應(yīng)用場景？

1、 業(yè)務(wù)分析的三個階段

? 現(xiàn)狀分析：通過企業(yè)運營指標來發(fā)現(xiàn)規(guī)律及短板

? 原因分析：查找數(shù)據(jù)相關(guān)性，探尋目標影響因素

? 預(yù)測分析：合理配置資源，預(yù)判業(yè)務(wù)未來的趨勢

2、 常用的數(shù)據(jù)分析方法種類

? 描述性分析法（對比/分組/結(jié)構(gòu)/趨勢/交叉…）

? 相關(guān)性分析法（相關(guān)/方差/卡方…）

? 預(yù)測性分析法（回歸/時序/決策樹/神經(jīng)網(wǎng)絡(luò)…）

? 專題性分析法（聚類/關(guān)聯(lián)/RFM模型/…）

3、 統(tǒng)計分析基礎(chǔ)

? 統(tǒng)計分析兩大關(guān)鍵要素（類別、指標）

? 統(tǒng)計分析的操作模式（類別à指標）

? 統(tǒng)計分析三個操作步驟（統(tǒng)計、畫圖、解讀）

? 透視表的三個組成部分

4、 常用的描述性指標

? 集中程度：均值、中位數(shù)、眾數(shù)

? 離散程度：極差、方差/標準差、IQR

? 分布形態(tài)：偏度、峰度

5、 基本分析方法及其適用場景

? 對比分析（查看數(shù)據(jù)差距，發(fā)現(xiàn)事物變化）

演練：尋找用戶的地域分布特征

演練：分析產(chǎn)品受歡迎情況及貢獻大小

演練：用數(shù)據(jù)來探索增量不增收困境的解決方案

? 分布分析（查看數(shù)據(jù)分布，探索業(yè)務(wù)層次）

演練：銀行用戶的消費水平和消費層次分析

演練：客戶年齡分布/收入分布分析

案例：通信運營商的流量套餐劃分合理性的評估

演練：呼叫中心接聽電話效率分析（呼叫中心）

? 結(jié)構(gòu)分析（查看指標構(gòu)成，評估結(jié)構(gòu)合理性）

案例：增值業(yè)務(wù)收入結(jié)構(gòu)分析（通信）

案例：物流費用成本結(jié)構(gòu)分析（物流）

案例：中移動用戶群動態(tài)結(jié)構(gòu)分析

演練：財務(wù)領(lǐng)域的結(jié)構(gòu)瀑布圖、財務(wù)收支的變化瀑布圖

? 趨勢分析（發(fā)現(xiàn)事物隨時間的變化規(guī)律）

案例：破解零售店銷售規(guī)律

案例：手機銷量的淡旺季分析

案例：微信用戶的活躍時間規(guī)律

演練：發(fā)現(xiàn)客流量的時間規(guī)律

? 交叉分析（從多個維度的數(shù)據(jù)指標分析）

演練：用戶性別+地域分布分析

演練：不同客戶的產(chǎn)品偏好分析

演練：不同學(xué)歷用戶的套餐偏好分析

演練：銀行用戶的違約影響因素分析

第四部分： 用戶行為分析—分析框架篇

問題：如何才能全面/系統(tǒng)地分析而不遺漏？如何分解和細化業(yè)務(wù)問題？

1、 業(yè)務(wù)分析思路和分析框架來源于業(yè)務(wù)模型

2、 常用的業(yè)務(wù)模型

? 外部環(huán)境分析：PEST

? 業(yè)務(wù)專題分析：5W2H

? 競品/競爭分析：SWOT、波特五力

? 營銷市場專題分析：4P/4C等

3、 用戶行為分析（5W2H分析思路和框架）

? WHY：原因（用戶需求、產(chǎn)品亮點、競品優(yōu)劣勢）

? WHAT：產(chǎn)品（產(chǎn)品喜好、產(chǎn)品貢獻、產(chǎn)品功能、產(chǎn)品結(jié)構(gòu)）

? WHO：客戶（基本特征、消費能力、產(chǎn)品偏好）

? WHEN：時間（淡旺季、活躍時間、重購周期）

? WHERE：區(qū)域/渠道（區(qū)域喜好、渠道偏好）

? HOW：支付/促銷（支付方式、促銷方式有效性評估等）

? HOW MUCH：價格（費用、成本、利潤、收入結(jié)構(gòu)、價格偏好等）

案例討論：結(jié)合公司情況，搭建用戶消費習慣的分析框架（5W2H）

第五部分： 數(shù)據(jù)建?；A(chǔ)—流程步驟篇

1、 預(yù)測建模六步法

? 選擇模型：基于業(yè)務(wù)選擇恰當?shù)臄?shù)據(jù)模型

? 特征工程：選擇對目標變量有顯著影響的屬性來建模

? 訓(xùn)練模型：采用合適的算法對模型進行訓(xùn)練，尋找到最優(yōu)參數(shù)

? 評估模型：進行評估模型的質(zhì)量，判斷模型是否可用

? 優(yōu)化模型：如果評估結(jié)果不理想，則需要對模型進行優(yōu)化

? 應(yīng)用模型：如果評估結(jié)果滿足要求，則可應(yīng)用模型于業(yè)務(wù)場景

2、 數(shù)據(jù)挖掘常用的模型

? 定量預(yù)測模型：回歸預(yù)測、時序預(yù)測等

? 定性預(yù)測模型：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機等

? 市場細分：聚類、RFM、PCA等

? 產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過濾等

? 產(chǎn)品優(yōu)化：回歸、隨機效用等

? 產(chǎn)品定價：定價策略/最優(yōu)定價等

3、 特征工程/特征選擇/變量降維

? 基于變量本身特征

? 基于相關(guān)性判斷

? 因子合并（PCA等）

? IV值篩選（評分卡使用）

? 基于信息增益判斷（決策樹使用）

4、 模型評估

? 模型質(zhì)量評估指標：R^2、正確率/查全率/查準率/特異性等

? 預(yù)測值評估指標：MAD、MSE/RMSE、MAPE、概率等

? 模型評估方法：留出法、K拆交叉驗證、自助法等

? 其它評估：過擬合評估、殘差檢驗

5、 模型優(yōu)化

? 優(yōu)化模型：選擇新模型/修改模型

? 優(yōu)化數(shù)據(jù)：新增顯著自變量

? 優(yōu)化公式：采用新的計算公式

? 集成思想：Bagging/Boosting/Stacking

6、 常用預(yù)測模型介紹

? 時序預(yù)測模型

? 回歸預(yù)測模型

? 分類預(yù)測模型

第六部分： 影響因素分析—根因分析篇

問題：如何選擇合適的屬性/特征來建模呢？選擇的依據(jù)是什么？比如價格是否可用于產(chǎn)品銷量預(yù)測？

1、 數(shù)據(jù)預(yù)處理vs特征工程

2、 特征工程處理內(nèi)容

? 變量變換

? 變量派生

? 變量精簡（特征選擇、因子合并）

? 類型轉(zhuǎn)換

3、 特征選擇常用方法

? 相關(guān)分析、方差分析、卡方檢驗

4、 相關(guān)分析（衡量兩數(shù)據(jù)型變量的線性相關(guān)性）

? 相關(guān)分析簡介

? 相關(guān)分析的應(yīng)用場景

? 相關(guān)分析的種類

2 簡單相關(guān)分析

2 偏相關(guān)分析

2 距離相關(guān)分析

? 相關(guān)系數(shù)的三種計算公式

2 Pearson相關(guān)系數(shù)

2 Spearman相關(guān)系數(shù)

2 Kendall相關(guān)系數(shù)

? 相關(guān)分析的假設(shè)檢驗

? 相關(guān)分析的四個基本步驟

演練：營銷費用會影響銷售額嗎？影響程度如何量化？

演練：哪些因素與汽車銷量有相關(guān)性

演練：影響用戶消費水平的因素會有哪些

? 偏相關(guān)分析

2 偏相關(guān)原理：排除不可控因素后的兩變量的相關(guān)性

2 偏相關(guān)系數(shù)的計算公式

2 偏相關(guān)分析的適用場景

? 距離相關(guān)分析

5、 方差分析（衡量類別變量與數(shù)值變量間的相關(guān)性）

? 方差分析的應(yīng)用場景

? 方差分析的三個種類

2 單因素方差分析

2 多因素方差分析

2 協(xié)方差分析

? 單因素方差分析的原理

? 方差分析的四個步驟

? 解讀方差分析結(jié)果的兩個要點

演練：擺放位置與銷量有關(guān)嗎

演練：客戶學(xué)歷對消費水平的影響分析

演練：廣告和價格是影響終端銷量的關(guān)鍵因素嗎

演練：營業(yè)員的性別、技能級別對產(chǎn)品銷量有影響嗎

演練：尋找影響產(chǎn)品銷量的關(guān)鍵因素

? 多因素方差分析原理

? 多因素方差分析的作用

? 多因素方差結(jié)果的解讀

演練：廣告形式、地區(qū)對銷量的影響因素分析

? 協(xié)方差分析原理

? 協(xié)方差分析的適用場景

演練：排除產(chǎn)品價格，收入對銷量有影響嗎？

6、 列聯(lián)分析/卡方檢驗（兩類別變量的相關(guān)性分析）

? 交叉表與列聯(lián)表：計數(shù)值與期望值

? 卡方檢驗的原理

? 卡方檢驗的幾個計算公式

? 列聯(lián)表分析的適用場景

案例：套餐類型對客戶流失的影響分析

案例：學(xué)歷對業(yè)務(wù)套餐偏好的影響分析

案例：行業(yè)/規(guī)模對風控的影響分析

第七部分： 客戶行為預(yù)測—分類模型篇

問題：如何評估客戶購買產(chǎn)品的可能性？如何預(yù)測客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準推薦產(chǎn)品或業(yè)務(wù)？

1、 分類模型概述及其應(yīng)用場景

2、 常見分類預(yù)測模型

3、 邏輯回歸（LR）

? 邏輯回歸的適用場景

? 邏輯回歸的模型原理

? 邏輯回歸分類的幾何意義

? 邏輯回歸的種類

2 二項邏輯回歸

2 多項邏輯回歸

? 如何解讀邏輯回歸方程

? 帶分類自變量的邏輯回歸分析

? 多項邏輯回歸/多分類邏輯回歸

案例：如何評估用戶是否會購買某產(chǎn)品（二項邏輯回歸）

案例：多品牌選擇模型分析（多項邏輯回歸）

4、 分類決策樹（DT）

問題：如何預(yù)測客戶行為？如何識別潛在客戶？

風控：如何識別欠貸者的特征，以及預(yù)測欠貸概率？

客戶保有：如何識別流失客戶特征，以及預(yù)測客戶流失概率？

? 決策樹分類簡介

案例：美國零售商（Target）如何預(yù)測少女懷孕

演練：識別銀行欠貨風險，提取欠貸者的特征

? 決策樹分類的幾何意義

? 構(gòu)建決策樹的三個關(guān)鍵問題

2 如何選擇最佳屬性來構(gòu)建節(jié)點

2 如何分裂變量

2 修剪決策樹

? 選擇最優(yōu)屬性生長

2 熵、基尼索引、分類錯誤

2 屬性劃分增益

? 如何分裂變量

2 多元劃分與二元劃分

2 連續(xù)變量離散化（最優(yōu)分割點）

? 修剪決策樹

2 剪枝原則

2 預(yù)剪枝與后剪枝

? 構(gòu)建決策樹的四個算法

2 C5.0、CHAID、CART、QUEST

2 各種算法的比較

? 如何選擇最優(yōu)分類模型？

案例：商場用戶的典型特征提取

案例：客戶流失預(yù)警與客戶挽留

案例：識別拖欠銀行貨款者的特征，避免不良貨款

案例：識別電信詐騙者嘴臉，讓通信更安全

? 多分類決策樹

案例：不同套餐用戶的典型特征

? 決策樹模型的保存與應(yīng)用

5、 人工神經(jīng)網(wǎng)絡(luò)（ANN）

? 神經(jīng)網(wǎng)絡(luò)概述

? 神經(jīng)網(wǎng)絡(luò)基本原理

? 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

? 神經(jīng)網(wǎng)絡(luò)分類的幾何意義

? 神經(jīng)網(wǎng)絡(luò)的建立步驟

? 神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題

? BP反向傳播網(wǎng)絡(luò)（MLP）

? 徑向基網(wǎng)絡(luò)（RBF）

案例：評估銀行用戶拖欠貨款的概率

6、 判別分析（DA）

? 判別分析原理

? 判別分析種類

? Fisher線性判別分析

案例：MBA學(xué)生錄取判別分析

案例：上市公司類別評估

7、 最近鄰分類（KNN）

? KNN模型的基本原理

? KNN分類的幾何意義

? K近鄰的關(guān)鍵問題

8、 支持向量機（SVM）

? SVM基本原理

? 線性可分問題：最大邊界超平面

? 線性不可分問題：特征空間的轉(zhuǎn)換

? 維災(zāi)難與核函數(shù)

9、 貝葉斯分類（NBN）

? 貝葉斯分類原理

? 計算類別屬性的條件概率

? 估計連續(xù)屬性的條件概率

? 預(yù)測分類概率（計算概率）

? 拉普拉斯修正

案例：評估銀行用戶拖欠貨款的概率

第八部分： 客戶行為預(yù)測—模型評估篇

1、 模型的評估指標

? 兩大矩陣：混淆矩陣，代價矩陣

? 六大指標：Acc,P,R,Spec,F1,lift

? 三條曲線：

2 ROC曲線和AUC

2 PR曲線和BEP

2 KS曲線和KS值

2、 模型的評估方法

? 原始評估法

? 留出法（Hold-Out）

? 交叉驗證法（k-fold cross validation）

? 自助采樣法（Bootstrapping）

第九部分： 客戶行為預(yù)測—集成優(yōu)化篇

1、 模型的優(yōu)化思路

2、 集成算法基本原理

? 單獨構(gòu)建多個弱分類器

? 多個弱分類器組合投票，決定預(yù)測結(jié)果

3、 集成方法的種類

? Bagging

? Boosting

? Stacking

4、 Bagging集成

? 數(shù)據(jù)/屬性重抽樣

? 決策依據(jù)：少數(shù)服從多數(shù)

? 典型模型：隨機森林RF

5、 Boosting集成

? 基于誤分數(shù)據(jù)建模

? 樣本選擇權(quán)重更新公式

? 決策依據(jù)：加權(quán)投票

? 典型模型：AdaBoost模型

第十部分： 銀行客戶信用卡模型

1、 信用評分卡模型簡介

2、 評分卡的關(guān)鍵問題

3、 信用評分卡建立過程

? 篩選重要屬性

? 數(shù)據(jù)集轉(zhuǎn)化

? 建立分類模型

? 計算屬性分值

? 確定審批閾值

4、 篩選重要屬性

? 屬性分段

? 基本概念：WOE、IV

? 屬性重要性評估

5、 數(shù)據(jù)集轉(zhuǎn)化

? 連續(xù)屬性最優(yōu)分段

? 計算屬性取值的WOE

6、 建立分類模型

? 訓(xùn)練邏輯回歸模型

? 評估模型

? 得到字段系數(shù)

7、 計算屬性分值

? 計算補償與刻度值

? 計算各字段得分

? 生成評分卡

8、 確定審批閾值

? 畫K-S曲線

? 計算K-S值

? 獲取最優(yōu)閾值

案例：構(gòu)建銀行小額貸款的用戶信用模型

第十一部分： 數(shù)據(jù)建模實戰(zhàn)篇

1、 電信業(yè)客戶流失預(yù)警和客戶挽留模型實戰(zhàn)

2、 銀行欠貸風險預(yù)測模型實戰(zhàn)

3、 銀行信用卡評分模型實戰(zhàn)

結(jié)束：課程總結(jié)與問題答疑。