Python數(shù)據(jù)建模

【課程目標(biāo)】

本課程為中級課程《大數(shù)據(jù)建?！返牡诙簳r序篇

本課程主要講解如何利用Python進(jìn)行時間序列的數(shù)據(jù)建模，幫助學(xué)員構(gòu)建系統(tǒng)全面的預(yù)測建模思維，提升學(xué)員的數(shù)據(jù)建模綜合能力。

本系列課程從實際的業(yè)務(wù)需求出發(fā)，結(jié)合行業(yè)的典型應(yīng)用特點，圍繞實際的商業(yè)問題，對數(shù)據(jù)預(yù)測建模的過程進(jìn)行了全面的介紹（從模型選擇，到屬性選擇，再到訓(xùn)練模型，評估模型以及優(yōu)化模型），通過大量的操作演練，幫助學(xué)員掌握數(shù)據(jù)建模的思路、方法、技巧，以提升學(xué)員的數(shù)據(jù)建模的能力，支撐運營決策的目的。

通過本課程的學(xué)習(xí)，達(dá)到如下目的：

1、 掌握數(shù)據(jù)建模的標(biāo)準(zhǔn)流程。

2、 掌握時序預(yù)測建模的基本思想，理解因素分解的思路。

3、 掌握常用的趨勢擬合模型。

4、 掌握常用的季節(jié)預(yù)測模型，能夠進(jìn)行季節(jié)周期性的時序建模。

5、 深刻理念平穩(wěn)序列的概念，以及平穩(wěn)性檢驗。

6、 掌握平穩(wěn)序列的模型識別，以及模型定階。

7、 掌握時序預(yù)測模型的評估，以及優(yōu)化。

8、 掌握高級時序模型的訓(xùn)練與建模。

【授課時間】

2天時間

（要根據(jù)學(xué)員的實際情況調(diào)整重點內(nèi)容及時間）

【授課對象】

業(yè)務(wù)支撐部、運營分析部、數(shù)據(jù)分析部、IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部等相關(guān)技術(shù)人員。

【學(xué)員要求】

1、 每個學(xué)員自備一臺便攜機(jī)(必須)。

2、 便攜機(jī)中事先安裝好Python 3.9版本及以上。

3、 安裝好Numpy,Pandas,statsmodels,sklearn,scipy,keras等擴(kuò)展庫。

注：講師現(xiàn)場提供分析的代碼和數(shù)據(jù)源。

【授課方式】

建模流程+ 案例演練 + 開發(fā)實踐 + 可視化呈現(xiàn)

采用互動式教學(xué)，圍繞業(yè)務(wù)問題，展開數(shù)據(jù)分析過程，全過程演練操作，讓學(xué)員在分析、分享、講授、總結(jié)、自我實踐過程中獲得能力提升。

【課程大綱】

第一部分： 預(yù)測建模基礎(chǔ)

1、 數(shù)據(jù)建模六步法

? 選擇模型：基于業(yè)務(wù)選擇恰當(dāng)?shù)臄?shù)據(jù)模型

? 屬性篩選：選擇對目標(biāo)變量有顯著影響的屬性來建模

? 訓(xùn)練模型：采用合適的算法，尋找到最合適的模型參數(shù)

? 評估模型：進(jìn)行評估模型的質(zhì)量，判斷模型是否可用

? 優(yōu)化模型：如果評估結(jié)果不理想，則需要對模型進(jìn)行優(yōu)化

? 應(yīng)用模型：如果評估結(jié)果滿足要求，則可應(yīng)用模型于業(yè)務(wù)場景

2、 數(shù)據(jù)挖掘常用的模型

? 數(shù)值預(yù)測模型：回歸預(yù)測、時序預(yù)測等

? 分類預(yù)測模型：邏輯回歸、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等

? 市場細(xì)分：聚類、RFM、PCA等

? 產(chǎn)品推薦：關(guān)聯(lián)分析、協(xié)同過濾等

? 產(chǎn)品優(yōu)化：回歸、隨機(jī)效用等

? 產(chǎn)品定價：定價策略/最優(yōu)定價等

3、 屬性篩選/特征選擇/變量降維

? 基于變量本身特征

? 基于相關(guān)性判斷

? 因子合并（PCA等）

? IV值篩選（評分卡使用）

? 基于信息增益判斷（決策樹使用）

4、 訓(xùn)練模型及實現(xiàn)算法

? 模型原理

? 算法實現(xiàn)

5、 評估模型

? 評估指標(biāo)

? 評估方法

? 殘差評估

6、 模型優(yōu)化

? 優(yōu)化模型：選擇新模型/修改模型

? 優(yōu)化數(shù)據(jù)：新增顯著自變量

? 優(yōu)化公式：采用新的計算公式

7、 模型應(yīng)用

? 模型解讀

? 模型保存/加載

? 模型應(yīng)用/預(yù)測

8、 好模型是優(yōu)化出來的

第二部分： 時序模型評估

1、 評估指標(biāo)

? 判定系數(shù)：和

? 平均誤差：MAE

? 根均方差：RMSE

? 平均誤差率：MAPE

2、 信息準(zhǔn)則指標(biāo)

? 赤池信息準(zhǔn)則（Akaike Information Criterion，AIC）

? 貝葉斯信息準(zhǔn)則（Bayesian Information Criterion，BIC）

? HQIC（Hannan-Quinn Information Criterion，HQIC）

3、 評估方法

? 滾動交叉驗證法（cross validation）

4、 其它評估

? 殘差評估：白噪聲評估

第三部分： 趨勢預(yù)測模型

問題：無法找到影響因素，無法回歸建模，怎么辦？隨著業(yè)務(wù)受季節(jié)性因素影響，未來的銷量如何預(yù)測？

1、 時間序列簡介

2、 時序預(yù)測的原理及應(yīng)用場景

3、 常見時序預(yù)測模型

? 趨勢類預(yù)測模型

? 季節(jié)類預(yù)測模型

? 平穩(wěn)時序預(yù)測模型

? 其它高級模型

4、 移動平均

? 應(yīng)用場景及原理

? 理解滑動窗口

? 移動平均種類

2 一次移動平均

2 二次移動平均

2 加權(quán)移動平均

2 移動平均比率法

? 移動平均關(guān)鍵問題

2 最佳期數(shù)N的選擇原則

2 最優(yōu)權(quán)重系數(shù)的選取原則

演練：銷售額預(yù)測模型及評估

演練：快銷產(chǎn)品季節(jié)銷量預(yù)測及評估

5、 指數(shù)平滑

? 應(yīng)用場景及原理

? 最優(yōu)平滑系數(shù)的選取原則

? 指數(shù)平滑種類

2 一次指數(shù)平滑

2 二次指數(shù)平滑（Brown線性）

2 三次指數(shù)平滑

演練：煤炭產(chǎn)量預(yù)測

6、 Holt趨勢模型（亦稱二次指數(shù)平滑）

? Holt線性模型

? Holt指數(shù)模型

? 阻尼線性趨勢

? 阻尼指數(shù)趨勢

第四部分： 季節(jié)預(yù)測模型

1、 因素分解思想

2、 時間序列的四個構(gòu)成要素

? 長期趨勢Trend

? 季節(jié)變動Seasonality

? 循環(huán)變動Circle

? 不規(guī)則變動Irregular

案例：時間序列的季節(jié)分解

3、 Holt-Winters季節(jié)模型

? 三個組成部分

? 三個平滑因子

4、 HW加法模型

? 適用場景

? 計算公式

? 超參優(yōu)化

? 模型解讀

5、 HW乘法模型

6、 HW指數(shù)模型

案例：航空飛行里程預(yù)測模型

案例：汽車銷量預(yù)測模型

案例：沃爾瑪收益預(yù)測模型

7、 基于回歸的季節(jié)模型

? 相加模型

? 相乘模型

? 模型訓(xùn)練及優(yōu)化

? 模型解讀

第五部分： 平穩(wěn)序列模型

1、 平穩(wěn)序列預(yù)測模型簡介

2、 序列平穩(wěn)性概念

? 恒定的均值

? 恒定的標(biāo)準(zhǔn)差

? 與位置無關(guān)的協(xié)方差

3、 序列平穩(wěn)性檢驗

? 折線圖法

? ACF/PACF圖

? ADF檢測法

4、 特殊平穩(wěn)序列：白噪聲

案例：序列平穩(wěn)性檢驗

案例：白噪聲檢驗

5、 平穩(wěn)序列常用擬合模型

? AR(p)自回歸模型

? MA(q)移動平均模型

? ARMA(p,q)自回歸移動平均模型

6、 模型識別

? ACF圖

? PACF圖

7、 模型定階

? 圖形定階（ACF/PACF）

? 最小信息準(zhǔn)則定階

8、 非平穩(wěn)序列處理

? 平滑法

? 變量變換

? 差分運算：k步差分與d階差分

9、 ARIMA(p,d,q)建模流程

案例：上海證券交易所收盤價建模

10、 SARIMA(p,d,q)(P,D,Q,S)模型

? 圖形確定階數(shù)

? 遍歷確定階數(shù)

11、 時序模型總結(jié)

第六部分： 模型質(zhì)量評估篇

1、 回歸模型的評估指標(biāo)

? 三個基本概念:SSR/SST/SSE

? 兩個判定系數(shù):R^2,調(diào)整R^2

? 三個誤差指標(biāo):MAE/MAPE/RMSE

2 平均絕對誤差MAE

2 均方差MSE/RMSE

2 平均誤差率MAPE

2、 模型的評估方法

? 原始評估法

? 留出法（Hold-Out）

? 交叉驗證法（k-fold cross validation）

? 自助采樣法（Bootstrapping）

3、 時間序列的滾動交叉驗證

第七部分： 高級時序模型

1、 Prophet模型介紹

? 趨勢擬合

? 季節(jié)性預(yù)測

? 節(jié)假日和特殊事件的影響

? 離群值分析

案例：銷售額時序預(yù)測模型

2、 LSTM模型簡介

? 數(shù)據(jù)集構(gòu)造

? 形狀構(gòu)造

? 滾動預(yù)測

第八部分： 廣告點擊量時序建模

結(jié)束：課程總結(jié)與問題答疑。