本課程從實(shí)際的業(yè)務(wù)需求出發(fā)，對數(shù)據(jù)分析及數(shù)據(jù)挖掘技術(shù)進(jìn)行了全面的介紹，將數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程、分析思路、分析方法、分析模型，全部落地在SPSS工具中，通過大量的工具操作和演練，幫助學(xué)員熟練掌握SPSS工具的使用，并能夠?qū)?/span>SPSS工具在實(shí)際的業(yè)務(wù)數(shù)據(jù)分析中滿地，實(shí)現(xiàn)“知行合一”。

通過本課程的學(xué)習(xí)，達(dá)到如下目的：

1、  了解大數(shù)據(jù)挖掘的標(biāo)準(zhǔn)過程和挖掘步驟

2、  掌握常用的統(tǒng)計(jì)分析方法，以及可視化

3、  掌握常用的影響因素分析方法，學(xué)會根因分析

4、  理解數(shù)據(jù)挖掘的常見模型，原理及適用場景。

5、  熟練掌握SPSS基本操作，能利用SPSS解決實(shí)際的商業(yè)問題。

第一部分：  數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程

1、         數(shù)據(jù)挖掘概述

2、         數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程（CRISP-DM）

‐  商業(yè)理解

‐  數(shù)據(jù)準(zhǔn)備

‐  數(shù)據(jù)理解

‐  模型建立

‐  模型評估

‐  模型應(yīng)用

案例：客戶流失預(yù)測及客戶挽留

3、         數(shù)據(jù)集概述

4、         SPSS工具介紹

5、         數(shù)據(jù)挖掘常用模型

第二部分：  數(shù)據(jù)預(yù)處理

如何整理數(shù)據(jù)，了解數(shù)據(jù)，對數(shù)據(jù)進(jìn)行預(yù)處理？

1、數(shù)據(jù)預(yù)處理的四大任務(wù)

‐  數(shù)據(jù)集成：多個(gè)數(shù)據(jù)集合并

‐  數(shù)據(jù)清洗：異常值的處理

‐  樣本處理：樣本篩選、樣本抽樣、樣本平衡

‐  變量處理：變量變換、變量派生、變量精簡

2、數(shù)據(jù)集成（數(shù)據(jù)集合并）

‐  樣本追加（添加數(shù)據(jù)行）：橫向合并

‐  變量合并（添加變量列）：縱向合并

3、數(shù)據(jù)清洗（異常數(shù)據(jù)處理）

‐  取值范圍限定

‐  重復(fù)值處理

‐  無效值/錯(cuò)誤值處理

‐  缺失值處理

‐  離群值/極端值處理

‐  數(shù)據(jù)質(zhì)量評估

4、樣本處理：行處理

‐  樣本篩選：指定條件篩選指定樣本集（減少樣本數(shù)量）

‐  樣本抽樣：隨機(jī)抽取部分樣本集（減少樣本數(shù)量）

‐  樣本平衡：正反樣本比例均衡

5、變量處理：列處理

‐  變量變換：原變量取值更新，比如標(biāo)準(zhǔn)化

‐  變量派生：根據(jù)舊變量生成新的變量

‐  變量精簡：變量刪除/降維，減少變量個(gè)數(shù)

‐  類型轉(zhuǎn)換：數(shù)據(jù)類型的相互轉(zhuǎn)換

6、變量精簡/變量降維常用方法

‐  常用降維方法

‐  如何確定降維后變量個(gè)數(shù)

‐  特征選擇：選擇重要變量，剔除不重要變量

◢    基于變量本身特征來選擇屬性

◢    基于數(shù)據(jù)間的相關(guān)性來選擇屬性

◢    利用IV值篩選

◢    基于信息增益來選擇屬性

‐  因子合并：將多個(gè)變量進(jìn)行合并

◢    PCA主成分分析

◢    判別分析

7、類型轉(zhuǎn)換

8、因子合并/主成分分析

‐  因子分析的原因

‐  因子個(gè)數(shù)選擇原則

‐  如何解讀因子含義

案例：提取影響電信客戶流失的主成分分析

9、數(shù)據(jù)探索性分析

‐  常用統(tǒng)計(jì)指標(biāo)分析

‐  單變量：數(shù)值變量/分類變量

‐  雙變量：交叉分析/相關(guān)性分析

‐  多變量：特征選擇、因子分析

演練：描述性分析（頻數(shù)、描述、探索、分類匯總）

第三部分：  數(shù)據(jù)可視化

1、數(shù)據(jù)可視化的原則

2、常用可視化工具

3、常用可視化圖形

‐  柱狀圖、條形圖、餅圖、折線圖、箱圖、散點(diǎn)圖等

4、圖形的表達(dá)及適用場景

演練：各種圖形繪制

第四部分：  影響因素分析篇

營銷問題：哪些因素是影響業(yè)務(wù)目標(biāo)的關(guān)鍵要素？比如，產(chǎn)品在貨架上的位置是否對銷量有影響？價(jià)格和廣告開銷是如何影響銷量的？影響風(fēng)控的關(guān)鍵因素有哪些？如何判斷？

1、 影響因素分析的常見方法

2、 相關(guān)分析（衡量兩數(shù)據(jù)型變量的線性相關(guān)性）

‐  相關(guān)分析簡介

‐  相關(guān)分析的應(yīng)用場景

‐  相關(guān)分析的種類

◢    簡單相關(guān)分析

◢    偏相關(guān)分析

◢    距離相關(guān)分析

‐  相關(guān)系數(shù)的三種計(jì)算公式

◢    Pearson相關(guān)系數(shù)

◢    Spearman相關(guān)系數(shù)

◢    Kendall相關(guān)系數(shù)

‐  相關(guān)分析的假設(shè)檢驗(yàn)

‐  相關(guān)分析的四個(gè)基本步驟

演練：營銷費(fèi)用會影響銷售額嗎？影響程度如何量化？

演練：哪些因素與汽車銷量有相關(guān)性

演練：影響用戶消費(fèi)水平的因素會有哪些

‐  偏相關(guān)分析

◢    偏相關(guān)原理：排除不可控因素后的兩變量的相關(guān)性

◢    偏相關(guān)系數(shù)的計(jì)算公式

◢    偏相關(guān)分析的適用場景

‐  距離相關(guān)分析

3、 方差分析（衡量類別變量與數(shù)值變量間的相關(guān)性）

‐  方差分析的應(yīng)用場景

‐  方差分析的三個(gè)種類

◢    單因素方差分析

◢    多因素方差分析

◢    協(xié)方差分析

‐  單因素方差分析的原理

‐  方差分析的四個(gè)步驟

‐  解讀方差分析結(jié)果的兩個(gè)要點(diǎn)

演練：擺放位置與銷量有關(guān)嗎

演練：客戶學(xué)歷對消費(fèi)水平的影響分析

演練：廣告和價(jià)格是影響終端銷量的關(guān)鍵因素嗎

演練：營業(yè)員的性別、技能級別對產(chǎn)品銷量有影響嗎

演練：尋找影響產(chǎn)品銷量的關(guān)鍵因素

‐  多因素方差分析原理

‐  多因素方差分析的作用

‐  多因素方差結(jié)果的解讀

演練：廣告形式、地區(qū)對銷量的影響因素分析

‐  協(xié)方差分析原理

‐  協(xié)方差分析的適用場景

演練：排除產(chǎn)品價(jià)格，收入對銷量有影響嗎？

4、 列聯(lián)分析/卡方檢驗(yàn)（兩類別變量的相關(guān)性分析）

‐  交叉表與列聯(lián)表：計(jì)數(shù)值與期望值

‐  卡方檢驗(yàn)的原理

‐  卡方檢驗(yàn)的幾個(gè)計(jì)算公式

‐  列聯(lián)表分析的適用場景

案例：套餐類型對客戶流失的影響分析

案例：學(xué)歷對業(yè)務(wù)套餐偏好的影響分析

案例：行業(yè)/規(guī)模對風(fēng)控的影響分析

5、 相關(guān)性分析方法總結(jié)

第五部分：  回歸預(yù)測模型

營銷問題：如何預(yù)測未來的產(chǎn)品銷量/銷售額？如果產(chǎn)品跟隨季節(jié)性變動(dòng)，該如何預(yù)測？

1、 回歸分析簡介和原理

2、 回歸分析的種類

‐  一元回歸/多元回歸

‐  線性回歸/非線性回歸

3、 常用回歸分析方法

‐  散點(diǎn)圖+趨勢線（一元）

‐  線性回歸工具（多元線性）

‐  規(guī)劃求解工具（非線性回歸）

演練：散點(diǎn)圖找營銷費(fèi)用與銷售額的關(guān)系

4、 線性回歸分析的五個(gè)步驟

演練：營銷費(fèi)用、辦公費(fèi)用與銷售額的關(guān)系（線性回歸）

5、 線性回歸方程的解讀技巧

‐  定性描述：正相關(guān)/負(fù)相關(guān)

‐  定量描述：自變量變化導(dǎo)致因變量的變化程度

6、 回歸預(yù)測模型評估

‐  質(zhì)量評估指標(biāo)：判定系數(shù)R^2

‐  如何選擇最佳回歸模型

演練：如何選擇最佳的回歸預(yù)測模型（一元曲線回歸）

7、 帶分類自變量的回歸預(yù)測

演練：汽車季度銷量預(yù)測

演練：工齡、性別與終端銷量的關(guān)系

演練：如何評估銷售目標(biāo)與資源最佳配置

第六部分：              回歸模型優(yōu)化

1、 回歸分析的基本原理

‐  三個(gè)基本概念：總變差、回歸變差、剩余變差

‐  方程的顯著性檢驗(yàn)：方程可用性

‐  因素的顯著性檢驗(yàn)：因素可用性

‐  方程擬合優(yōu)度檢驗(yàn)：質(zhì)量好壞程度

‐  理解標(biāo)準(zhǔn)誤差含義：預(yù)測準(zhǔn)確性？

2、 回歸模型優(yōu)化措施：尋找最佳回歸擬合線

‐  如何處理預(yù)測離群值（剔除離群值）

‐  如何剔除不顯著因素（剔除不顯著因素）

‐  如何進(jìn)行非線性關(guān)系檢驗(yàn)（增加非線性自變量）

‐  如何進(jìn)行相互作用檢驗(yàn)（增加相互作用自變量）

‐  如何進(jìn)行多重共線性檢驗(yàn)（剔除共線性自變量）

演練：模型優(yōu)化演示

3、 好模型都是優(yōu)化出來的

第七部分：     自定義回歸模型

1、 回歸建模的本質(zhì)

2、 規(guī)劃求解工具簡介

3、 自定義回歸模型

案例：如何對客流量進(jìn)行建模預(yù)測及模型優(yōu)化

4、 回歸季節(jié)預(yù)測模型模型

‐  回歸季節(jié)模型的原理及應(yīng)用場景

‐  加法季節(jié)模型

‐  乘法季節(jié)模型

‐  模型解讀

案例：美國航空旅客里程的季節(jié)性趨勢分析

5、 新產(chǎn)品累計(jì)銷量的S曲線

‐  S曲線模型的應(yīng)用場景（最大累計(jì)銷量及銷量增長的拐點(diǎn)）

‐  珀?duì)柷€

‐  龔鉑茲曲線

案例：如何預(yù)測產(chǎn)品的銷售增長拐點(diǎn)，以及銷量上限

演練：預(yù)測IPad產(chǎn)品的銷量

第八部分：              回歸模型質(zhì)量評估

1、定量預(yù)測模型的評估

‐  方程顯著性評估

‐  因素顯著性評估

‐  擬合優(yōu)度的評估

‐  估計(jì)標(biāo)準(zhǔn)誤差評估

‐  預(yù)測值準(zhǔn)確度評估

2、模型擬合度評估

‐    判定系數(shù)：                                              

‐    調(diào)整判定系數(shù)：

3、預(yù)測值準(zhǔn)確度評估

‐  平均絕對誤差：MAE

‐  根均方差：RMSE

‐  平均誤差率：MAPE

4、其它評估：殘差檢驗(yàn)、過擬合檢驗(yàn)

第九部分：  時(shí)序預(yù)測模型

營銷問題：像利率/CPI/GDP等按時(shí)序變化的指標(biāo)如何預(yù)測？當(dāng)銷量隨季節(jié)周期變動(dòng)時(shí)該如何預(yù)測？

1、 回歸預(yù)測vs時(shí)序預(yù)測

2、 因素分解思想

3、 時(shí)序預(yù)測常用模型

‐  趨勢擬合

‐  季節(jié)擬合

‐  平均序列擬合

4、 評估預(yù)測值的準(zhǔn)確度指標(biāo)：MAD、RMSE、MAPE

5、 移動(dòng)平均（MA）

‐  應(yīng)用場景及原理

‐  移動(dòng)平均種類

◢    一次移動(dòng)平均

◢    二次移動(dòng)平均

◢    加權(quán)移動(dòng)平均

◢    移動(dòng)平均比率法

‐  移動(dòng)平均關(guān)鍵問題

◢    如何選取最優(yōu)參數(shù)N

◢    如何確定最優(yōu)權(quán)重系數(shù)

演練：平板電腦銷量預(yù)測及評估

演練：快銷產(chǎn)品季節(jié)銷量預(yù)測及評估

6、 指數(shù)平滑（ES）

‐  應(yīng)用場景及原理

‐  最優(yōu)平滑系數(shù)的選取原則

‐  指數(shù)平滑種類

◢    一次指數(shù)平滑

◢    二次指數(shù)平滑（Brown線性、Holt線性、Holt指數(shù)、阻尼線性、阻尼指數(shù)）

◢    三次指數(shù)平滑

演練：煤炭產(chǎn)量預(yù)測

演練：航空旅客量預(yù)測及評估

7、 溫特斯季節(jié)預(yù)測模型

‐  適用場景及原理

‐  Holt-Winters加法模型

‐  Holt-Winters乘法模型

演練：汽車銷量預(yù)測及評估

8、 平穩(wěn)序列模型（ARIMA）

‐  序列的平穩(wěn)性檢驗(yàn)

‐  平穩(wěn)序列的擬合模型

◢   AR(p)自回歸模型

◢   MA(q)移動(dòng)模型

◢   ARMA(p,q)自回歸移動(dòng)模型

‐  模型的識別與定階

◢   ACF圖/PACF圖

◢   最小信息準(zhǔn)則

‐  序列平穩(wěn)化處理

◢   變量變換

◢   k次差分

◢   d階差分

‐  ARIMA(p,d,q)模型

演練：上海證券交易所綜合指數(shù)收益率序列分析

演練：服裝銷售數(shù)據(jù)季節(jié)性趨勢預(yù)測分析

‐  平穩(wěn)序列的建模流程

第十部分：  分類預(yù)測模型篇

問題：如何評估客戶購買產(chǎn)品的可能性？如何預(yù)測客戶的購買行為？如何提取某類客戶的典型特征？如何向客戶精準(zhǔn)推薦產(chǎn)品或業(yè)務(wù)？

1、 分類模型概述及其應(yīng)用場景

2、 常見分類預(yù)測模型

3、 邏輯回歸（LR）

‐  邏輯回歸的適用場景

‐  邏輯回歸的模型原理

‐  邏輯回歸分類的幾何意義

‐  邏輯回歸的種類

2  二項(xiàng)邏輯回歸

2  多項(xiàng)邏輯回歸

‐  如何解讀邏輯回歸方程

‐  帶分類自變量的邏輯回歸分析

‐  多項(xiàng)邏輯回歸/多分類邏輯回歸

案例：如何評估用戶是否會購買某產(chǎn)品（二項(xiàng)邏輯回歸）

案例：多品牌選擇模型分析（多項(xiàng)邏輯回歸）

4、 分類決策樹（DT）

問題：如何預(yù)測客戶行為？如何識別潛在客戶？

風(fēng)控：如何識別欠貸者的特征，以及預(yù)測欠貸概率？

客戶保有：如何識別流失客戶特征，以及預(yù)測客戶流失概率？

‐  決策樹分類簡介

案例：美國零售商（Target）如何預(yù)測少女懷孕

演練：識別銀行欠貨風(fēng)險(xiǎn)，提取欠貸者的特征

‐  決策樹分類的幾何意義

‐  構(gòu)建決策樹的三個(gè)關(guān)鍵問題

◢   如何選擇最佳屬性來構(gòu)建節(jié)點(diǎn)

◢   如何分裂變量

◢   修剪決策樹

‐  選擇最優(yōu)屬性生長

◢   熵、基尼索引、分類錯(cuò)誤

◢    屬性劃分增益

‐  如何分裂變量

◢    多元?jiǎng)澐峙c二元?jiǎng)澐?/span>

◢    連續(xù)變量離散化（最優(yōu)分割點(diǎn)）

‐  修剪決策樹

◢    剪枝原則

◢    預(yù)剪枝與后剪枝

‐  構(gòu)建決策樹的四個(gè)算法

◢   C5.0、CHAID、CART、QUEST

◢    各種算法的比較

‐  如何選擇最優(yōu)分類模型？

案例：商場用戶的典型特征提取

案例：客戶流失預(yù)警與客戶挽留

案例：識別拖欠銀行貨款者的特征，避免不良貨款

案例：識別電信詐騙者嘴臉，讓通信更安全

‐  多分類決策樹

案例：不同套餐用戶的典型特征

‐  決策樹模型的保存與應(yīng)用

5、 人工神經(jīng)網(wǎng)絡(luò)（ANN）

‐  神經(jīng)網(wǎng)絡(luò)概述

‐  神經(jīng)網(wǎng)絡(luò)基本原理

‐  神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

‐  神經(jīng)網(wǎng)絡(luò)分類的幾何意義

‐  神經(jīng)網(wǎng)絡(luò)的建立步驟

‐  神經(jīng)網(wǎng)絡(luò)的關(guān)鍵問題

‐  BP反向傳播網(wǎng)絡(luò)（MLP）

‐  徑向基網(wǎng)絡(luò)（RBF）

案例：評估銀行用戶拖欠貨款的概率

6、 判別分析（DA）

‐  判別分析原理

‐  判別分析種類

‐  Fisher線性判別分析

案例：MBA學(xué)生錄取判別分析

案例：上市公司類別評估

7、 最近鄰分類（KNN）

‐  KNN模型的基本原理

‐  KNN分類的幾何意義

‐  K近鄰的關(guān)鍵問題

第十一部分：        市場細(xì)分模型

問題：我們的客戶有幾類？各類特征是什么？如何實(shí)現(xiàn)客戶細(xì)分，開發(fā)符合細(xì)分市場的新產(chǎn)品？如何提取客戶特征，從而對產(chǎn)品進(jìn)行市場定位？

1、 市場細(xì)分的常用方法

‐  有指導(dǎo)細(xì)分

‐  無指導(dǎo)細(xì)分

2、 聚類分析

‐  如何更好的了解客戶群體和市場細(xì)分？

‐  如何識別客戶群體特征？

‐  如何確定客戶要分成多少適當(dāng)?shù)念悇e？

‐  聚類方法原理介紹

‐  聚類方法作用及其適用場景

‐  聚類分析的種類

◢    K均值聚類

◢    層次聚類

◢    兩步聚類

‐  K均值聚類（快速聚類）

案例：移動(dòng)三大品牌細(xì)分市場合適嗎？

演練：寶潔公司如何選擇新產(chǎn)品試銷區(qū)域？

演練：如何自動(dòng)評選優(yōu)秀員工？

演練：中國各省份發(fā)達(dá)程度分析，讓數(shù)據(jù)自動(dòng)聚類

‐  層次聚類（系統(tǒng)聚類）：發(fā)現(xiàn)多個(gè)類別

‐  R型聚類與Q型聚類的區(qū)別

案例：中移動(dòng)如何實(shí)現(xiàn)客戶細(xì)分及營銷策略

演練：中國省市經(jīng)濟(jì)發(fā)展情況分析（Q型聚類）

演練：裁判評分的標(biāo)準(zhǔn)衡量，避免“黑哨”（R型聚類）

‐  兩步聚類

3、 客戶細(xì)分與PCA分析法

‐  PCA主成分分析的原理

‐  PCA分析法的適用場景

演練：利用PCA對汽車客戶群進(jìn)行細(xì)分

演練：如何針對汽車客戶群設(shè)計(jì)汽車

第十二部分：        客戶價(jià)值評估

營銷問題：如何評估客戶的價(jià)值？不同的價(jià)值客戶有何區(qū)別對待？

1、 如何評價(jià)客戶生命周期的價(jià)值

‐  貼現(xiàn)率與留存率

‐  評估客戶的真實(shí)價(jià)值

‐  使用雙向表衡量屬性敏感度

‐  變化的邊際利潤

案例：評估營銷行為的合理性

2、 RFM模型（客戶價(jià)值評估）

‐  RFM模型，更深入了解你的客戶價(jià)值

‐  RFM模型與市場策略

‐  RFM模型與活躍度分析

演練：“雙11”淘寶商家如何選擇價(jià)值客戶進(jìn)行促銷

演練：結(jié)合響應(yīng)模型，宜家IKE實(shí)現(xiàn)最大化營銷利潤

案例：重購用戶特征分析

第十三部分：        假設(shè)檢驗(yàn)

1、 參數(shù)檢驗(yàn)分析（樣本均值檢驗(yàn)）

問題：如何驗(yàn)證營銷效果的有效性？

‐  假設(shè)檢驗(yàn)概述

◢   單樣本T檢驗(yàn)

◢   兩獨(dú)立樣本T檢驗(yàn)

◢   兩配對樣本T檢驗(yàn)

‐  假設(shè)檢驗(yàn)適用場景

電信行業(yè)

案例：電信運(yùn)營商ARPU值評估分析（單樣本）

案例：營銷活動(dòng)前后分析（兩配對樣本）

金融行業(yè)

案例：信用卡消費(fèi)金額評估分析（單樣本）

醫(yī)療行業(yè)

案例：吸煙與膽固醇升高的分析（兩獨(dú)立樣本）

案例：減肥效果評估（兩配對樣本）

2、 非參數(shù)檢驗(yàn)分析（樣本分布檢驗(yàn)）

問題：這些屬性數(shù)據(jù)的分布情況如何？如何從數(shù)據(jù)分布中看出問題？

‐  非參數(shù)檢驗(yàn)概述

◢   單樣本檢驗(yàn)

◢   兩獨(dú)立樣本檢驗(yàn)

◢   兩相關(guān)樣本檢驗(yàn)

◢   兩配對樣本檢驗(yàn)

‐  非參數(shù)檢驗(yàn)適用場景

案例：產(chǎn)品合格率檢驗(yàn)（單樣本-二項(xiàng)分布）

案例：訓(xùn)練新方法有效性檢驗(yàn)（兩配對樣本-符號/秩檢驗(yàn)）

案例：促銷方式效果檢驗(yàn)(多相關(guān)樣本-Friedman檢驗(yàn))

案例：客戶滿意度差異檢驗(yàn)(多相關(guān)樣本-Cochran Q檢驗(yàn))

結(jié)束：課程總結(jié)與問題答疑。