Statistics中的模型側(cè)重于統(tǒng)計分析技術(shù), 而Modeler則側(cè)重于數(shù)據(jù)挖掘技術(shù)。它們都依據(jù)現(xiàn)有數(shù)據(jù),運用某個或某幾個特定的算法,來預測用戶所關(guān)注信息的未來值。Statistics 和 Modeler提供眾多的預測模型,這使得它們可以應用在多種商業(yè)領(lǐng)域中:如超市商品如何擺放可以提高銷量;分析商場營銷的打折方案,以制定新的更為有效的方案;保險公司分析以往的理賠案例,以推出新的保險品種等等,具有很強的商業(yè)價值。
Statistics和 Modeler產(chǎn)品中含有大量基于高級數(shù)學統(tǒng)計算法的預測模型,為了保證算法的嚴密性及結(jié)果的精確性,模型往往還需要許多詳細的參數(shù)設(shè)定,這樣就要求用戶具有一定的統(tǒng)計專業(yè)知識,只有理解預測模型中的各項設(shè)置及運算結(jié)果的真實意義,才有可能結(jié)合結(jié)果做出正確的決策判斷;另外,為了滿足不同行業(yè)用戶的需求,Statistics和 Modeler涉及到數(shù)學領(lǐng)域中多個不同的范疇,即使專業(yè)用戶也很難了解所有模型,從而挑選出最適合他們應用的模型。
本系列文章從實際問題出發(fā),通過一些實際生活中常見的商業(yè)問題來引出IBM SPSS 軟件家族中的典型預測模型,手把手地指導用戶如何在軟件中對該模型進行設(shè)置,如何查看運行結(jié)果,講解運行結(jié)果的真實意義,最后引申到如何將該結(jié)果應用于解決這個具體的商業(yè)問題中來。用這種最直觀簡單的方式使即使缺乏統(tǒng)計學背景的用戶也能容易地理解這些預測模型,從而很好地使用我們的產(chǎn)品。 同時,文中也涉及了一定的統(tǒng)計知識,使具有專業(yè)知識的用戶能依此線索盡可能多的了解我們的產(chǎn)品的方方面面,從而選擇最適合他們問題的模型。
該模型利用數(shù)據(jù)挖掘的技術(shù),在海量數(shù)據(jù)中依據(jù)該模型的獨特算法發(fā)現(xiàn)數(shù)據(jù)內(nèi)在的規(guī)律性聯(lián)系,進而提供具有洞察力的分析解決方案。以下我們將通過一則超市銷售商品的案例,利用 IBM SPSS Modeler 產(chǎn)品中的“關(guān)聯(lián)規(guī)則模型”,來分析商品交易流水數(shù)據(jù),以其發(fā)現(xiàn)合理的商品擺放規(guī)則,來幫助提高銷量。文中將詳細地描述產(chǎn)品的設(shè)置和使用方法,以及對計算結(jié)果的分析及應用。
式 1中面包是規(guī)則前項(Antecedent),牛奶是規(guī)則后項 (Consequent)。實例數(shù)(Instances)表示所有購買記錄中包含面包的記錄的數(shù)量。支持度(Support)表示購買面包的記錄數(shù)占所有的購買記錄數(shù)的百分比。規(guī)則支持度(Rule Support)表示同時購買面包和牛奶的記錄數(shù)占所有的購買記錄數(shù)的百分比。置信度(confidence)表示同時購買面包和牛奶的記錄數(shù)占購買面包記錄數(shù)的百分比。提升(Lift)表示置信度與已知購買牛奶的百分比的比值,提升大于 1 的規(guī)則才是有意義的。關(guān)聯(lián)規(guī)則式 1的支持度 2% 意味著,所分析的記錄中的 2% 購買了面包。置信度 60% 表明,購買面包的顧客中的 60% 也購買了牛奶。如果關(guān)聯(lián)滿足最小支持度閾值和最小置信度閾值,就說關(guān)聯(lián)規(guī)則是有意義的。這些閾值可以由用戶或領(lǐng)域?qū)<以O(shè)定。就顧客購物而言,根據(jù)以往的購買記錄,找出滿足最小支持度閾值和最小置信度閾值的關(guān)聯(lián)規(guī)則,就找到顧客經(jīng)常同時購買的商品。
此數(shù)據(jù)屬于表格格式數(shù)據(jù),每條記錄表示顧客的一次購物。記錄的字段包括卡號、顧客基本信息、付款方式和商品名稱(每個商品一個字段 , 該商品字段值為 T, 表示購買該商品 , 值為 F 表示未購買,具體可參考表 2, 表格格式數(shù)據(jù))。商品名稱都有 fruitveg(水果蔬菜),freshmeat(生鮮肉),dairy(奶制品),cannedveg(罐裝蔬菜),cannedmeat(罐裝肉),fozenmeal(凍肉),beer(啤酒), wine(酒類),softdrink(軟飲),fish(魚), confectionery(甜食)。如何對這些數(shù)據(jù)進行分析和處理,本節(jié)會給出詳細的演示。
類型節(jié)點是顯示和設(shè)置數(shù)據(jù)每個字段的類型、格式和角色。從界面下方的“字段選項”卡中,將“類型”節(jié)點拖放到界面中,接著將數(shù)據(jù)節(jié)點和類型節(jié)點連接起來,或者直接在“字段選項”卡中雙擊“類型”節(jié)點,將兩者連接起來。這時雙擊打開“類型”節(jié)點,此時“類型”節(jié)點中顯示了數(shù)據(jù)的字段和其類型,點擊“類型”節(jié)點界面上的“讀取值”按鈕,這時會將數(shù)據(jù)節(jié)點中的數(shù)據(jù)讀取過來。如下圖所示。
輸入表示該字段可供建模使用,目標表示該字段為建模的預測目標,兩者表示該字段為布爾型的輸入字段,無表示該字段不參與建模。Apriori 節(jié)點需要一個或多個輸入字段和一個或多個目標字段,輸入字段和輸出字段必須是符號型字段。在此可以選擇一個或多個字段為目標字段,表明該模型的預測目標字段;對于 Apriori 建模節(jié)點,也可以不設(shè)置目標字段,則需要在建模節(jié)點中設(shè)置“后項”。
過濾節(jié)點,將不參與的字段排除在外。該步驟為可選步驟。從“字段選項”卡中選擇“過濾”節(jié)點,并將其拖入到界面中,將“過濾”節(jié)點加入到流中。雙擊打開“過濾”節(jié)點,在不參與建模字段的箭頭上點擊,會出現(xiàn)一個紅叉,表示該字段被過濾掉了,不參與建模,如圖所示。
網(wǎng)絡(luò)節(jié)點,建立此節(jié)點的目的是為了讓用戶首先可以直觀的看到商品之間的關(guān)聯(lián)程度,有一個感性認識。選擇“圖形”選項卡中的“網(wǎng)絡(luò)”節(jié)點,將此拖入界面,將“網(wǎng)絡(luò)”節(jié)點加入流中,與“過濾”節(jié)點連接起來。雙擊打開網(wǎng)絡(luò)節(jié)點,在“字段”列表中選擇添加字段,可以將所有的商品字段添加進來;也可以點擊“僅顯示真值標志”,將只顯示那些“兩者”的字段,如圖所示。圖 6. 網(wǎng)絡(luò)節(jié)點設(shè)置
第五步,添加“建模”節(jié)點到流中,開始關(guān)聯(lián)規(guī)則模型設(shè)置和使用的篇章。首先點擊界面下方“建模”選項卡,再點擊“關(guān)聯(lián)”分類,將 Apriori 節(jié)點拖放到界面中,連接該節(jié)點到過濾節(jié)點上,或者雙擊 Apriori 節(jié)點。接著設(shè)置 Apriori 節(jié)點的參數(shù),建立關(guān)聯(lián)規(guī)則模型。雙擊打開 Apriori 節(jié)點,如下圖所示。
分區(qū)允許您使用指定字段將數(shù)據(jù)分割為幾個不同的樣本,分別用于模型構(gòu)建過程中的訓練、測試和驗證階段。如果設(shè)置了“分區(qū)”,除了在此選擇分區(qū)字段外,還需要在“模型”選項卡中,勾上“使用分區(qū)數(shù)據(jù)”的選擇框。關(guān)于“分區(qū)”的概念、作用和使用方法,本文不做詳細介紹。
從結(jié)果可以看出,通過關(guān)聯(lián)規(guī)則模型挖掘出了三個規(guī)則,分別是規(guī)則一,購買了凍肉(frozenmeal)和罐裝蔬菜(cannedveg)的顧客都會購買啤酒(beer);規(guī)則二,購買了凍肉的顧客都會購買啤酒;規(guī)則三,購買了罐裝蔬菜的顧客都會購買啤酒。其中,第一列代表結(jié)果,而下一列代表條件,后面的列包含規(guī)則信息,如置信度、支持度和提升等。
市場分析員對于模型結(jié)果的三條規(guī)則和規(guī)則信息,如何分析得出結(jié)論呢?首先分析第一條規(guī)則,購買了凍肉和罐裝蔬菜的顧客會購買啤酒,此規(guī)則中購買了凍肉和罐裝蔬菜的記錄有 173 條,占 17.3%,同時購買了凍肉、罐裝蔬菜和啤酒的記錄占 14.6%,而在購買了凍肉和罐裝蔬菜的顧客中會有 84.393% 的顧客會購買啤酒,并且提升為 2.88,表明此規(guī)則的相關(guān)性很強,部署能力和置信度類似,可以不考慮。對于規(guī)則二三,可以同樣分析。問題的關(guān)鍵是,哪些規(guī)則信息才能作為評判標準。通過對規(guī)則信息的分析和了解,建議將置信度和提升作為選擇規(guī)則的標準,因為置信度能反映出規(guī)則預測的準確程度,提升值越大,規(guī)則的相關(guān)性越強。據(jù)此,可以將規(guī)則一作為分析結(jié)果。
本文通過一個實際的商業(yè)場景,引入了 IBM SPSS Modeler 關(guān)聯(lián)規(guī)則模型,首先給出了關(guān)聯(lián)規(guī)則的相關(guān)概念,接著帶領(lǐng)您一步一步的創(chuàng)建了數(shù)據(jù)流,并且介紹了模型的建立和設(shè)置,并且對結(jié)果進行了分析。您可以將本模型應用到其他的場景中,如網(wǎng)絡(luò)日志分析、銀行潛在客戶分析、電子商務的捆綁銷售等。