【定稿作品】模式識別作業(yè)報告——天貓推薦算法大賽

1、模式識別作業(yè)報告模式識別作業(yè)報告——天貓推薦算法大賽天貓推薦算法大賽經(jīng)過半個學期的對模式識別課程的學習，在趙海濤老師的辛勤指導下，我們都對模式識別與機器學習方向有了一定的了解，但是理論終究是理論，只有能夠把知識熟練運用到實踐當中，才能算是真正掌握了這門知識，所以趙海濤老師布置的這個大作業(yè)能夠很好的鍛煉我們理論運用于實際的能力。經(jīng)過小組討論，我們定下了一個基本的解決方向，然后就是組員之間分工去實現(xiàn)，下面將詳細說明我們的解決過程。一、天貓推

2、薦算法大賽簡介一、天貓推薦算法大賽簡介隨著大數(shù)據(jù)的蓬勃發(fā)展，阿里巴巴集團希望和學術(shù)界展開更緊密的合作研究，更好的發(fā)掘大數(shù)據(jù)的價值。針對當前學術(shù)界面臨的兩個問題，一是缺少有價值的真實的商業(yè)數(shù)據(jù)；二是缺少具有強大功能的計算平臺支持復雜的數(shù)據(jù)處理。阿里巴巴集團于2014年正式推出“天池”平臺，“天池”平臺基于阿里集團的海量數(shù)據(jù)離線處理服務ODPS，向?qū)W術(shù)界免費提供科研數(shù)據(jù)和開放數(shù)據(jù)處理服務。2014年，阿里巴巴集團基于“天池”平臺，在全國高校

3、啟動阿里巴巴大數(shù)據(jù)競賽（AliDataDiscovery），以天貓推薦算法大挑戰(zhàn)為主題，為更多高校學子提供大數(shù)據(jù)的實戰(zhàn)機會，推動高校對大數(shù)據(jù)和算法的研究發(fā)展和人才成長。本次大賽的賽題是“天貓推薦算法”，賽題基于真實的商業(yè)實戰(zhàn)場景，在天貓每天都會有數(shù)千萬的用戶通過品牌發(fā)現(xiàn)自己喜歡的商品，品牌推薦算法的優(yōu)化可以為消費者、品牌和天貓平臺帶來更大的價值。天貓?zhí)峁┑臄?shù)據(jù)量，涉及千萬級天貓用戶，上萬個天貓品牌，時間跨度4個月、共計5億多條的行為記錄

4、。參賽者需要根據(jù)用戶在天貓的行為日志，建立用戶的品牌偏好，并預測他們在將來對品牌下商品的購買行為。整個比賽分為三季（season）：Season1：2014年3月10日至4月20日，參賽者可以下載少量天貓的真實行為數(shù)據(jù)，并在本地調(diào)試算法，提交結(jié)果。Season2：2014年4月25日至7月30日，參賽者須使用“天池”平臺（阿里巴巴自主研發(fā)的分布式計算平臺），訪問海量的天貓數(shù)據(jù)，并利用MapReduce、SQL及各種平臺集成的機器學習算法

5、包調(diào)試模型、提交結(jié)果。Season3（即線上賽，實戰(zhàn)雙11）：2014年10月至11月，Season2的top第五列數(shù)據(jù)的表頭為user_geohash，表示的是用戶所在的地理位置，由于這一列數(shù)據(jù)中有缺失的情況，所以在預處理中，我們刪除了這列數(shù)據(jù)；第六列數(shù)據(jù)表頭為item_categy，表示的是商品所屬的類別，這也是我們需要采用的數(shù)據(jù)之一，根據(jù)某一類商品的銷售情況來預測類中的商品的銷售情況；最后一列數(shù)據(jù)表頭為time，表示的是用戶操作的

6、時間，在我們的求解中也沒有采用這列數(shù)據(jù)，所以也在預處理中將其刪除。最終，考慮到時間以及編程復雜度問題，在原始數(shù)據(jù)表中我們只采用user_id、item_id、behavi_type和item_categy四列數(shù)據(jù)來進行求解。并且，為了保證數(shù)據(jù)盡可能給出較好的預測結(jié)果，我們沒有從訓練數(shù)據(jù)中摘錄部分數(shù)據(jù)，而是使用了全部的訓練數(shù)據(jù)。雖然這樣在數(shù)據(jù)預處理提取特征的過程中，花費了較多的時間，但是這樣也有助于提取更多的信息，從而獲得更完整的模型。2