萬眾矚目的阿里云棲大會，不只有馬云的演講最火爆，ITValue聯(lián)合主辦的企業(yè)級互聯(lián)網(wǎng)架構(gòu)論壇里不僅座無虛席，更是“站無虛席”。沒能去現(xiàn)場、沒能看直播的小伙伴兒都不用遺憾了，一起來看看ITValue為你整理的精彩演講吧。

常用淘寶的人也許會發(fā)現(xiàn)，當(dāng)你打開淘寶的頁面，每個人得到的推薦商品并不相同，這被業(yè)界稱為千人千面的個性化營銷體系，在這背后，是阿里巴巴對于用戶大數(shù)據(jù)的深度運營。負責(zé)阿里個性化平臺的技術(shù)專家魏虎詳細解讀了實現(xiàn)這種針對用戶個性化推薦的營銷體系背后的算法快速迭代的場景化平臺，這個場景化平臺支撐的導(dǎo)購效率提高，正是導(dǎo)致你在淘寶上不知不覺越買越多的關(guān)鍵原因。而這背后有一套復(fù)雜的技術(shù)和數(shù)據(jù)運營體系在支撐。

以下為魏虎演講全文，經(jīng)ITValue整理：


魏虎：我給大家來簡單介紹阿里在傳統(tǒng)電商這一塊怎么做進去的，后面有什么樣的平臺支撐，支撐整個阿里云。

先做一下自我介紹，我2005年加入淘寶，2006年的時候那時候沒有第一的概念，當(dāng)時也是在淘寶賬戶，也是參與過、主導(dǎo)過整個淘寶重大的戰(zhàn)略的收集。近五年開始做大數(shù)據(jù)方向，目前主要是負責(zé)整個阿里的個性化平臺，包括我們?yōu)樯碳易龅恼麄€CM的數(shù)據(jù)平臺。

接下來我會從四個方面來講一講阿里大數(shù)據(jù)的推進和營銷平臺。

1
用戶個性化購物的背后是阿里對流量的精細化運營
先講一下我們這個平臺的背景。

電商行業(yè)里面大家知道的都是我們消費者去購物的環(huán)節(jié)，當(dāng)然我們這些流量，其實人口的紅利到公司的流量紅利，已經(jīng)不像以前那樣爆發(fā)式增長了，流量怎么樣精細化的去運營，這是我們現(xiàn)在迫切需要解決的問題，個性化的用戶需求會越來越多。再一個我們阿里其實有很多BO，淘寶、天貓、聚劃算、阿里十多個BO，每個BO業(yè)務(wù)發(fā)展參差不齊，那每個BO做自己的，他的技術(shù)的標(biāo)準(zhǔn)、技術(shù)的架構(gòu)都不統(tǒng)一，配到一個統(tǒng)一的標(biāo)準(zhǔn)。第三個問題，其實我們在做大數(shù)據(jù)這塊最重要的一個問題，在IT里面叫數(shù)據(jù)，在DT里面我們叫分享，需要特征，這些特征里面沒有統(tǒng)一的標(biāo)準(zhǔn)，也導(dǎo)致開發(fā)效果下降。第四個問題，每個團隊有自己的做法，做他自己的大數(shù)據(jù)，好的模型怎么去復(fù)用，顯然是沒有辦法。我們這個平臺也是提供這樣的能力，我們推薦幾個方案能夠復(fù)用起來。

剛才說到這四個問題，我們平臺有一個定位，它其實是業(yè)務(wù)場景算好了數(shù)據(jù)的平臺，把我們的推薦、營銷、所需要的服務(wù)產(chǎn)品化和主頁化，能夠讓我們的業(yè)務(wù)開發(fā)低成本，快速的實施自己的算法，并且驗證自己的算法，同時能夠讓我們的業(yè)務(wù)方、我們的產(chǎn)品經(jīng)理能運營，能夠快速去上線我們的主題方案。

這個平臺，在內(nèi)部來講是兩大客戶，一個是我們的算法中心，做二次開發(fā)，做了算法的解決方案。第二個就是在這個平臺上使用我們的算法，這個平臺實際上是讓我們內(nèi)部的業(yè)務(wù)中心和我們內(nèi)部的開發(fā)中心、算法中心有機的結(jié)合運營。這個平臺從這三層深層的結(jié)構(gòu)來講，他是包括上面的Paas和Saas，對我們的算法開發(fā)中心是Paas平臺，因為他二次的算法開發(fā)，包括用戶的開發(fā)。對于運營和產(chǎn)品運營來說，是Saas的角色，在這個角色上他只要去掛自己的決斷，找到自己的決斷，去運用到自己的決斷，就可以簡單的上線。前面講到的平臺的背景，盡量發(fā)展這個平臺，再是阿里在我們整個電商領(lǐng)域和自身的業(yè)務(wù)帶來的價值。

先說一下我們這個平臺解決了這個大的背景。像剛才講多在我們這個淘寶，在我們這個電商，無論是天貓還是聚劃算，有太多的商品，現(xiàn)在我們有數(shù)十億的商品，有千萬的賣家，那我們一個用戶到我們這個淘寶或者到我們手機，打開手機淘寶，怎么讓用戶能夠去快速的找到商品，其實對用戶來講是一個信息的擴展，怎么樣去篩選我們有效的用戶，這個屏幕，可能一個屏幕最多只能裝十個商品，那怎么樣這十個商品快速的讓你能夠有興趣點，針對消費者來說這是一個個人平臺。

2
一個支撐算法快速迭代的業(yè)務(wù)場景平臺才是導(dǎo)購效率提升的關(guān)鍵
再一個針對平臺，對我們阿里這個平臺，電商的這個平臺來講，我這個頁面是展示PV，怎么一次展示PV是需要消耗不同的價值的，比如說消耗我們供電的主板，消耗我們供電的存儲，這些實際上都是有成本的。如何讓導(dǎo)購效率最大化，讓PV帶來更多的成交轉(zhuǎn)換，這對平臺的利益是非常有價值的。基于這樣的背景，我們平臺是解決這兩個問題而誕生的。這個平臺自身的業(yè)務(wù)類型，基本上現(xiàn)在無處不在，主要的是分成這三個，一個是推薦，再一個就是個性化的排序，最后是榜單，這個榜單其實不像我們簡單說的個人榜單，這個榜單更多的是基于大數(shù)據(jù)優(yōu)化的榜單。那這是這個平臺我們支持的業(yè)務(wù)類型，這種業(yè)務(wù)類型其實我接下來講的基本上涵蓋了我們用戶所能看到的所有的頁面。

那這個平臺在里面起到什么作用。有了這個平臺讓我們的算法迭代更新，從原來平均需要一周多，到只要半天時間就能迭代商品一百種算法，這是因為有了這個效果的提升，使得我們的算法不斷的更新，我們的導(dǎo)購效率不斷的提升，這是數(shù)據(jù)化運營非常重要的，如果數(shù)據(jù)化運營里面你的基礎(chǔ)設(shè)施不是足夠的靈活，那我覺得這個導(dǎo)購效率也是屬于空談。再一個有了這樣的平臺，當(dāng)個性化的業(yè)務(wù)無處不在，業(yè)務(wù)半天就能算一個算法，半天我就能提交一個場景，我可以在短短時間內(nèi)讓我們頁面所有的量都具有一定的能力，所以這是平臺帶來的讓所有的業(yè)務(wù)能做到無處不在。

這個平臺現(xiàn)在支撐的一些場景支撐了整個電商領(lǐng)域1000家以上的商品，即所有的產(chǎn)品就是在我們的頁面上或我們的手機上看到一些豆腐塊或者音樂觸鍵。大家可以看到我們的淘寶向儲物技能和購物技能，比如說商品詳細鏈接，或者購物車。當(dāng)你進入這個購物車之后，給你推薦一些菜系。當(dāng)然進入商品詳細鏈接之后，給你推薦的搭配得相似或者相關(guān)的這種推薦。那么像有一些市場，有很多個性化的排序，另外首頁上包括我們的內(nèi)部的各項排序，包括我們文字的個性化的標(biāo)亮。手機淘寶上個性化也是無處不在。

另外像O2O里面的一些場景，保證淘寶買賣、天貓，那其他應(yīng)用比如說數(shù)字娛樂、ICPU聚劃算，很多業(yè)務(wù)的場景都是在這個平臺上。所以可想而知這個平臺自身的業(yè)務(wù)量之大，目前這個平臺支撐了4000個產(chǎn)品，包括我們16個商網(wǎng)團隊，每天有50億以上的調(diào)動。但貨幣支撐的服務(wù)調(diào)動是擺動式的。

當(dāng)你用手機淘寶時是如何不知不覺的越買越多的

第二，我講一下手淘。我們以手淘為例來給大家直觀地演示一下我們大數(shù)據(jù)應(yīng)用的場景。打開手淘，我們看到這些屏幕上的這些圖片，這些圖片每個人打開可能都是不一樣的。為什么做成這樣的？其實我們打開手淘我們希望快速地信息公布，那么這第一批的圖片是非常搶眼的一個信息。如果這張圖片抓住了這個用戶的心事，他馬上就會點，會引導(dǎo)他的成交。因此，通過這種個性化的圖其實對手淘的點擊打開轉(zhuǎn)換是非常大的一個提升。再打開手淘再往下看，點擊精品導(dǎo)購，下面這些導(dǎo)購類的列表，其實每個人看到的是不一樣的。這里面有很多的因素。除了說服，對激發(fā)起用戶的興致，更重要的是我們的導(dǎo)購文章每天有數(shù)萬篇、數(shù)十萬篇這樣的體量。如果每個人都看到一樣的，或者你通過這種隨機或者輪播，那我想導(dǎo)購的文章被瀏覽的可能性是非常小的。所以這個對平臺的價值是非常大的。

再往下看，就是我們頻道，比如說天天特價，我點過去之后，這一塊也是根據(jù)你之前的瀏覽行為和你的購物行為來做一些商品的篩選。然后再往下去，我們的行業(yè)市場點過去之后，一些商品的展示也是跟我們的大數(shù)據(jù)推薦的狀況符合的。再往下翻，就是我們根據(jù)你之前的過往行為包括你單純的瀏覽行為來去推薦你可能感興趣的店鋪。推薦完店鋪之后就是我們推商品。我們直接的商品的導(dǎo)購，我們淘寶有數(shù)十億的商品，那怎么讓我們這個這么小的手機屏幕能夠快速地讓你有點的欲望？那這里面非常多的是推薦專碼。當(dāng)然我們每個店鋪的詳細頁面和店鋪頁面的商品也是根據(jù)你的偏好來去做的。整個店鋪的商品個性化的排序。那這是剛才說的商品，商品之間的一些相似商品、相關(guān)商品。

我們剛才說到現(xiàn)在流量紅利已經(jīng)沒有以前這么有價值了。其實對于一個商品來說，一個用戶到了你的店鋪，它非常希望這個用戶能夠留下來的。但有可能這個用戶到了當(dāng)前這個商品他不留下來，但是有這個相關(guān)的商品對這個用戶來講也是非常大的吸引。通過模塊的這種加載對店鋪的流程率支撐得非常大。這就是購物車，當(dāng)你進入購物車的時候，下面會根據(jù)你的購物車之間的商品來做一些連接搭配。前面就以手淘為案例我們講了阿里大數(shù)據(jù)的應(yīng)用，可以看到基本上我們整個手淘你所能看到的跟你交互的頁面，這里面很大一個東西就是我們這個平臺來支撐這個業(yè)務(wù)。

3
商網(wǎng)要做的事情是創(chuàng)建場景、制定方案、分析數(shù)據(jù)和建模
簡單講一下我們平臺的功能。其實這個平臺最重要的是有兩個角色。一個是產(chǎn)品運營，他們負責(zé)的是業(yè)務(wù)，負責(zé)運維比如手淘的某一塊區(qū)塊，這個是我們的產(chǎn)品，他們用的這個頻道。第二個角色就是我們的商網(wǎng)，他們接了頻道后，他們就去做他們的開發(fā)，對我們的產(chǎn)品來說，他其實只要做兩件事情。第一件事情就是創(chuàng)建產(chǎn)品，第二個事情就是拍一個場景去關(guān)連到這個平臺上已有的數(shù)據(jù)。這個場景能夠直接上線到我們現(xiàn)在個性化的場景。對于我們網(wǎng)商要做什么事情。他要做的就是在平臺上做我們模型的建固，做我們特色的繼續(xù)。同時在這個平臺上他要做他的方案開發(fā)。開發(fā)完了之后，他把整個方案發(fā)布到平臺上，通過這個平臺與我們的運營商進行探討然后去關(guān)聯(lián)到它的產(chǎn)品中去。有了這個平臺，實際上讓我們的合作機制、運營和算法的機制變成一種系統(tǒng)化地、數(shù)據(jù)化地協(xié)作。

這個平臺功能上包括四大塊：場景、方案、數(shù)據(jù)和建模。剛才說了場景，場景就是我們業(yè)務(wù)員去維護場景、去創(chuàng)建場景。場景其實這里面包括一些基本性的產(chǎn)品無論是手淘上還是PC淘寶上還是ICPU的聚劃算的頁面上一些簡單的描述。那創(chuàng)建網(wǎng)商就會對他的方案進行量身訂作一個方案，同時它也可以對部門方案做一個AP的結(jié)單取得最好的方案。當(dāng)然有部分方案帶來的效果，當(dāng)然我們的點擊率、轉(zhuǎn)化率、成交量這種最核心的數(shù)據(jù)指標(biāo)這是一個非常值得關(guān)注的。

接下來開發(fā)部分。注意我們這個平臺主要有幾個流程，剛才說了一個變形在線方案，它通過IPE然后去下載我們的代碼，每個代碼有一樣的接口，然后它進入這個接口就開始開發(fā)。同時我們有很多技術(shù)上的服務(wù)。它繼續(xù)這個服務(wù)和他的業(yè)務(wù)規(guī)則。對于模型和建模這一塊，我們有一個建模平臺，它可能平臺上通過多轉(zhuǎn)的方式去做數(shù)據(jù)的預(yù)處理包括這個模型的預(yù)測。當(dāng)然也可以更高接點，我做實時的用戶的預(yù)測。這就是我們商網(wǎng)在這個平臺上可以創(chuàng)建方案、開發(fā)代碼、方案發(fā)布。

這個平臺上會有數(shù)據(jù)中心。這個數(shù)據(jù)中心是什么概念？比如說做一個產(chǎn)品的時候，這個業(yè)務(wù)上我們需要用戶的數(shù)據(jù)，比如用戶的特征、用戶訪問的記錄、用戶瀏覽的商品數(shù)據(jù)。這些數(shù)據(jù)我們通過這種標(biāo)準(zhǔn)的SKI碼即標(biāo)準(zhǔn)的原數(shù)據(jù)概念讓這個數(shù)據(jù)可以可復(fù)用、可被利用。當(dāng)然講到以前沒有這個平臺之前，用戶在做他的用戶、代碼后，我也不知道他有什么特征。這個特征是個數(shù)據(jù)，它的含義是什么這都是無法知道的。有了這個標(biāo)準(zhǔn)化之后，我們的商網(wǎng)就可以做最大的開發(fā)客戶，對數(shù)據(jù)的管理第一能做到非常體系化的管理，第二能夠做到數(shù)據(jù)的復(fù)用。再一個就是我們的特征。特征這里是講了更多的是我們PC里面的概念。我們一線里面有特征的聚合、特征的清洗，包括特征里面放了模型進去。這些特征也是為了做儲用。我們每個團隊有它自己的特征戶，但每個團隊做特征可以拿來去互用。最后就是把整個一線的預(yù)測、訓(xùn)練、溝通過程用模板的方式把它搭建起來。那像以前基本上是要用代碼，寫一些代碼去做，那有這樣的建模平臺可以讓這種流程變得可以復(fù)用。

4
實現(xiàn)個性化平臺的技術(shù)架構(gòu)
最后簡單介紹一下整個平臺的技術(shù)架構(gòu)。平臺架構(gòu)簡單來講分成三部分，存儲、連接、使用。那對于存儲來講，就下面這部分包括我們阿里的一些基礎(chǔ)的主件、包括我們中間提供的一些基礎(chǔ)的消音熱鍵，再一個就是在模型這一塊我們主要是用內(nèi)部的像，當(dāng)然我們內(nèi)部也有PS這樣的一個流程的計算。再上面這個連接技術(shù)就是我們推薦營銷平臺服務(wù)，加載了我們業(yè)務(wù)的代碼，然后做AP的分流，包括我們的監(jiān)控、管理，包括我們整個機器的運營。再接下來就是我們使用方。包括營銷就業(yè)系統(tǒng)、包括我們的CM系統(tǒng)、包括前面的各個業(yè)務(wù)的系統(tǒng)都通過這種方式來調(diào)動。

這個平臺提供了和諧能力，上面一排其實就是我們數(shù)據(jù)方面的能力，包括我們有一線的建模，實時的建模或在線的預(yù)測，還包括這個特定模板。其實我們在阿里大數(shù)據(jù)里面從2009年、2010年開始到現(xiàn)在大概有五六年的時間。從最早的一線預(yù)算到這個時侯，發(fā)展也是經(jīng)過一個個階段過來的。這個平臺已經(jīng)具備了戰(zhàn)略上的一線建模能力，也可以在這個平臺上去用比較高大上實時的能力。

下面這一塊是IT基礎(chǔ)設(shè)施。比如說這個是我們的商網(wǎng)基于我們平臺去做它的二次開發(fā)。我們要求主件包括我們的流程這個都是要提供給這些開發(fā)者。我們每天有幾十個億的調(diào)動量，每個業(yè)務(wù)的情況不一樣，我們要保證每個業(yè)務(wù)之間不要相互影響，同時也要保證我的產(chǎn)品能夠自動地過。那這是IT方面的技術(shù)能力。包括這個存儲備份，當(dāng)時我們的很多數(shù)據(jù)都存在流失，包括搜狗引擎、包括檢索引擎、這些存儲的技術(shù)怎么做。對于我們從阿里進行交易的問題，我們要保證99.%后面多少個9的情況這里面都是IT技術(shù)測試要做的事情。可視化就是我們前面提到的整個平臺的可視化的升級都是平臺提供IT支持。簡單介紹一下針對剛才的成像有一部分的基礎(chǔ)平臺，在這一層就是我們模型的過程，有我們實時建模的過程，有我們一線的建模的過程，那這些用途都是可以通過可視化來做的。第三個就是我們的數(shù)據(jù)中心在線需要訪問這些數(shù)據(jù)的用戶商品，再者就是我們在線服務(wù)，對于這些數(shù)據(jù)我們要提供給我們的前端容器訪問。這里包括訪問穩(wěn)定性，包括異構(gòu)數(shù)據(jù)的一致性。

下面就是我們推薦容器我們所有代理的產(chǎn)品，這個容器要保證IT的能力，它有很強大的管理后臺和監(jiān)控信息。這是講一下整個系統(tǒng)的流程，我們看到剛才說的手淘、我們的PC無線通過幾年過來經(jīng)過這樣一個容器，通過這個容器做我們的分流。那么容器里面其實要交互兩個，一個是我們的數(shù)據(jù)中心、一個是我們的實時預(yù)測中心。這一塊就跟DT相關(guān)了。我們商品通過來做個性化的排序都是要我這個平臺去做。

那么這個數(shù)據(jù)中心分成兩部分、兩個交互。一個是實時用戶的變更，你看還有T+1、T+2這種一線的變更，那我這個模型這一塊剛才說的也包括兩塊。一塊是我能夠做一線模型的更新，第二塊就是在線模型的更新。最后是我們整個平臺有兩塊。一個是我們后臺管理上整個運營去做產(chǎn)品的編輯，包括AP分流的配置，都是我這個后臺管理來做的。那這個監(jiān)控也必不可少。我們現(xiàn)在管理的數(shù)千臺機器，那這幾臺機器的自動化應(yīng)該怎么做這是一個非常重要的模塊。

然后這個內(nèi)部的平臺我們現(xiàn)在也正在包裝目前準(zhǔn)備也是即將發(fā)布出來。剛才提到的這個平臺也會用基礎(chǔ)的營銷額推薦開發(fā)構(gòu)建，提供可視化的推薦，推薦營銷來編排流程，然后也會提供同類數(shù)據(jù)和產(chǎn)品的管理。剛才提到它對應(yīng)的是阿里，絕大多數(shù)的消費者能看到的頁面都能在這個平臺上訪問，這個就是我介紹的這個平臺的內(nèi)容。（本文由ITValue記者任斐菲根據(jù)阿里巴巴技術(shù)專家魏虎在云棲大會企業(yè)級互聯(lián)網(wǎng)架構(gòu)分論壇的演講內(nèi)容整理而成，未經(jīng)本人確認。）