美團技術解析

簡介：何仁清，美團配送AI方向負責人。本文重點解讀美團在即時配送領域機器學習技術的最新進展，構建對線下真實世界各種場景的感知能力，還原并預測配送過程各個細節。

美團“超腦”配送系統的由來

2014年，斯嘉麗·約翰遜主演的科幻片《超體》大火，影片中主人公Lucy由于無意中攝入了大量的代號為“CPH4”的神秘藥物，大腦神經元獲得空前的開發，獲得了異乎尋常的超能力，她能夠對這個世界進行全新的感知、理解和控制（比如控制無線電波），最終跨越時間和空間成為了一個超級個體。

這種對真實世界的深度感知、理解和控制，與配送AI系統對配送場景的感知、理解和配送環節控制的目標非常一致。可以說，美團要建設的AI就是配送系統的“超級大腦”。因此我們內部把配送的AI系統，簡稱為“超腦”配送系統。

即時配送在全球快速發展

最近幾年，以外賣為依托，即時配送業務在全球范圍內掀起了一波快速發展的浪潮，全球各地都出現了很多創業公司，其中國外知名的包括美國的Uber Eats（全球）、英國的Deliveroo、印度的Swiggy、Zomato（分別被美團和阿里投資），印尼的go-jek等等。國內除了美團外賣、餓了么、滴滴外賣等典型代表外，而還有專注于即時配送服務創業公司，比如閃送、UU跑腿、達達、點我達等。

這種全球爆發的現象說明了兩個問題：

• “懶”是人類的天性。平價、方便、快捷的服務是人類的普遍需求，尤其是在“吃”這個事情上，外賣成為了一種高頻的剛需。

• 外賣的商業模式完全可行。以美團外賣為例，2018年上半年整體收入160億，同步增長90%。根據Uber公布的數據，Uber Eats在2018第一季度占整體營業的13%。

即時配送的業務模型

即時配送，是一種配送時長1小時以內，平均配送時長約30分鐘的快速配送業務。如此快速的配送時效，將傳統的線上電商交易與線下物流配送（傳統劃分比較明確的兩條業務）整合為統一整體，形成了用戶、商戶、騎手和平臺互相交錯的四元關系。

其整合力度空前緊密，幾乎滲透到各個環節。以外賣搜索和排序為例，在下午時段，在用戶搜索和推薦中可以看到更多的商家，因為此時運力充分，可以提供更遠距離的配送服務，不僅能更好滿足用戶的需求，提高商家的單量，而且能夠增加騎手的收入。

即時配送的核心指標是效率、成本、體驗，這三者也形成了即時配送的商業模型。簡單來說可以分為以下幾步：

1. 首先配送效率提升

• 讓騎手在單位時間內配送更多訂單，產生更多價值。

2. 然后配送成本下降

• 更高的效率，一方面讓騎手收入增加，一方面也讓訂單平均成本下降。

3. 然后用戶體驗提升

• 低成本能夠讓用戶（商戶）以更低的價格享受更好的配送服務，從而保證更好的用戶體驗。

4. 進一步提升效率并形成循環

• 更好的用戶體驗，讓更多用戶（商戶）聚集過來，提升規模和密度，進一步提升配送效率。

這樣，就形成了一個正向循環，不斷創造更多商業價值。而技術的作用，就是加速這個正向循環。

美團“超腦”配送系統

目前互聯網技術，很大部分還是針對線上產品和系統研發，整個流程可以在線上全部完成，而這也正是配送AI技術最大的不同和挑戰。簡單來說，類似搜索、推薦、圖象和語音識別這種線上產品常用的AI技術幫助不大，因為配送必須在線下一個一個環節的進行，這就要求AI技術必須能夠面對復雜的真實物理世界，必須能深度感知、正確理解與準確預測、并瞬間完成復雜決策。

為了滿足這些要求，我們建設了美團“超腦”配送系統，包含以下幾個方面：

• 大數據處理和計算能力

• 算法數據和計算平臺：包括實時特征計算、離線數據處理、機器學習平臺等。

• 建立對世界深度感知

• LBS系統：提供正確位置（用戶/商戶/騎手）以及兩點之間正確的騎行導航。

• 多傳感器：提供室內定位 、精細化場景刻畫、騎手運動狀態識別

• 正確理解和準確預測

• 時間預估：提供所有配送環節時間的準確預估

• 其他預估：銷量預估、運力預估等

• 完成復雜決策

• 調度系統：多人多點實時調度系統，完成派單決策：誰來送？怎么送？

• 定價系統：實時動態定價系統，完成定價決策：用戶收多少錢？給騎手多少錢？

• 規劃系統：配送網絡規劃系統，完成規劃決策：站點如何劃分？運力如何運營？

機器學習技術挑戰

如何構建一個在真實物理世界運行的AI系統，就是我們最大的挑戰。具體到機器學習方向而言，挑戰包括以下幾個方面：

• 精度足夠高、粒度足夠細

• 時間要求：一方面是周期性變化，比如早午晚，工作假日，季節變化；一方面是分鐘級的精細度，比如一個商圈單量和運力的實時變化。

• 空間要求：一方面是不同商圈獨有特性，比如CBD區域；一方面是要實現樓棟和樓層的精度，比如1樓和20樓，就是完全不同的配送難度。

• 魯棒性要求：處理各種不確定的能力，比如天氣變化、交通變化等等。

• 線下數據質量的巨大挑戰

• 大噪音：比如GPS定位漂移，尤其是在高樓附近，更不要說在室內GPS基本不可用。

• 不完備：比如商家后廚數據、堂食數據、其他平臺數據，都極難獲得。

• 高復雜：配送場景多樣而且不穩定，隨著時間、天氣、路況等在不斷變化。

配送系統的核心參數ETA

ETA（Estimated Time of Arrival，時間送達預估）是配送系統中非常重要參數，與用戶體驗、配送成本有直接關系，而且會直接影響調度系統和定價系統的最終決策。

一個訂單中涉及的各種時長參數(如上圖右側所示），可以看到有十幾個關鍵節點，其中關鍵時長達到七個。這些時長涉及多方，比如騎手（接-到-取-送）、商戶（出餐）、用戶（交付），要經歷室內室外的場景轉換，因此挑戰性非常高。

通過機器學習方法，我們已經將外賣配送幾乎所有環節都進行了精準預估預測。用戶感知比較明顯是預計送達時間，貫穿多個環節，商家列表（從配送時長角度讓用戶更好選擇商家）、訂單預覽（給用戶一個準確的配送時間預期）、實時狀態（下單后實時反饋最新的送達時間）。當然這里面還有很多用戶看不到的部分，比如商家出餐時間、騎手到店時間、交付時間等。其中交付時長，與用戶關系比較大，也很有意思，下文會詳細展開。

精準到樓宇和樓層的預估：交付時長

交付時長是指騎手到達用戶后，將外賣交付到用戶手中并離開的時間，實際是需要考慮三維空間內計算（上樓-下樓）。交付時間精準預估，有兩點重要的意義，首先是客觀的衡量配送難度，給騎手合理補貼；其次，考慮對騎手身上后續訂單的影響，防止調度不合理，導致其他訂單超時。

交付時長的目標是，做到樓宇和樓層的精準顆粒度，具體可以拆解為以下幾步：

1. 地址的精準解析（精確到樓宇/單元/樓層）

• 地址精度需要在5級之上（4級：街道，5級：樓宇），國內擁有這個級別精細化數據的公司屈指可數。

• 數據的安全級別很高，我們做了很多脫敏工作，做了各種數據保護與隔離，保證用戶隱私和數據安全。

• 地址信息的多種表達方式、各種變形，需要較強的NLU技術能力。

2. 交付時長預估

• 通過騎手軌跡進行“入客-離客”識別，并進行大量數據清洗工作。

• 統計各個粒度的交付時長，通過樹形模型實現快速搜索各個粒度的數據。

• 因為預估精度是樓宇和樓層，數據很稀疏，很難直接進行統計，需要通過各種數據平滑和回歸預估，處理數據稀疏和平滑的問題。

3. 下游業務應用

• 給調度和定價業務，提供樓宇+樓層維度的交付時長。從上圖可以看到，在不同樓宇，不同樓層交付時長的區分度還是很明顯的。

• 尤其是樓層與交付時長并不是線性相關，我們還具體調研過騎手決策行為，發現騎手會考慮等電梯的時間，低樓層騎手傾向于走樓梯，高樓層則坐電梯。

可以看到，真實世界中影響決策因素非常多，我們目前做的還不夠。比如交付時長也可以進一步細化，比如準確預估騎手上樓時間、下樓時間和等待時間，這樣其實能夠與商家取餐環節保持一致，之所以沒這么做，主要還是數據缺失，比如騎手在商家其實有兩個操作數據（到店、取餐），這樣能支持我們做精細化預估的，但是在用戶環節只有（送達）一個操作。

舉這個例子，其實是想說明，數據的完備性對我們到底有多重要。數據方面的挑戰，線下業務與線上業務相比，要高出好幾個等級。

配送中最重要的數據之一：地圖

地圖對配送的重要性毋庸置疑（位置和導航都不準確，配送如何進行？），前面提到的5級地址庫只是其中一部分。配送地圖的目標可以概括為以下兩點：

- 正確的位置       - 實時部分：騎手實時位置。       - 靜態部分：用戶和商戶準確的地址和位置。    - 正確的導航       - 兩點之間正確的距離和路線。       - 突發情況的快速反應（封路、限行）。

如果橫向對比配送、快遞、打車等行業對地圖的要求，其實是一件很有意思的事情，這個對于配送地圖技術建設來說，是一件非常有幫助的事情。

即時配送 VS 物流快遞：即時配送對地圖的依賴程度明顯高于物流快遞

即時配送 VS 出行行業：地圖廠商在車載導航的優勢和積累，在即時配送場景較難發揮

從這兩方面對比可以看到，在即時配送業務中，騎行地圖的重要性非常之高，同時很多問題確實非常具有行業特色，通過駕車地圖的技術無法很有效的解決。這樣就需要建設一套即時配送業務地圖的解決方案。

基于簽到數據的位置校正：交付點

如前文所述，配送地圖的方向有很多，這次我重點講一下用戶位置相關的工作“交付點挖掘”。首先看一下目前主要問題：用戶位置信息有很多錯誤，比如：

用戶選擇錯誤

上圖左，一個小區會有1期2期~N期等，用戶在選擇POI的時候就可能發生錯誤（比如1期的選了2期），兩者地理位置相差非常遠，很容易造成騎手去了錯誤的地方。這樣在訂單發送到配送系統的時候，我們需要做一次用戶坐標糾正，引導騎手到達正確的位置。

POI數據不精細

上圖右，用戶本來在xx區xx棟，但是只選了xx區這個比較粗的位置信息。現實中在一個小區里面，找到一個具體xx棟樓還是非常困難的，大家可以想想自己小區中，隨便說一個樓號你知道它在哪個角落嗎，更別說如果是大晚上在一個你不熟悉的小區了。造成這種原因，一方面可能是用戶選擇不精細，還有一種可能，就是地圖上沒有具體樓棟的POI信息。

在實際配送中，我們都會要求騎手在完成交付后進行簽到，這樣就會積累大量的上報數據，對于后續進行精細化挖掘非常有幫助。大家可以先看看我們收集的原始數據（上圖），雖然還是非常凌亂，但是已經能看到這其中蘊含著極高的價值，具體來說有三方面：

• 數據量大

• 每天幾千萬訂單，幾十億的軌跡數據。

• 可以充分覆蓋每一個小區/樓棟/單元門。

• 維度多樣

• 除了騎手簽到和軌跡數據，我們還有大量的用戶、商戶和地圖數據。

• 多種數據維度可以交叉驗證，有效避免數據的噪音，提高挖掘結果精度。

• 數據完備

• 在局部（用戶和商戶）數據足夠稠密，置信度比較高。

交付點挖掘的技術實戰：挑戰

在數據挖掘實際過程中，其實并沒有什么“高大上”的必殺技，無法使用流行的End2End方法，基本上還是需要對各個環節進行拆解，扎扎實實的做好各種基礎工作，基本整個挖掘過程，分為以下幾個步驟：（1）基于地址分組；（2）數據去噪；（3）數據聚合；（4）置信度打分。其中主要技術挑戰，主要在各種場景中保證數據挖掘質量和覆蓋率，具體來說主要有三個挑戰：

• 數據去噪

• 數據噪音來源比較多樣，包括GPS的漂移、騎手誤操作、違規操作等各種。一方面是針對噪音原因進行特殊處理（比如一些作弊行為），另一方面要充分發揮數據密度和數據量的優勢，在保證盡量去除Outlier后，依然保持可觀的數據量。能夠同時使用其他維度的數據進行驗證，也是非常重要的，甚至可以說數據多樣性和正交性，決定了我們能做事情的上限。

• 數據聚合

• 不同區域的樓宇密度完全不一樣，具有極強的Local屬性，使用常規聚類方法，比較難做到參數統一，需要找到一種不過分依賴樣本集合大小，以及對去噪不敏感的聚類算法。

• 重名問題

• 這個屬于POI融合的一個子問題，判斷兩個POI信息是否應該合并。這個在用戶地址中比較常見，用戶提供的地址信息一樣，但實際是兩個地方。這種情況下，我們的處理原則是一方面要求糾正后坐標更符合騎手簽到情況，另一方面新坐標的簽到數據要足夠稠密。

交付點挖掘的技術實戰：效果

目前，我們已經上線了一版交付點，對用戶位置進行主動糾正，讓騎手可以更準確更快的找到用戶。目前效果上看還是非常明顯的。包括幾個方面：

• 騎手交付距離明顯降低

• 從上圖左側部分看到，在上線前（綠色）交付距離>100M的占比很高（這個距離會導致實際位置差幾棟樓，甚至不同小區），也就是用戶自己選著的位置錯誤率比較高，導致騎手交付難度較高，對效率影響比較大。上線后（紅色），交付距離明顯縮短（均值左移），同時>100M的長尾比例明顯下降。

• 單元門級別的高精度位置

• 上圖右側部分看到，我們挖掘的交付點基本上能與樓宇的單元門對應。而且沒有明顯偏差比較大的部分。這個質量基本達到我們之前設定目標，也證明配送大數據的巨大潛力。

• 目前的問題以及后續的優化點

• 如何提升其作為POI挖掘和發現手段的準確率？這里面有很多優化點，比如去重（交付點-位置信息的一一映射），POI信息補全和更新。

• 如何擴大數據渠道并做到信息整合？目前主要渠道還是騎手簽到和軌跡數據，這個明顯有更大的想象空間，畢竟每天在全國大街小巷，有幾十萬騎手在進行配送，除了前面（以及后面）提到的通過手機被動采集的數據，讓騎手主動采集數據，也是不錯的建設思路。只不過想要做好的話，需要建立一個相對閉環數據系統，包括上報、采集、清洗、加工、監控等等。

更精細化的配送場景識別：感知

前面提到的地圖技術，只能解決在室外場景的位置和導航問題。但配送在商家側（到店、取餐）和用戶側（到客、交付）兩個場景中，其實是發生在室內環境。在室內的騎手位置是在哪里、在做什么以及用戶和商家在做什么，如果了解這些，就能解決很多實際問題。比如：

這個技術方向可以統稱為“情景感知”，目標就是還原配送場景中（主要是室內以及GPS不準確），真實配送過程發生了什么，具體方向如下圖所示：

情景感知的目標就是做到場景的精細刻畫（上圖的上半部分），包含兩個方面工作：

• 配送節點的精確刻畫

• 在ETA預估中已經展示過一些，不過之前主要還是基于騎手上報數據，這顯然無法做到很高精確，必須引入更客觀的數據進行描述。目前，我們選擇的是WiFi和藍牙的地理圍欄技術作為主要輔助。

• 配送過程的精確刻畫

• 騎手在配送過程中經常會切換方式，比如可能某個小區不讓騎電動車，那騎手必須步行，再比如騎手在商家發生長時間駐留，那應該是發生了等餐的情況（用戶側同理）。目前，我們選擇使用基于傳感器的運動狀態識別作為主要輔助。

這些數據，大部分來至于手機，但是隨著各種智能硬件的普及，比如藍牙設備，智能電動車、智能頭盔等設備的普及，我們可以收集到更多數據的數據。WiFi/藍牙技術，以及運動狀態識別的技術比較成熟，這里主要說一下概況，本文不做深入的探討。

對于配送系統來說，比較大的挑戰還是對識別精度的要求以及成本之間的平衡。我們對精度要求很高，畢竟這些識別直接影響定價、調度、判責系統，這種底層數據，精度不高帶來的問題很大。

考慮成本限制，我們需要的是相對廉價和通用的解決方案，那種基于大量傳感器硬件部屬的技術，明顯不適用我們幾百萬商家，幾千萬樓宇這種量級的要求。為此，在具體技術方面，我們選用的是WiFi指紋、藍牙識別、運動狀態識別等通用技術方案，就單個技術而言，其實學術界已經研究很充分了，而且也有很多應用（比如各種智能手環等設備）。對于我們的挑戰在于要做好多種傳感器數據的融合（還包括其他數據），以確保做到高識別精度。當然為了解決“Ground Truth”問題，部署一些穩定&高精度的智能硬件還是必須的，這對技術迭代優化和評估都非常有幫助。

總結

美團外賣日訂單量超過2400萬單，已經占有了相對領先的市場份額。美團配送也構建了全球領先的即時配送網絡，以及行業領先的美團智能配送系統，智能調度系統每小時路徑計算可達29億次。如何讓配送網絡運行效率更高，用戶體驗更好，是一項非常困難的挑戰，我們需要解決大量復雜的機器學習和運籌優化等問題，包括ETA預測，智能調度、地圖優化、動態定價、情景感知、智能運營等多個領域。過去三年來，美團配送AI團隊研發效果顯著，配送時長從一小時陸續縮短到30分鐘，并且還在不斷提升，我們也希望通過AI技術，幫大家吃得更好，生活更好。