關鍵詞：深度學習；5G；高級特征
引言
随着移動設備以及移動應用和服務的日益普及對移動和無線網絡基礎設施的需求達到前所未有的高度。即将推出的5G系統正在發展，以應對移動通信量的爆炸式增長，并靈活管理網絡資源，從而最大限度地提高用戶體驗及細粒度抽取實時分析的能力。因為深度學習技術可以最大限度的處理大量數據的問題，于是我們決定在移動無線網絡中采用深度學習技術。
1、深度學習與移動網絡的概述
1.1深度學習應用概述
大數據時代引發了對不同研究領域的深度學習的廣泛興趣，并且越來越多的調查和教程正在出現。深度學習的應用主要有語音處理，模式識别和計算機視覺。
1.2移動無線網絡的綜述
随着移動設備以及移動應用和服務的日益普及對移動和無線網絡基礎設施的需求達到前所未有的高度。新興的5G移動網絡結合了大量新技術來克服當前部署的性能限制并滿足新的應用需求。
2、深度學習介紹
2.1深度學習基本原理
典型的深度學習模型就是很深層的神經網絡，神經網絡中最基本的單元就是神經元模型，在這個模型中，神經元收到來自n個其他神經元傳遞來的輸入信号，這些輸入信号可以通過帶權重的連接進行傳遞，神經元接收到的總輸入值将與神經元的阈值進行比較，然後通過“激活函數”的處理以産生神經元的輸出。
深度神經網絡的關鍵目标是通過單位（或神經元）的簡單和預定義操作的組合來逼近複雜函數。這樣的目标函數幾乎可以是任何類型的，比如圖像和它們的類标簽之間的映射（分類），基于曆史值計算未來股票價格（回歸），或者甚至根據棋局的當前狀态決定下一個棋子的最佳移動方式（控制）。所執行的操作通常由特定的一組隐藏單元與非線性激活函數的加權組合來定義，具體取決于模型的結構。這些操作與輸出單元一起被命名為“圖層”。神經網絡結構類似于大腦中的感知過程，其中在給定當前環境的情況下激活特定的一組單元，從而影響神經網絡模型的輸出。在數學術語中，深層神經網絡的體系結構通常是可微的，因此模型的權重（或參數）可以根據基本鍊規則使用梯度下降法通過反向傳播最小化損失函數得到。
2.2深度學習的優勢
我們認識到采用深度學習解決網絡工程問題的幾個好處，即：
1）衆所周知，特征工程對傳統機器學習算法的性能至關重要，但它是昂貴的。深度學習的一個關鍵優勢是它可以從具有複雜結構和内部相關性的數據中自動提取高級特征。學習過程不需要由人設計，這極大地簡化了以前的特征手工制作。在移動網絡的背景下，這一點的重要性得到了放大，因為移動數據通常是由不同來源産生的，往往是嘈雜的，并且表現出非平凡的空間和時間模式，否則它們的标簽将需要很多的人工努力。
2）其次，深度學習能夠處理大量數據。移動網絡可以快速生成大量不同類型的數據。訓練傳統的機器學習算法有時需要将所有數據存儲在内存中，這在大數據情況下在計算上是不可行的。此外，随着大量數據和平台相對較快，機器學習的性能不會顯著增長。相比之下，用于訓練神經網絡的随機梯度下降（SGD）隻需要在每個訓練步驟中使用子集，這就保證了深度學習對大數據的可擴展性。深度神經網絡進一步受益于大數據訓練防止模型過度拟合。
3）傳統的監督學習隻有在有足夠的标記數據可用時才有效。然而，目前大多數移動系統都會生成未标記或半标記的數據。深度學習提供了各種方法，允許利用未标記數據以無監督方式學習有用模式，例如限制玻爾茲曼機器（RBM），生成敵對網絡（GAN）。應用包括聚類，數據分布近似，非/半監督學習和一次/零點學習等。
4）深層神經網絡學習的壓縮表示可以在不同的任務之間共享，而在其他機器學習範式（例如，線性回歸，随機森林等）中這是有限的或難以實現的。因此，可以對單個模型進行培訓以實現多個目标，而不需要對不同任務進行完整的模型重新訓練。我們認為這對于移動網絡工程是至關重要的，因為它在執行多任務學習應用時降低了移動系統的計算和内存需求。
3、如何為移動網絡定制深度學習
雖然深度學習在許多移動網絡領域表現出色，但沒有一種模型可以在所有問題中普遍應用。這意味着對于任何特定的移動和無線網絡問題，我們可能需要調整不同的深度學習體系結構以獲得更好的性能。在本節中，我們将重點讨論如何從兩個角度為移動網絡應用定制深度學習，即分布式數據中心以及不斷變化的移動網絡環境。
3.1為移動設備和系統定制深度學習
未來5G移動網絡的超低延遲要求以及移動系統運行效率，包括深度學習驅動應用。但是，在移動系統上運行複雜的深度學習可能會違反某些延遲限制。另一方面，目前大多數移動設備都受到硬件能力的限制。這意味着在沒有調整的情況下在這樣的設備上實現複雜的深度學習體系結構可能在計算上是不可行的。為了解決這個問題，許多研究人員緻力于改進現有的深度學習架構，這樣他們就不會違反任何延遲和能量限制。
Lane等人開發一個軟件加速器DeepX，通過利用兩種推理時間資源控制算法，即運行時間層壓縮和深層體系結構分解，協助移動設備上的深度學習實現。這在移動設備中很重要，因為在當前的硬件平台上卸載對邊緣的推斷更實用。除了這些工作之外，研究人員還通過其他設計和複雜的優化改變深度學習架構，如參數量化，稀疏化和分離，表示和存儲器共享，卷積操作優化，修剪和雲援助。這些技術對于将深度神經網絡嵌入到移動系統和設備中具有重要意義。
3.2為分布式數據中心定制深度學習
移動系統每天都會産生和消耗大量的移動數據，這可能涉及類似的内容，但分布在世界各地。将所有這些數據移動到集中式服務器以執行模型培訓和評估，不可避免地會引入通信和存儲開銷，這是難以擴展的。然而，從不同地點生成的移動數據通常表現出與人類文化，移動性，地理拓撲等相關的不同特征。為了獲得用于移動網絡應用的健壯的深度學習模型，需要用不同數據來訓練模型。而且，将全面的訓練/推理過程完全納入雲中将引入不可忽略的計算開銷。因此，适當地将模型執行卸載到分布式數據中心或邊緣設備可以顯著減輕雲的負擔。
一般來說，有兩種解決方案來解決這個問題。即，（i）分解模型本身以單獨訓練（或推斷）其組成部分；或者（ii）縮放訓練過程以在與數據容器相關聯的不同位置執行模型更新。兩種方案都允許人們訓練單一模型，而不需要集中所有數據。我們在圖1中說明這兩個解決方案的原理，并回顧本小節中的相關技術。
3.3為不斷變化的移動網絡環境定制深度學習
移動網絡環境通常會随着時間的推移呈現出不斷變化的模式例如，一個地區的空間移動數據流量分布從一天的不同時間顯著變化。在改變移動環境中應用深度學習模式将需要終身學習能力，以不斷吸收移動環境中的新功能，而不會忘記舊的但基本的模式。此外，新的智能手機定位病毒正在通過移動網絡迅速傳播，嚴重危害用戶的隐私和商業利益。這些對目前的異常檢測系統和反病毒軟件構成了前所未有的挑戰，因為它們需要這樣的框架才能使用有限的信息及時應對新的威脅。為此，該模型應具有轉移學習能力，可以使來自不同作業或數據集的預訓練模型的知識快速傳輸。這将允許模型适用于有限的威脅樣本（單次學習）或有限的新威脅的元數據描述（零次學習）。因此，終端學習和轉移學習對于可變移動網絡環境中的應用至關重要。我們在圖2中說明了這兩種學習範式。
4、結束語
深度學習在移動和無線網絡領域扮演着越來越重要的角色。在本文中，我們提供了關于這兩個不同領域之間交叉點的最近工作的全面調查。我們總結了各種深度學習模型的基本概念和先進原理，然後通過回顧不同應用場景下的工作，将深度學習和移動網絡學科相關聯。我們讨論了如何針對一般移動網絡應用定制深度學習模型，這是以前調查完全忽視的一個方面。我們希望這篇文章能成為研究人員和從業人員将移動網絡應用于複雜問題感興趣的明确指導。
參考文獻
[1]Cisco.CiscoVisualNetworkingIndex:ForecastandMethodology[c]，2016-2021,June2017.
作者單位：南京郵電大學貝爾英才學院。