在北京，一家研發人員全部來自清華、斯坦福的人工智能初創企業——深鑒科技，正在研發一種新技術，讓機器學習的“推斷”效率得到最大的提高。
常聽說機器學習分為“訓練”和“推斷”。前者是對模型進行訓練，讓模型更智能，一般在研發中心完成；後者是模型訓練完成後，在數據中心進行生産部署。一般來說，95%以上的機器學習計算都用于“推斷”，隻有不到5%用于一開始的模型訓練，各大企業如火如荼的機器學習“訓練”，着實讓一家芯片企業——英偉達——變得炙手可熱。這家企業提供的GPU（圖形處理器）特别擅長模型訓練。但到了“推斷”階段，情況發生了變化。如果說機器學習的“訓練”需要非常高的性能，關注浮點運算，功耗很高的話，那麼“推斷”這種大規模部署，就必須大幅提高效率，降低能耗。而英偉達确實還沒有大規模生産部署的成功例證。
當機器學習大規模應用
深鑒科技的研究是為了加速機器學習的生産部署。它将精簡過的神經系統模型進一步壓縮，變成更小的模型，來提高運行效率。
“不僅如此，深鑒科技的一項工作處于業界尖端——他們研究怎麼在數據精度降低後，最小限度地損失模型的精确性。”賽靈思戰略與市場營銷部高級副總裁SteveGlaser說，“以往精度降低的數據類型，對機器學習在大規模運行，尤其是超大規模運行時，有非常大的影響。”
今年夏季，深鑒科技在矽谷召開的重要技術會議Hotchips上公布研究結果，他們的方法在機器學習推斷方面超過了GPU的速度，而能效卻比GPU高10倍。
深鑒科技的研究基于賽靈思的FPGA（現場可編程門陣列）芯片。這是一種可以通過反複編程執行特定任務的芯片。這個在機器學習大規模部署方面的研究令賽靈思興奮不已。
不僅如此，2016年10月，百度宣布采用賽靈思FPGA芯片，來加速他們的機器學習進程，涉及語音和汽車應用。同樣在Hotchips會議上，百度研究人員公布，他們發現用賽靈思FPGA可以加速序列數據分析，提速達到10倍。
更令賽靈思振奮的是，亞馬遜AWS這個全球最大的公有雲企業，在11月底美國拉斯維加斯舉辦的一年一度的re：invent大會上，宣布選擇賽靈思FPGA，發布它的F1計算實例服務，這是一種由2個CPU和8個FPGA組成的計算類型，支撐的應用多為大數據分析、視頻分析和機器學習。目前FI計算實例已開始預覽服務，明年早些時候在全球公布。
芯片探索從未中斷
伴随人工智能規模應用的嘗試和推進，而傳統CPU芯片成本昂貴，功耗密度有局限，市場上出現了各類芯片技術。
今年中，谷歌宣布專門為人工智能設計了一款自己的芯片TPU，它更适合運行谷歌人工智能系統TensorFlow，這個系統也是AlphaGo的基礎。TPU是一款專用芯片，能在更低能耗下，在更短時間完成更多任務。
谷歌認為，對機器學習來說，現在火熱的GPU不夠專精，畢竟GPU在設計之初不是針對人工智能用途的，而是針對遊戲和其他圖形密集型應用。谷歌認為，定制芯片可以進一步提高效率。
另一種芯片是FPGA。微軟已測試FPGA在機器學習領域的運用，英特爾為此花費167億美元收購FPGA芯片供應商Altera。而賽靈思目前是市場上獨立的FPGA供應商，其産品更疊更領先一籌。
“谷歌的定制芯片隻用于執行某項任務，它的應用廣度遠遠不能滿足超大規模數據中心的要求。”賽靈思SteveGlaser說，“人們使用的應用越來越多，數據中心也要為此部署越來越多的應用，還要适應應用不斷變化的數據和性能。”
不過，FPGA目前要解決的最大瓶頸是它的開發便利性。過去，FPGA應用在通信、航空航天等高端應用領域。現在，它要更适合廣泛的開發者，特别是嵌入式及大規模數據中心的應用。針對數據中心應用，賽靈思最近推出了可重配置的加速堆棧。“加速堆棧”的推出意味着賽靈思提供的不止是FPGA，它還提供優化的數學函數庫與應用函數庫、軟件框架實現方案、支持OpenCL和C/C++等高級語言的工具、便于配置和管理的Openstack支持，以及預期的加速器闆參考設計。
賽靈思期望借助這個新型的、用于數據中心工作負載加速的可重配置加速堆棧，加速FPGA在數據中心中的更廣泛應用。該産品專為世界最大的數據中心而設計，例如阿裡巴巴、亞馬遜、百度、Facebook、谷歌、微軟和騰等“超七大”數據中心公司。賽靈思的戰略是既要充分利用FPGA的靈活性、性能和計算效率，同時又要讓該技術随着業務需求變化易于開發、部署和演進。
“這并不是一個交鑰匙工程，但我們也替大規模數據中心的開發者和管理者完成了80%的工作，還有20%有待他們優化、細化，來實現他們定制化的目的。”SteveGlaser說，“我想這是一個開端，但現在還沒完全達到我們的目标。”
産業界的探索從未中斷，可能等到一些年後才能知道什麼是最佳的方案，畢竟，人工智能這個概念本身也在繼續進化中。
SteveGlaser
機器學習大規模部署的研究，很多基于賽靈思芯片，讓這家企業興奮不已