開yun體育app官方下載入口 DL時代的代碼補全利器，北大出品，效果遠超語言模型
從程序員到數(shù)據(jù)工程師，編寫程序代碼是一項基本功，但編寫冗長代碼的過程也極大消耗了開發(fā)人員的耐心。最近，關(guān)于代碼補全工具的消息不斷涌現(xiàn)，比如來自美國的Kite、來自加拿大的TabNine等，引起了很多程序員的關(guān)注。但事實上，很多人還不知道，在這些被媒體不斷推崇的國外產(chǎn)品背后，有一個能力更強大、更早應(yīng)用深度學(xué)習(xí)進行代碼補全的產(chǎn)品，就是一款源自中國的工具——aiXcoder ，其開發(fā)者來自北京大學(xué)。
本文中，機器之心采訪了項目負(fù)責(zé)人、北京大學(xué)計算機科學(xué)與技術(shù)系副教授李革，請他為讀者講解自動代碼補全背后的技術(shù)，以及技術(shù)特點和優(yōu)勢背后是aiXcoder。
aiXcoder官網(wǎng)：#/
aiXcoder的代碼補全效果
我們先看一下編寫TensorFlow時的代碼補全效果：
如上圖，aiXcoder可以在TensorFlow代碼環(huán)境中直接“猜測”出模型建立后的一系列代碼流程。例如，定義損失后，需要定義優(yōu)化器，然后需要train_op和init方法，最后定義保存模型的saver方法，并開始運行計算圖。這樣的流程基本上深度學(xué)習(xí)開發(fā)者都知道，但是把流程寫下來卻非常麻煩。在aiXcoder的提示下，開發(fā)速度得到了提升。
aiXcoder支持Java、C++/C、Python、PHP、JavaScript等語言，并以插件的形式集成到現(xiàn)有的IDE中，如Pycharm、Android Studio、VS Code、Eclipse、Webstorm、Sublime等。該插件是一個強大的云深度學(xué)習(xí)引擎。
對于開發(fā)者來說，產(chǎn)品目前分為社區(qū)版、專業(yè)版和企業(yè)版。社區(qū)版完全免費，專業(yè)版也可以通過分享免費獲得。它們之間的區(qū)別在于模型是否會繼續(xù)學(xué)習(xí)。社區(qū)版本主要使用預(yù)先訓(xùn)練的公共模型進行預(yù)測，而專業(yè)版本將根據(jù)用戶的編碼習(xí)慣和結(jié)構(gòu)進行進一步調(diào)整。
企業(yè)版是aiXcoder最強大的版本。它可以部署在企業(yè)內(nèi)部私有云中，可以使用企業(yè)自己的代碼來優(yōu)化模型訓(xùn)練，從而獲得更高的準(zhǔn)確性和運行性能。
如何使用aiXcoder
看到比聽到更好。機器之心還測試了 aiXocder。
機器之心在Pycharm上嘗試了社區(qū)版/專業(yè)版，兩者都需要在線推理。不同的是開yun體育官網(wǎng)入口登錄app，Pro版本還需要額外的內(nèi)存，因為每個Pro用戶都需要額外的緩沖區(qū)來存儲模型“學(xué)到”的用戶習(xí)慣。當(dāng)然，Pro用戶的緩沖區(qū)只能通過該插件訪問。
用戶體驗
一般來說，當(dāng)我們選擇Python和PyCharm時，代碼補全自然會使用IDE自帶的工具。使用aiXcoder的第一感覺是它比內(nèi)置的補全工具靈活很多，因為之前的補全主要體現(xiàn)在Python函數(shù)或者其他包的API中，同時aiXcoder還可以預(yù)測變量名是什么，操作是什么，理念是什么。被調(diào)用的函數(shù)是什么？
雖然代碼補全的推理過程全部在云端完成，但在我們的使用中，一般網(wǎng)絡(luò)環(huán)境甚至4G都可以實時反饋，所以補全速度與Pycharm自帶的工具基本一致。李革教授表示，目前大部分aiXcoder都能在200ms左右得到反饋。部分地區(qū)的用戶可能會因為網(wǎng)絡(luò)延遲問題而出現(xiàn)卡頓的情況。 aiXcoder正在全國主要城市部署服務(wù)器，以改善用戶體驗。同時，aiXcoder團隊還特別關(guān)注模型壓縮技術(shù)，希望將基于CPU的推理計算時間壓縮到可接受的水平，從而推出可以在CPU上運行的本地版本。
總體來說，aiXcoder提供的補全功能在預(yù)測變量名、函數(shù)名或者關(guān)鍵字方面確實非常靈活，而且還學(xué)習(xí)了開發(fā)者的編碼風(fēng)格和編程模式，所以效果還是相當(dāng)不錯的。
以下是自動完成的一些候選者。一些函數(shù)名稱可能是開發(fā)人員常用的，因此推薦：
對于某些變量，aiXcoder可以根據(jù)變量類型建議對該變量可能的操作。例如，對于下圖中的變量“m”，aiXcoder提出了添加字符串的代碼：
對比評價
aiXcoder 官方還將該產(chǎn)品與其他代碼補全工具進行了比較，包括 Kite 和 TabNine。
在比較過程中，aiXcoder將使用Kite或TabNine官方提供的示例代碼，并測試需要多少次按鍵才能完成此代碼。結(jié)果表明，aiXcoder 的效率比其他插件高 1.5 倍以上。
aiXcoder 是如何構(gòu)建的
能夠?qū)崿F(xiàn)高效的代碼補全的aiXcoder，背后有著強大的技術(shù)支持。據(jù)李革教授介紹，aiXcoder很早就嘗試了語言模型，將代碼當(dāng)成一種語言，直接建模，就像Deep TabNine一樣。然而研究人員很快發(fā)現(xiàn)僅靠語言模型是行不通的，總會提出一些無意義且不科學(xué)的補全建議。為此，aiXcoder結(jié)合了基于序列的程序代碼語言模型、基于抽象語法樹和程序邏輯關(guān)系的圖神經(jīng)網(wǎng)絡(luò)等方法，創(chuàng)建了一個完整的系統(tǒng)。
為什么直接生成代碼很困難
如果深度學(xué)習(xí)模型能夠直接按照開發(fā)者的意圖以端到端的方式生成相應(yīng)的代碼，那么這樣的模型將會非常“優(yōu)雅”。但經(jīng)過研究發(fā)現(xiàn)，這樣的任務(wù)要求很難實現(xiàn)，這與任務(wù)本身所依賴的數(shù)據(jù)性質(zhì)有關(guān)。
李革教授從機器學(xué)習(xí)所依賴的數(shù)據(jù)性質(zhì)的角度，對代碼生成任務(wù)與傳統(tǒng)圖像處理任務(wù)、自然語言處理任務(wù)的區(qū)別進行了更加直觀的解釋。
對于圖像識別或圖像分類任務(wù)，機器學(xué)習(xí)的目標(biāo)是在連續(xù)數(shù)據(jù)集（圖像數(shù)據(jù)）和邊界近乎清晰的近連續(xù)數(shù)據(jù)集（標(biāo)簽）之間建立映射關(guān)系。
這樣，由于圖像數(shù)據(jù)極其密集，并且標(biāo)簽集有足夠清晰的邊界，因此相當(dāng)于有大量數(shù)據(jù)可供學(xué)習(xí)的標(biāo)簽。這樣的映射關(guān)系比較容易建立，這也是機器學(xué)習(xí)中圖像相關(guān)任務(wù)比較容易完成的原因。
對于自然語言處理任務(wù)，機器學(xué)習(xí)需要在一個更連續(xù)（離散度比圖像更高）且邊界更清晰的數(shù)據(jù)集與另一個更連續(xù)、邊界更清晰的數(shù)據(jù)集之間建立關(guān)系。映射關(guān)系。
由于自然語言處理中的文本數(shù)據(jù)比圖像數(shù)據(jù)稀疏，因此與自然語言處理相關(guān)的任務(wù)更難以獲得良好的模型性能。
但就代碼生成而言，從程序員的意圖（intent）生成程序代碼的問題可以看作是“程序員意圖空間”到“程序代碼空間”的映射，其中意圖可以是自然語言描述的信息。如上圖所示，這是從具有清晰邊界的更連續(xù)的數(shù)據(jù)集到?jīng)]有清晰邊界的更離散的數(shù)據(jù)集的映射。
也就是說，雖然代碼生成的意圖比較明確，但是實現(xiàn)該意圖的代碼數(shù)據(jù)卻比較稀疏，而且即使對于同一個意圖，對應(yīng)的實現(xiàn)代碼之間仍然存在較大差距，所以這樣的任務(wù)是非常困難的。很難學(xué)到。
為此開yun體育app入口登錄，在aiXcoder的實際實現(xiàn)中，不同應(yīng)用領(lǐng)域的代??碼使用特定的模型開yun體育官網(wǎng)入口登錄體育，并且僅使用該領(lǐng)域的數(shù)據(jù)進行訓(xùn)練。例如，TensorFlow或PyTorch等框架也有自己特定的代碼完成模型。這樣做的主要目的是為了增強節(jié)目分發(fā)的密度。在特定領(lǐng)域，代碼分布更接近連續(xù)性。
可見，按照程序員的“意圖”“直接”生成完整的代碼是非常困難的，但李戈教授表示，類似的技術(shù)可以用來輔助人類程序員編寫代碼。我們可以從程序員已經(jīng)寫好的內(nèi)容開始。從代碼中獲取程序員的“編程意圖”，然后對代碼進行綜合分析，包括其結(jié)構(gòu)信息、變量引用信息、API序列信息、繼承關(guān)系信息等，自動生成后續(xù)代碼。然而，在這個過程中，僅有語言模型是不夠的。需要分析許多其他代碼特征才能完成生成代碼補全。
一個簡單的預(yù)訓(xùn)練語言模型怎么樣？
說到代碼補全，有些人可能下意識地認(rèn)為這只是一個普通的語言建模任務(wù)。模型只需要根據(jù)開發(fā)人員之前編寫的代碼來預(yù)測未來的代碼。因此，使用最先進的預(yù)訓(xùn)練語言模型，然后在代碼數(shù)據(jù)上進行微調(diào)，可能是一個很好的方法。
但李革教授表示，這個想法還遠遠不夠。預(yù)訓(xùn)練的語言模型在代碼補全任務(wù)中表現(xiàn)不佳，主要是因為代碼補全任務(wù)本身存在許多與自然語言分析任務(wù)不同的挑戰(zhàn)。
首先是代碼文本語義抽象的問題。代碼語義（功能語義）與其字面表示之間存在更大的差距。我們無法從字面上確定代碼的確切語義。例如，在代碼中，僅更改一個字符就有可能完全改變整行代碼的功能，因此處理代碼的語言并準(zhǔn)確提取其含義比自然語言處理任務(wù)更棘手。
f = open('word_ids.txt','r')f = open('word_ids.txt','w')
如上圖所示，在Python代碼中，打開文件時使用“r”和“w”會實現(xiàn)完全不同的功能。
另外，代碼的功能語義很難具體地表達和表征，并且代碼的功能語義可以通過多種方式表達。例如，實現(xiàn)某個功能有多種形式的代碼，你不能說一種代碼是對的，另一種是錯誤的。
list_a = []for i in items:result = test(i)list_a.append(result)list_a?=?[test(i)?for?i?in?items]
如圖所示，實現(xiàn)list_a的代碼可以是多種多樣的，但是語言模型會將它們學(xué)習(xí)為完全不同的表示形式。
同時，代碼文本本身的結(jié)構(gòu)也非常復(fù)雜。例如，代碼的語義和代碼結(jié)構(gòu)（如行的縮進）有很大的相關(guān)性，而代碼語義又依賴于代碼結(jié)構(gòu)來表達。這是預(yù)訓(xùn)練語言模型難以表示的特征。
最后，代碼具有進化特征。代碼的迭代速度比自然語言快，因此預(yù)訓(xùn)練的語言模型無法及時捕捉進化特征。
考慮到代碼語言的諸多特性，簡單的預(yù)訓(xùn)練語言模型并不能取得很好的效果。
核心技術(shù)
既然單獨的語言模型是不夠的，那么aiXcoder結(jié)合了哪些技術(shù)，又依靠什么來完成代碼呢？總的來說，aiXcoder主要依靠其獨特的深度神經(jīng)網(wǎng)絡(luò)模型來學(xué)習(xí)程序代碼。該模型可以分析程序的以下特征：
1、程序的結(jié)構(gòu)語義特征：程序設(shè)計語言是高度結(jié)構(gòu)化的語言，程序的結(jié)構(gòu)信息也體現(xiàn)了程序的語義。例如，抽象語法樹是用于解析代碼的更通用的結(jié)構(gòu)。它體現(xiàn)了代碼的語義特征。 aiXcoder充分利用抽象語法樹來解釋程序員編寫的代碼的語義。
2、程序元素之間的邏輯關(guān)系：程序代碼的不同元素之間存在不同的關(guān)系，例如程序變量之間的引用關(guān)系、類之間的繼承關(guān)系、方法和參數(shù)之間的調(diào)用關(guān)系等。程序本身可以表示為一個各種圖，例如控制流圖、數(shù)據(jù)流圖、調(diào)用關(guān)系圖等。aiXcoder 使用圖神經(jīng)網(wǎng)絡(luò)對程序元素之間的多種關(guān)系進行建模，使其能夠分析和推理程序元素之間的復(fù)雜關(guān)系。
3、編程語言序列模型：當(dāng)然，程序語言與自然語言也有相似之處，因此可以利用程序標(biāo)識符之間的序列關(guān)系來構(gòu)建程序語言模型。 aiXcoder還使用最新的深度學(xué)習(xí)語言模型對程序中的序列信息進行建模。
獲得程序代碼的各種特征后，就需要將這些特征輸入到深度神經(jīng)網(wǎng)絡(luò)中進行分析，但這并不容易，因為這些特征在輸入到神經(jīng)網(wǎng)絡(luò)之前需要進行向量化。在研究過程中，北京大學(xué)提出了一系列解決編程語言組件相位量化的方法，并發(fā)表了國際上首篇相關(guān)論文，為aiXcoder的建設(shè)奠定了基礎(chǔ)。
團隊介紹
李革教授所在的北京大學(xué)高可信軟件技術(shù)教育部重點實驗室是國內(nèi)頂尖的軟件研究團隊，也是北京大學(xué)計算機軟件與理論國家重點學(xué)科的主要依托。其建設(shè)歷史可以追溯到1955年，并一直延續(xù)至今。有著60多年的學(xué)術(shù)積累和積淀。該團隊由著名軟件科學(xué)家楊福清院士、梅紅院士領(lǐng)銜，已成長為該領(lǐng)域國際領(lǐng)先的研究團隊。
基于深度學(xué)習(xí)的代碼分析與生成一直是李革教授的研究方向，也是北京大學(xué)高可信軟件技術(shù)教育部重點實驗室的重點領(lǐng)域。他們從2013年開始開展基于深度學(xué)習(xí)的代碼分析研究，從2015年開始使用深度學(xué)習(xí)進行代碼生成，是最早開展相關(guān)研究的團隊之一。團隊在AAAI/IJCAI/ACL等頂級會議上發(fā)表了多篇代碼生成相關(guān)的論文，這也是技術(shù)上的大量積累。
李革教授是aiXcoder創(chuàng)始人，北京大學(xué)計算機科學(xué)與技術(shù)系副教授，CCF軟件工程委員會秘書長，計算機系人工智能實驗室客座副教授斯坦福大學(xué)的科學(xué)。主要研究方向：程序分析、程序生成、深度學(xué)習(xí)。其所在的研究團隊專注于基于機器學(xué)習(xí)概率模型的編程語言處理，在代碼功能分析、代碼自動補全、代碼缺陷檢測等方面取得并保持國際領(lǐng)先的研究成果。
WAIC 2019開發(fā)者日將于8月31日在上海世博中心舉行，包括1個主單元、4個分單元、黑客馬拉松競賽和開發(fā)者診所互動區(qū)。
屆時，全球頂尖人工智能專家、科技巨頭、知名企業(yè)代表以及數(shù)千名開發(fā)者將齊聚上海，分享和解讀前沿的人工智能理論、技術(shù)和開發(fā)實踐。
關(guān)鍵詞：
客戶評論
-
頂一個！https://www.skypeis.com/
-
林子大了，什么鳥都有了啊！https://www.skypeis.com/
-
樓主的文筆不錯！https://t.me/s/telegrcns?before=661
-
收藏了，很不錯的內(nèi)容！https://t.me/s/telegrgfwz?before=661
-
論壇人氣好旺！https://meitu-xiuxiu.com/
-
樓主就是我的榜樣哦https://www.telegram-org.com
-
樓主該去看心理醫(yī)生了！https://www.btoki.com/
-
這么好的帖子，應(yīng)該加精華！https://www.btoki.com/
-
頂一下，收藏了！https://www.linewb.com/
-
樓主該去看心理醫(yī)生了！https://t.me/s/ZH_Chinacn
-
關(guān)注一下！https://www.linewb.com/
-
看在樓主的面子上，認(rèn)真回帖！https://sogou-shurufa.cn/
-
我和我的小伙伴都驚呆了！https://www.skypeis.com/
-
以后要跟樓主好好學(xué)習(xí)學(xué)習(xí)！https://pc-i4.com/
-
終于看完了，很不錯！https://meitu-xiuxiu.com/
-
怎么我回帖都沒人理我呢？https://www.btoki.com/
-
不是驚喜，是驚嚇！https://www.telegramnu.com
-
語言表達流暢，沒有冗余，讀起來很舒服。https://www.telegramep.com
-
看了這么多帖子，第一次看看到這么有內(nèi)涵的！https://pc-i4.com/
-
很經(jīng)典，收藏了！https://www.btoki.com/
-
樓主看起來很有學(xué)問！https://t.me/s/zh_Telegramx?before=661
-
樓主是一個神奇的青年！https://meitu-xiuxiu.com/
-
信樓主，考試不掛科！https://www.skypeis.com/
-
網(wǎng)站做得不錯https://www.telegramnu.com
-
網(wǎng)頁的加載速度非常快，不會影響用戶體驗。https://meitu-xiuxiu.com/
-
樓主的文筆不錯！https://meitu-xiuxiu.com/
-
知識就是力量啊！https://sogou-shurufa.cn/
-
今天過得很不爽！https://sogou-shurufa.cn/
-
樓主很有激情啊！https://www.skypeis.com/
-
大神好強大！https://sogou-shurufa.cn/
-
吹牛的人越來越多了！https://www.skypeis.com/
-
強，我和我的小伙伴們都驚呆了！https://www.zaloi.com/
-
學(xué)習(xí)雷鋒，好好回帖！https://www.telegrabcm.com
魯ICP備18019461號-4
我要評論