當下，大語言模型集成至編程領域、完成代碼生成與補全任務成為重要趨勢。業界已經出現了一批引人矚目的代碼大模型，比如 OpenAI 的 CodeX、谷歌 DeepMind 的 AlphaCode、HuggingFace 的 StarCoder，幫助程序員更迅捷、更準確、更高質量地完成編碼任務，大幅提升效率。

　　有這樣一支研發團隊，在10年前便開始了將深度學習用于軟件開發的探索，并在代碼理解和代碼生成領域雙雙全球領先。他們就是來自北京大學軟件工程研究所的 aiXcoder 團隊(簡稱 aiXcoder 團隊)，此次為開發者帶來了新的高效編碼利器。

　　4月9日，該團隊開源了全自研 aiXcoder7B 代碼大模型，不僅在代碼生成和補全任務中大幅領先同量級甚至超越15B、34B 參數量級的代碼大模型;還憑借其在個性化訓練、私有化部署、定制化開發方面的獨有優勢，成為最適合企業應用、最能滿足個性化開發需求的代碼大模型。

　　aiXcoder7B 的全部模型參數和推理代碼均已開源，可以通過 GitHub、Hugging Face、Gitee 和 GitLink 等平臺訪問。

　　「耳聽為虛眼見為實」，一切還是要用真實的測評數據和實際的任務效果說話。

　　越級體驗

　　能其他代碼大模型所不能

　　一個代碼大模型究竟好不好用， 當然要在對程序員最有幫助、用的最多的代碼生成與補全任務中來驗證。

　　先看代碼生成比較結果，在 OpenAI HumanEval(由164道 Python 編程問題組成)、谷歌 MBPP(由974個 Python 編程問題組成)和 HuggingFace MultiPL-E(包含了18種編程語言)等代碼生成效果評估測試集上，aiXcoder7B 版的準確率遠超當前主流代碼大模型，成為十億乃至百億級參數中最強。

　　除了在 HumanEval 這樣偏向非真實開發場景的測試集上取得準確率新 SOTA，aiXcoder7B在代碼補全等真實開發場景中的表現更是可圈可點，比如寫好上文讓代碼大模型補下文或者跨文件引用已經定義好的方法、函數、類等。

　　同樣用數據說話，在考慮上下文的單行補全測評集 SantaCoder 上，aiXcoder7B Base 版在與 StarCoder2、CodeLlama7B/13B、DeepSeekCoder7B 等主流同量級開源模型的較量中取得最佳效果，成為最適合實際編程場景的代碼補全基礎模型。具體如下表所示:

　　aiXcoder7B Base 版的補全效果最好，不單單是準確率更高，還在實際運行中表現出了其他代碼大模型沒有或者遜于自己的能力。實現這些的背后是一系列針對代碼特性的創新訓練方法，正是它們使得 aiXcoder7B Base 版脫穎而出。

　　首先，aiXcoder7B Base 版在預訓練時提供了32k 的上下文長度，這在現有7B 參數量級代碼大模型中為最大，其他多為16k。不僅如此，通過插值的方法可以直接在推理時將上下文長度擴展到256k，并在理論上有能力擴展至更長。

　　在同量級模型中擁有最大預訓練上下文長度，并可彈性擴展，成為提升 aiXcoder7B Base 版代碼補全效果的重要基礎。

　　其次，aiXcoder7B Base 版在代碼補全過程中「知道」用戶什么時候需要生成代碼，并在代碼內容已經完整不需要再生成時自動停止。這成為該模型比較獨特的功能，其他很多代碼大模型無法做到這一點。

　　aiXcoder 團隊表示，該功能在技術上的實現離不開結構化 Span 技術。在模型訓練中，通過結構化 Span 技術來構建訓練數據和相關任務，讓模型學習到用戶應該在什么時候生成代碼或者補全的內容在語法和語義結構上是否完整。

　　這也就意味著 aiXcoder7B Base 版能自動「知道」自己推理到了什么位置，而其他模型想要終止的話，需要人為設定終止條件。自動推理則少了這種麻煩，有助于提升工作效率。

　　此外，在 aiXcoder 擴展基準測試集(aiXcoder Bench)上，aiXcoder7B Base 版表現出了相較于其他代碼大模型的又一大亮點，即傾向于使用較短代碼來完成用戶指定的任務。

　　詳細結果如下表所示，在針對 Java、C++、JavaScript 和 Python 編程語言的代碼補全測評時，aiXcoder7B Base 不僅效果最好，四處紅框圈出的生成答案長度明顯短于其他競品模型，并且非常接近甚至有時比標準答案(Ref)還要短。

　　aiXcoder 團隊指出，這一后驗發現仍離不開結構化 Span 技術。他們在整個訓練過程中特別注重代碼結構，而結構化 Span 按照代碼結構對代碼進行拆分，這更有益于體現代碼的語義，最終促成了模型「短」答案的同時效果又占優。

　　除了在以上單文件上下文代碼補全任務中的卓越表現，aiXcoder7B Base 版在跨多文件補全場景中的表現同樣更勝一籌，不僅針對多文件的編程效果提升最優，還在下表 CrossCodeEval 測評集上有了一個重要發現。

　　據 aiXcoder 團隊介紹，該模型在只通過光標上文搜索到的結果作為 prompt(只看當前編寫的上文)，同時其他模型拿 GroundTruth(把包含答案的文件給到這些模型)搜索到的結果作為 prompt，在這種條件下，前者的效果依然要強于后者。

　　如何做到的呢?對于其他模型來說，即使有更多的上下文信息，它們也搞不清楚哪些是最核心、最關鍵的。而 aiXcoder7B Base 版能從上下文檔中揀出對當前編寫代碼最有效、最核心的上下文細節，所以才有好的效果。

　　這里感知到哪些信息最有效最為關鍵，通過對上下文進一步信息處理，結合文件相關內容的聚類、代碼 Calling Graph 來構建多文件之間的相互注意力關系，進而獲取到對當前補全或生成任務最關鍵的信息。

　　所有這些創新性訓練方法很大程度上決定了 aiXcoder7B Base 版能夠在眾多代碼大模型的比拼中勝出。此外，1.2T 的高質量訓練數據同樣功不可沒，這一量級不僅在同類型模型中最大，還是獨有 token 數據。

　　其中600G 優先放入的高質量數據對模型效果起了重要作用，其他數據主要來自 GitHub，以及 Stack Overflow、Gitee 等，自然語言部分還包括了一部分 CSDN 數據，并且全部數據進行了過濾處理。

　　Talk is cheap， Show me the code

　　顯然，aiXcoder7B Base 版在測評數據上贏了其他代碼大模型，但究竟能不能高效地幫助開發者完成編碼任務?還是要看實戰效果。

　　先看生成能力，對于前端開發，aiXcoder7B Base 版可以通過注釋快速地生成對應網頁:

　　還可以處理高難度算法題，比如經典的分糖果問題，通過貪心的策略，以左右兩次遍歷的方式得到最少糖果數。

　　再來看 aiXcoder7B Base 版更得心應手的代碼補全場景，比如長上下文補全。這里用多個工具函數拼成1500多行的代碼，要求模型在文件末端進行注釋補全，模型識別到了文件頂部的相關函數，并成功地結合函數信息補全了相關方法:

　　還有以下跨文件補全任務，在樹結構上應用動態規劃來實現編輯距離搜索。模型補全的代碼識別到了編輯距離的計算與另一個文件中滾動數組內部取最小值的計算之間的關系，并給出了正確的預測結果:

　　當然還可以智能化匹配輸出長度。當用戶調整自己的采納內容時，模型能夠根據當前的采納情況自動調整補全長度:

　　一句話，有了 aiXcoder7B Base 版代碼大模型，無論是代碼生成還是補全，程序員多了一個效率提升利器，節省時間，事半功倍。

　　拼效果，更拼應用

　　用核心競爭力成為企業首選

　　我們已經看到，aiXcoder7B Base 版在代碼補全這樣的真實開發場景中充分展現了自身的硬實力。不過，對于企業客戶來說，代碼大模型只是效果好并不能完全打動他們。只有全方位滿足自身需求，企業客戶才會毫不猶豫地下手。

　　aiXcoder7B Base 版正是奔著企業需要、解決他們的個性化需求來的。打造最適合企業應用的代碼大模型，成為了 aiXcoder7B Base 版的首要目標和有別于其他模型的又一核心優勢。

　　當然，想要成為企業應用的最佳選擇并不容易，必須圍繞著企業業務場景、需求、所能承擔的成本等實際情況做深文章。aiXcoder 模型不僅這樣做了，而且做到了極致。

　　簡而言之，為了實現企業級個性化的應用落地，aiXcoder 模型在私有化部署、個性化訓練和定制化開發三個方面齊發力，打造出了相較于其他代碼大模型的核心優勢。

　　首先來看私有化部署。對于企業而言，代碼大模型在本地服務器的私有化部署和運行，首要考慮的是自身算力是否可以支撐。在這點上，aiXcoder 模型對企業 GPU 資源要求少，應用成本投入低，讓部署模型門檻大大降低。

　　此外，不同企業擁有的軟硬件各異，既會有國產芯片，也會有國外如英偉達顯卡�；�于此，aiXcoder 模型進行針對性硬件適配以及進一步模型訓練和推理優化，比如在信息處理層面采用高速緩存技術，充分滿足多樣化部署要求。

　　其次也是 aiXcoder 模型著重強調的個性化訓練。我們知道，企業的實際情況不能一概而論，而 aiXcoder 模型做到了見招拆招，提供了「一攬子」的個性化模型訓練解決方案。

　　一方面構建企業專屬數據集和測評集，其中數據集構建基于企業代碼特征和員工編碼習慣，專門對代碼及相關文檔進行數據預處理;測評集構建則以真實開發場景為準繩，模擬并評估模型在實際應用中的預期效果。

　　另一方面，將企業代碼這一內因與企業算力資源這一外因相結合，充分考慮到不同企業計算資源、代碼量的多寡，為他們提供靈活的個性化訓練及優化方案，最大化提升專屬代碼大模型的前期訓練效果和后續應用效果。

　　第三是定制化開發。aiXcoder 模型瞄準不同行業和企業的實際情況，結合企業個性化需求來為他們提供靈活的定制化服務。憑借豐富和成熟的定制開發經驗，讓基于企業代碼和計算資源打造的模型高度契合實際需求，讓業務效率的提升看得見摸得著。目前，客戶已經遍布銀行、證券、保險、軍工、運營商、能源、交通等多個行業。

　　可以看到，相較于其他代碼大模型，aiXcoder 能同時為企業提供個性化訓練的產品和服務，這在業內是唯一一個。

　　背后團隊

　　十年深耕、厚積薄發

　　此次 aiXcoder7B Base 版代碼大模型展現出來的編碼能力，讓我們更加好奇模型背后的團隊。

　　據了解，aiXcoder 團隊從2013年開始了基于深度學習的代碼分析研究，是全球最早將深度學習技術應用于代碼生成與代碼理解領域的團隊。

　　十年來，團隊在 NeurIPS、ACL、IJCAI、ICSE、FSE、ASE 等頂會上發表相關論文100余篇，多篇論文被國際學者認為是「首創成果」并被廣泛引用，多次獲 ACM 杰出論文獎。

　　2017年，aiXcoder 有了雛形，并在2018年正式發布 aiXcoder1.0，提供代碼自動補全與搜索功能。

　　2021年4月，團隊推出完全自主知識產權的十億級參數代碼大模型 aiXcoder L 版，支持代碼補全和自然語言推薦。這也是國內⾸個基于「⼤模型」的智能編程商⽤產品。

　　而后，團隊持續攻堅，2022年6月再次推出了國內首個支持方法級代碼生成的模型 aiXcoder XL 版，同樣具有完全自主知識產權。

　　2023年8月，聚焦企業適配的 aiXcoder Europa 上線，可以根據企業的數據安全和算力要求，為他們提供私有化部署和個性化訓練服務，有效降低代碼大模型的應用門檻，提升開發效率。

　　到了此次，aiXcoder 團隊開源 aiXcoder7B Base 版，將已經住考驗的全新代碼大模型帶給大家。一方面，該模型以7B 參數規模在代碼補全等真實開發場景中表現出的越級能力及其在企業適配方面的多項核心競爭力，有助于推動代碼大模型行業的整體進步。另一方面，該模型將對更廣泛的軟件開發自動化產生深遠的影響，在加速這一進程的同時為各行各業持續提升業務效率、變革生產方式保駕護航。

　　不僅如此，相較于同樣具備代碼能力的通用模型，aiXcoder7B Base 版讓我們看到了專用代碼大模型更低訓練和推理成本、企業部署成本以及在企業項目級代碼上更好、更穩定效果的全方位優勢。

　　目前，aiXcoder 已服務大量銀行、證券、保險、軍工、高科技、運營商、能源、交通等行業頭部客戶，深耕服務金融行業，其中與某行業知名券商的「代碼大模型在證券行業的應用實踐」項目榮獲2023AIIA 人工智能十大潛力應用案例、中國信通院 AI4SE 銀彈優秀案例等殊榮。

　　同時，aiXcoder 也因其極具前瞻性的探索方向、踏踏實實的落地實踐，不斷受到資本市場的追捧，高瓴、清流、彬復等極具行業引領性的基金紛紛加注 aiXcoder 團隊，使其得以迅速成長!

　　顯然，在未來 AIGC 的這場較量中，aiXcoder 團隊已經做好了準備。