隨著人工智能和元宇宙等對于高性能計算有強烈需求的應用逐漸成為半導體行業的新市場驅動，內存的性能發展也成了這些應用的重要支撐，這也成為內存行業繼續大力投入新技術發展的重要動力。

　　在這些高性能計算系統中，內存帶寬和容量將決定計算性能(例如人工智能算法中需要的大容量神經網絡模型計算，以及元宇宙應用中的高性能渲染技術)，這也就是高性能計算領域人們常常提及的“內存墻”。在許多高性能計算應用中，事實上邏輯計算并非整個系統的瓶頸，而數據存取才是整個系統速度的決定性因素。一方面，內存芯片技術需要進一步提升帶寬和容量，而另一方面則需要在設計整體系統時，確保有高效的內存存取機制，從而打破內存墻的限制，進一步提升高性能計算的性能。

　　上周，三星召開了2022年技術發布會(Tech Day 2022)，其中發布了三星在未來幾年內的內存技術發展路線圖。從中，我們認為其對于內存發展的主題圍繞著“更快，更大，更智能”幾個方向，這也與前面所討論的高性能計算對于內存的需求相吻合。由于三星是內存芯片領域的領導者，我們認為它公布的路線圖將會很大程度上反映整體內存芯片行業的發展動向。

　　更快：新內存接口將成為突破內存墻的主力

　　內存接口決定了整體系統可以以多快的速度存取內存里面的數據，因此也是決定了整體系統性能的重要因素。隨著新一代內存接口的問世，高性能計算系統的性能也可望得到進一步提升。

　　在三星公布的內存接口路線圖中，我們可以看到涵蓋不同領域的內存接口演進的速度。首先，在云端高性能服務器領域，HBM已經成為了高端GPU的標配，這也是三星在重點投資的領域之一。HBM的特點是使用高級封裝技術，使用多層堆疊實現超高IO接口寬度，同時配合較高速的接口傳輸速率，從而實現高能效比的超高帶寬。

　　在三星發布的路線圖中，2022年HBM3技術已經量產，其單芯片接口寬度可達1024 bit，接口傳輸速率可達6.4 Gbps，相比上一代提升1.8倍，從而實現單芯片接口帶寬819 GB/s，如果使用6層堆疊可以實現4.8 TB/s的總帶寬。而在三星公布的路線圖上，2024年預計將實現接口速度高達7.2 Gbps的HBM3p，從而將數據傳輸率相比這一代進一步提升10%，從而將堆疊的總帶寬提升到5 TB/s以上。另外，這里的計算還沒有考慮到高級封裝技術帶來的高多層堆疊和內存寬度提升，我們預計到時候單芯片和堆疊芯片到2024年HBM3p都將實現更多的總帶寬提升。而這也將會成為人工智能應用的重要推動力，我們預計在2025年之后的新一代云端旗艦GPU中看到HBM3p的使用，從而進一步加強云端人工智能的算力。

　　除了HBM之外，在桌面和移動應用中，渲染也正在成為元宇宙相關應用的重要支柱。例如，在虛擬現實應用中，為了實現沉浸感，對于圖像渲染的需求越來越強。高端虛擬現實設備會使用桌面級GPU做渲染，并且將渲染的圖像通過串流傳回虛擬現實設備中，而目前最流行的虛擬現實一體機則會需要使用移動級GPU在一體機中直接做圖像渲染。這些應用都需要越來越大的顯存帶寬，而三星這次發布的GDDR7(針對桌面級應用)和LPDDR5X(針對移動級應用)都是針對這些應用的重要技術支柱。其中LPDDR5X的IO數據率可達8.5 Gbps，比之前LPDDR5(6.4 Gbps)提升30%，而GDDR7的IO速率可達36 Gbps，是之前GDDR6的兩倍。

　　總體來說，這次三星從內存接口角度公布的路線圖顯示了從“更快”的角度，三星將進一步成為內存業界的領跑者之一，從而為半導體行業的進一步賦能人工智能和元宇宙等下一代應用提供支持。

　　更大：芯片和系統級創新將成為更大內存系統的關鍵

　　隨著人工智能技術的演進，神經網絡模型的參數也在越來越多(今年已經全面走向十億級參數規模，未來幾年預期將進一步實現數量級上的提升)，而計算中需要使用的中間結果存儲需求也對DRAM的容量提出新的需求。

　　為了滿足這樣對于存儲容量的需求，我們同時需要芯片級和系統級的解決方案。在芯片層面，三星給出的答案是新一代使用1b(12 nm)特征尺寸生產的DRAM，從而實現更大的集成度。三星宣布1b DRAM將會在2023年量產，這也意味著三星在DRAM領域進一步鞏固自己領先的地位。

　　除了芯片級方案之外，系統級方案也是增加內存容量的重要方向。例如，在云端服務器市場，使用CXL技術做內存擴展就是一個很有潛力的方向。使用CXL做內存擴展的原理是把大量DRAM芯片集成在同一張內存擴展卡里，然后使用CXL主控芯片使用CXL協議接入高速接口中(PCIe)，從而可以供系統直接使用，而無需占用DRAM插槽和接口，以起到內存容量擴展的作用。

　　今年早些時候，三星公布了自己基于CXL內存擴展技術的最新結果，其中使用了為了CXL專門開發的ASIC主控芯片，并且在機器學習等重要應用中取得了和使用傳統DDR內存接口幾乎一樣的性能，從而表明使用CXL做DRAM容量擴展從性能而言將是一個可行的技術方案，目前主要需要解決的是成本方面的考量，從而讓該技術進一步得到應用。

　　三星這次也公布了自己在CXL領域的持續投資，未來我們預計將看到更多CXL內存擴展方面的產品。我們預計，CXL首先會在對于內存容量有巨大需求且對于性能有強烈需求的應用中(例如超大規模神經網絡模型)開始得到使用，并且在未來越來越多地擴展到其他應用中去。

　　更智能：存內計算可望成為下一代內存新范式

　　除了在更大和更快兩方面有提升之外，三星另一個布局方向是智能化DRAM，即針對機器學習和人工智能等應用使用存內計算和近內存計算這樣的新技術。

　　三星主要的存內計算技術稱為HBM-PIM，其中PIM即存內計算(process in memory)的縮寫。其具體原理是在HBM內存中直接集成計算單元。傳統的計算過程中，首先會從內存中讀出數據，然后在其他芯片中的計算單元中做計算，然后把結果寫回內存。而在HBM-PIM中，三星的技術路徑是在給DRAM的指令不僅僅是讀取和寫入，也可以直接是計算，例如可以給“寫入數據A同時將該數據和B相加”，這樣在下次讀出時，直接就得到已經計算過的數據，而無需再次讀出并做計算。這樣就節省了大量額外的數據移動開銷，能實現更好的延遲和能效比。目前，三星已經在HBM2的DRAM中完成了第一代HBM-PIM的開發(Aquabolt)，而在三星公布的路線圖中，我們也看到了HBM3-PIM列上了日程，預計在2024年完成開發。

　　除了存內計算之外，另一種技術方案是在DRAM旁邊直接集成加速器邏輯以降低訪問內存的開銷，這樣的技術三星稱為AXDIMM(accelerator DIMM)，在三星公布的路線圖上預計2024-2025年完成開發。

　　我們認為，三星在智能化DRAM方面的布局從長遠來看將會對內存技術和市場格局有深遠影響，未來隨著機器學習等應用對于內存訪問提出進一步需求，我們認為這樣的技術將有機會獲得主流系統廠商越來越多的應用。

　　結語

　　隨著人工智能等應用的演進，DRAM的未來發展也正在向賦能這類下一代應用的方向靠攏。從三星公布的路線圖來看，未來的DRAM技術發展除了進一步提升DRAM芯片的容量和接口速度之外，還有在系統層面的革新方向(包括CXL內存擴展以及存內計算/近內存計算等智能化DRAM)，DRAM技術的演進將會帶給芯片和系統廠商越來越多的技術創新機會，而這些創新將會進一步推動新應用和新場景的出現，從而讓整個領域進一步發展。