數(shù)據(jù)密集型超算技術(shù)，如何讓多中心實現(xiàn)“低摩擦”互聯(lián)？

文|智能相對論

作者|葉遠(yuǎn)風(fēng)

數(shù)字經(jīng)濟大時代，超算已經(jīng)不夠，“超算互聯(lián)網(wǎng)”來了。

最近，2022中國算力峰會(濟南)暨超算互聯(lián)網(wǎng)工程上線儀式在國家超級計算濟南中心舉辦。會上，濟南超算上線了“超算互聯(lián)工程”，顧名思義，即多地、多中心以互聯(lián)的方式協(xié)同提供計算服務(wù)。這種聯(lián)動模式相比較單個計算中心，將更大程度上推動產(chǎn)業(yè)數(shù)字化進(jìn)程并護(hù)航國家重大科研技術(shù)創(chuàng)新。

值得注意的是，在峰會現(xiàn)場，山東省科技廳、濟南超算、華為還共同揭牌了一個“數(shù)據(jù)密集型超算示范基地”，表達(dá)了海量數(shù)據(jù)存儲在超算互聯(lián)網(wǎng)中的關(guān)鍵價值。

以往，人們對這種大型算力中心的聯(lián)動的關(guān)注往往停留在計算設(shè)備與網(wǎng)絡(luò)上，而現(xiàn)在，隨著超算互聯(lián)網(wǎng)的建設(shè)，數(shù)據(jù)存儲的價值同樣凸顯出來，它們共同推動著超算互聯(lián)網(wǎng)基礎(chǔ)設(shè)施有效落地，取得巨大的商業(yè)價值與社會價值。

**超算互聯(lián)網(wǎng)完成“打樣”，**推動地區(qū)乃至全國數(shù)字經(jīng)濟發(fā)展進(jìn)入快車道

作為國家級先進(jìn)超算基礎(chǔ)設(shè)施，超算互聯(lián)網(wǎng)在山東、濟南的落地，對地區(qū)數(shù)字經(jīng)濟快速發(fā)展的推動作用毋庸置疑，而其建設(shè)過程也在全國打了個樣。

事實上，在本次發(fā)布超算互聯(lián)網(wǎng)之前，山東省、濟南市超算產(chǎn)業(yè)上持續(xù)投入了大量資源，取得了很多成果，這些成為超算互聯(lián)網(wǎng)落地的前提。

技術(shù)層面，在華為等伙伴的共同努力下，濟南超算的性能在全國乃至全球都處在領(lǐng)先位置。

不久前，在德國漢堡舉行的ISC 2022高性能計算大會發(fā)布了第十期IO500榜單，濟南超算新一代山河超級計算平臺在10節(jié)點榜登頂奪冠，成績首次跨過3000分，大幅刷新了該榜單歷史最好成績。而這個成績的實現(xiàn)，離不開華為OceanStor Pacific分布式存儲的底層支撐。

在產(chǎn)業(yè)層面，2019年，濟南就建成了國家首個超算科技園區(qū)，配合一系列政策措施走出了以算力賦能高質(zhì)量發(fā)展的創(chuàng)新之路。從數(shù)據(jù)上看，濟南生產(chǎn)的服務(wù)器產(chǎn)銷量位列全國第一、全球第二，AI服務(wù)器產(chǎn)銷量也實現(xiàn)全球第一，超算制造全球第二，國內(nèi)超過50%的AI算力來自濟南。

有了這樣的技術(shù)+產(chǎn)業(yè)的底子，出于進(jìn)一步發(fā)展的需要，濟南超算在國內(nèi)較早提出并大力推進(jìn)超算互聯(lián)網(wǎng)建設(shè)，并不在意料之外。

現(xiàn)在，這項開創(chuàng)性工作在各方努力下終于走向落地，無疑將帶動輻射地方科技、產(chǎn)業(yè)發(fā)展，推動濟南、山東的數(shù)字經(jīng)濟走在全國前列。

而在全國多地，超算的建設(shè)正如火如荼，長期耕耘下，許多與濟南有著同樣愿景的地區(qū)也客觀上具備超算互聯(lián)網(wǎng)建設(shè)的資源和能力，市場上出現(xiàn)一個成功實踐的樣板，無疑會帶來重要的借鑒價值。

總的看來，濟南超算與華為此次深度合作推動超算互聯(lián)網(wǎng)的落地，為中國超算、超算互聯(lián)網(wǎng)的發(fā)展提供可借鑒的“濟南樣板”，為超算互聯(lián)網(wǎng)領(lǐng)域產(chǎn)、學(xué)、研的合作樹立了榜樣，將推動提升我國超算的應(yīng)用水平，讓超算這一“國之重器”顯示出強大的力量。

**超算互聯(lián)網(wǎng)落地面臨數(shù)據(jù)挑戰(zhàn)，**華為超算互聯(lián)數(shù)據(jù)一體化方案破局

具備地區(qū)乃至全國的重要意義，但回過頭來看，超算互聯(lián)網(wǎng)也面臨過諸多挑戰(zhàn)，只有解決了這些挑戰(zhàn)，才能將超算互聯(lián)網(wǎng)更好地落地，這也是“數(shù)據(jù)密集型超算示范基地”揭牌的重要背景——華為帶來的技術(shù)創(chuàng)新有效應(yīng)對了超算互聯(lián)網(wǎng)建設(shè)中關(guān)鍵的數(shù)據(jù)存儲挑戰(zhàn)。

首先，來看數(shù)據(jù)存儲對超算互聯(lián)網(wǎng)為何關(guān)鍵。

一方面，超算本身發(fā)展對數(shù)據(jù)存儲的要求在變強。

隨著超算產(chǎn)業(yè)與行業(yè)場景、新興技術(shù)的融合持續(xù)加深，高性能數(shù)據(jù)分析HPDA取代傳統(tǒng)HPC成為新的發(fā)展熱點，簡單來說，即計算的過程對數(shù)據(jù)存儲和利用要求更高，需要進(jìn)行大量數(shù)據(jù)的計算處理，而非單單只看計算能力。

另一方面，超算互聯(lián)網(wǎng)的日常應(yīng)用更多聚焦到數(shù)據(jù)上。

在超算互聯(lián)網(wǎng)中，算力、網(wǎng)絡(luò)固然重要，但它們都是可以提前布局的，實際上真正調(diào)度和流動的其實只有數(shù)據(jù)以及數(shù)據(jù)支撐上的應(yīng)用。

普遍認(rèn)為，超算互聯(lián)網(wǎng)一定會走向“數(shù)據(jù)密集型”的道路。

然后，再來看數(shù)據(jù)存儲在超算互聯(lián)網(wǎng)中面臨著什么挑戰(zhàn)。

“互聯(lián)”帶來算力資源統(tǒng)籌協(xié)同的正面價值，而硬幣都有兩面——多中心互聯(lián)也帶來了數(shù)據(jù)流動的“摩擦”。

這種“摩擦”，舉幾個例子：

數(shù)據(jù)管理上，各超算中心本身就是一個個數(shù)據(jù)孤島，且資源利用能力各異，不同廠商的管理技術(shù)各不相同又加劇了管理的復(fù)雜性；

在數(shù)據(jù)流動上，很多應(yīng)用需求的數(shù)據(jù)量龐大（如大型天文射電望遠(yuǎn)鏡數(shù)據(jù)量都是PB級），遠(yuǎn)遠(yuǎn)超過運營商網(wǎng)絡(luò)的帶寬上限，即便1Gb/s帶寬傳輸也需要數(shù)月才能傳輸；

在數(shù)據(jù)安全方面，跨中心大規(guī)模的數(shù)據(jù)流動相對單個中心，免不了存在更多安全隱憂，等等。

可以說，解決不了這些問題，超算互聯(lián)網(wǎng)很難有效落地。

最后，再來看華為的技術(shù)創(chuàng)新是如何應(yīng)對這些挑戰(zhàn)的。

既然數(shù)據(jù)存儲的挑戰(zhàn)往往都來自多中心“互聯(lián)”帶來的摩擦，那么通過技術(shù)創(chuàng)新不斷降低這種摩擦、實現(xiàn)一體化，讓互聯(lián)模式下的數(shù)據(jù)管理、流動等與本地數(shù)據(jù)存儲一樣高效，甚至讓數(shù)據(jù)應(yīng)用方感受不到“互聯(lián)”模式的存在，就成為解題的關(guān)鍵。

由此，也就不難理解華為存儲將自己為超算互聯(lián)網(wǎng)提供的支持定義為基于OceanStor Pacific分布式存儲的“超算互聯(lián)數(shù)據(jù)一體化方案”了。

這個方案，從四個方面消弭由于數(shù)據(jù)跨中心流動帶來的“負(fù)面”摩擦。

1、一盤棋：縱覽全局、心中有“數(shù)”

華為存儲構(gòu)建了一個全局文件系統(tǒng)，把多地超算中心以一張圖的方式管理起來，這就如同看待單一超算中心的各存儲資源一樣。

為了實現(xiàn)這樣的效果，華為存儲進(jìn)行了多方面的技術(shù)創(chuàng)新，例如，表化、流化的統(tǒng)一元數(shù)據(jù)屏蔽設(shè)備差異，實現(xiàn)跨設(shè)備、跨異構(gòu)互聯(lián)互通等等。

2、高效率：暢通無阻的同時擁有智能向?qū)?/strong>