編輯：Q 好困

18世紀(jì)，歐拉提出了著名的哥尼斯堡七橋問(wèn)題（Seven Bridges of K?nigsberg）：

河中心的小島與河岸由七座橋相連接，在所有橋都只能走一遍的前提下，如何才能把這個(gè)地方所有的橋都走遍？

在隨后發(fā)表的論文中，歐拉證明了符合條件的走法并不存在，而該論文也成為圖論史上第一篇重要文獻(xiàn)。

圖（Graph）是用于表示對(duì)象之間關(guān)聯(lián)關(guān)系的一種抽象數(shù)據(jù)結(jié)構(gòu)，使用頂點(diǎn)（Vertex）和邊（Edge）進(jìn)行描述：頂點(diǎn)表示對(duì)象，邊表示對(duì)象之間的關(guān)系。

圖計(jì)算，便是以圖作為數(shù)據(jù)模型來(lái)表達(dá)問(wèn)題并予以解決的這一過(guò)程。以高效解決圖計(jì)算問(wèn)題為目標(biāo)的系統(tǒng)軟件稱(chēng)為圖計(jì)算系統(tǒng)。

對(duì)于圖計(jì)算技術(shù)的研究，最早可追溯至20世紀(jì)四五十年代。

但圖計(jì)算逐漸進(jìn)入人們視野，則是2010年谷歌發(fā)表的「Pregel：一個(gè)大規(guī)模圖計(jì)算系統(tǒng)這篇」這篇論文引起。

https://kowshik.github.io/JPregel/pregel_paper.pdf

「螞蟻森林」都很熟悉吧，大家是不是都會(huì)一起床就跑去「偷」朋友的能量？

而你想象不到的是，這背后都是圖計(jì)算在支撐！

在你進(jìn)行了消費(fèi)或者是做了其他低碳行為之后，就會(huì)得到一些能量并且能被自己和朋友實(shí)時(shí)看到，而這就需要超大圖的高效計(jì)算能力。

當(dāng)朋友把能量偷走時(shí)，打開(kāi)螞蟻森林的每個(gè)人都會(huì)實(shí)時(shí)看到。

既不會(huì)別人偷走了10克，用戶(hù)自己這里還有10克；更不會(huì)因?yàn)檫€有別的朋友也來(lái)偷走10克，自己本來(lái)只有10克，最后被偷走了20克。

如果用戶(hù)的規(guī)模變得十分巨大，「偷能量」這個(gè)動(dòng)作對(duì)時(shí)效性以及對(duì)數(shù)據(jù)一致性的要求就會(huì)非常的高。

在這樣一個(gè)「游戲」場(chǎng)景下，螞蟻鍛煉出了在超大規(guī)模圖上對(duì)數(shù)據(jù)量高，吞吐率低，延時(shí)方面的計(jì)算的能力。

近幾年，隨著數(shù)據(jù)的多樣化，數(shù)據(jù)量的大幅度提升和算力的突破性進(jìn)展，超大規(guī)模圖計(jì)算在大數(shù)據(jù)公司發(fā)揮著越來(lái)越重要的作用，尤其是以深度學(xué)習(xí)和圖計(jì)算結(jié)合的大規(guī)模圖表征為代表的系列算法。

相比于傳統(tǒng)的基于二維表結(jié)構(gòu)的數(shù)據(jù)庫(kù)或大數(shù)據(jù)模型，圖數(shù)據(jù)結(jié)構(gòu)非常適合于對(duì)事物之間深層次的關(guān)系進(jìn)行實(shí)時(shí)高效地分析。

圖計(jì)算的發(fā)展和應(yīng)用有井噴之勢(shì)，各大公司也相應(yīng)推出圖計(jì)算平臺(tái)，例如Google Pregel、Facebook Graph等。

隨著新技術(shù)和新業(yè)務(wù)的推動(dòng)，目前圖計(jì)算技術(shù)已進(jìn)入臨近爆發(fā)的前夜。

根據(jù)DB-Engines的排名顯示，圖數(shù)據(jù)庫(kù)關(guān)注熱度在2013-2020年間增長(zhǎng)了10倍，關(guān)注度增長(zhǎng)排名第一。

而「圖數(shù)據(jù)庫(kù)、圖計(jì)算引擎、知識(shí)圖譜」三項(xiàng)熱點(diǎn)技術(shù)方向也正在全球范圍內(nèi)加速產(chǎn)業(yè)化，國(guó)內(nèi)阿里、華為、騰訊、百度等大型云廠商以及部分初創(chuàng)企業(yè)均已布局這一技術(shù)領(lǐng)域。

來(lái)源：中國(guó)信通院《大數(shù)據(jù)白皮書(shū)（2020年）》

對(duì)于傳統(tǒng)的「大數(shù)據(jù)」來(lái)說(shuō)，一般是以表的形式進(jìn)行存儲(chǔ)，這種關(guān)系型數(shù)據(jù)的特點(diǎn)就是數(shù)據(jù)往往是「同質(zhì)化」的。

而圖數(shù)據(jù)是一種更加高維的數(shù)據(jù)，從而能夠涵蓋那些「非同質(zhì)化」的數(shù)據(jù)。

也就是說(shuō)，圖是對(duì)現(xiàn)有數(shù)據(jù)模型的一個(gè)升級(jí)，可以讓很多技術(shù)可以做得更快更好。

舉例來(lái)說(shuō)，在推薦系統(tǒng)中，如果根據(jù)朋友的興趣推出某用戶(hù)的興趣，或者通過(guò)用戶(hù)購(gòu)買(mǎi)的商品推薦出來(lái)還想要的商品，這個(gè)深度是比較淺的，如果要查它的鄰居的鄰居的鄰居（下探3度）。

當(dāng)然，上述這些計(jì)算也都是基于個(gè)人隱私保護(hù)基礎(chǔ)之上的。

在傳統(tǒng)的關(guān)系型數(shù)據(jù)中，這個(gè)過(guò)程中訪問(wèn)的數(shù)據(jù)量是指數(shù)級(jí)增加的，性能的下降也是指數(shù)級(jí)的，而當(dāng)3度以上的時(shí)候，很有可能關(guān)系型數(shù)據(jù)庫(kù)已經(jīng)查不出來(lái)了。

但是在圖數(shù)據(jù)庫(kù)里面，不需要做很多個(gè)表的交、并等操作即可完成。

來(lái)源：《Graph Databases》

第一列的「深度」表示社交朋友之間的關(guān)系，深度為1，表明二人為直接好友；深度為2，表明二人為好友的好友，以此類(lèi)推。

由圖表可知，當(dāng)深度達(dá)到5時(shí)，關(guān)系型數(shù)據(jù)庫(kù)已無(wú)法完成任務(wù)，而圖數(shù)據(jù)庫(kù)的響應(yīng)時(shí)間為2.132秒，在可接受范圍內(nèi)。

不過(guò)，優(yōu)勢(shì)在某種情況下往往也會(huì)變成劣勢(shì)。圖計(jì)算處理的最大難點(diǎn)也在于數(shù)據(jù)處理的不規(guī)整，這種不規(guī)整使得數(shù)據(jù)處理起來(lái)非常吃力，在處理億級(jí)以上的海量數(shù)據(jù)時(shí)尤其如此。

當(dāng)要下探6度的時(shí)候，相當(dāng)于要把全圖的數(shù)據(jù)都能夠訪問(wèn)一遍，這也是現(xiàn)在很多圖學(xué)習(xí)算法的限制。

螞蟻集團(tuán)計(jì)算存儲(chǔ)首席架構(gòu)師何昌華表示，目前幾乎所有的圖深度學(xué)習(xí)探索的基本上都是2度，能夠探索到3度的深度已經(jīng)是非常的少。

而螞蟻在一些典型的圖算法上已經(jīng)可以做到10度以上的探索，而現(xiàn)在正在做的系統(tǒng)則希望能夠在不強(qiáng)制采樣的情況下不限制探索的深度。

當(dāng)把圖做了大規(guī)模甚至超大規(guī)模的分布式以后，圖數(shù)據(jù)如何存儲(chǔ)，計(jì)算和通訊如何做到高效，就成了非常棘手的一個(gè)問(wèn)題，這也是所有做圖計(jì)算相關(guān)工作面臨的一個(gè)共同問(wèn)題。

一個(gè)超大規(guī)模的圖，往往會(huì)被分割成很多子圖以后放到多臺(tái)計(jì)算機(jī)上進(jìn)行處理，而這些子圖之間是需要通信的，通過(guò)通信才能夠知道圖全部的信息，計(jì)算才能不停的迭代和交互下去。

例如，在一個(gè)圖里面，某個(gè)人增加了一筆交易，會(huì)影響這個(gè)圖里面的很多條邊，如何做到數(shù)據(jù)的一致變動(dòng)，是非常難的問(wèn)題。

此外，傳統(tǒng)的很多圖計(jì)算基本上要把所有的圖全部載入內(nèi)存以后計(jì)算才能夠高效，但其實(shí)這樣的高速是以高昂的成本為代價(jià)的。

現(xiàn)在很多的探索會(huì)嘗試把內(nèi)存里面的數(shù)據(jù)放到硬盤(pán)上去，成本就會(huì)極大的降低，同時(shí)問(wèn)題也就轉(zhuǎn)變成了如何高效地訪問(wèn)硬盤(pán)上的數(shù)據(jù)，是否能夠犧牲部分的吞吐而把更多的數(shù)據(jù)放到外存上，在提升外存的效率的同時(shí)支持更大的圖。

作為一個(gè)在我國(guó)乃至全球都正在蓬勃發(fā)展的熱門(mén)領(lǐng)域，制定相應(yīng)技術(shù)標(biāo)準(zhǔn)的重要性則不言而喻，既能促進(jìn)技術(shù)的全面發(fā)展，也有利于掌握相應(yīng)的話語(yǔ)權(quán)。我國(guó)也一直希望建立一些「圖」方面的標(biāo)準(zhǔn)，眾多科技公司也一直積極的參與其中。

去年9月，國(guó)家標(biāo)準(zhǔn)化管理委員會(huì)通過(guò)全國(guó)標(biāo)準(zhǔn)信息公共服務(wù)平臺(tái)公布，《信息技術(shù)-圖數(shù)據(jù)庫(kù)系統(tǒng)技術(shù)要求》的國(guó)家標(biāo)準(zhǔn)正式立項(xiàng)，這是國(guó)內(nèi)首個(gè)圖數(shù)據(jù)庫(kù)方面的國(guó)家標(biāo)準(zhǔn)立項(xiàng)。

《信息技術(shù)圖數(shù)據(jù)庫(kù)系統(tǒng)技術(shù)要求》國(guó)家標(biāo)準(zhǔn)立項(xiàng)公示圖

據(jù)公示信息可知，此國(guó)家標(biāo)準(zhǔn)由TC28（全國(guó)信息技術(shù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)）歸口，由螞蟻集團(tuán)牽頭、多家公司共同參與制定。基于螞蟻集團(tuán)對(duì)于該標(biāo)準(zhǔn)的貢獻(xiàn)，在全國(guó)信標(biāo)委大數(shù)據(jù)標(biāo)準(zhǔn)工作組會(huì)議上，螞蟻集團(tuán)還被選為優(yōu)秀成員單位。

除了立項(xiàng)的圖數(shù)據(jù)庫(kù)國(guó)家標(biāo)準(zhǔn)，基于自身在圖智能領(lǐng)域的產(chǎn)業(yè)實(shí)踐經(jīng)驗(yàn)，螞蟻集團(tuán)還參與了一系列標(biāo)準(zhǔn)的制定：

• 在浙江互聯(lián)網(wǎng)金融聯(lián)合會(huì)牽頭制定和發(fā)布了《互聯(lián)網(wǎng)金融分布式架構(gòu)技術(shù)應(yīng)用指南》的團(tuán)體標(biāo)準(zhǔn)；

• 在全國(guó)金融標(biāo)準(zhǔn)化技術(shù)委員會(huì)牽頭立項(xiàng)了《金融IT基礎(chǔ)設(shè)施 存儲(chǔ)應(yīng)用實(shí)施指南》的行業(yè)標(biāo)準(zhǔn)；

• 在CCSA TC601，參與信通院牽頭的《圖數(shù)據(jù)庫(kù)白皮書(shū)》和《大數(shù)據(jù)圖數(shù)據(jù)庫(kù)技術(shù)要求與測(cè)試方法》團(tuán)體標(biāo)準(zhǔn)；

• 在ISO/IEC JTC1 SC32參與《ISO/IEC 39075 : Graph Query Language》的國(guó)際標(biāo)準(zhǔn)。

作為圖數(shù)據(jù)庫(kù)國(guó)家標(biāo)準(zhǔn)的牽頭和發(fā)起方，何昌華表示：「螞蟻在圖智能領(lǐng)域，具備圖存儲(chǔ)、圖計(jì)算、圖分析推理、圖研發(fā)平臺(tái)的全技術(shù)棧GeaGraph。我們希望與各方行業(yè)機(jī)構(gòu)通過(guò)標(biāo)準(zhǔn)共建，來(lái)促進(jìn)圖智能技術(shù)的應(yīng)用，促進(jìn)數(shù)字經(jīng)濟(jì)的發(fā)展。」

2015年初，螞蟻開(kāi)始組建圖數(shù)據(jù)庫(kù)的團(tuán)隊(duì)，2016年發(fā)布了第一個(gè)圖數(shù)據(jù)庫(kù)的版本——GeaBase。

上線以后，新版支付寶是GeaBase迎來(lái)的第一筆流量，接下來(lái)從支付寶的一個(gè)更大規(guī)模的改版到新春紅包到雙11，GeaBase進(jìn)入到越來(lái)越多的業(yè)務(wù)里面。

到2019年雙11，迎來(lái)了一個(gè)里程碑事件：?jiǎn)渭阂?guī)模突破萬(wàn)億邊！

點(diǎn)邊查詢(xún)，針對(duì)點(diǎn)、邊或者是關(guān)系的查詢(xún)，突破了800萬(wàn)的TPS，并且平均延時(shí)小于10毫秒。

如今，螞蟻對(duì)于海量超大規(guī)模圖數(shù)據(jù)的存儲(chǔ)的能力，已經(jīng)能夠做到超過(guò)萬(wàn)億級(jí)別的點(diǎn)跟邊的規(guī)模，在業(yè)界已經(jīng)是非常領(lǐng)先的水平。

在TB這個(gè)數(shù)據(jù)規(guī)模的級(jí)別上，在5-6度左右都能做到毫秒級(jí)的結(jié)果的反饋。同時(shí)，還能實(shí)現(xiàn)百萬(wàn)級(jí)每秒這種高的吞吐量。

在LDBC的這種性能測(cè)試?yán)锩?，是第二名的性?.6倍，在斯坦福的圖深度學(xué)習(xí)推理評(píng)測(cè)中打榜的時(shí)候也拿到了第一。

此外，在延時(shí)這些方面的比較上，螞蟻是遠(yuǎn)遠(yuǎn)領(lǐng)先的，包括六跳的查詢(xún)、迭代的算法，甚至要求很高的尾延時(shí)，在生產(chǎn)環(huán)境中都做到了小于20毫秒，這是業(yè)界的很多其他的圖數(shù)據(jù)庫(kù)遠(yuǎn)遠(yuǎn)達(dá)不到的。

而這些出色的能力，都依賴(lài)于螞蟻?zhàn)匝械腉eaGraph體系：

今年世界互聯(lián)網(wǎng)大會(huì)期間，大規(guī)模圖計(jì)算系統(tǒng)GeaGraph這個(gè)產(chǎn)品體系獲得了世界互聯(lián)網(wǎng)領(lǐng)先科技成果獎(jiǎng)。

GeaGraph體系包括如下部分：

1. PhStore：螞蟻純自研的存儲(chǔ)引擎，基于完美哈希（Perfect Hashing）技術(shù)，在圖的讀取性能上可以達(dá)到O(1)復(fù)雜度，是業(yè)界首創(chuàng)的基于完美哈希的KV圖存儲(chǔ)。

2. GeaBase：螞蟻集團(tuán)完全自主研發(fā)的金融級(jí)分布式圖數(shù)據(jù)庫(kù)，GeaBase單集群能支撐萬(wàn)億邊規(guī)模的圖數(shù)據(jù)，寫(xiě)入和查詢(xún)吞吐量超過(guò)每秒百萬(wàn)次，99.9%查詢(xún)和寫(xiě)入延時(shí)小于20ms。

3. GeaBase Lite：一個(gè)支持事務(wù)處理和強(qiáng)隔離性的單機(jī)圖數(shù)據(jù)庫(kù)，可以單機(jī)支持百億邊的圖數(shù)據(jù)，而且集成了全圖迭代分析能力，可以同時(shí)滿(mǎn)足用戶(hù)對(duì)圖的復(fù)雜分析、快速查詢(xún)和可視化的需求。

4. GeaFlow：自研的流式圖計(jì)算引擎，提供了圖探索、圖仿真、動(dòng)態(tài)子圖匹配和流式增量圖計(jì)算等多種近線圖計(jì)算能力，并支持了千億級(jí)圖數(shù)據(jù)的長(zhǎng)周期(半年/一年)仿真回溯驗(yàn)證、秒級(jí)6度以上的流式子圖匹配和秒級(jí)全圖時(shí)序增量圖計(jì)算等關(guān)鍵技術(shù)能力。

5. GeaComputing：在清華大學(xué)研發(fā)的Gemini和ShenTu離線圖計(jì)算系統(tǒng)上進(jìn)一步優(yōu)化的分布式圖計(jì)算平臺(tái)，支持萬(wàn)億級(jí)圖數(shù)據(jù)，能夠?yàn)橛脩?hù)提供高效的復(fù)雜圖分析能力。

6. GeaLearning：自主研發(fā)的以圖為核心的超大規(guī)模分布式深度學(xué)習(xí)系統(tǒng)，支持多種靈活圖模型訓(xùn)練方法，不限制圖神經(jīng)網(wǎng)絡(luò)層數(shù)和節(jié)點(diǎn)鄰居個(gè)數(shù)，以模型并行為核心的混合并行執(zhí)行方式等。

7. GeaMaker：螞蟻?zhàn)灾餮邪l(fā)的一站式圖計(jì)算研發(fā)探索平臺(tái)，平臺(tái)融合了上述底層系統(tǒng)的能力，為用戶(hù)提供了具備探索、仿真、性能評(píng)估等功能，集在線查詢(xún)，近線計(jì)算，離線分析和圖學(xué)習(xí)于一體，可以讓開(kāi)發(fā)者更方便地使用。

在線上交易中，最讓銀行和第三方頭疼的就是「套現(xiàn)」這種欺詐行為。

例如有一些不良的商家，會(huì)通過(guò)銀行卡、花唄或者熟人等來(lái)完成一個(gè)套現(xiàn)的回路。

以前，挖掘的關(guān)系數(shù)或者關(guān)系的深度往往都有限，并且很難，計(jì)算起來(lái)也不夠高效。而現(xiàn)在能夠把這種行為建模成一個(gè)圖，在這個(gè)圖上就會(huì)發(fā)現(xiàn)它形成了一個(gè)欺詐的閉環(huán)。

在數(shù)據(jù)量很小的時(shí)候，傳統(tǒng)的圖計(jì)算單機(jī)就可以解決這個(gè)問(wèn)題，現(xiàn)在的海量數(shù)據(jù)的情況下，需要對(duì)超大規(guī)模圖進(jìn)行切割，還要做高效的存儲(chǔ)，更需要很低的時(shí)延。

螞蟻則希望在每一筆交易發(fā)生的時(shí)候，都能夠?qū)崟r(shí)的檢測(cè)到并阻止這樣的行為。

除此之外，現(xiàn)在欺詐的形式上也有了新的變化：以前的欺詐行為很集中，就在一個(gè)人或者賬戶(hù)上，通過(guò)簡(jiǎn)單的技術(shù)進(jìn)行個(gè)體挖掘就能看到特征找到欺詐。

而現(xiàn)在是對(duì)抗的，甚至升級(jí)成了團(tuán)伙，會(huì)租借一些正常交易的合法賬戶(hù)，混在海量的交易數(shù)據(jù)中，可能只有中間的幾筆交易才是欺詐，使得欺詐行為變得非常隱蔽，很難找到。

2020年時(shí)，欺詐手法變成不僅僅是一個(gè)團(tuán)伙，而且它的團(tuán)伙還在演變，團(tuán)伙成員還在不停的變化。

在觀察它按照時(shí)間往前演進(jìn)的過(guò)程中，能夠識(shí)別到這些團(tuán)伙里的一些關(guān)鍵的角色，這樣就能夠更加快速精準(zhǔn)的定位團(tuán)伙的核心成員，這就是時(shí)序圖計(jì)算。

這也對(duì)螞蟻的底層圖計(jì)算計(jì)算提出了新的挑戰(zhàn)，現(xiàn)在能做到的是對(duì)欺詐行為的被動(dòng)識(shí)別，未來(lái)螞蟻希望可以能夠更進(jìn)一步，對(duì)風(fēng)險(xiǎn)也能進(jìn)行主動(dòng)的預(yù)測(cè)。

反洗錢(qián)跟反欺詐的很多技術(shù)是非常類(lèi)似的，反洗錢(qián)對(duì)于時(shí)效性要求非常高，判斷的邏輯也越來(lái)越復(fù)雜。

在洗錢(qián)的行為里面，常見(jiàn)手段是通過(guò)在海量的交易里面混雜洗錢(qián)和一些藝術(shù)品的拍賣(mài)，來(lái)掩蓋洗錢(qián)行為。

作案的人員可能有很多重身份和大量的賬號(hào)，并且交易的頻率不高，交易的路徑也非常復(fù)雜，可能是在正常的交易中混雜著這樣的一些可疑的交易。

要找到這樣的一些欺詐的行為，并且阻止他，就需要深入的圖分析、圖計(jì)算的能力。

從2018年開(kāi)始，基于資金網(wǎng)絡(luò)、中介網(wǎng)絡(luò)這樣一些典型的欺詐，螞蟻已經(jīng)能夠做到百萬(wàn)吞吐級(jí)別對(duì)應(yīng)毫秒級(jí)的響應(yīng)。

類(lèi)似傳統(tǒng)的方法做在圖上，但是把它的吞吐量變大、響應(yīng)時(shí)間變短，能夠更快速的抓到這些行為，而這些工作如果使用傳統(tǒng)的方法用人來(lái)做，可能需要幾個(gè)小時(shí)或者一天，但螞蟻把它做到了線上這樣高效的能力。

2021年，GeaStack應(yīng)用于螞蟻集團(tuán)反洗錢(qián)分析，覆蓋支付寶全部資金交易，對(duì)疑似團(tuán)伙類(lèi)犯罪風(fēng)險(xiǎn)識(shí)別能力提高94倍多，風(fēng)險(xiǎn)審理分析效率提升90%。

除了金融領(lǐng)域之外，螞蟻集團(tuán)還進(jìn)行了很多外部合作。

在人工智能時(shí)代，NLP、CV、RL等領(lǐng)域已經(jīng)百家爭(zhēng)鳴，而圖計(jì)算作為最前沿的技術(shù)高地之一，誰(shuí)能夠在這個(gè)方面打造出核心的能力，誰(shuí)就能夠站到未來(lái)世界通用人工智能的最前沿。

而目前國(guó)內(nèi)的很多公司包括螞蟻集團(tuán)在內(nèi)，在圖計(jì)算方面的一些探索已經(jīng)走在了世界前列。

一直以來(lái)人們對(duì)于技術(shù)的探索從來(lái)都只有一個(gè)目標(biāo)，就是讓人類(lèi)從中受益。

何昌華說(shuō)，「螞蟻的初心也一直都是不斷探索革命性的技術(shù)，并在支持好螞蟻業(yè)務(wù)的同時(shí)把達(dá)到一定水平的成熟技術(shù)開(kāi)放給社會(huì)，希望它在更多的場(chǎng)景中發(fā)揮出社會(huì)價(jià)值。」

-END-