?數據中臺最后一公里：數據服務管理產品設計思路
編輯導語：做好數據服務管理，有助于數據價值的有效輸出，提升業(yè)務效率，并助推決策的產生。這就要求數據產品經理想辦法解決數據服務管理平臺當下存在的一些問題，比如管理困難、權責不明等。本篇文章里，作者就數據服務的痛點、如何搭建好數據服務管理平臺等方面做了總結，不妨來看一下。
數據的價值一個是數據驅動決策，主要通過數據可視化平臺、自助BI分析工具提升決策分析效率。另一個是數據在業(yè)務端的創(chuàng)新應用，主要是API接口服務的方式，即DAAS（dataAPI as aservice）。
數據化運營時代，對API接口的需求與日俱增。例如APP首頁的千人千面的個性化推薦接口，根據用戶歷史消費訂單數實時彈屏新客大禮包，根據訪問用戶所處的生命周期，制定差異化的用戶激勵運營策略等。
你們公司，目前是如何構建和管理數據API服務的呢？
通常一個普通API接口的開發(fā)，需要數據開發(fā)工程師將數據按照業(yè)務邏輯進行清洗加工，再由Java開發(fā)人員進行接口變現，即可以讓業(yè)務端通過接口調用數據，例如實時查詢當前訪問用戶的歷史累計訂單數，以判斷用戶是新客，進而派發(fā)新客大禮包。
對于個性化推薦接口，算法人員基于數倉模型進行特征數據分析處理，模型開發(fā)、訓練調優(yōu)，然后將模型提供給接口開發(fā)人員進行實時的推理服務。
不管是哪種形式的接口，都會涉及多個工種，經過N個環(huán)節(jié)，一個接口的上線周期至少以周為單位，這個時效對于業(yè)務端創(chuàng)新應用的支撐是遠遠不夠的。
對于普通的API接口，Java開發(fā)可能只需要按照接口文檔約定的出入參格式進行SQL查詢語句的封裝再做一些性能調優(yōu)就可以了，考慮接口性能問題多數邏輯都會在數據模型層處理好。
這種需求對于開發(fā)人員來說個人成就感是比較低的，看似每天都在忙，忙碌但缺少成功的輸出。有更追求的開發(fā)不會愿意長期做接口變現，接口開發(fā)團隊的人員穩(wěn)定性是個問題。
對外輸出的API接口太多，隨著人員的離職更替，歷史接口的邏輯、業(yè)務端的應用情況管理成了老大難的問題，因為找不到接口調用方，難以判斷接口的應用場景，接口數量只增不減。
長期以來，需要維護的接口數量越來越多，服務器成本、運維成本都居高不下。
“不知道接口有誰在用”，這是經常聽到接口開發(fā)講的一句話，他們也很委屈，因為接口是四五年前開發(fā)的，前任并沒有交接的那么詳細。
即使通過接口可用性監(jiān)控發(fā)現了服務異常，也沒辦法逐一地找到并通知應用方。只能被動地等著業(yè)務來反饋。甚至連監(jiān)控都沒有，時不時收到業(yè)務反饋說，這個接口是不是你們負責的，出了XX問題，你們排查一下。
因為服務以接口輸出，接口出問題一般會直接找接口開發(fā)，接口開發(fā)通過翻代碼發(fā)現是數據問題，又找到數據開發(fā)進行邏輯確認，“數據問題，我沒法排查”，會出現相互推諉的情況。
數據中臺的核心思想是能力復用和數據應用效率的提升，資產是數據中臺的核心，沒有資產的數據中臺只能叫數據平臺或工具。
因此，數據服務管理必須建立在數據資產層之上。數據資產層以OneData為方法論基礎進行模型、指標的建設，構建分級分類清晰的數據資產管理與治理體系。
數據服務層作為數據中臺價值輸出的最后一公里，數據服務管理效率的高低，直接影響數據中臺價值的體現，它提供的核心解決思路是復用資產層的數據能力，通過平臺化、配置化的方式，快速生成API服務，減少定制化開發(fā)對不同工種的依賴。數據服務管理平臺需要具備以下核心的能力：
1）指標類接口
一般輸出給定制化開發(fā)的可視化報表平臺或業(yè)務端后臺進行數據效果分析，指標類基本都可以抽象出來指標+維度+限定條件的方式，即：指標和數據模型綁定，從哪個表中取哪個字段，字段的聚合邏輯是什么，指標支持的分析維度有哪些？
前端頁面調用時，傳入指標ID、限制條件參數，即可返回數值。指標管理平臺處理管理統(tǒng)一指標外，還需要支持指標接口的服務化輸出，這樣針對定制化程度高、BI工具無法配置的可視化需求，如大屏可視化，只需要數據開發(fā)人員清洗好指標數據后，進行配置即可輸出，無需接口開發(fā)介入。
2）用戶或商品維度的接口
歸根到底也可以歸為指標類接口，但是由于數據的維度聚焦于單個用戶或者商品，應用場景主要是精細化運營或產品智能，因此在場景配置方面需要一定的差異化。
承接的載體主要是CDP（客戶數據平臺）、畫像平臺等。在資產建設部分，講用戶畫像、商品畫像體系標簽化，通過豐富的標簽構建用戶、商品的精細化分層能力。
例如北京環(huán)球度假區(qū)開業(yè)業(yè)務想借熱點拉新（首次消費），于是通過用戶標簽和商品資源標簽，找到了需要找到近期有旅游計劃，目的是北京，曾經購買過迪士尼樂園等主題的景點的年輕用戶，當符合條件的用戶進入APP首頁，進行促銷紅包彈屏，刺激用戶下單。
這類需求以運營場景為載體，最終輸出的是用戶ID維度的接口服務或者批量數據輸出，接口結構也非常容易標準化。
可以構建的配置流程是：多標簽條件篩選目標人群或商品，構建運營場景（get接口調用方式還是Post數據推送），生成輸出接口對接業(yè)務端觸達通道（站內實時訪問時調用接口，或批量的短信推送服務）。
3）模型輸出類接口
此類接口是最容易標準化的，就是直接將模型中的字段接口化輸出，比如模型是團購訂單明細寬表，業(yè)務端需要判斷用戶是否有待消費的訂單，訂單的業(yè)務類別、下單時間、消費時間等，以判斷用戶是否可以參與抽獎活動。只需要選擇輸入字段、輸出字段、狀態(tài)碼以及應用信息即可。
這樣，數據開發(fā)既是數據邏輯加工者，也是接口配置者，對結果負責，可以減少對Java人員的依賴，提升業(yè)務賦能效率。
圖片來源：阿里dataworks官網公開資料
4）個性化推薦類接口
大數據的出口是AI，數據賦能很大程度依賴AI賦能。產品千人千面?zhèn)€性化推薦、算法挖掘預測類用戶畫像標簽，數據服務管理平臺把標簽管理、機器學習平臺模型文件、在線推理接口服務整合起來，解決推薦接口caseby case開發(fā)效率低的問題。
圖片來源：騰訊DMP modellab功能
總體來說，接口服務配置化是數據服務管理平臺最最核心的能力，將接口生產流程產品化，數據開發(fā)、算法開發(fā)、甚至業(yè)務同學就可以自助完成接口配置上線，供應用端使用。
此時就不需要接口類的數據產品經理每天去和業(yè)務對需求，你的出參、入參是什么，統(tǒng)計邏輯是個啥，再轉化成PRD文檔協調數據開發(fā)、接口開發(fā)排期了。
接口的響應周期主要取決于數據資產建設完善度以及新增模型（標簽）的開發(fā)周期。Java開發(fā)可以更聚焦于通用接口生產能力建設、接口性能調優(yōu)工作，更具挑戰(zhàn)性也更有成就感。
API接口平臺化配置后，平臺內接口與模型、字段的血緣關系以及接口與下游應用的關系數據可以很容易獲取到。將這部分數據與模型加工產品的血緣鏈路進行關聯補充，就可以形成從源端數據到API以及下游產品應用的全鏈路數據血緣，通過可視化展示方式，可以方便地知道接口生成鏈路。
上游數據異常時，也很方便排查影響范圍，做好及時通知。
數據服務接口一般面向toC的產品應用，接口穩(wěn)定性和性能需要做到實時監(jiān)控。
谷歌有一個著名的10X理論，即技術的相關指標要至少保證10X于當前業(yè)務，例如正常情況下業(yè)務接口流量QPS為1000，那只要保證接口能夠抗住10000的流量，這樣才能更加穩(wěn)妥的應對一些節(jié)假日高峰、爆款現象級產品或外部異常流量攻擊。
因此，數據服務管理平臺要具備接口實時流量、超時率、平均耗時、日均請求次數、錯誤率等服務指標，并且做到異常報警通知，電話、短信、郵件多渠道，以出現問題時可以第一時間跟進修復。
過去接口管理方式是在線文檔，文檔傳閱靠口口相傳，嚴重影響接口的復用，且不同開發(fā)文檔標準不統(tǒng)一。
通過線上化的方式把所有接口當做一種數據資產進行管理，接口的需求元數據（需求工單）、技術元數據、業(yè)務元數據等信息完善，并且可以查看接口文檔、性能指標、流量控制、一鍵上下線處理，可以更加方便地管理線上接口。
有了平臺化的工具，是不是人人都可以直接配置接口使用數據了呢？
出于數據安全以及業(yè)務對數據的理解程度等方面，接口的配置權限還是要管控在數據開發(fā)、數據產品或者具備開發(fā)能力的業(yè)務開發(fā)角色中，相應的，就需要有配套的接口需求申請流程、已有接口申請token復用流程，并且和內部IM結合，形成需求提交、工單流轉、處理反饋的數據服務需求流程閉環(huán)。
數據服務（API）是數據中臺的最后一公里，是數據價值輸出的重要形式之一，API生產效率的高低直接影響了數據對業(yè)務賦能的效率。
因此，作為數據產品經理，要多調研多分析服務流程現狀、耗時最長的步驟或環(huán)節(jié)，尋求產品化的解決方案并不斷優(yōu)化，提升API服務與管理效率。
數據干飯人，微信號公眾號：數據干飯人，人人都是產品經理專欄作家。專注數據中臺產品領域，覆蓋開發(fā)套件,數據資產與數據治理，BI與數據可視化，精準營銷平臺等數據產品。擅長大數據解決方案規(guī)劃與產品方案設計。
本文原創(chuàng)發(fā)布于人人都是產品經理，未經作者許可，禁止轉載。
題圖來自Unsplash，基于CC0協議
本文系作者：
林先生
授權發(fā)表，鳥哥筆記平臺僅提供信息存儲空間服務。
本文為作者獨立觀點，不代表鳥哥筆記立場，未經允許不得轉載。
《鳥哥筆記版權及免責申明》
如對文章、圖片、字體等版權有疑問，請點擊
反饋舉報
我們致力于提供一個高質量內容的交流平臺。為落實國家互聯網信息辦公室“依法管網、依法辦網、依法上網”的要求，為完善跟帖評論自律管理，為了保護用戶創(chuàng)造的內容、維護開放、真實、專業(yè)的平臺氛圍，我們團隊將依據本公約中的條款對注冊用戶和發(fā)布在本平臺的內容進行管理。平臺鼓勵用戶創(chuàng)作、發(fā)布優(yōu)質內容，同時也將采取必要措施管理違法、侵權或有其他不良影響的網絡信息。
一、根據《網絡信息內容生態(tài)治理規(guī)定》《中華人民共和國未成年人保護法》等法律法規(guī)，對以下違法、不良信息或存在危害的行為進行處理。
1. 違反法律法規(guī)的信息，主要表現為：
1)反對憲法所確定的基本原則；
2)危害國家安全，泄露國家秘密，顛覆國家政權，破壞國家統(tǒng)一，損害國家榮譽和利益；
3)侮辱、濫用英烈形象，歪曲、丑化、褻瀆、否定英雄烈士事跡和精神，以侮辱、誹謗或者其他方式侵害英雄烈士的姓名、肖像、名譽、榮譽；
4)宣揚恐怖主義、極端主義或者煽動實施恐怖活動、極端主義活動；
5)煽動民族仇恨、民族歧視，破壞民族團結；
6)破壞國家宗教政策，宣揚邪教和封建迷信；
7)散布謠言，擾亂社會秩序，破壞社會穩(wěn)定；
8)宣揚淫穢、色情、賭博、暴力、兇殺、恐怖或者教唆犯罪；
9)煽動非法集會、結社、游行、示威、聚眾擾亂社會秩序；
10)侮辱或者誹謗他人，侵害他人名譽、隱私和其他合法權益；
11)通過網絡以文字、圖片、音視頻等形式，對未成年人實施侮辱、誹謗、威脅或者惡意損害未成年人形象進行網絡欺凌的；
12)危害未成年人身心健康的；
13)含有法律、行政法規(guī)禁止的其他內容；
2. 不友善：不尊重用戶及其所貢獻內容的信息或行為。主要表現為：
1)輕蔑：貶低、輕視他人及其勞動成果；
2)誹謗：捏造、散布虛假事實，損害他人名譽；
3)嘲諷：以比喻、夸張、侮辱性的手法對他人或其行為進行揭露或描述，以此來激怒他人；
4)挑釁：以不友好的方式激怒他人，意圖使對方對自己的言論作出回應，蓄意制造事端；
5)羞辱：貶低他人的能力、行為、生理或身份特征，讓對方難堪；
6)謾罵：以不文明的語言對他人進行負面評價；
7)歧視：煽動人群歧視、地域歧視等，針對他人的民族、種族、宗教、性取向、性別、年齡、地域、生理特征等身份或者歸類的攻擊；
8)威脅：許諾以不良的后果來迫使他人服從自己的意志；
3. 發(fā)布垃圾廣告信息：以推廣曝光為目的，發(fā)布影響用戶體驗、擾亂本網站秩序的內容，或進行相關行為。主要表現為：
1)多次發(fā)布包含售賣產品、提供服務、宣傳推廣內容的垃圾廣告。包括但不限于以下幾種形式：
2)單個帳號多次發(fā)布包含垃圾廣告的內容；
3)多個廣告帳號互相配合發(fā)布、傳播包含垃圾廣告的內容；
4)多次發(fā)布包含欺騙性外鏈的內容，如未注明的淘寶客鏈接、跳轉網站等，誘騙用戶點擊鏈接
5)發(fā)布大量包含推廣鏈接、產品、品牌等內容獲取搜索引擎中的不正當曝光；
6)購買或出售帳號之間虛假地互動，發(fā)布干擾網站秩序的推廣內容及相關交易。
7)發(fā)布包含欺騙性的惡意營銷內容，如通過偽造經歷、冒充他人等方式進行惡意營銷；
8)使用特殊符號、圖片等方式規(guī)避垃圾廣告內容審核的廣告內容。
4. 色情低俗信息，主要表現為：
1)包含自己或他人性經驗的細節(jié)描述或露骨的感受描述；
2)涉及色情段子、兩性笑話的低俗內容；
3)配圖、頭圖中包含庸俗或挑逗性圖片的內容；
4)帶有性暗示、性挑逗等易使人產生性聯想；
5)展現血腥、驚悚、殘忍等致人身心不適；
6)炒作緋聞、丑聞、劣跡等；
7)宣揚低俗、庸俗、媚俗內容。
5. 不實信息，主要表現為：
1)可能存在事實性錯誤或者造謠等內容；
2)存在事實夸大、偽造虛假經歷等誤導他人的內容；
3)偽造身份、冒充他人，通過頭像、用戶名等個人信息暗示自己具有特定身份，或與特定機構或個人存在關聯。
6. 傳播封建迷信，主要表現為：
1)找人算命、測字、占卜、解夢、化解厄運、使用迷信方式治??；
2)求推薦算命看相大師；
3)針對具體風水等問題進行求助或咨詢；
4)問自己或他人的八字、六爻、星盤、手相、面相、五行缺失，包括通過占卜方法問婚姻、前程、運勢，東西寵物丟了能不能找回、取名改名等；
7. 文章標題黨，主要表現為：
1)以各種夸張、獵奇、不合常理的表現手法等行為來誘導用戶；
2)內容與標題之間存在嚴重不實或者原意扭曲；
3)使用夸張標題，內容與標題嚴重不符的。
8.「飯圈」亂象行為，主要表現為：
1)誘導未成年人應援集資、高額消費、投票打榜
2)粉絲互撕謾罵、拉踩引戰(zhàn)、造謠攻擊、人肉搜索、侵犯隱私
3)鼓動「飯圈」粉絲攀比炫富、奢靡享樂等行為
4)以號召粉絲、雇用網絡水軍、「養(yǎng)號」形式刷量控評等行為
5)通過「蹭熱點」、制造話題等形式干擾輿論，影響傳播秩序
9. 其他危害行為或內容，主要表現為：
1)可能引發(fā)未成年人模仿不安全行為和違反社會公德行為、誘導未成年人不良嗜好影響未成年人身心健康的；
2)不當評述自然災害、重大事故等災難的；
3)美化、粉飾侵略戰(zhàn)爭行為的；
4)法律、行政法規(guī)禁止，或可能對網絡生態(tài)造成不良影響的其他內容。
二、違規(guī)處罰
本網站通過主動發(fā)現和接受用戶舉報兩種方式收集違規(guī)行為信息。所有有意的降低內容質量、傷害平臺氛圍及欺凌未成年人或危害未成年人身心健康的行為都是不能容忍的。
當一個用戶發(fā)布違規(guī)內容時，本網站將依據相關用戶違規(guī)情節(jié)嚴重程度，對帳號進行禁言 1 天、7 天、15 天直至永久禁言或封停賬號的處罰。當涉及欺凌未成年人、危害未成年人身心健康、通過作弊手段注冊、使用帳號，或者濫用多個帳號發(fā)布違規(guī)內容時，本網站將加重處罰。
三、申訴
隨著平臺管理經驗的不斷豐富，本網站出于維護本網站氛圍和秩序的目的，將不斷完善本公約。
如果本網站用戶對本網站基于本公約規(guī)定做出的處理有異議，可以通過「建議反饋」功能向本網站進行反饋。
(規(guī)則的最終解釋權歸屬本網站所有)