自標準數(shù)據(jù)架構(gòu)設計初探

1、<p>　　自標準數(shù)據(jù)架構(gòu)設計初探</p><p>　　王權(quán)、夏艷波、張彥國、田鵬、唐力偉</p><p>　　自標準數(shù)據(jù)定義：所謂自標準數(shù)據(jù)=數(shù)據(jù)體+數(shù)據(jù)格式(數(shù)據(jù)體解釋)。</p><p>　　自標準數(shù)據(jù)也是標準，它是局部自治的標準。其用于描述數(shù)據(jù)的標準定義語言，是遵循自標準數(shù)據(jù)描述定義標準的。</p><p>　　在自標準數(shù)據(jù)

2、體系結(jié)構(gòu)中建議包含：</p><p><b>　　數(shù)據(jù)標準定義語言</b></p><p><b>　　數(shù)據(jù)港口</b></p><p><b>　　數(shù)據(jù)泵</b></p><p><b>　　數(shù)據(jù)規(guī)則</b></p><p>&l

3、t;b>　　標準解析引擎</b></p><p><b>　　數(shù)據(jù)港口組件</b></p><p><b>　　港口鏈路</b></p><p>　　所謂自標準數(shù)據(jù)體系是指，對自標準數(shù)據(jù)概念的標準模型。</p><p>　　自標準數(shù)據(jù)體系實現(xiàn)遵循原則:</p><

4、;p>　　Open；整個體系結(jié)構(gòu)中，所有數(shù)據(jù)體中數(shù)據(jù)均完全。使得所有數(shù)據(jù)使用者可方便調(diào)用。</p><p>　　自治；自標準數(shù)據(jù)中，標準是采用自治管理方式。也就是自標準數(shù)據(jù)中，標準是可以進行變更的，標準變更意味數(shù)據(jù)同時按照變更后標準提供，是數(shù)據(jù)提供方對數(shù)據(jù)進行的描述。</p><p>　　簡單標準；自標準數(shù)據(jù)遵循簡單原則，數(shù)據(jù)定義過程中，數(shù)據(jù)的標準定義使用簡單標注。減少數(shù)據(jù)使用繁瑣度

5、。</p><p>　　集中管理關(guān)鍵；整個體系結(jié)構(gòu)中，僅對各數(shù)據(jù)來源單位的服務ID信息、自標準數(shù)據(jù)體、數(shù)據(jù)緩存周期、數(shù)據(jù)權(quán)限進行管理。其他數(shù)據(jù)具體業(yè)務不進行過度干預。</p><p>　　即插即用；自標準體系中，凡遵守數(shù)據(jù)描述定義語言標準的自標準數(shù)據(jù)所有數(shù)據(jù)供應商接入即可使用。即使數(shù)據(jù)提供商對數(shù)據(jù)未進行任何標準定義的私密數(shù)據(jù)，由使用者自行解決對應數(shù)據(jù)體。</p><p&

6、gt;　　適配；自標準體系中，數(shù)據(jù)港口可提供一定的自標準數(shù)據(jù)適配功能。保障數(shù)據(jù)體標準變更后，可提供部分自動適配功能。使所有數(shù)據(jù)使用者避免由于標準變更產(chǎn)生更大的變更活動。</p><p><b>　　自發(fā)展；</b></p><p><b>　　數(shù)據(jù)標準定義語言</b></p><p>　　數(shù)據(jù)標準定義語言是由總體平臺框架定

7、義的對數(shù)據(jù)體進行自描述的語言結(jié)構(gòu)。數(shù)據(jù)標準定義語言應能夠盡量對數(shù)據(jù)進行描述，除了因技術(shù)或其他原因計算機無法描述的部分由用戶描述，由用戶描述的部分應越少越好。</p><p>　　可以考慮xml風格的描述，通過自定義標簽的方式實現(xiàn)。技術(shù)來說這樣的標簽數(shù)量上不應超過20個。這方面非常期望能參考袁滿老師的意見。</p><p>　　其中必須包括廣義元數(shù)據(jù)定義：</p><p&

8、gt;<b>　　名稱（Title）</b></p><p><b>　　標識：Title</b></p><p>　　定義：分配給資源的名稱。</p><p>　　解釋：使資源為眾所周知的有代表性的正規(guī)名稱。</p><p>　　創(chuàng)作、制作者（Creator）</p><p&g

9、t;　　標識：Creator</p><p>　　定義：制作資源內(nèi)容的主要責任實體。</p><p>　　解釋：創(chuàng)作、制作者包括個人、組織或機構(gòu)。</p><p>　　應該是用于標識創(chuàng)作、制作者實體的具有代表性的名稱。</p><p>　　主題及關(guān)鍵詞（Subject and Keywords）</p><p>　　標

10、識：Subject定義：資源內(nèi)容的主題。</p><p>　　解釋：用以描述資源主要內(nèi)容的關(guān)鍵詞語或分類號碼表示的有代表性的主題詞。</p><p>　　說明（Description）</p><p>　　標識：Description</p><p>　　定義：有關(guān)資源內(nèi)容的說明。</p><p>　　解釋：該說明可以

11、包括但并不限于：摘要，內(nèi)容目次，內(nèi)容圖示或內(nèi)容的文字說明。</p><p>　　出版者（Publisher）</p><p>　　標識：Publisher</p><p>　　定義：制作資源有重要作用的責任實體。</p><p>　　解釋：如包括個人、組織或機構(gòu)的出版者。</p><p>　　應是用于標識出版者實體的有

12、代表性的名稱。</p><p>　　發(fā)行者（Contributor）</p><p>　　標識：Contributor</p><p>　　定義：對資源內(nèi)容負有發(fā)行責任的實體。</p><p>　　解釋：發(fā)行者包括個人、組織或機構(gòu)。</p><p>　　應是用于標識發(fā)行者實體的有代表性的名稱。</p>&

13、lt;p><b>　　時間（Date）</b></p><p><b>　　標識：Date</b></p><p>　　定義：與資源使用期限相關(guān)的日期、時間。</p><p>　　解釋：資源產(chǎn)生或有效使用的日期、時間。</p><p><b>　　類型（Type）</b>

14、</p><p><b>　　標識：Type</b></p><p>　　定義：資源內(nèi)容方面的特征或體裁。</p><p>　　解釋：類型包括種類、功能、體裁或作品集成級別等描述性術(shù)語。推薦從可控詞表（如Dublin Core Types[DCT1]）中選用有關(guān)術(shù)語。對于資源物理或數(shù)字化方面表示，采用"格式"項描述。<

15、/p><p>　　格式（Format）</p><p><b>　　標識：Format</b></p><p>　　定義：資源物理或數(shù)字化的特有表示。</p><p>　　解釋：格式可包括媒體類型或資源容量。也可用于限定資源顯示或操作所需的軟件、硬件或其它設備，如容量包括數(shù)據(jù)所占空間和存在期間。</p><

16、;p>　　標識（Identifier）</p><p>　　標識：Identifier</p><p>　　定義：依據(jù)有關(guān)規(guī)定分配給資源的標識性信息。</p><p>　　解釋：推薦使用依據(jù)格式化標識系統(tǒng)規(guī)定的字符或號碼標識資源。</p><p>　　如正規(guī)標識系統(tǒng)包括統(tǒng)一資源標識（URI），統(tǒng)一資源地址（URL）、數(shù)字對象標識（DOI

17、）以及國際標準書號（ISBN）、國際標準刊號（ISSN）等。</p><p>　　來源（Source）</p><p><b>　　標識：Source</b></p><p>　　定義：可獲取現(xiàn)存資源的有關(guān)信息。</p><p>　　解釋：可從原資源整體或部分獲得現(xiàn)有資源。建議使用正規(guī)標識系統(tǒng)確定的字符或號碼標引資源來源

18、信息。</p><p>　　語言（Language）</p><p>　　標識：Language</p><p>　　定義：資源知識內(nèi)容使用的語種。</p><p>　　解釋：推薦使用由RFC1766定義的語種代碼，它由兩位字符（源自ISO639）組成。隨后可選用兩字符的國家代碼（源自ISO 3166）。如"en"表示英語

19、，"fr"表示法語。</p><p>　　相關(guān)資源（Relation）</p><p>　　標識：Relation</p><p>　　定義：對相關(guān)資源的參照。</p><p>　　解釋：推薦用依據(jù)正規(guī)標識系統(tǒng)確定的字符或號碼標引資源參照信息。</p><p>　　范圍（Coverage）</

20、p><p>　　標識：Coverage</p><p>　　定義：資源內(nèi)容的領(lǐng)域或范圍。</p><p>　　解釋：范圍包括空間定位（地名或地理坐標），時代（年代、日期或日期范圍）或權(quán)限范圍。</p><p>　　版權(quán)（Rights）</p><p><b>　　標識：Rights</b></p

21、><p>　　定義：持有或擁有該資源權(quán)力的信息。</p><p>　　解釋：版權(quán)項包括資源版權(quán)管理的說明。</p><p><b>　　數(shù)據(jù)港口</b></p><p>　　數(shù)據(jù)港口是不是數(shù)據(jù)中心，它是物流中心，是用于數(shù)據(jù)交換與流通的，僅存儲少量數(shù)據(jù)，它不是資產(chǎn)。數(shù)據(jù)描述定義語言標準、數(shù)據(jù)港口、數(shù)據(jù)泵是總體結(jié)構(gòu)中不可或缺的部

22、分。港口擁有唯一帶解析規(guī)則的港口ID，類似于KKS碼格式。</p><p>　　區(qū)別于常用的搜索引擎，自標準的搜索引擎是精確搜索的，供計算機使用的搜索引擎。它能夠主動收集和消化數(shù)據(jù)，會適應數(shù)據(jù)、數(shù)據(jù)源的產(chǎn)生和消逝。數(shù)據(jù)港口上存放的數(shù)據(jù)不是資產(chǎn)而是流動的數(shù)據(jù)，是中間環(huán)節(jié)，是信息交換的平臺。數(shù)據(jù)港口的數(shù)據(jù)具有短存儲，非資產(chǎn)的特性。這些數(shù)據(jù)只是為了數(shù)據(jù)交換而短暫存貯在數(shù)據(jù)港口，即使這些數(shù)據(jù)丟失也不會直接影響生產(chǎn)。數(shù)據(jù)港

23、口的數(shù)據(jù)主要包含被供應數(shù)據(jù)、數(shù)據(jù)交換、被使用數(shù)據(jù)。數(shù)據(jù)除了其內(nèi)容本身外，最少應包含標識和名稱，其中標識是由數(shù)據(jù)碼頭產(chǎn)生的。標識（ID）的生成規(guī)則是數(shù)據(jù)港口核心的算法之一。有句話說數(shù)據(jù)多了就智能，在數(shù)據(jù)港口堆放的數(shù)據(jù)會形成數(shù)據(jù)生態(tài)的基礎。數(shù)據(jù)港口會提供數(shù)據(jù)熱點等服務，提示某些熱區(qū)數(shù)據(jù)具有一致性，需要標準化。這樣整齊堆放的數(shù)據(jù)會被促使逐步形成標準，并且這些標準會自我完善和自我改進。</p><p>　　數(shù)據(jù)港口中定義

24、包括：</p><p><b>　　資源管理</b></p><p>　　資源管理可以理解為，所有數(shù)據(jù)供應商提供出來的所有內(nèi)容均為資源，資源分類大致包括：</p><p>　　數(shù)據(jù)管理:當前港口存放的數(shù)據(jù)相關(guān)信息的管理設定。包括數(shù)據(jù)所有特性（例如：版本、數(shù)據(jù)項、發(fā)行者、有效期）等。</p><p>　　同時，對供應商接入

25、的數(shù)據(jù)登記，并對其數(shù)據(jù)設定存儲區(qū)域、存儲空間、存儲周期管理、數(shù)據(jù)質(zhì)量審查。</p><p><b>　　標準管理</b></p><p><b>　　港口管理</b></p><p><b>　　認證管理</b></p><p>　　提供商資源：連接信息、服務類別、服務范圍、服

26、務清單。</p><p><b>　　數(shù)據(jù)資源：</b></p><p>　　標準資源：已有遵循數(shù)據(jù)描述定義語言標準的反復使用多次的標準定義清單。</p><p>　　港口資源：已掛接在本港口上的港口鏈路。用于對多個數(shù)據(jù)港口間進行數(shù)據(jù)交換時適用。</p><p><b>　　...</b></

27、p><p>　　資源檢索：對數(shù)據(jù)資源的檢索利用引擎。檢索引擎中至少包括：</p><p><b>　　全港口(全文)檢索</b></p><p>　　定向資源檢索：定向資源即定向資源類型、以及資源類型的高速檢索。例如：產(chǎn)量指標</p><p>　　數(shù)據(jù)檢索規(guī)則：用于定向資源檢索優(yōu)先級序列排名。排名算法根據(jù)數(shù)據(jù)參數(shù)范圍決定，例

28、如：產(chǎn)量指標在特定的語義空間內(nèi)，含義差異。小隊跟集團的語義環(huán)境就有差異。檢索系統(tǒng)就來源多個環(huán)節(jié)。</p><p>　　權(quán)限管理：至港口中所有資源的權(quán)限分配管理。權(quán)限分配也是權(quán)限的一部分。</p><p>　　數(shù)據(jù)港口鏈路：港口鏈路用于實現(xiàn)多個數(shù)據(jù)港口之間的數(shù)據(jù)共享與交換。其港口鏈路過程中，均需要交換并登記對方港口的數(shù)據(jù)資源、標準資源列表等信息。</p><p>　　

29、港口管理：提供港口的配套管理功能。</p><p>　　數(shù)據(jù)服務：數(shù)據(jù)港口中所有的存在于數(shù)據(jù)港口中的數(shù)據(jù)對數(shù)據(jù)港口本身是完全開放的(僅有少量數(shù)據(jù)是由數(shù)據(jù)提供商指定了數(shù)據(jù)權(quán)限，為特定的數(shù)據(jù)使用者服務）。數(shù)據(jù)港口將對所有堆放至港口的數(shù)據(jù)進行梳理分析，直接對外提供標準的數(shù)據(jù)訪問服務。其中數(shù)據(jù)解析由數(shù)據(jù)解析引擎進行。解析后的數(shù)據(jù)可以通過標準的對外數(shù)據(jù)服務進行提供，例如：webservice、JSON、BSON、JDBC、

30、ODBC、API等。</p><p>　　標準資源服務：標準資源服務是指，系統(tǒng)中所有存在于港口中的數(shù)據(jù)，均可被數(shù)據(jù)港口</p><p><b>　　...還在思考</b></p><p>　　數(shù)據(jù)泵，數(shù)據(jù)泵是所有進出港口的標準活動。數(shù)據(jù)泵分數(shù)據(jù)抽取泵與數(shù)據(jù)推送泵。</p><p>　　數(shù)據(jù)抽取泵：數(shù)據(jù)抽取泵是提取數(shù)據(jù)的主

31、要活動。數(shù)據(jù)抽取泵中需包括對原數(shù)據(jù)轉(zhuǎn)換的檢索、抽取、清洗、分類活動，同時若原數(shù)據(jù)不滿足自標準數(shù)據(jù)標準，可選擇數(shù)據(jù)通過SDK將數(shù)據(jù)轉(zhuǎn)換為自標準數(shù)據(jù)。</p><p>　　數(shù)據(jù)推送泵：數(shù)據(jù)推送泵是負責將數(shù)據(jù)使用者關(guān)注的訂閱數(shù)據(jù)通過推送的方式將數(shù)據(jù)發(fā)送至使用者指定位置。在數(shù)據(jù)由數(shù)據(jù)港口推送不僅僅是單純的運送，還包含數(shù)據(jù)使用者與港口之間的數(shù)據(jù)代理，或者可以理解為商家。數(shù)據(jù)港口是倉庫，而商家需要包含跟使用者進行標準協(xié)商；同

32、時還需要負責數(shù)據(jù)打包、數(shù)據(jù)裝箱、運送、直至數(shù)據(jù)簽收。</p><p><b>　　數(shù)據(jù)規(guī)則</b></p><p>　　數(shù)據(jù)港口會根據(jù)數(shù)據(jù)的使用頻度和熱度提示該數(shù)據(jù)應形成標準或為該數(shù)據(jù)產(chǎn)生標準。數(shù)據(jù)不和具體的人綁定，數(shù)據(jù)與數(shù)據(jù)之間是平等的關(guān)系，沒有層級之分。數(shù)據(jù)在不同的域內(nèi)可能有不同的定義，相同的數(shù)據(jù)可以提供不同的自標準格式。數(shù)據(jù)港口僅存放廣泛公開供域內(nèi)使用和交換的數(shù)

33、據(jù)，如果存在私有數(shù)據(jù)需要自行加密。數(shù)據(jù)港口業(yè)提供對數(shù)據(jù)進行同比、環(huán)比等數(shù)據(jù)比對功能。</p><p>　　在數(shù)據(jù)港口中，所有由數(shù)據(jù)供應商提供的數(shù)據(jù)均需要定義其數(shù)據(jù)整理與堆放規(guī)則。整理規(guī)則中可通過定義的整理規(guī)則將供應商提供的數(shù)據(jù)進行最大限度的優(yōu)化梳理，對數(shù)據(jù)進行進行清洗、過濾、切片等活動，保障數(shù)據(jù)質(zhì)量。整理規(guī)則不是必須的。</p><p>　　數(shù)據(jù)堆放規(guī)則是用于對數(shù)據(jù)塊定義其存儲周期、存儲位

34、置、存儲空間優(yōu)化等劃分的具體活動，堆放規(guī)則也不是必須的。港口默認提供數(shù)據(jù)整理與數(shù)據(jù)堆放規(guī)則。</p><p><b>　　標準適配引擎</b></p><p>　　標準適配是用于數(shù)據(jù)供應商版本變更或升級時，數(shù)據(jù)調(diào)用者用于版本適配協(xié)的活動。用于解決數(shù)據(jù)提供商與數(shù)據(jù)使用者之間標準差異化。</p><p>　　數(shù)據(jù)港口可以對數(shù)據(jù)進行自行封裝，即便不合

35、標準的數(shù)據(jù)也可放在港口上，由港口自行封裝。封裝的數(shù)據(jù)類似于集裝箱，有著最簡單統(tǒng)一的形態(tài)和規(guī)格，并且具備一些最基本的標簽數(shù)據(jù)。港口擔負著數(shù)據(jù)格式版本變遷的向下兼容，數(shù)據(jù)裝箱等任務。港口還需要清理過期、無用、錯誤的數(shù)據(jù)。從軟件的時效性來看數(shù)據(jù)的主動適配是需要的，但不是緊要的功能。</p><p><b>　　數(shù)據(jù)港口組件</b></p><p>　　數(shù)據(jù)港口組件是指，為應

36、對大多數(shù)大型數(shù)據(jù)整合系統(tǒng)，數(shù)據(jù)若采用統(tǒng)一接入數(shù)據(jù)港口方式可能存在問題:</p><p>　　數(shù)據(jù)吞吐需求量大，小型數(shù)據(jù)港口無法承載，大型數(shù)據(jù)港口建設浪費資源。</p><p>　　系統(tǒng)已基本完善，已構(gòu)建為標準數(shù)據(jù)中心，需要提供大量對外數(shù)據(jù)，改造難度高。</p><p>　　在上述比較典型系統(tǒng)中，是可獨立構(gòu)建數(shù)據(jù)港口的。所以，數(shù)據(jù)港口因局部拆分為中間件的特性，可提供方

37、便的組件為其他系統(tǒng)集成。就像網(wǎng)卡，只有主板還有空間，插上重啟，即可接入網(wǎng)絡。</p><p><b>　　港口鏈路</b></p><p>　　港口鏈路是指，數(shù)據(jù)港口中可提供對外數(shù)據(jù)鏈路與其他港口鏈路接口。單個港口的數(shù)據(jù)資源可能在一定范圍內(nèi)是有限的，港口與港口之間應具備數(shù)據(jù)聯(lián)通共享的特性，使數(shù)據(jù)提供高效利用。港口鏈路用于對多個數(shù)據(jù)港口間進行數(shù)據(jù)交換時適用。港口與港口間

38、需要對接，就象藍牙。適配成功即可對接，雙方可交換資源、服務清單等，形成互為代理的特性，組件網(wǎng)狀結(jié)構(gòu)。</p><p>　　港口的數(shù)量不會太多，港口之間都是平級關(guān)系，類似于國家之間的關(guān)系，有戰(zhàn)略合作、敵對、友好等關(guān)系。對于有點內(nèi)陸國數(shù)據(jù)港口還能提供港口鏈路為該數(shù)據(jù)提供者提供代理港口。港口鏈路從軟件的時效性來看港口間關(guān)系是需要的，但不是緊要的功能。</p><p>　　綜上所述基于自標準的數(shù)據(jù)

39、港口就是為建立開放自由的數(shù)據(jù)生態(tài)環(huán)境，促進數(shù)據(jù)交流與共享。在這樣的數(shù)據(jù)生態(tài)環(huán)境下會加速和促進數(shù)據(jù)標準化的自演變、成型與發(fā)展。就像阿凡達的辮子一樣，可以接入星球各種生物進行數(shù)據(jù)交換，這樣能夠通用的數(shù)據(jù)一定是自標準，規(guī)范化的數(shù)據(jù)。自標準數(shù)據(jù)港口目標是解決復雜系統(tǒng)問題，適應大系統(tǒng)，在小的系統(tǒng)內(nèi)實施可能會由于數(shù)據(jù)的集裝化導致得不償失因而受阻（相信隨著技術(shù)的進步、工具的豐富、自動化程度的提高會逐步解決這些問題）。</p><p