創(chuàng)新評價與評價創(chuàng)新 evaluation of innovation and …

1、“世界科學文獻定性評價統(tǒng)計數據庫”與引文定性分類下的學術文獻計量評價方法,肖 宏中國學術期刊（光盤版）電子雜志社,,一、項目背景,科研評價的目的——控制研究活動質量！科研評價的對象——政策、計劃、投資、項目、成果、人才、管理！科研評價的方法——同行評議、案例調研、文獻計量和經濟計量等。開展學術文獻的評價，是科研評價的基礎工作——提供決策參考、客觀支撐！,1.1 開展學術文獻評價的必要性,（1）同行評議組織模式與評價手段落

2、后： 定性評價如何客觀？高效？低成本？（2）文獻計量的科學性、合理性不足： 統(tǒng)計源的代表性、權威性，指標的科學性，數據的及時、可靠？（3）缺乏對引證數據的定性分析: 文獻計量統(tǒng)計≠定性評價意見。,1.2 問題的提出：當前學術文獻評價體系主要存在三大本質性缺陷：,（1）單純依賴同行評議定性評價的缺陷：既受“同行”-專家群體專業(yè)水平和主觀評判能力的挑戰(zhàn)，也受“評議”-評價標準的科

3、學性和評議過程合理性的挑戰(zhàn),例如：一些創(chuàng)新程度高、有重大突破性研究結果的話題，如何依靠同行評議迅速判斷其學術價值？,陶瓷=絕緣體，陶瓷=高溫超導材料！,高溫熱核聚變常溫核聚變=冷核聚變！,（2）單純依靠文獻計量定量評價的缺陷,間接：通過參考文獻和論文被引用的關聯(lián)分析來判斷論文主體內容，或以刊論文，是間接反映學術價值。被引用頻次能否反映其學術價值？滯后：以論文發(fā)表后的數量、期刊等級及被引用數值為根據進行決策，統(tǒng)計上有時滯。偏差：被

4、評論文必須發(fā)表在被統(tǒng)計源收錄的期刊上，忽略了沒有被統(tǒng)計源收錄的論文。期刊影響因子能一定程度地反映期刊的學術質量水平，能否反映每篇論文質量？宏觀：對群體行為的評價意義遠遠大于個體，因為引用動機不同，用引次來說明個體內容本質差異尚有相當誤差。,2 Zhang Xueyong, Tong Yiping, You Guangxia, Hao Chenyang, Ge Hongmei, Wang Lanfen Li Bin, Dong Yus

5、hen and Li Zhensheng . Hitchhiking Effect Mapping: A new approach for discovering agronomic important genes.（選擇牽連效應分析：發(fā)掘重要基因的新思路）Agricultural Sciences in China（《中國農業(yè)科學》）2007, 6: 255-264. CNKI被引1次，下載30次。CSCD被引38次。國家973重點項

6、目,10.Zhang Jijun,Ying Jia, Chang Shenghe, Li Bin, Li Zhensheng . Cloning and Expression Analysis of Violaxanthin De-Epoxidase (VDE) cDNA in Wheat. （水稻氮饑餓誘導基因的克隆與表達分析）Acta Botanica Sinica（《植物學報》），2003，45: 981-985. CNKI 被引

7、2次，下載120次; WOS 被引3次。CSCD 被引0次，國家973重點項目。,李振聲，中科院遺傳與發(fā)育生物學研究所研究員，中國科學院院士、第三世界科學院院士，小麥育種專家。曾任中國科學院副院長。曾獲1985年國家科技發(fā)明一等獎、陳嘉庚農業(yè)科技獎、何梁何利農業(yè)科學獎和國家最高科學技術獎。在遺傳所網站上公布的近期代表性論文12篇。其中：,例如：有些專家其論文發(fā)表的期刊并非國際頂級大刊，其論文的被引頻次、下載次數等并非在同學科內最高，但

8、其學術價值和應用價值一流。,1.3 解決問題思路：基于網絡平臺的群體評議和海量大數據支持的學術不端檢測機制，在論文創(chuàng)新點分析和引文動機分析分析的有力工具輔助下，開發(fā)定性定量相結合的評價方法，既克服同行評議的偏差，又為文獻計量注入嶄新內容，使學術文獻評價高效、準確！,二、2013年國家文化產業(yè)發(fā)展專項資金項目介紹——世界科學文獻定性評價統(tǒng)計數據庫,2.1 基本目標： 大數據內容挖掘技術 + 科學文獻定性評價標準 →（國

9、際首創(chuàng)）一個可以支持客觀公正定性評價我國和世界各國科學文獻學術質量與國際影響力的大型數據庫 →（全球學術界+科研管理界）推廣應用 →形成具有我國自主知識產權和國際權威性的科學文獻學術評價新體系。,2.2 項目架構,,引文定性分類下的學術文獻計量評價方法,2.3 本年度重點攻關：引文定性分類下的學術文獻計量評價方法 目的：在大數據支持下，為同行評議提供定性分類后的引文統(tǒng)計結果,（1）文獻研究搜集、整理、分析了

10、1962—2014期間國內外發(fā)表出版的引證動機相關研究文獻共100余篇，從中提取出直接相關的引證動機模型26種。（2）文本分析對生物學、化學、物理學、醫(yī)學等自然科學和經濟學、社會學、文學、歷史學等人文社會科學約1000篇高被引文獻產生的13000多條引文進行了文本分析。（3）專家調查召開兩場專家討論會，向與會的期刊評價專家、文獻計量學者匯報引證動機分類的初步研究成果；通過中國老教授協(xié)會向各學科專家發(fā)放《參考文獻引證的定性分析調研

11、問卷》。,(1) 向前人表示敬意; (2) 對有關著作作出評價或給予肯定; (3) 表明使用的方法、儀器設備等; (4) 提供參考資料;(5) 修改某人自己的著作; (6) 修改他人以前的著作; (7) 批評他人的著作; (8) 為自己的論點尋找證明; (9) 向研究人員通報未來的工作; (10) 提供很少傳播,很少標引或未被引用的著者線索; (11) 鑒別數據和各類事實與物理常數; (12) 核

12、查原始出版物中曾描述過的觀點和概念; (13) 核查原始出版物中曾描述過的術語、時間、人名、地點等;(14) 否定他人的著作或觀點;(15) 對他人的優(yōu)先權限提出質疑和異議。,溫斯托克(M.Weinstock) 提出過15種引用動機：,2.3.1 文獻調研結果例舉1,趙彥云，劉思明.中國專利對經濟增長方式影響的實證研究:1988-2008年. 數量經濟技術經濟研究. 2011年第4期,馮宗憲，王青侯，侯曉輝.政府投入、市場化程度與

13、中國工業(yè)企業(yè)的技術創(chuàng)新效率. 數量經濟技術經濟研究. 2011第4期,被引文獻A,被引文獻B,,均被引用26次,2.3.2 文本分析：探究相同引次下的各種引證差異,,,,,,,2.3.3 專家調研：確定對各類引證動機定性指標的認同程度,對象：均為退休教授，長期從事科研、教學工作。共發(fā)出100份調查表，一周內收到83份有效回復。統(tǒng)計發(fā)現(xiàn)專家們對于引文目的、引證動機、引證行為和引證貢獻等看法有很強的一致性，例如：（1）認為引用文獻主要基于

14、其研究問題的達91.6%；（2）認為文章因為其創(chuàng)新性而被引用的達86.8%，因為其實用性而被引用的達80.7%；（3）認為為提高自己文章的說服力而引用參考文獻的達80.7%，為表示自己遵守學術規(guī)范而引用的達79.5%；（4）認為為采納被引文章內容來支持本研究的達92.8%，為本文提供必要背景的達86.8%；（5）對文獻正面肯定而引用的占85.5%；因批駁質疑而引用的占63.9%；（6）承認受參考文獻影響但未改變自己思路的有78

15、.3%，受參考文獻影響而部分改變自己思路的有73.5%,2.4 建立標準體系需考慮的要素：,分析對象不同 ——被引文獻；施引文獻引文貢獻不同 ——實質性作用；非實質性作用等被引文獻類型不同 ——綜述性論文；研究型論文；學位論文等施引文獻類型不同 ——綜述性論文；研究型論文；學位論文等分析角度不同，結論不同

16、 ——學術價值；學術影響力,2.5 階段研究成果：雙向六維的引文定性分類體系,定義：被引文獻是指施引文獻所引用的被引文獻的內容類型，即施引文獻引述的被引文獻的具體內容,2.5.1 被引文獻向—被引對象,定義——被引價值是指施引文獻認為被引文獻具有何種性質的學術價值或其他價值。,2.5.2 被引文獻向—被引價值,定義——引證動機是指施引文獻引用被引文獻的意圖和目的。,2.5.3 施引文獻向—引證動機,定義——引證行為是指施引文獻引用

17、被引文獻的行為表征。,2.5.4 施引文獻向—引證行為,定義——引證態(tài)度是指施引文獻對被引文獻的情感傾向和引述立場。,2.5.5 施引文獻向—引證態(tài)度,2.5.6 施引文獻向—引文貢獻,定義——引文貢獻是指施引文獻認可的被引文獻對其論文的作用和影響程度。,2.6 項目成果：,《世界科學文獻定性評價統(tǒng)計數據庫》: 已進入中期開發(fā)階段。該項目通過構建世界范圍的學術文獻全文數據庫、引文數據庫、專家學者庫及國際同行評議平臺，以引文動機挖掘、分

18、類與網上同行評議相結合，建立面向文獻的國際評價體系，并提供科研項目情報跟蹤、學術研究方向、學術熱點等增值信息服務。這一項目的實施，將進一步完善我國學術期刊的國際影響力評價，并推動我國學術期刊的國際國內傳播。,根據用戶需求和管理需求，產生不同的產品，為特定用戶群體提供服務。包括：（1）宏觀評價產品：對學科、國家和地區(qū)、機構、期刊的評價。形成《世界學術期刊引證報告》、《中國學術期刊國際引證報告》、《中國學術期刊影響因子年報》、《世界科研機