迄今，常规学科评估大都是建立在论文外生指标(exogenous index)基础之上，难免因“评估悖论”所垢病。2019年5月9日，刘则渊教授在武汉大学信息管理学院205会议室带来了题为“‘双一流’大学的学科评估新思路——学科交叉指标及其可视化分析”的讲座。刘教授及其团队创议以论文内生指标(endogenous index)为基础，提出“双一流”大学的学科评估新思路。

报告中，刘教授首先按照科学学关于论文内容与结构分析的理论，引出具有充分理论基础的四项内生指标：学科前沿指标、学科交叉指标、学科对应指标和学科合作指标，由此构成学科评估指标体系。接着，选择“学科交叉指标”，以WoS为数据来源，以清华大学和大连理工大学为案例，开展学科交叉的可视化分析。一方面，考察两校全学科的学科交叉网络变化趋势，并以网络中介中心性测度学科交叉融合度，揭示出两校高融合性学科按“基础科学-技术科学-工程技术”三层次分布的变化特征；另一方面，以两校力学学科为例，构建并测度学科交叉指标，表明两校力学学科的主要交叉学科高度相似，但各有比较优势学科。两校力学交叉的主要学科排序，印证了钱学森关于力学作为技术科学的中介位置，既从基础科学汲取营养，又为工程技术服务，发挥了力学的桥梁作用。最后，展望了迈向科学学与科学计量学4.0的新时代。

注：本文稿为大连理工大学WISE实验室团队刘则渊、陈悦、胡志刚、宋超、田文灿等合作完成

整理：魏雅慧

审定：刘则渊

1

双一流”建设的学科评估新思路

随着我国高校“双一流”建设的展开，大学、学科的评估突出起来。通常，大学、学科的评估包括科研活动的投入与产出两个方面的测度。科研投入一般是涉及科研项目及经费、科研队伍及培训、实验装备及基础设施、图书情报系统等一般科学能力。这方面并不难，难在科研产出的测度。

科研产出一般用“数文章”的方法，包括:论文数、总引文、篇均被引、H指数、期刊因子。普赖斯(Price DJD)指出[1]，这会导致悖论的产生：一方面有许多反对意见认为，这种数文章的方式是不可靠的，甚至是不相关的；而另一方面，这种办法与其他的一些指标和理论的测度结果又非常一致。“如果操作得当，这种数文章的方法在进行国际比较时，甚至比经济计量分析中的货币指标，还要客观有效。只要采取适当的预防措施，给出测度的注意事项，那么就可以对研究活动和科学家、科研团队、研究机构、研究项目、甚至国家研究活动和生产力进行测度，并据以制定科技政策。”

我国学科评估中，还存在各种“帽子”：院士、从 “长江学者” 到地方各种“学者”、杰青、优青，形成的“帽子悖论”既激励人又误导人。那么这些悖论如何化解呢？这就需要新思路！

1.1

 “双一流”大学的学科评估新思路

迄今为止，学科、机构、期刊、人才的评价，大都是建立在用文献计量学方法对论文引文及其相关指标进行测度基础之上的，并辅以补充计量学（Altmetrics）的网络传播数据分析。这种常规方法都是学科及论文的外在指标。但学科及论文的质量都是本身的内在因素决定的。因此，这里根据科学学关于论文结构分析理论，首次提出“双一流” 大学的学科评估新思路，这就是以论文的内生指标为主，结合上述引文数据等外生指标，进行学科评估。

或许人们会问，现在“双一流”大学的学科评估廹在眉切，都一轰而上，搞评估研究来不及了。然而，评估的老办法悖论多多。“双一流”建设不是权宜之计，而是长远的战略问题。“双一流”大学的学科评估关健在于对学科进行客观、全面、准确的评估，不仅要具有国际可比性，而且要具有现实可行性。从而通过学科评估，促进学科建设与发展。

1.2

论文结构分析与内生指标和外生指标

论文可以分为题目与作者、摘要与关键词、正文、参考文献这几个部分，而正文是论文的核心内容，非常重要。我们在评估的时候却遗漏了这一内容，往往以摘要与关键词作为评估要点。摘要是论文的精华，简单介绍了论文的方法以及结论，但是论文内容却详细介绍了提出问题的过程，研究使用的方法、论证的内容以及得到的结论，对我们后续的研究更为重要。

众所周知，1955年SCI发明人加菲尔德(E.Garfield)在创建SCI的基础理论文章[2]中指出，科学文献因引文而相互联系，而引文发生在于彼此“贯穿观念的联系”，而科学引文关系本质在于论文内容及结构中贯穿观念的内在联系。由此构成科学学关于论文内容与结构分析的理论基础。论文因他文引用的引文指标和科学传播而形成的补充指标，均属于外生指标(exogenous index)；而基于论文内容与结构生成的指标，我们称为内生指标(endogenous index)，如下图所示。

2

学科评估的理论基础与指标体系

关于论文的内生指标，构想由来已久。若干内生指标如学科前沿指标、学科交叉指标的概念，早在2010年WISE实验室学术活动时就提出来了[3]。这里只能做一个概括的阐述，主要讨论学科与论文的内生指标及其理论基础，以及由各个内生指标构成的学科评估指标体系。

（1）学科前沿指标:正文中引证的文末最新参考文献反映了研究前沿。主要包含普赖斯指数和以知识为基础的研究前沿。

（2）学科交叉指标:正文引证参考文献的所属学科的差异性与交叉性。主要包含参考文献跨学科和论文的共被引分析。

（3）学科对应指标:从正文提取的关键词与引证参考文献的重叠性与继承性。“关键词重叠率”：论文的关键词反映了论文的理论核心，因此可以依据某学科一组论文中的关键词，与其参考文献中关键词的重叠率与继承性，来反映理论中知识单元的游离、重组与对应。

（4）学科合作指标:多作者论文的平均合作人数。我们曾以几个学科的论文数据，发现随论文的合作人数增长，论文数量呈威布尔分布，提出了科学发现的最佳规模定律[4]。论文数峰值的作者规模在3-8人。可以用学科一组论文的平均合作人数与最佳规模人数比较。

以上述4项内生指标组成学科评估的指标体系，不仅适于一流学科评估，也适于一流大学评价。

3

学科交叉指标的数据来源与方法

以清华大学和大连理工大学为案例研究对象，分析两所学校研究的学科交叉趋势变化，并以两校建设一流学科“力学”为例，构建并测度学科交叉指标。

(1) 为什么首先选择学科交叉指标进行测度？如前所述现代科学呈现各学科相互交叉渗透的综合化趋势，21世纪进入交叉科学的时代。学科的交叉渗透是当代科学发展的内在动力。通过学科交叉指标的可视化分析，在一定意义上可以折射出学科前沿领域、学科对应关系和学科合作状况。

(2) 为什么选择清华大学、大连理工大学比较？因为两校都在开展“双一流”建设，清华大学正走向综合大学，大连理工大学在迈向多学科大学，都进入权威世界大学排行榜，清华大学名列前茅，已是中国的世界一流大学，是大连理工大学建设一流大学的榜样。

(3) 为什么选择力学作为学科交叉的分析案例？因为按照钱学森先生的科学技术体系学[5]和技术科学思想[6]，在“基础科学——技术科学——工程技术”的层次结构中，力学被钱老界定为技术科学范畴，处于中介位置，具有显著的多学科交叉特征，可起到举一反三的典范作用。

3.1

学科交叉指标的数据来源

以Web of Science为数据来源，下载清华大学（THU）和大连理工大学（DUT）的学科数据，分别获得两校的全学科数据集（1978-2017）和力学学科数据集（1945-2018），见下图。主要考察改革开放以来40年历程。

3.2

学科交叉趋势的测度方法

（1）大学科学研究的学科交叉趋势的测度方法（机构视角）

主要包含学科共现和中介中心性测度。按照WoS的学科分类，共有252个学科类别；每篇论文可以被归属为多个学科类别。通过学科共现网络规模(Size)和密度(Density)的大小，可以揭示某机构研究整体的学科交叉趋势。网络某节点的中介中心性(Betweenness Centrality)是在网络中度量该节点控制网络资源的能力，也可以用来判断某学科与其他学科交叉融合的能力。

（2）力学学科交叉度指标的建构与测度（学科视角）

引文分析——引用学科距离测度

例如，力学的学科交叉度指标设计原理见下图。力学学科包含很多论文，每组论文有许多参考文献，通过判断参考文献的论文归属于哪些期刊，而这些期刊又归属于哪些学科，来测量学科的距离，权重w由学科参考文献的数量来决定。

学科基础距离来源：期刊共被引形成的学科基础图谱（如下图），提供了学科之间的基础距离。可使用莱顿大学开发的Vosviewer可视化软件分析。

4

案例:学科交叉可视化分析与指标测度

以清华大学和大连理工大学为案例研究对象，分析两所学校研究的学科交叉趋势变化，并以两校建设一流学科“力学”为例，构建并测度学科交叉指标。该案例研究主要侧重以下6个方面:

（1）学科交叉网络知识图谱

（2）学科交叉规模和密度变化

（3）学科交叉与高融合性学科

（4）力学学科交叉指标的测度

（5）力学学科交叉的主要学科

4.1

学科交叉网络

大连理工大学和清华大学的学科交叉网络的密度都是在逐年密集，尤其是改革开放以后，每5年都有一个明显的变化。且清华大学的学科交叉密度发展比大连理工大学更快。

4.2

学科交叉规模和密度的变化趋势

4.2.1

学科交叉规模趋势

由下图可以看出，两所学校在总体上学科交叉规模变化呈现快速增长趋势，且差距呈波动起伏。清华的学科交叉规模已达225个，明显高于大连理工。

4.2.2

学科交叉密度趋势

由下图可以看出，两校学科交叉网络规模都在增长，而网络密度有下降趋势，网络规模增长的速度大于学科连接增加的速度，意味着大量结构洞的产生，创新机会增加。大连理工和清华大学相比，大连理工前期密度较高，后期二者不相上下，清华大学略高。

4.3

高融合性学科变化

高融合性学科系指该学科与其引用的其他学科高度交叉渗透的综合性学科，用中介中心性测度学科交叉融合度。

下表是大连理工大学和清华大学的部分学科高融合性排序变化，可以看出，随着时间的推移，学科的融合性在不断的增强。

4.3

高融合性学科“三层次”分布

根据钱学森关于科学技术体系的“基础科学——技术科学——工程技术”三层次思想，对SCI的JCR学科分类共252个学科，划分为“基础科学——技术科学——工程技术”三层次。下图和下表分别给出了清华大学与大连理工大学的高融合性学科按照“基础科学-技术科学-工程技术”层次的分布变化。

4.4

力学学科交叉度指标的测度：平均距离

力学学科与其所引用的学科之间总平均距离越大，学科之间的差异性、交叉度就越大；但平均距离分布呈偏态的威布尔分布，存在文献篇数峰值的最佳平均距离，及峰值左右的合理区间。由下图数据可知，清华大学力学学科交叉度大于大连理工大学。

4.5

力学学科交叉的主要学科

4.5.1

主要交叉学科

由下图可以看出两校力学引用交叉的主要学科相似程度高，但各有比较优势学科：清华大学的材料科学多学科、热力学、应用物理强于大连理工大学；大连理工大学的土木工程、数学跨学科应用、多学科工程强于清华大学。

局部图显示，两校力学学科交叉的14个主要学科：材料科学多学科、热力学、石油工程、机械工程、应用物理、多学科物理、化学工程、土木工程、航空航天工程、数学跨学科应用、数学物理、复合材料、地质工程、多学科工程(按清华大学排序，与大连理工大学的排序不同)，反映了两校力学学科交叉的共性。

4.5.2

主要交叉学科比较

两校力学的交叉学科共20门排序，反映了两校力学交叉学科存在各自的比较优势学科，大连理工大学在数学跨学科应用、应用数学、土木工程、复合材料科学、地质工程、多学科工程和海洋工程7门学科强于清华大学，其余13门学科清华大学强于大连理工大学。

4.5.3

力学研究的支撑学科分布比较

我们的研究曾显示力学更多地引用基础科学和技术科学学科，而更多地被工程技术所引用，确认了力学的中介地位[7][8]。两校力学的交叉学科按照 “基础科学-技术科学-工程技术”三层次排序，清华大学的力学支撑学科更多的属于基础科学(32%)和技术科学(51%)，工程技术比重低(17%)，而大连理工大学力学的支撑学科中基础科学(30%)、技术科学(45%)较清华的比重低，工程技术 (24%)较清华大学比重高。

这再次印证了钱学森关于力学作为技术科学的思想，两校力学的支撑学科主要属于基础科学和技术科学，力学主要是工程技术的基础，引用的工程科学较少，只是关注它服务的工程技术，表明力学在科学三层次中起到桥梁作用。

5

结果、讨论与展望

5.1

结果

对清华大学和大连理工大学的力学学科交叉指标的可视化分析，结果如下:

（1）从两校整体上看，学科交叉规模在增长，但网络规模增长速度大于学科连接增加速度，意味着大量结构洞的产生，科学创新机会在增加。

（2）学科交叉导致高融合性学科出现，可用交叉网络的中介中心性，测度学科交叉融合度。两校高融合性学科相近，但清华经济学社会科学在崛起。

（3）从两校力学学科与其引用的学科之间总平均距离测度看，平均距离表征学科差异性与交叉性，显示清华大学力学学科交叉度大于大连理工大学。

（4）两校力学交叉的主要学科相似程度很高，但两校各有本校的比较优势学科。两校的交叉学科排序均呈负幂分布，符合洛特卡定律或二八定律。

（5）两校力学的交叉学科排序，印证了钱学森关于力学作为技术科学的思想，既要为工程技术服务，又要从基础科学汲取营养。

总之，运用可视化方法，绘制学科交叉网络知识图谱，可以有效地测度学科交叉指标，揭示所评估的学科与其他学科之间的交叉状态及主要交叉学科，从而通过学科评估，为学科的建设、发展与创新提供了依据。

5.2

讨论:基于论文内生指标的学科评估的完善

学科评估本身不是目的，学科评估旨在以评促建，推动学科建设与发展。力学学科交叉指标的案例研究，为学科建设提供了有益的启示。这表明完善基于内生指标的学科评估，是非常必要的。我们将在学科交叉指标及其可视化的案例研究基础上，完善基于学科内生指标的学科评估体系，进而构建科研投入指标和产出指标、论文内生指标和外生指标相结合的学科评估体系。

新构建的学科评估体系将克服以往的偏颇，在科研评价评估中得到广泛的应用。它除了可以评价学科，也可以评价机构、团体、人才、期刊、单篇论文、项目申请、单篇论文等，还可以用作期刊论文审稿中专家同行评议的辅助手段。

5.3

展望:迈向科学学与科学计量学4.0新时代

上世纪30年代，自科学学奠基人贝尔纳以来，他和普赖斯以历史大跨度的定性与定量统计分析为基础的科学计量研究和科学评价研究，开创了科学学与科学计量学1.0时代。上世纪60年代，加菲尔德发明的SCI检索数据库，之后普赖斯的论文网络和斯莫尔的共引分析，以及信息可视化与知识图谱兴起，开启了科学评价新方式，形成了科学学与科学计量学2.0时代。2010年以来，在网络媒体的科学传播与交流的态势下，人们为弥补以往引文分析用于科学评价的偏颇，开展了补充计量研究，构成科学学与科学计量学3.0时代。近两年来，随着科学大数据、网络化、数字化、智能化趋势，物理学介入科学学，复杂网络分析的引入，对科学的多学科、跨学科研究，全文引文分析的兴起，对科学评价的内生指标与外生指标相结合，我们正迈向科学学与科学计量学4.0的新时代。

我们现在正站在新时代的门口，我这里所讲就是抛砖引玉，希望大家进入这个伟大的新时代。

参考文献：

刘则渊，大连理工大学教授，博士生导师。大连理工大学21世纪发展研究中心常务副主任，大连理工大学人文社会科学学院首任院长。该校“科学学与科技管理”和“科学技术哲学”两门学科的主要开创者与奠基人之一。2010年被中国科协授予“全国优秀科技工作者”称号，2013年由我国技术哲学奠基人陈昌曙命名的技术哲学发展基金会授予首届技术哲学贡献奖，2017年被授予中国科学学与科技政策研究会第一届杰出贡献奖。

制版编辑 | 朱静

学术活动 | 第二十二期 专题研讨会：多学科视角下的信息检索与人机交互

学术活动 | 第二十一期 技术视野，人文情怀：国内首届“交互与信息行为研究学术研讨会”在南开大学商学院成功举办

学术活动 | 第二十期 2019年江苏省研究生“数据赋能的管理学”学术创新论坛征文通知

学术活动 | 第十九期 第九届全国情报学博士生学术论坛在南京农业大学召开

学术活动 | 第十八期 “交互与信息行为研究学术研讨会”会议通知