导航菜单
首页 > 管理学论文 > 情报论文 » 正文

我国图书情报领域个人学术评价指标的应用情况研究

刘中兴 杨建林




收稿日期:2020-06-01

基金项目:国家社会科学基金重点项目 “面向国家发展与安全决策的情报服务创新研究”(项目编号:NO.18ATQ003)。

作者简介:刘中兴(1996-),男,硕士研究生,研究方向:数据挖掘。

通讯作者:杨建林(1970-),男,教授,博士,博士生导师,研究方向:数据挖掘,信息检索,学术评价。

摘  要:[目的/意义]考察我国图书情报领域内个人学术评价指标的应用情况,为后续的个人学术评价指标研究提供参考,推动构建更加科学、合理的个人学术评价指标体系。[方法/过程]收集9种CSSCI图书情报学代表期刊2014—2018年有关个人学术评价指标的文献数据,运用内容分析法,从使用范围、使用环境、使用动机、使用情感4个方面考察指标应用情况。[结果/结论]分析显示,我国图书情报领域个人学术评价指标使用处于主要研究h类指数的指标发展阶段,较多使用传统简便的文献计量指标,如h指数、发文量与被引频次;个人学术综合评价的多元指标融合途径研究较少,仍有必要继续加强包括多指标融合比较、进一步完善个人学术评价指标体系在内的学术评价研究。

关键词:个人学术评价指标;使用评估;学术评价;内容分析法

DOI:10.3969/j.issn.1008-0821.2020.12.014

〔中图分类号〕G250.252  〔文献标识码〕A  〔文章编号〕1008-0821(2020)12-0140-10

Research on The Use of Individual Academic Evaluation

Index in Library and Information Field in China

Liu Zhongxing1,2  Yang Jianli1,2*

(1.School of Information management,Nanjing University,Nanjing 210023,China;

2.Jiangsu Key Laboratory of Data Engineering and Knowledge Service,Nanjing 210023,China)

Abstract:[Purpose/Significance]To investigate the use of individual academic evaluation indicators in the field of picture situation in China,to provide reference for academic evaluation researchers,and to promote the improvement of individual academic evaluation system.[Methods/Process]Literature data on individual academic evaluation indexes of 9 CSSCI representative journals from 2014 to 2018 were collected,and content analysis method was used to investigate the application of indexes from four aspects:use scope,use environment,use motivation and use emotion.[Results/Conclusions]The analysis showed that the personal academic evaluation indicators in the field of picture and situation in China were in the development stage of the indicators mainly studied in category h index,while the traditional and simple bibliometric indicators,such as h index,publication volume and citation frequency,were mostly used.There are few studies on the integration of multiple indicators in individual academic comprehensive evaluation,so it is still necessary to continue to strengthen the research on academic evaluation,including the integration of multiple individual academic evaluation indicators and the further improvement of individual academic evaluation index system.

Key words:individual academic evaluation index;usage assessment;academic evaluation;content analysis

学术评价是指针对学术成果的学术贡献、学术创新、学术价值、学术影响以及社会影响、应用价值、经济效益等方面的评估[1]。学术评价指标是对学术评价对象某个或某些属性的概括,可以从质和量两方面為学术成就评价提供数据,如发文量、引文量等。期刊影响因子[2]是反映期刊重要性的一种宏观测度,是指期刊论文获得的客观响应,可以用来计算期刊在一个学科领域的学术影响[3],它不属于个人学术评价指标,但对个人学术评价方法的发展有推动作用。目前常见的被评价对象有学术期刊、研究论文、学者个人、研究机构、学科或专业等。过去20年里,使用指标来评估研究成果的现象增多,科研管理的效率与科学性得到显著提高,但是,评价工作中存在复杂而混乱的现象,对评价指标的研究与应用产生一定的负面影响。以学者个人学术评价为例,评价活动中存在个体与期刊的学术影响力挂钩、以刊评人、指标混用等现象,在职称晋升、成果评奖等工作中经常引起争议。

学术评价可分为宏观层面(国家、大学、期刊等)与微观层面(个人)两个方面。相较之下,使用学术指标对宏观层面的评价研究成果较多,并且更易于人们接受[4];微观层面研究更具争议性并且研究较少[5],仍有大量可探索空间。学界非常关注面向个体的学术评价,包括评价过程中应该尽量避免的事项。著名文献计量学家Van等[6]指出:“用刊物的影响因子来评价1篇论文或1个学者的学术表现是不可饶恕的”。2012年,多家机构和多位知名科学家联合签署《旧金山宣言》(San Francisco Declaration on Research Assessment,DORA)[7],不提倡使用影响因子去评价个体的学术成就。学术评价应针对特定客体用特定的指标,模糊客体差别混合使用指标是不合适的,评价学者个人学术水平的指标应体现在个人的学术成果中。

为了进一步完善个人学术评价指标的研究与应用,有必要全面认识个人学术评价指标的应用情况,如学者们主要使用哪些指标去评价学者个人,哪些环境下使用哪些指标,使用指标的动机、情感如何,等等。图书情报领域的学者是学术评价研究的主要力量。此背景下,本文尝试聚焦使用范围、使用环境、使用动机、使用情感4个维度,更全面、透彻地概括我国图书情报领域个人学术评价指标的应用情况,为后续的个人学术评价指标研究提供参考,也有助于构建更加科学、合理的个人学术评价指标体系。

1  相关研究

与本文相关的研究工作主要包括面向个体的学术评价指标研究、特定类型命名实体使用情况研究以及基于引用情感分析的评价研究3个方面。

1.1  面向个体的学术评价指标研究

现有的个人学术评价指标较多,常用的有发文量、引文量、篇均被引数、h指数和h型指数、百分位数指标、学术迹等。这些评价指标各具特色,不同程度地推动着个人学术评价工作的发展。部分学者对它们进行了分类讨论。如叶鹰[8]将学术评价指标分为均值测度、高影响特征测度和整体综合测度3类指标;徐佳宁等[9]按照指标计算方法和特性将文献、数据库和官方机构使用的个人学术成就评价指标归为传统指标、相对指标、h类指标、百分位指标4类;高志等[10]认为目前评价个人学术影响力常用的方法有4类,即基于传统文献计量学的评价方法、h指数及其衍生指数、基于社会网络的评价方法和基于Altmetrics的评价方法。迟培娟等[13]通过比较分析学术迹与F1000评分、影响因子、被引次数等指标,探讨了不同评价指标的差异性和相关性。

每种个人学术评价指标均有其优缺点,多数学者认为没有完美的指标。如邱均平等[14]认为h指数是一个计算简单并且易于理解的复合指标,评价研究层次广泛,但不能反映科学家研究活动的衰退状况而且有区分度不高的缺陷,使用时应考虑它的局限性;Egghe L等[15]指出h指数对高被引论文不敏感这一缺点,并在修订h指数的基础上提出了G指数;金碧辉[16]提出新的R指数和AR指数作为h指数的补充;杜建等[4]指出,目前所有的基于引证分析的个人学术评价指标,如总被引次数、篇均被引次数、h指数等都有缺点。Costas R等[17]指出,单独依靠一种指标进行评价是不科学的,不能相互替代的指标应互为补充。

部分学者建议在利用指标开展个人学术评价时应综合考虑同行评议[18],或联合使用指标综合评价[19],或定量指标多维化使用。我国目前联合应用若干指标进行个人学术评价的具体方法和相关实证较少。

1.2  特定类型命名实体使用情况研究

特定类型命名实体包括关键字、主题、数据集、关键方法、关键理论等实体。实体可以用于评估学术影响,也可以进行挖掘,转化为知识发现[21]。

章成志等[22]、徐庶睿等[23]、王玉琢等[24]采集学术论文全文,结合所构建的词典,用基于字典匹配的方法识别并抽取文献中符合要求的算法,在此基础上依据提及频次、提及位置等考察评估十大算法的使用情况和影响力;Belter C W[25]对3个海洋学领域数据集的文献计量和引用情况进行了评估;丁楠等[26]以内容分析法为主要研究方法,对我国图书情报领域权威期刊2003—2013年间的数据引用行为进行等距抽样调查分析;崔明等[27]采用内容分析法对图书情报领域的软件使用情况进行了统计分析;杨波等[28]采用已有研究的元数据规范,人工摘录数据并提出一系列用来表示软件影响力和质量的指标,量化研究了生物信息学中的软件利用行为;赵蓉英等[29]利用Altmetrics(译为补充计量学或替代计量学),从下载量、被引次数以及软件间复用次数3方面对开源软件的学术影响力进行评价和分析;任增元等[30]利用CNKI库,规定检索词检索并筛选数据样本,利用Excel、CiteSpace软件进行文献计量,分析了我国学术论文评价一段时间内的研究状况。

1.3  基于引用情感分析的评价研究

使用某个指标的情感表明作者对该指标的态度。持肯定态度或否定态度明显对该指标的评价具有不同的作用。分析作者对指标的态度或情感极性,可以归纳出学者在不同引用情感下的引用行为特征。

耿树青等[31]提出一种基于“被引次数—引用情感”指标的引用情感评价方法去研究论文学术影响力,实验结果表明,加入引用情感后,对论文学术影响力的评价更全面,区分能力更强。刘盛博等[32]基于引用内容分析角度进行引文評价的性质研究,将引用情感分为正面引用、负面引用和中性引用3种类型,并认为研究引文动机的方法有两种,分别是作者访谈和基于引文内容进行推测分析,但第一种方法往往费时费力;Athar A等[34]认为,如果仅从引文句子本身识别情感是不可靠的,尤其是如果引文句子在同一段落不同地方进行了情感转折,那么情感检测是缺失的,这使得从引文上下文中明确情感显得更加重要。Abu-Jbara A等[35]基于NLP文献计量学对引文的目的(即作者意图)与极性(即作者情感)进行了增加引文上下文识别的研究,研究表明,使用引用上下文可以提高分类精度,增加情感被检出的文章数量。

使用个人学术指标亦属于引用的一种形式,参考上述文献可以看出,基于上下文及引文内容对使用情感、使用动机等进行标注,可以帮助确定个人学术评价指标的使用动机和使用情感。

2  研究方法

2.1  基本思路

参考综述中针对算法、数据集、软件、論文评价等特定类型命名实体研究文献的方法,本文采用词典匹配与CNKI关键词检索相结合的方法,筛选出使用个人学术指标的文献的元数据(标题、摘要、关键词)和全文,采用内容分析法对数据进行编码标注,再以文献全文内容辅助分析,获取指标使用范围、环境、动机、情感4个维度的标注数据。具体研究流程如图1所示。

首先,本文以9种图书情报领域期刊2014—2018年文献为研究对象,将文献与个人学术评价词典进行匹配筛选,得出相关文献元数据;其次,获取相关文献元数据对应的文献全文内容,便于后续辅助分析;然后,采取内容分析法,结合文献全文内容,对相关文献元数据进行使用范围、使用环境、使用动机、使用情感4个方面的编码标注;最后,对编码数据进行分析,得到我国图书情报领域内个人学术评价指标的应用情况。

2.2  数据获取与处理

2.2.1  数据获取与词典构建

为揭示我国图书情报领域个人学术指标的使用情况,本文咨询专家意见,根据刘宇等[36]对CSSCI图书情报学来源期刊的分层结构,剔除两种与图书馆学、情报学交叉较少的档案学期刊(《档案学研究》和《档案学通讯》),选取中国社会科学引文索引(CSSCI2017—2018版,http://cssci.nju.edu.cn/)收录的图书馆、情报与文献学18种来源期刊中的9种,获取2014—2018年论文元数据(标题、摘要、关键词)与全文文献,具体期刊如表1所示。

根据文献[9]搜集评价数据库和官方机构使用的个人研究表现评价指标,在Google Scholar中以每种个人学术评价指标名称作为检索词进行检索,通过检索出的文献以及介绍内容,得到每种评价指标的别名(简称、缩略词等),将指标及其别名整理为个人学术评价指标词典集,如表2所示。

此外,为了防止从科研文献中抽取的术语具有偏倚性、误差性以及词典构建时存在的指标遗漏问题,本文同时构建了一个个人学术评价指标辅助主题关键词集,用于构造检索条件表达式进行辅助筛选,最大化确保筛选文献主题与本文研究相关,具体内容如表3所示。

2.2.2  文本匹配筛选分析

中国知网(CNKI)是中国最大的学术电子资源集成商,收录95%以上正式出版的中文学术资源。CNKI文献检索中的跨库专业检索功能,可用于图书情报专业人员查新、信息分析等工作。本文使用逻辑运算符和关键词构造检索式进行检索,具体数据检索、收集、筛选清洗处理如下:

利用上文构造的个人学术指标词典集与辅助主题关键词集,根据CNKI的检索语法,SU=‘主题、TI=‘题名、KY=‘关键词、AB=‘摘要、FT=‘全文等,令主题、题名、关键词、摘要限定为词典集的内容进行“或”搜索,构造专业检索表达式,并选择时间跨度为2014—2018年,再进一步限定9种CSSCI图书情报代表期刊条件筛选(检索时间2019年8月),收集到学术性文献743篇。

收藏此文 赞一个 ( ) 打赏本站

如果本文对您有所帮助请打赏本站

  • 打赏方法如下:
  • 支付宝打赏
    支付宝扫描打赏
    微信打赏
    微信扫描打赏
留言与评论(共有 0 条评论)
   
验证码:
二维码