摘 要:本文对新闻出版行业智库的政策影响力、学术影响力、社会影响力和综合影响力评价方法进行了探索研究,并在此基础上构建了以ITTAP模型为核心的“新闻出版行业智库影响力评价指标体系”。
关键词:智库 新闻出版智库 智库评价 智库影响力
与一般研究机构和咨询机构相比,智库更关注现实问题,旨在为政府部门提供策略性建议,以影响政府决策。近年来,我国新闻出版行业智库发展迅速,在支持政府决策方面起到了积极作用,但对智库影响力评价,始终未建立起一套科学的体系。本文试图在这方面进行探索。
一、新闻出版行业智库影响力评价指标体系
1.构建依据
约翰·加尔东根据社会各阶层与政策决策的关系将社会结构分为三个层次:决策核心、中心和边缘。朱旭峰基于加尔东的社会结构理论,将智库的影响力分为三个层次:决策(核心)影响力、精英(中间)影响力和大众(边缘)影响力。[1]二者的理论是本文划分新闻出版行业智库影响力层次的重要依据。我们将新闻出版行业智库影响力层次划分为核心层、中间层和边缘层,结合新闻出版行业特点及智库功能需求,确立政策影响力、学术影响力、社会影响力为新闻出版行业智库影响力评价的三个维度,分别代表智库对核心政策决策者、中间行业参与者和边緣大众的影响力。
在智库政策影响力评价中,内参文件上报、获得领导批示、参与政策制定等“行为”是智库实现政策影响力的直接体现,能较为直观地反映智库的资政能力。但对参与者的“行为”进行追踪比较困难,内部资料不易获取,问卷回收数据难以达到要求。于是本文转变思路,变“行为”测评为公开的“成果物”测评,将智库成果作为评价的抓手,通过测度智库的成果产出,获取和评价智库的政策影响力。
2.指标构成
依照上述思路,本文构建了新闻出版行业智库影响力评价指标体系,包括3个一级指标、5个二级指标、9个三级指标(见表1)。
在政策影响力评价方面,从产业变革到政策回应是一个漫长的过程,智库在其中扮演的就是政策需求方到供给方的“桥梁”和“快速路”的角色。智库的核心价值是通过智力劳动产出思想成果,为政府提出意见建议,对决策产生影响。智库的研究不同于纯粹的学术研究,更关注现实问题和公共政策问题,针对性更强,更具应用价值。更重要的是,智库研究要具备预见能力,先于政策供给方发现问题,提出发展规划和解决方案。所以,我们认为智库的决策建议与行业政策聚焦的方向是否一致,以及是否具有前瞻性,是评价智库是否具有政策影响力的两个重要指标;而智库能否围绕行业热点开展广泛研究,以及能否就热点问题提出符合行业发展要求的对策建议,是评价智库成果政策相关度的两个次级指标。
智库学术影响力反映的是智库学术成果对行业参与者的影响力,被更多研究者认同的观点将成为主流思想,进而上浮至决策层影响决策。智库产出的具有影响力的学术成果越多,其在业界的学术影响力越大。在评价科研人员的学术水平时,h指数常被用于综合考察科研人员论文产出力和影响力。本文借鉴科研人员学术能力评价概念,用h指数及g指数来测度智库的学术影响力。
智库社会影响力反映的是智库对公众意识与行为引导的能力,智库通过在大众媒体公开发表自己的观点来影响普通大众关于某个政策的认知。本文将智库社会影响力归纳为智库网络媒体曝光度和智库网络传播能力的综合表现。网络媒体曝光度衡量的是智库的被报道量,反映智库在外部宣传渠道呈现的知名度和活跃程度;网络传播能力衡量的是智库自身宣传渠道的建设及运营状况,反映智库内部的宣传运营能力。
3.权重设置
在政策影响力指标中,前瞻性是成果能否影响政策的重要因素。智库如果不能进行前瞻性、预测性的研究,就只是宣传机构或诠释政策的部门,不能被称为智库。[2]所以,在政策影响力二级指标权重设置方面,我们将政策相关度的权重设置为30%,将政策前瞻度的权重设置为70%。在政策相关度指标中,领域相关度侧重反映智库研究成果涉及领域的广度,内容相似度侧重反映智库研究成果内容的深度,而后者更大程度上决定了成果对政策的指导价值,所以我们将前者的权重设置为30%,将后者的权重设置为70%。
在社会影响力指标中,网络媒体曝光度和网络传播能力的权重各为50%。网络媒体曝光度三级指标中,智库的总网络报道量和国内主流网络媒体对智库的报道量的权重各为50%;网络传播能力三级指标中,智库官方微博运营情况及关注度、智库微信公众号运营情况及关注度、智库官方网站建设情况及访问量的权重各为33.33%。
在综合影响力权重设置方面,因为智库的核心价值在于为决策机构提供策略性建议、影响政府决策,所以我们将智库政策影响力的权重设置为40%,学术影响力和社会影响力的权重均设置为30%。
二、新闻出版行业智库影响力评价模型及测度方法
1.智库成果政策影响力评价模型及测度方法
依据上述研究,本文首先构建了智库成果政策影响力评价模型(The Influence of Think Tank's Achievements on Policy,简称ITTAP),用以评价智库成果的政策影响力。该模型包含政策相关度和政策前瞻度两个核心维度,其中,政策相关度又包含领域相关度、内容相似度两个次级维度(见图1)。
在该模型中,我们用Rdom代表领域相关度得分,用以衡量智库成果与新闻出版行业政策领域主题的相关程度,得分受论著题录信息中政策领域主题词的词频影响;Scon代表内容相似度得分,衡量智库成果内容与新闻出版行业政策内容要点的相似程度,由人工比对论著及政策文本打分得出(含复核和终审);R代表政策相关度得分,衡量智库成果的政策相关程度,受领域相关度得分和内容相似度得分的共同影响;P代表政策前瞻度得分,衡量智库成果的政策前瞻程度,按智库论著的初版时间或发表时间与政策发布时间的先后顺序测度;PI代表政策影响力得分,受政策相关度得分和政策前瞻度得分的共同影响。
判断智库成果政策前瞻度的先决条件是判断智库成果与政策的关联关系,也就是智库成果的政策相关度。本文主要运用题录研究和内容分析法,通过比较新闻出版行业政策内容与智库相关成果内容,评价智库的政策相关度;通过比较新闻出版行业政策发布时间与智库相关成果发表时间,评价智库的政策前瞻度。具体指标及测度方法如表2所示。
2.智库成果学术影响力评价模型及测度方法
本文的智库学术影响力评价模型及测度方法来自学者陈媛媛的研究成果。陈媛媛提出将h指数和g指数、学术差和学术势的应用拓展到智库学术影响力的评价中,并将智库h指数定义为“该智库机构在一段时间内发表的学术成果,若有h篇论文的被引频次均大于或等于h,其余论文的被引频次均小于h,那么这个h数值就是该智库的h指数值”;将智库g指数定义为“该智库机构发表的学术成果按照被引频次降序排列,当有g篇论文的总被引频次大于或等于g2,且前(g+1)篇论文总获得的引文频次小于(g+1)2,那么g就是该智库机构的g指数”[3]。在智库学术影响力的评价中,h指数和g指数具有适用性。我们将综合采用h指数和g指数,对新闻出版行业智库进行学术影响力评价。具体指标及测度方法如表3所示。
3.智库成果社会影响力评价模型及测度方法
本文以智库网络媒體曝光度和智库网络传播能力的综合表现来评价智库社会影响力。网络媒体曝光度衡量的是智库的被报道量,由智库的总网络报道量和国内主流网络媒体对智库的报道量两个三级指标构成,反映智库在外部宣传渠道的知名度和活跃程度。网络传播能力衡量的是智库自身宣传渠道的建设及运营状况,由智库官方网站建设情况及访问量、智库官方微博运营情况及关注度、智库微信公众号运营情况及关注度三个三级指标构成,反映智库自身对外的宣传运营能力。具体指标及测度方法如表4所示。
4.智库综合影响力评价模型及测度方法
智库综合影响力反映的是智库政策、学术和社会三个分项影响力的综合表现。由于三个分项影响力的指标和测度方法不同,得分结果单位不一,为综合统计,我们将分项排名记为分数,并采用分项排名分数①的加权平均值计算智库的综合影响力得分。
三、新闻出版行业智库影响力数据采集方法
1.智库成果政策影响力数据采集方法
(1)新闻出版行业政策采集及整理。以新闻出版行业政策文件为收集目标,数据来源为相关政府部门官方网站、搜索引擎检索及其他公开资料。
对收集到的政策文件进行筛选,去掉与新闻出版行业不直接相关的文件、管理性文件等,保留产业导向性明显的政策文件作为比对对象;对筛选出来的政策文件按领域主题进行分类;对各类政策进行内容分析,提炼每件政策的内容核心词、措施关键词、内容要点,为后续文本比对做准备。
(2)著作类成果数据采集及整理。著作类成果的数据来源为图书在版编目(CIP)数据。数据采集方式为:第一步,以智库官网公开的相关著作信息为检索条件,在CIP数据库中进行检索,确定著作;第二步,以智库官网公开的研究人员姓名为检索条件,在CIP数据库中进行检索,依据书名、内容提要等字段信息确定著作;第三步,通过多种途径补充题录信息以备后续分析。以上数据采集方式,均基于智库官网公开的研究人员、研究成果信息。
对收集到的智库著作进行筛选,保留与新闻出版相关且具有观点性的著作,去掉与新闻出版业无关的著作,排除知识普及、概念介绍、历史梳理、教学教材、汇编文集、工具书类著作。
(3)论文类成果数据采集。论文类成果的数据来源为中国知网中国学术期刊全文数据库。检索范围包括哲学与人文科学—文化,信息科技—新闻与传媒、出版,经济与管理科学—文化经济—新闻出版产业。由于部分机构存在名称变更、机构调整的情况,需在检索时将机构曾用名或多种称谓均作为检索条件进行多次检索。
2.智库成果学术影响力数据采集方法
数据来源为中国知网中国引文数据库,检索范围(文献分类目录)包括哲学与人文科学—文化,信息科技—新闻与传媒、出版,经济与管理科学—文化经济—新闻出版产业。
具体检索方法为:进入中国引文数据库,在检索条件的被引单位一栏处输入要检索的智库机构名称,匹配模式为“精确”。考虑到部分机构存在名称变更、机构调整的情况,检索时需将机构曾用名或多种称谓均作为检索条件进行多次检索,结果按被引量排序。
3.智库成果社会影响力数据采集方法
数据来源为百度搜索、新华网、人民网、光明网、中国站长工具,以及智库官方网站、新浪微博、微信公众号。
“总报道量”统计方法:在百度高级检索中,以智库全称为检索条件(完整包含),统计智库相关资讯的报道量(来源范围限制在媒体网站)。“主流媒体报道量”统计方法:以智库全称为检索条件,新华网检索方式为全文检索,人民网检索方式为精确匹配,光明网检索方式为全文精确检索,统计相关新闻链接数量。
四、新闻出版行业智库影响力计算方法
1.智库成果政策影响力计算方法
(1)政策相关度计算方法。本文通过对各智库新闻出版相关论著与新闻出版行业政策进行比较,得到智库政策相关度得分:首先,用计算机软件对论著题录信息中政策领域主题词的词频进行计算,得出各智库成果政策领域相关度得分;其次,人工比对(含复核和终审)论著正文与政策内容要点,对文本相似程度打分,得到各智库成果的政策内容相似度得分;最后,加权计算获得各智库成果的政策相关度得分。具体步骤及计算公式如下。
①领域相关度计算方法。依据智库著作题录信息(书名、副书名及说明文字、丛书名、提要内容、目录)中各个政策领域主题词的出现频次,计算著作领域相关度得分。②对全部智库著作题录信息中的政策领域主题词词频进行统计,得到词频最大值T1。将词频区间[1,T1]平均划分为5个等级,从低到高设置对应分值,如式1-1所示。其中,Tij为第i部著作的题录信息中第j个政策领域主题词的词频,dij为第i部著作在第j个政策领域上的主题词词频得分。
依据智库每篇文章题录信息(文章题名、摘要、关键词)中各个政策领域主题词的出现频次,计算文章领域相关度得分。对全部智库文章题录信息中的政策领域主题词词频进行统计,得到词频最大值T2。将词频区间[1,T2]平均划分为5个等级,从低到高设置对应分值,如式1-2所示。其中,Tij'为第i篇文章的题录信息中第j个政策领域主题词的词频,dij'为第i篇文章在第j个政策领域上的主题词词频得分。
指定某现有智库第i部著作在全部政策领域上的领域相关度得分为Di,则Di为dij的累加之和,即式1-3。其中,N为新闻出版行业政策领域数量的上限。
指定某现有智库全部著作在全部政策领域上的领域相关度得分为R1dom,则R1dom为Di的累加之和,即式1-4。其中,N为某现有智库新闻出版相关著作数量的上限。
指定某现有智库第i篇文章在全部政策领域上的领域相关度得分为Di',则Di'为dij'的累加之和,即式1-5。其中,N为新闻出版行业政策领域数量的上限。
指定某现有智库全部文章在全部政策领域上的领域相关度得分为R2dom,则R2dom为Di'的累加之和,即式1-6。其中,N为某现有智库新闻出版相关文章数量的上限。
我们设智库领域相关度得分为Rdom,由于领域相关度得分为智库全部新闻出版相关论著的政策领域主题词词频得分之和,由此得出公式1-7。
②内容相似度计算方法。人工比对政策和论著内容,并为论著政策相似度打分。为确保结果的客观公正,打分过程应依据统一标准,由多人分三轮进行,打分结果需经过复核及修正。比对步骤及计分标准如表5所示。
表 5 ?内容要点相似度比对步骤及计分标准
经上述比对,得到某智库第i部论著在第j件政策中的某一要点上的计分,并累加得到第i部论著在第j件政策中的全部要点上的计分,记为mij,同时记第j件政策中含有的全部内容要点个数为Mj。我们以mij与Mj的比值作为第i部论著与第j件政策的内容相似度得分,记为eij,即式1-8。
指定某现有智库第i部论著在全部政策上的内容相似度得分为Ei,Ei为eij的累加之和,即式1-9。其中,N为新闻出版行业政策数量的上限。
我们设智库内容相似度得分为Scon,由于内容相似度得分为该智库全部新闻出版相关论著的内容相似度得分之和,即Scon为Ei的累加之和,由此得出公式1-10。
其中,N为某现有智库新闻出版相关论著数量的上限。
③政策相关度计算方法。为了解决不同量纲指标之间的汇总计算问题,我们将式1-7与式1-10中的得分通过标准化转换到[0,1],得R'dom到和S'con,再对标准化数值进行赋权计算,获得政策相关度得分R,即式1-11。
(2)政策前瞻度计算方法。经上述计算,可确定智库发表的与政策具有内容相似度(Scon≠0)的论著的数量,我们指定其中第i部论著的发表时间为ti。第j件新闻出版行业政策的发布时间为tj。当第i部论著的发表时间早于第j件政策的发布时间,则该论著具有前瞻性,记为ti
指定某现有智库第i部论著在全部政策上的前瞻度得分为Fi,Fi的计算公式见式1-13。
其中,N为新闻出版行业政策数量的上限。
我们设智库政策前瞻度得分为P,由于政策前瞻度得分为该智库全部新闻出版相关论著的前瞻度得分之和,由此得出公式1-14。其中,N为某现有智库与新闻出版相关且具有内容相似度的论著数量的上限。
(3)政策影响力计算方法。我们将式1-11与式1-14中的得分通过标准化转换到[0,1],得R'到和P',再对标准化数值进行赋权计算,获得该智库的政策影响力得分PI,即式1-15。
2.智库成果学术影响力计算方法
通过智库论文被引量排序计算得到的h指数和g指数即智库成果学术影响力得分,计算方法如表3所示。在对智库进行学术影响力评价时,先以各智库h指数降序排列,得出大体排行;若存在多家智库h值相同,则需以其g指数进行区分,其中g指数大的智库排行靠前。
3.智库成果社会影响力计算方法
(1)智库网络媒体曝光度计算。对智库的总报道量及主流媒体报道量数据进行采集,并依据每个分项的报道量排名,计算智库网络媒体曝光度排名分数。排名分数越低,智库网络媒体曝光度越高。计算公式为:网络媒体曝光度排名分数=总网络报道量排名×50% +(新华网报道量排名×33.33%+人民网报道量排名×33.33%+光明网报道量排名×33.33%)×50%(结果保留两位小数)。
(2)智库网络传播能力计算。对智库的公众平台和官方网站数据进行采集,并依据每个分项排名计算智库网络传播能力排名分数。排名分数越小,智库网络传播能力越强。计算公式为:网络传播能力排名分数=(微博官方账号粉丝数排名×50%+微博发布数排名×50%)×33.33%+微信公众号原创文章数排名×33.33%+官网百度流量预计排名×33.33%(结果保留两位小数)。
4.智库综合影响力计算方法
智库综合影响力得分计算公式为:综合影响力得分=政策影响力排名分数×40%+学术影响力排名分数×30%+社会影响力排名分数×30%。由于综合影响力得分由分项排名分数计算而得,所以得分越低者排名越靠前,智库综合影响力水平越高。
五、结语
依据本文构建的“新闻出版行业智库影响力评价指标体系”和模型方法,我们对新闻出版行业智库进行了采样、比对、计算,最终形成了新闻出版行业智库影响力排行。由于采样与评价过程过于繁琐、复杂,限于篇幅,本文仅介绍了评价方法,关于具体的采样与评价和相关结论,见《中国新闻出版行业智库影响力评价(2020)》一书。
注 ? ?释:
①排名分数即以排名记为分值。例如,在某排名中,甲排名第一,乙排名第二,则甲的排名分数为1,乙的排名分数为2。这种记分方式适用于基于多个分项排名的综合排名。
②在领域相关度得分计算中,本文采用词频统计方式进行计算。考虑到TF-IDF算法計算难度大,且缺少新闻出版业词库,计算机分词工具难以进行有效分词和计算可信取值,而我们的词频统计是从论著题名、摘要、关键词等信息中选取,不同论著题录内容量相对稳定、词量大小相对均衡,故采用词频统计方式。
参考文献:
[1]朱旭峰.中国思想库:政策过程中的影响力研究[M].北京:清华大学出版社,2009:78.
[2]智库中国.于洪君:前瞻性研究是智库生命力所在[EB/OL].(2016-06-27)[2019-08-15].http://www.china.com.cn/opinion/think/2016-06/27/content_38751533.htm.
[3]陈媛媛.智库学术影响力评价研究[J].图书馆论坛,2017(12):54-60.
[作者单位系中国新闻出版研究院,本文摘自《中国新闻出版行业智库影响力评价(2020)》,曲俊霖、王瑶、李大美参与了评价模型及公式的整理。]
赞(0)
最新评论