我最近主持了一个网络研讨会介绍一些关于研究影响的概念——它是什么,为什么重要,如何实现它,如何衡量它。我喜欢这些会议,因为它们吸引了来自世界各地的人,作为交换,我分享了一些我所学到的东西,我从煤面那里得到了关于将影响融入你作为研究人员的日常生活的挑战的更新,以及对你的其他一切期望。我试着用大量的时间来回答问题,因为“我认为你应该知道的影响”并不总是“真正的研究人员想知道的影响”。这些问题总是提醒我,我可能把我的一生都奉献给了研究影响,因此通过这个镜头来看待一切,但是尽管资助者/政府对影响的期望越来越高,对许多研究人员来说,这仍然是一个未知的领域。在最近的一次网络研讨会上,其中一个问题是“期刊影响力和研究影响力之间有何关联?”这让我回到了我一贯的观点,即将学术影响与“现实世界”或更广泛的影响区分开来的重要性,以及它们在本质上是如何分开的。但是,对这一点的反思让我怀疑,它们是否比我在修辞中倾向于考虑的更紧密地交织在一起。

一架纸飞机飞向目标
图片由Charlie Rapple根据Infograpia幻灯片绘制

Spiel第一部分:期刊影响力不被该期刊发表的研究所继承

期刊影响力通常是影响因子(impact factor)的同义词,以及其他基于特定期刊在特定时期收到的平均引用数的评分。期刊影响力不是该期刊发表的个别研究质量的指标。该期刊的影响力“评分”是回顾性的——它不能告诉你某一项研究在未来将产生的影响,即使是在学术方面。它不能作为一篇论文可能被引用次数的指标,也不能表明一项研究可能会在“现实世界”中导致什么样的变化。

公平地说,一个好的期刊影响因子可能意味着更多的人试图在该期刊上发表文章(因为它可以在学术简历上看起来很好,尽管许多国家正在不再根据研究人员发表论文的地点来评估他们)。在某种程度上,向某一特定期刊投稿的人越多,它的选择性就越强。从理论上讲,这应该意味着被该杂志接受发表的研究是“更好的”。但是请注意我在这里使用的所有警告。什么是“更好”仍然是主观的,取决于不同的编辑和审稿人的意见。你不能可以说“发表在高影响力期刊上的研究本身就是高影响力”。这必须一篇一篇地建立起来,使用许多标准,而且需要数年时间(我想最新的估计是平均需要一年才能获得一次引用,而一篇论文可能需要10年才能获得最多的引用)。

Spiel第二部分:期刊影响≠学术影响≠研究影响

即使一篇论文没有继承期刊级别的“影响力”,这并不意味着它的学术影响力不受其发表的期刊的影响。排名更高的期刊可能更容易被发现,因此阅读更广泛;更多的读者可能会带来更多的引用。可能期刊品牌会鼓励对论文质量的更大信任,或者更大程度地夸大论文的相关性,再次拓宽和增加引用潜力。但我演讲的下一部分指出,无论如何,引文数量不等于学术影响力,不管它们是否受到期刊影响力的影响。

学术影响力是指一项研究在该领域具有先进知识的程度。这实际上不是由引用计数来定义的,但是引用计数经常被用作一个代理——它同样可以定义为与论文一起发表的方法或数据的重用。

无论你如何定义学术影响,无论你用什么方法试图量化它,这都只是研究影响的一部分——有些人会认为是相当小的一部分。

Spiel part 3:研究影响=现实世界影响

研究影响由更广泛的影响组成,其中大部分被认为是学术界以外的影响。事实上,“研究影响”一词被许多人定义为“现实世界中的真正变化”(我已经把它定义为“现实世界中的真正变化”)在其他地方收集了一些定义).它可以分解为许多不同的影响,包括态度的改变;意识;经济或社会地位;政策、文化或健康结果(我喜欢Mark Reed对撞击类型的细分).在短期内,这种“更广泛的影响”可以完全独立于学术影响,通过传播和直接接触那些喜欢从研究结果和建议中受益或应用的人来实现。更广泛的研究影响需要一种有目的的方法,以确保更多人能够发现、理解并采取行动。

但最终会对现实世界产生影响增加学术和期刊影响力

我在思考这个问题时得出的结论是,尽管如此,期刊影响和研究影响并不像我倾向于定位的那样独立。潜在的更广泛的影响可以说,学术影响甚至期刊影响都增加了。

更广泛的/研究影响必须从研究本身的相关性、覆盖面和质量出发。也就是说,他们必须改善一些东西,解决一些东西,改变一些东西(相关性);这种变化的规模是由质量(如何好吧研究是解决了问题还是带来了改变,因此影响有多广)——后者也是覆盖面的函数(有多少人发现并理解它)。

这是一架飞向目标的纸飞机,飞机被标记为“研究影响”,飞机后面的风被标记为“期刊影响”和“学术影响”。
期刊层面的影响产生学术影响,学术影响反过来又产生更广泛的潜在影响——查理·拉普尔根据Infograpia幻灯片绘制的图表

但是相关性、覆盖面和质量也会受到学术影响和期刊影响的影响。一项研究对其领域的知识推进得越多,就会产生越多的后续知识——这反过来又扩大了更广泛影响的范围和规模。所以学术影响会增加更广泛的影响。与此同时,发表论文的期刊影响力越大,研究成果被那些能够带来学术影响力的人发现和阅读的可能性就越大。因此,期刊层面的影响增加了特定论文的学术影响的可能性,这反过来又增加了构成论文基础的研究的更广泛的影响潜力。

查理Rapple

查理Rapple

查理·拉普尔(Charlie Rapple)是Kudos的联合创始人,该公司帮助研究人员、出版商和机构最大限度地扩大其研究的范围和影响。她也是UKSG的财务主管,并在学术出版和UKSG Insights的编委会任职。

讨论

关于“期刊影响和研究影响之间的关系如何?”

最不幸的是,学术界的作者和研究人员只寻找期刊影响因子,而从不寻找研究影响。如前所述,IF并不是发表在该特定期刊上的特定研究质量的指标。在大学里,负责出版的人推动作者在高影响因子期刊上发表他们的作品,而不考虑这篇文章是否会对社区中的实践、行为、行业等产生影响。

绝对的。一些机构正在努力承认研究影响,但整个行业需要承认奖励实际影响的重要性,特别是在可持续性方面。

这里没有回答的一个问题是如何评估研究影响。英国有一本关于这个问题的书,他们所做的是扫描灰色文献、报告和媒体,看看是否在学术界之外,特别是在研究领域(这是一种强调公共政策的社会科学方法)进行了研究。因此,如果我们对灰色文献进行常规扫描,我们就可以开发一个RIF(研究影响因子),它至少可以作为学术界以外的吸收指标。

我是一名图书管理员,我的职业生涯开始于pdf之前,当时期刊都是印刷的,馆际互借意味着糟糕的复印和蜗牛邮件,或者充其量是糟糕的传真扫描,大多数研究仍然是使用印刷主题索引完成的,少数索引刚刚开始转换为CDROM,它们的访问限制和搜索能力很差。没人听说过什么大买卖。在那个时代,绝对没有办法确定一篇文章被使用/阅读了多少次,只能被引用。更有声望的期刊会被更多的图书馆订阅,因此它的文章更容易被发现,这意味着更多的引用等等,这是有道理的。因此,通过整体期刊影响因子来判断一篇文章/作者是有一定意义的,更重要的是,这是我们所拥有的(除了直接引用计数)。
但那已经不是我们的世界了。现在我们可以数到底多少次读一篇文章,不仅引用,pdf和数字传输意味着只要期刊索引的数以百计的轻松访问“数据库”,包括大免费的PubMed和谷歌学者,没有理由再重现当年日报认为,赋予更大的可发现性是你的文章比一个小,因此更大的“影响”在你的领域或整个世界。

但是今天的许多顶尖学者在那些旧的条件下接受了训练(又名博士),他们仍然认为整个期刊对他们自己的研究影响非常重要。可悲的是,他们中的许多人也在晋升和终身教职委员会任职,仍然用那些过时的价值观来评估年轻同事的研究质量。

我很高兴能在这样一所大学工作,那里的主要P&T ctes甚至不寻找申请人作品集中的影响因子,尽管少数教师仍然提供它们。

我可能会说,我们可以衡量一篇文章被浏览或下载的频率,但仍然不知道它被“阅读”的频率。

这就涉及到你的回答的下一部分——也许这不是关于“发现性”,而是关于“优先级”。我认识的每个学者在他们的笔记本电脑上都有一堆未读的pdf文件(或者如果他们像我一样年纪大了,他们的桌子上就有一堆打印出来的文件)。哪些书会被移到最上面,哪些书更有可能被阅读,这需要个人的计算,这当然包括发表文章的期刊的声誉。注意:期刊品牌声誉与影响因子不是一回事,因为每个研究人员都有自己的等级制度,知道对自己最相关、最重要的东西在哪里发表。计算可能还包括研究人员(研究小组及其机构的声誉)等因素。

我倾向于把所有这些都看作是求职或升职的推荐信。这都是非常定性和个性化的——我怎么看待这封信的内容和写这封信的人?不幸的是,这里存在对定量数据的偏见(给我一个我可以快速浏览的编号列表)和数量问题——如果我有1500个申请人申请一个工作,我无法仔细阅读他们所有的论文,我需要一个快捷方式来将列表筛选到合理的数量。除了影响因素之外,还有很多方法可以做到这一点,但通常时间压力和懒惰会优先考虑。

好点。在COUNTER使用数据的第5版中,图书管理员大量使用我们的授权产品,他们将“标题调查”与“标题请求”区分开来,前者是任何一种可衡量的兴趣与实际的全文阅读/下载“请求”。我使用“调查”作为对订阅添加/取消提出建议的一些兴趣的指标,例如。如果有300篇文章来自一个期刊,我们没有一个替代的调查,然后我按照标题到我们的ILL请求,看看用户是否愿意采取下一步行动。

留下评论