LLM在学术写作中影响渐深 。据Nature报道，研究分析了2010 -2024年PubMed上1400万篇生物医学研究摘要，发现2024年超20万篇摘要频繁出现LLM特征词。这些特征词多为多余的风格性动词和形容词，不影响内容，却成了发现LLM代笔的线索。
研究团队构建词汇出现的二元矩阵，计算每年词汇频率。结果显示，2024年前超额使用类似“coronavirus”的名词，2024年后则以“intricate”、“notably”等风格词为主，其中66%是动词，16%为形容词。这表明LLM写作偏好华丽夸张的风格。
不同学科和地域使用差异显著。在计算领域、生物信息学等学科，因技术更新快，研究者依赖LLM协助，使用比例约占20%。非英语国家如中国、韩国，因英语写作需求，LLM使用率达15%，而英国、澳大利亚等英语国家使用率相对较低。此外，低门槛开放获取期刊如MDPi旗下的《Sensors》，LLM使用比例可达24%，顶刊如《Nature》《Science》只有6%- 8%。
LLM使用透明度不足。研究人员对arXiv已发表和已撤回的论文摘要分析发现，一些明确的chatgpt常用词汇使用频率下降，而常见词汇使用率上升。这说明作者会主动调整输出，避免使用典型LLM特征词。实验证明，使用提示词干预可调整部分输出，但无法完全规避。
MGT检测器面临挑战。将原始摘要、LLM生成摘要及修改后的摘要投入Binoculars检测器，结果显示，检测器难以准确判断论文与LLM的关系，其准确度受不同LLM模型和文本类型影响。未来，研究人员将通过统计大量文本中常见词汇的频率，进一步估计AI对学术文献的影响。
综上所述，LLM在科研工作中的影响力日益增长，但在学术论文中占比的量化分析亟需完善，如何规范AI参与学术写作值得深入思考。
