近两年,越来越多的科研人员借助AI工具辅助科研材料的写作、润色等工作,大大地提高了工作效率,但是逐渐地大家也开始发现一个很严重的问题:AI 幻觉(AI hallucination)。
“AI幻觉”是指人工智能模型在回答问题时,生成了看起来很合理、很自信,但实际上是错误、虚构或无法证实的内容。大白话来说就是:AI说得头头是道,但内容不一定是真的。
IBM就在相关文章中就指出,即便是像GPT-4这种热门模型,在医学、法律、金融等对事实要求极高的领域中,依然会出现高比例的幻觉现象。这不仅仅是“说错了”,更危险的是——它说得太像真的了,导致我们很容易掉以轻心。
更棘手的是,AI幻觉往往不是“系统崩溃”或“卡顿”那种容易察觉的错误,而是埋在一大段优雅语句中的一个术语、一个名字、一个引用,看上去风平浪静,其实漏洞百出。你不细查,根本发现不了;你一用进论文,就可能踩坑。
你可能会说,这不是故意坑人吗?还真不是。AI 幻觉和“编造”是不一样的,AI幻觉是一个技术现象,模型输出了看似合理但不真实、不可证实的内容,不一定有“主观故意”,可能是模型在“补全”信息时出错。而“编造”是明知不实却故意捏造,或者至少是主观上主动捏出来。
之所以产生AI幻觉,是因为很多 AI(尤其是大语言模型)本质上是在根据上下文预测最可能的下一段文字,并不是像人一样“查证事实”。所以当它缺少信息、问题模糊、或训练数据有偏差时,就可能产生幻觉。
常见表现:
编造事实:例如把不存在的人、论文、数据说成是真的。
错误引用:明明没有这篇文献,却给出像真的一样的作者、标题、期刊。
逻辑看似通顺,结论却错:过程有条理,但关键结论不符合事实。
胡乱补全信息:当模型不知道答案时,可能会“猜”一个最像答案的内容。
怎么避免被幻觉误导:
我们如何在不“放弃”AI的情况下,尽可能安全地使用它?怎样可以减少AI胡说八道、编造内容的概率?
答案是:带着“怀疑”和“设计”地使用AI,而不是放任它自由发挥。
首先,最根本的一点是:保持人类在写作过程中的主动权。模糊的指令最容易导致AI幻觉出现。比如说,“请为我的论文写一段结论”或者“给我一个X领域的文献综述段落”。这时候,模型会倾向于“凭印象”编造内容,而不是基于你的研究数据或真实文献生成。
所以更靠谱的做法是:采用逐步生成。例如,给AI提出具体的指令:“我的研究结果是A和B,请你帮我以更地道的英语表达这个意思”,而不是让它凭空写一个“讨论”段落。这种拆分式的写作流程,一方面能让你更好地控制每一句话背后的含义,另一方面也能减少AI“脑补”不实内容的机会。
另一个非常关键的技巧是:明确限制AI的生成范围和角色设定。你可以在指令中加上类似“不要编造不存在的文献”或“只根据我提供的数据进行分析”的提示语。虽然不能完全杜绝幻觉,但能有效“收窄”AI的自由度。有研究发现,越精细的prompt,幻觉率就越低。
最后,学术写作中的验证环节绝不能偷懒。每次AI生成引用或术语时,哪怕看起来再可信,你都应该用PubMed、Google Scholar、Web of Science等数据库自己去核查一遍来源。不要用AI自己查AI说的内容(这听起来像笑话,但很多人真的会这么做)。AI在生成引用这块的问题尤其严重,极容易“胡编乱造”一个作者名+年份+期刊名的组合,骗过你的眼睛。
理解AI幻觉,不是为了“怪”AI不够完美,而是为了我们自己在使用这些工具时,始终保持警惕——再先进的系统,也无法替代科研写作中对真实、准确的基本要求——这也恰恰是人工润色不同于AI的核心优势。
AI校对+人工编辑无疑将成为今后科研人员写作的常规操作,而北京艾迪润色(EditorBar)公司恰恰就拥有正规、便捷的AI平台(https://ai.editorbar.com/),以及成熟专业的英语母语编辑团队,可同时满足用户的双重需求。