ChatGPT 系列文章作者：郑老师统计分享会成员最近，ChatGPT火爆全网，各行各业都开始琢磨这个人工智能究竟能做些什么。作为一名医学科研工作者，我自然也很好奇ChatGPT能在医学研究中能发挥什么样的作用。昨天我看到一条消息说道，ChatGPT已经通过了美国USMLE，也就是美国执业医师考试，这引起了我的注意。经过一番搜索，果真如此，在去年12月的一篇预印本文章中，ChatGPT未进行任何医学训练的情况下，在美国执业医师资格考试（USMLE）中达到了平均水平以上，且准确率达到了60%左右 [1]。这是很令人震惊的成绩！要知道ChatGPT并不是一个为了回答医学知识而训练出来的AI模型。那么ChatGPT可以指导我们写论文，尤其是符合规范的医学论文嘛？比如观察性研究论文！对于观察性研究论文，国际上有个论文写作规范共识：STROBE声明。STROBE声明中文全称是“加强流行病学中观察性研究报告”（STrengthening the Reporting of OBservational studies in Epidemiology），其内容中由22个条目组成的STROBE清单描述了从标题、摘要、背景、目的、研究设计、统计方法、结果、讨论等文章要素的写作要点。但是躺平的时代，很多人不愿意去研究，不想去学习，那么ChatGPT能不能直接告诉我们怎么办？在检索过程中，我惊奇地发现最近有一篇预印本文章已经将ChatGPT结合STROBE声明来探索AI是否能用于指导流行病学研究写作 [2]。
2023年预印本的文章，问了下ChatGPT关于统计学的问题：What statistical methods should be described, including those used to control for confounding, according to the STROBE guidelines? The study has the following aim: to examine the relationship between the percentage of population fully vaccinated and the incidence of new COVID-19 cases in a given population, and to assess the impact of vaccination on the incidence of COVID-19 cases.译文：根据STROBE指南，哪些统计方法应被描述（包括用于控制混杂的统计方法）？研究究的目的如下: 研究特定人群中全剂疫苗接种率与新冠病例发生率之间的关系，并评估疫苗接种对新冠发病率的影响。该文章中使用的ChatGPT还是2022年底的3.0版本，我将其回答翻译了出来“从统计学的角度来看，想要研究特定人群中疫苗接种率与新冠病例发生率之间的关系，回归分析几乎是必用的方法，若想进一步控制混杂因素，还可能需要采用多因素回归、分层分析、敏感性分析等方法”。可见ChatGPT 3.0已经能将STROBE声明和研究目的结合起来，提出可能需要描述的统计学方法。同时，回答中的最后一句话也颇具STROBE声明原文的语气。然而，这一回答中真正对写作有指导意义的信息并不多，大部分是空话。文章中的专家也给这一回答只打了2.3分和1.7分。而现在ChatGPT官网上已经更新至3.5版本，针对同一个问题，新版本又会怎么回答呢？
可见，最新版本回答内容的质量和体量都明显提高了。在回答的第二段中，ChatGPT 3.5已经可以根据研究目的直接指出首选的研究方法为回归分析，很难想象一个AI软件能如此果断地作出统计学判断。在描述回归分析和如何控制混杂的角度上，ChatGPT 3.5明显提出了更多的考量，甚至考虑到自变量和因变量的分布，而且提到了上一个版本所未考虑到的敏感性分析。当然这个回答仍有不足之处，真要细扣的话，像变量筛选过程，缺失值处理、抽样方法等细节还是没有体现出来。我的小结总体来看，ChatGPT 3.5针对该问题的回答全部都能在STORBE声明的原文中找到相应的内容，但又有别于对原文的照搬或修饰。从指导论文写作的角度来看，ChatGPT确实可以通给出写作甚至研究设计上的建议，但还远不达不到能完全依赖的程度。STROBE声明原文里用了7个点，将近4页的内容详细讲述了如何理解和描述观察性研究的统计学方法，并结合了相应的案例分析。至少目前来看，参照STROBE声明一点一点地写论文会更让我自己放心一些。同时，也已经有期刊表达了对ChatGPT参与科研写作的立场。Nature在作者投稿指南中表示：任何大型语言模型工具（如ChatGPT）都不能作为论文作者，如在文章中使用过相关工具，需要在“方法“或”致谢“等位置有明确说明。值得思考的是，ChatGPT才上线2个月，已经能针对医学问题给出这般自然且尚准确的科学回答，那么半年后，五年后，十年后又会给出什么样的回答呢？未来AI又是否会参与到科研的立题和研究设计中呢？人类的理性、判断能力和知识是很容易被人工智能替代的，或许唯有创造力是人类生生不息的源泉。参考文献：[1] KUNG T H, CHEATHAM M, MEDENILLA A, et al. Performance of ChatGPT on USMLE: Potential for AI-Assisted Medical Education Using Large Language Models [J]. medRxiv, 2022: 2022.12.19.22283643.[2] SANMARCHI F, BUCCI A, GOLINELLI D. A step-by-step Researcher’s Guide to the use of an AI-based transformer in epidemiology: an exploratory analysis of ChatGPT using the STROBE checklist for observational studies [J]. medRxiv, 2023: 2023.02.06.23285514.
