学友提问:用一部分人群建模后,如何利用另一部分人群进行验证,计算曲线下面积,敏感性,特异性等?
2016年发表在新英格兰医学杂志的研究,用指标(sFlt-1:PlGF Ratio)预测产妇先兆子痫。把研究对象随机分为建模队列(Development cohort)和验证(Validation cohort)队列。图中有两条线,分别是建模和验证人群得出的ROC曲线面积、诊断切点等。
Predictive Value of the sFlt-1:PlGF Ratio in Women with Suspected Preeclampsia. N Engl J Med, 2016.
2015年发表在JAMA子刊的研究,建立肝癌微血管侵犯风险的预测模型。把研究对象分为建模(Training)和验证(Validation)两部分,分开呈现研究人群一般资料。
Nomogram for Preoperative Estimation of Microvascular Invasion Risk in Hepatitis B Virus–Related Hepatocellular Carcinoma Within the Milan Criteria. JAMA Surgery, 2015.
建模与验证怎么做呢?
需要学习预测模型国际规范(TRIPOD)
看这个图就一目了然了
其中D表示建模(Development)
V表示验证(Validation)
Transparent reporting of a multivariable prediction model for individual prognosis or diagnosis (TRIPOD): The TRIPOD statement. British Journal of Cancer, 2015.
1
第一种情况
只有一个数据集,用所有研究对象建模(D)
Type 1a:只建立模型,没有验证
Type 1b:用所有研究对象建模;同时用重采样resampling(bootstrap或者cross-validation)的方法,从所有研究对象中抽取一部分人做验证
2
第二种情况
只有一个数据集,做建模(D)加验证(V)
Type 2a:把总的研究对象随机分成两组分别用来建模和验证。不足之处:当样本量不大的情况下,这样做会降低统计检验效能(Power),比Type 1b的处理方法效果差
Type 2b:把总的研究对象根据地点或时间(location or time)分成两组分别用来建模和验证,这种做法因为允许两组人群不同,因此在评估模型的表现(performance)方面要比Type 2a更好
3
第三种情况
有一个独立的数据集,可以用于做验证(V)
Type 3:用一个数据做建模,另外一个独立的数据,例如来自另外一个研究的数据做验证
Type 4:只做验证,用一个数据集验证已有的模型,例如已经发表的模型
指南中有各种技术瓶颈
临床医生和研究生们
如何冲破上述统计学障碍呢?
研究目的:建立乳腺癌生存状态的预测模型
测量指标:患者基线的临床资料和影像学指标等、随访患者的预后(死亡)
数据来源:SPSS练习数据Breast cancer survival.sav
联系客服