临床预测模型 | 第15期.评价模型用哪些指标？

在上两期内容中，我们介绍了两种展示模型的方法，分别是risk score和nomogram（第14期.模型展示好帮手：Nomogram）。那么，在构建了一个预测模型之后，我们应该用哪些指标来评价模型好坏呢？这就是我们今天要分享的内容啦！

一、区分度和校准度

模型的区分度（Discrimination）指的是模型能正确区分样本中不同类别的能力。我们知道模型预测的是发生事件的概率，假设有一个诊断模型和两个样本（分别为患者和非患者），诊断模型预测患者患病的概率为90%，预测非患者患病的概率为20%，在这个例子中则说明模型能够区分开患者和非患者；如果这个概率倒过来，则说明模型没能很好的区分。

模型的校准度（Calibration）是指模型的预测结果与实际观测值之间的一致性程度。有人可能要问了，校准度和区分度有什么区别呢？从前文可以看出，区分度是两个样本间预测概率的比较，目的是区分两种不同的类别；而校准度比较的是某一个样本，其实际概率和预测概率之间的差距，目的是评估预测的准确性。一个好的模型既要能区分样本间不同的类别，也需要对某一个具体的样本有准确的预测。

二、评价区分度和校准度的指标

了解了区分度和校准度的定义，那么有哪些常用的评价指标呢？

1. 一致性指数（Concordance index）：也叫C index，是用于评价模型区分度最常用的指标。它的计算方法是：将数据集中所有的样本都两两组成对子，对子数为分母；其中预测正确（如前文例子中，患者的预测患病概率，比非患者的预测患病概率高，则为预测正确）的对子数作为分子，C index就是这两个数值相除，取值范围为0.5-1。当C-index等于0.5时，则说明模型没有预测能力，和随机猜测的概率一样，而越趋近于1说明区分度越好。

2. 校准曲线：校准度的评价往往是通过图形来判断（如下图），横坐标为预测概率，纵坐标为观察到的实际概率，若完全一致的话，校准曲线应该为矩形的对角线，因此校准曲线越接近对角线，说明校准度越好。

那么这就是本期的全部内容啦，你学会了吗？大家对于推送内容有任何问题或建议可以在公众号菜单栏“更多--读者的话” 栏目中提出，我们会尽快回复！