系列簡介

這是我們一系列原創(chuàng)技術(shù)貼，從易到難，每天學(xué)習(xí)一點。所有內(nèi)容均為疾控數(shù)據(jù)分析、科研論文相關(guān)，或者說很多和現(xiàn)在的熱門監(jiān)測預(yù)警相關(guān)，所以我們這個系列就叫“監(jiān)測預(yù)警基礎(chǔ)”。

今天是第22節(jié)，在前面兩節(jié)Serfling回歸的基礎(chǔ)上，講一講更為常用實用的調(diào)整Serfling回歸。

我們上一節(jié)講完Serfling回歸模型之后，

大家是不是覺得很簡單，豁然開朗。

但最后我們又講了傳統(tǒng)Serfling回歸模型的那么多缺陷，你是不是又有些垂頭喪氣呢？

好不容易學(xué)會了一種方法，居然有這么多缺點，到底還能不能用？

答案是，當(dāng)然可以。

傳統(tǒng)Serfling回歸模型我們講了這幾節(jié)，不是白講的，就是為今天打基礎(chǔ)。

傳統(tǒng)Serfling回歸模型有那么多的缺陷，那就會出來高人將其完善，或者叫調(diào)整，這就是我們今天要講的調(diào)整Serfling回歸模型。

核心理念：從“主觀剔除”到“客觀篩選”

傳統(tǒng)方法的矛盾在于：要建立一個純凈的“正?！被€，就得先知道哪些是“異常”的流行期數(shù)據(jù)；而判斷“異?！钡囊罁?jù)，又恰恰依賴于一個尚未建立的“正常”基線。這形成了一個循環(huán)，使得剔除過程非常主觀，嚴(yán)重依賴分析者的經(jīng)驗。

調(diào)整模型的智慧在于，它不再要求我們“事先”知道答案，而是讓數(shù)據(jù)通過迭代計算，自動告訴我們最優(yōu)的基線在哪里。其核心思想是：“正?！钡臄?shù)據(jù)點，應(yīng)該能被模型很好地擬合；而“異常”的流行點，本身就是模型的“噪聲”或“離群值”。

整個過程就像是一個不斷自我優(yōu)化的算法，其流程圖和步驟如下：

第一步：首次嘗試，建立基準(zhǔn)

不對數(shù)據(jù)做任何主觀剔除，使用全部歷史數(shù)據(jù)進(jìn)行第一次Serfling回歸擬合。這會得到一個初始模型（Model 1），計算其擬合優(yōu)度R?2，并得到每個時間點的預(yù)測值 ?。

關(guān)鍵操作：比較每個點的實際值Y和預(yù)測值?。只保留那些 Y < ? 的數(shù)據(jù)點。這些點可以理解為模型“預(yù)測得比較準(zhǔn)、甚至高估了”的點，它們更可能代表“非流行”的基線狀態(tài)。而Y > ?的點，是模型低估的點，很可能就是流行期的異常高點。

第二步：模型競賽，擇優(yōu)錄用

用上一步篩選出的“較正常”數(shù)據(jù)，擬合第二個模型（Model 2），得到R?2。

現(xiàn)在的核心判決就是比較R?2和R?2。

如果 R?2 > R?2：這說明把那些“異常高點”留在數(shù)據(jù)集里，反而讓模型整體的解釋力更高。這可能意味著疾病的“正?！彼奖旧砭桶艘欢ǖ牟▌樱蛘咚^的“異?！辈⒉粯O端。此時，選擇第一個模型（用全數(shù)據(jù)擬合的）作為最終模型，預(yù)警閾值就直接用其預(yù)測值?。當(dāng)實際值Y超過預(yù)測值?時，發(fā)出預(yù)警。

如果 R?2 < R?2：這說明剔除一批高值點后，模型對剩余數(shù)據(jù)的擬合更好了，驗證了我們“存在異常點”的猜想。但剔除得是否足夠“干凈”呢？需要進(jìn)入迭代優(yōu)化循環(huán)。

第三步：迭代優(yōu)化，逼近最優(yōu)基線

進(jìn)入一個循環(huán)，目標(biāo)是找到R2最高的模型。從第二輪開始，篩選標(biāo)準(zhǔn)變得更嚴(yán)格：不再與預(yù)測值?比較，而是與預(yù)測值的95%置信區(qū)間上限??比較。這是一個更寬、更保守的邊界。

循環(huán)操作：在上一輪模型的基礎(chǔ)上，只保留 Y < 上一輪模型的95%置信上限?? 的數(shù)據(jù)點，然后用這批“更加純凈”的數(shù)據(jù)擬合新模型。比較新舊模型的R2。

循環(huán)終止條件：當(dāng)最新一次擬合的R2不再提高（即低于或等于前一次模型的R2）時，循環(huán)停止。選擇R2達(dá)到最高的那個模型作為最終模型，并以該模型對應(yīng)的95%置信上限??作為正式的預(yù)警閾值。

這個過程可以簡單用下面的流程圖理解。

1.客觀自動化，可重復(fù)性強：整個過程中，哪些點被定義為“流行期”數(shù)據(jù)，是由模型根據(jù)R2比較的客觀標(biāo)準(zhǔn)自動篩選的，避免了人為劃定流行期的主觀偏差。任何人用同一套數(shù)據(jù)、同一個程序，都會得到完全相同的結(jié)果。

2.動態(tài)確定閾值，邏輯更嚴(yán)謹(jǐn)：最終預(yù)警閾值（可能是預(yù)測值?，也可能是其95%置信上限??）是根據(jù)模型競賽結(jié)果動態(tài)決定的，與所選定的最優(yōu)基線模型嚴(yán)格匹配，邏輯上自洽。

3.提升預(yù)警性能：通過這種方法找到的基線，能更純粹地反映疾病的“背景水平”，因此在此基礎(chǔ)上設(shè)置的預(yù)警閾值通常能更早、更靈敏地捕捉到真正的流行起始，同時保持良好的特異性。

4.應(yīng)對復(fù)雜情況：當(dāng)疾病的流行季節(jié)發(fā)生偏移或病原體變異導(dǎo)致模式改變時，這種數(shù)據(jù)驅(qū)動的方法比“固定剔除每年第X-X周”的傳統(tǒng)方法更具適應(yīng)性。

總結(jié)來說，調(diào)整Serfling回歸模型的核心貢獻(xiàn)，是將基線構(gòu)建從一個依賴先驗知識的、主觀的“預(yù)處理步驟”，轉(zhuǎn)變?yōu)橐粋€內(nèi)生于模型擬合過程的、客觀的“優(yōu)化算法”。它代表著建模思想從“人告訴機器規(guī)律是什么”到“讓機器從數(shù)據(jù)中發(fā)現(xiàn)最優(yōu)規(guī)律”的重要進(jìn)步。

編輯：普通疾控人 | 審核：詩酒趁年華

文章來源 | 原創(chuàng)

說明 | 轉(zhuǎn)載只為分享，如有侵權(quán)聯(lián)系刪除

?版權(quán)聲明 | 部分信息和圖片來自公開網(wǎng)絡(luò)

轉(zhuǎn)載請注明

再次轉(zhuǎn)載請注明出處

科普健康 | 宣傳疾控

本號為多位疾控機構(gòu)從業(yè)者運營

重點關(guān)注國內(nèi)外健康事件

致力于疾控科普

在做好科普服務(wù)大眾的同時

做好疾控機構(gòu)的宣傳

讓更多的人了解疾控，擁抱健康

歡迎加「小編」微信(cdcjkr126com)

本文具體說明

本文為原創(chuàng)內(nèi)容，文章為個人理解所學(xué)，不涉及疫情信息及內(nèi)部保密數(shù)據(jù)，發(fā)表的目的為自我總結(jié)及給有需求的人士學(xué)習(xí)使用。如有不妥之處，歡迎聯(lián)系小編修改、刪除。

更多精彩視頻，盡在“CDC疾控人”視頻號