清華大學(xué)電子工程系城市科學(xué)與計(jì)算研究中心最近提出了一種新的時(shí)空少樣本學(xué)習(xí)方法，旨在解決城市計(jì)算中廣泛存在的數(shù)據(jù)稀缺性問(wèn)題。該方法利用了利用擴(kuò)散模型來(lái)生成神經(jīng)網(wǎng)絡(luò)參數(shù)，將時(shí)空少樣本學(xué)習(xí)轉(zhuǎn)換為擴(kuò)散模型的預(yù)訓(xùn)練問(wèn)題，可根據(jù)prompt（提示）生成定制的神經(jīng)網(wǎng)絡(luò)，從而適應(yīng)不同數(shù)據(jù)分布和城市特征。

傳統(tǒng)的時(shí)空預(yù)測(cè)模型通常需要大量數(shù)據(jù)支持才能取得良好效果。

然而，由于城市發(fā)展水平不均衡和數(shù)據(jù)收集政策的差異，許多城市和地區(qū)的時(shí)空數(shù)據(jù)（如交通和人群流動(dòng)數(shù)據(jù)）受到了限制。在這種情況下，模型在數(shù)據(jù)稀缺情況下的可遷移性變得尤為重要。

現(xiàn)有研究主要利用數(shù)據(jù)豐富的源城市數(shù)據(jù)訓(xùn)練模型，并將其應(yīng)用于數(shù)據(jù)稀缺的目標(biāo)城市。然而，現(xiàn)有方法往往依賴于復(fù)雜的匹配設(shè)計(jì)，如何實(shí)現(xiàn)對(duì)源城市和目標(biāo)城市之間更一般化的知識(shí)遷移仍然是一個(gè)挑戰(zhàn)。

最近，預(yù)訓(xùn)練模型在自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)領(lǐng)域取得了顯著進(jìn)展，它們通過(guò)引入prompt（提示）技術(shù)來(lái)縮小微調(diào)和預(yù)訓(xùn)練之間的差距。這些先進(jìn)的預(yù)訓(xùn)練模型不再需要繁瑣的微調(diào)，而是利用有效的prompt技術(shù)實(shí)現(xiàn)快速適應(yīng)。

論文鏈接：https://openreview.net/forum?id=QyFm3D3Tzi

開(kāi)源代碼及數(shù)據(jù)：https://github.com/tsinghua-fib-lab/GPD

清華大學(xué)電子工程系城市科學(xué)與計(jì)算研究中心最新成果《Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation》被 ICLR2024 接收，該研究提出GPD（Generative Pre-Trained Diffusion）模型，實(shí)現(xiàn)數(shù)據(jù)稀疏場(chǎng)景下的時(shí)空學(xué)習(xí)。

通過(guò)直接生成神經(jīng)網(wǎng)絡(luò)的參數(shù)，該方法將時(shí)空少樣本學(xué)習(xí)轉(zhuǎn)變?yōu)閿U(kuò)散模型的生成式預(yù)訓(xùn)練問(wèn)題。與傳統(tǒng)方法不同，GPD不再依賴于提取可遷移特征或設(shè)計(jì)復(fù)雜的模式匹配策略，且不需要為少樣本場(chǎng)景學(xué)習(xí)一個(gè)良好的模型初始化。

相反，它通過(guò)預(yù)訓(xùn)練一個(gè)擴(kuò)散模型，從源城市的數(shù)據(jù)中學(xué)習(xí)到有關(guān)優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)的知識(shí)，然后根據(jù)prompt（提示）生成適應(yīng)目標(biāo)城市的神經(jīng)網(wǎng)絡(luò)。

這一方法的創(chuàng)新之處在于能夠根據(jù)「prompt（提示）」生成定制的神經(jīng)網(wǎng)絡(luò)，有效地適應(yīng)不同城市之間的數(shù)據(jù)分布和特征差異，實(shí)現(xiàn)巧妙的時(shí)空知識(shí)遷移。

該研究為解決城市計(jì)算中數(shù)據(jù)稀缺性問(wèn)題提供了新的思路。該論文的數(shù)據(jù)和代碼均已開(kāi)源。

一、從數(shù)據(jù)分布到神經(jīng)網(wǎng)絡(luò)參數(shù)分布

圖 1：數(shù)據(jù)模式層面知識(shí)遷移 vs. 神經(jīng)網(wǎng)絡(luò)層面知識(shí)遷移

如圖1（a）所示，傳統(tǒng)的知識(shí)遷移方法通常是在源城市的數(shù)據(jù)上訓(xùn)練模型，然后將其應(yīng)用于目標(biāo)城市。然而，不同城市之間的數(shù)據(jù)分布可能存在顯著差異，這導(dǎo)致直接遷移源城市模型可能無(wú)法很好地適應(yīng)目標(biāo)城市的數(shù)據(jù)分布。

因此，我們需要擺脫對(duì)雜亂數(shù)據(jù)分布的依賴，尋求一種更本質(zhì)、更可遷移的知識(shí)共享方式。與數(shù)據(jù)分布相比，神經(jīng)網(wǎng)絡(luò)參數(shù)的分布更具有“高階”的特性。

圖 1 展示了從數(shù)據(jù)模式層面到神經(jīng)網(wǎng)絡(luò)層面知識(shí)遷移的轉(zhuǎn)變過(guò)程。通過(guò)在源城市的數(shù)據(jù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并將其轉(zhuǎn)化為生成適應(yīng)目標(biāo)城市的神經(jīng)網(wǎng)絡(luò)參數(shù)的過(guò)程，可以更好地適應(yīng)目標(biāo)城市的數(shù)據(jù)分布和特征。

二、預(yù)訓(xùn)練+提示微調(diào)：實(shí)現(xiàn)時(shí)空少樣本學(xué)習(xí)

圖2 GPD模型概覽

如圖2所示，該研究提出的GPD是一種條件生成框架，旨在直接從源城市的模型參數(shù)中學(xué)習(xí)，并為目標(biāo)城市生成新的模型參數(shù)，該方法包括三個(gè)關(guān)鍵階段：

1. 神經(jīng)網(wǎng)絡(luò)準(zhǔn)備階段：首先，針對(duì)每個(gè)源城市區(qū)域，該研究訓(xùn)練單獨(dú)的時(shí)空預(yù)測(cè)模型，并保存其優(yōu)化后的網(wǎng)絡(luò)參數(shù)。每個(gè)區(qū)域的模型參數(shù)都經(jīng)過(guò)獨(dú)立優(yōu)化，沒(méi)有參數(shù)共享，以確保模型能夠最大程度地適應(yīng)各自區(qū)域的特征。

2. 擴(kuò)散模型預(yù)訓(xùn)練：該框架使用收集到的預(yù)訓(xùn)練模型參數(shù)作為訓(xùn)練數(shù)據(jù)，訓(xùn)練擴(kuò)散模型來(lái)學(xué)習(xí)生成模型參數(shù)的過(guò)程。擴(kuò)散模型通過(guò)逐步去噪來(lái)生成參數(shù)，這個(gè)過(guò)程類似于從隨機(jī)初始化開(kāi)始的參數(shù)優(yōu)化過(guò)程，因此能夠更好地適應(yīng)目標(biāo)城市的數(shù)據(jù)分布。

3. 神經(jīng)網(wǎng)絡(luò)參數(shù)生成：在預(yù)訓(xùn)練后，可以通過(guò)使用目標(biāo)城市的區(qū)域提示來(lái)生成參數(shù)。這種方法利用提示促進(jìn)了知識(shí)轉(zhuǎn)移和精確參數(shù)匹配，充分利用了城市間區(qū)域之間的相似性。

值得注意的是，在預(yù)訓(xùn)練-提示微調(diào)的框架中，提示的選擇具有很高的靈活性，只要能夠捕捉特定區(qū)域的特征即可。例如可以利用各種靜態(tài)特征，如人口、區(qū)域面積、功能和興趣點(diǎn)（POI）的分布等來(lái)實(shí)現(xiàn)這一目的。

這項(xiàng)工作從空間和時(shí)間兩個(gè)方面利用區(qū)域提示：空間提示來(lái)自于城市知識(shí)圖譜[1,2]中節(jié)點(diǎn)表征，它僅利用區(qū)域鄰接性和功能相似性等關(guān)系，這些關(guān)系在所有城市中都很容易獲取；時(shí)間提示來(lái)自于自監(jiān)督學(xué)習(xí)模型的編碼器。更多關(guān)于提示設(shè)計(jì)的細(xì)節(jié)請(qǐng)參見(jiàn)原文。

此外，該研究還探索了不同的提示引入方法，實(shí)驗(yàn)驗(yàn)證了基于先驗(yàn)知識(shí)的提示引入具有最優(yōu)性能：用空間提示引導(dǎo)建模空間關(guān)聯(lián)的神經(jīng)網(wǎng)絡(luò)參數(shù)生成，用時(shí)間提示引導(dǎo)時(shí)序神經(jīng)網(wǎng)絡(luò)參數(shù)生成。

三、實(shí)驗(yàn)結(jié)果

團(tuán)隊(duì)在論文中詳細(xì)描述了實(shí)驗(yàn)設(shè)置，以幫助其他研究者復(fù)現(xiàn)其結(jié)果。他們還提供了原論文和開(kāi)源數(shù)據(jù)代碼，我們?cè)谶@里關(guān)注其實(shí)驗(yàn)結(jié)果。

為了評(píng)估所提框架的有效性，該研究在兩類經(jīng)典的時(shí)空預(yù)測(cè)任務(wù)上進(jìn)行了實(shí)驗(yàn)：人群流動(dòng)預(yù)測(cè)和交通速度預(yù)測(cè)，覆蓋了多個(gè)城市的數(shù)據(jù)集。

表1展示了在四個(gè)數(shù)據(jù)集上相對(duì)于最先進(jìn)基線方法的比較結(jié)果。根據(jù)這些結(jié)果，可以得出以下觀察：

1）GPD相對(duì)于基線模型表現(xiàn)出顯著的性能優(yōu)勢(shì)，在不同數(shù)據(jù)場(chǎng)景下一致表現(xiàn)優(yōu)越，這表明GPD實(shí)現(xiàn)了有效的神經(jīng)網(wǎng)絡(luò)參數(shù)層面的知識(shí)遷移。

2）GPD在長(zhǎng)期預(yù)測(cè)場(chǎng)景中表現(xiàn)出色，這一顯著趨勢(shì)可以歸因于該框架對(duì)于更本質(zhì)知識(shí)的挖掘，有助于將長(zhǎng)期時(shí)空模式知識(shí)遷移到目標(biāo)城市。

圖3 不同時(shí)空預(yù)測(cè)模型的性能對(duì)比

此外，該研究還驗(yàn)證了GPD框架對(duì)于不同時(shí)空預(yù)測(cè)模型適配的靈活性。除了經(jīng)典的時(shí)空?qǐng)D方法STGCN外，該研究還引入了GWN和STID作為時(shí)空預(yù)測(cè)模型，并使用擴(kuò)散模型生成其網(wǎng)絡(luò)參數(shù)。

實(shí)驗(yàn)結(jié)果表明，框架的優(yōu)越性不會(huì)受到模型選擇的影響，因此可以適配各種先進(jìn)的模型。

進(jìn)一步地，該研究通過(guò)在兩個(gè)合成數(shù)據(jù)集上操縱模式相似性進(jìn)行案例分析。

圖4展示了區(qū)域A和B具有高度相似的時(shí)間序列模式，而區(qū)域C展示了明顯不同的模式。同時(shí)，圖5顯示節(jié)點(diǎn)A和B具有對(duì)稱的空間位置。

因此，我們可以推斷區(qū)域A和B具有非常相似的時(shí)空模式，而與C有著明顯的差異。模型生成的神經(jīng)網(wǎng)絡(luò)參數(shù)分布結(jié)果顯示，A和B的參數(shù)分布相似，而與C的參數(shù)分布有顯著差異。這進(jìn)一步驗(yàn)證了GPD框架在有效生成具有多樣化時(shí)空模式的神經(jīng)網(wǎng)絡(luò)參數(shù)的能力。

圖 4 不同區(qū)域的時(shí)間序列及神經(jīng)網(wǎng)絡(luò)參數(shù)分布可視化

圖 5 仿真數(shù)據(jù)集區(qū)域空間連接關(guān)系

參考資料：

https://github.com/tsinghua-fib-lab/GPD

[1] Liu, Yu, et al. “Urbankg: An urban knowledge graph system.” ACM Transactions on Intelligent Systems and Technology 14.4 (2023): 1-25.

[2] Zhou, Zhilun, et al. “Hierarchical knowledge graph learning enabled socioeconomic indicator prediction in location-based social network.” Proceedings of the ACM Web Conference 2023. 2023.