欢迎访问广东工业大学数据挖掘与信息检索实验室!
IJCAI 2025 | 基于潜在表示学习的长期因果效应估计方法
2025-07-01 14:29 万隽杰 

导语:

        近日,广东工业大学计算机学院数据挖掘与信息检索(DMIR)实验室与鹏城实验室、MBZUAI、滴滴中国出行合作的论文 Long-Term Individual Causal Effect Estimation via ldentifiable Latent Representation Learning 被国际人工智能联合会议IJCAI 2025 (International Joint Conferences on Artificial Intelligence)接收。IJCAI是人工智能领域顶级国际学术会议之一,也是CCF-A类会议。下面带来该论文的详细解读。

2B8DE

1 研究背景

估计长期因果效应在多个领域正变得越来越重要,例如医疗保健、公共教育、市场营销和公共政策等。在这些长期场景中,通常很难开展随机对照实验来估计因果效应。因此,许多研究者转而使用更容易获取的观察数据。然而,基于观察数据的方法受到潜在混淆偏差问题的困扰。因此,将观察数据与实验数据结合,成为估计长期因果效应的一种有前景的解决方案。

现有基于数据融合的方法,主要依赖所谓的替代变量(surrogate)来估计长期效应。如图1所示,替代变量   是短期结果,在观察数据中作为长期结果   的替代。由于潜在混淆变量   的存在,这类观察数据通常不满足无混淆假设(unconfoundedness assumption)。为替代该假设,近年来的方法提出各种较弱的替代假设:1.潜在无混淆假设(latent unconfoundedness)的假设,即   ,   ,隐含地假设潜在混淆因子   不影响长期结果   ,如图1a所示; 2.加性等混淆偏差假设(additive equi-confounding bias assumption),即短期与长期潜在结果变量的混淆偏差程度相同,如图1b所示。

然而,上述方法面临一个核心挑战:潜在无混淆和加性等混淆偏差这两类假设过于理想,在真实世界中往往无法成立,这大大限制了其实用性。为应对这一挑战,我们致力于在不依赖这些假设的前提下,估计个体层面的长期因果效应(如图1c所示)。具体地,我们不再假设潜在无混淆(unconfoundedness assumption)或等混淆偏差(additive equi-confounding bias assumption),而是通过研究潜在混淆因子   的可识别性来估计长期因果效应。为识别潜在混淆因子   ,我们引入一个辅助变量   ,该变量可以通过先验知识轻松获取,例如现实应用中数据的天然异质性。基于对   的可识别性,我们建立了长期因果效应的可识别结果,并进一步提出了一个基于潜在表示学习(latent representation learning)的估计器,用于估计长期个体因果效应。大量的实验表明我们的ICEVAE方法在三种长期场景模拟数据集和两种长期半合成数据集IHDP,TWINS上均优于最先进的长期因果效应估计方法。

A9FD

图 1三种长期场景的因果图

2 基于潜在表示学习的长期因果效应估计方法(ICEVAE)

长期因果效应估计器如图2所示,由三个模块组成:短期潜在结果估计模块、潜在表示学习模块以及个体处理效应(ITE)估计模块。

在短期潜在结果估计模块中,我们使用实验数据训练估计器来估计     ,因为它是可识别的,即等价于     。损失函数如下所示:

4019

在潜在表示学习模块中,我们利用变分推断(variational inference)来学习混淆因子     的潜在表示。预处理变量     、处理变量     以及由短期潜在结果估计模块得到的短期潜在结果     被共同作为     的代理变量,以确保有足够信息来恢复     。此外,辅助变量     被用作先验知识,确保潜在混淆因子     的可识别性。损失函数中对应的部分如下:

BFBA


        在ITE估计模块中,我们基于已学习的     ,训练一个估计器来预测处理组和对照组中的潜在结果,最终得出个体处理效应     的估计值。损失函数对应的部分如下所示:

3C55

需要注意的是,第一个模块(短期潜在结果估计)是在实验数据上训练的,以确保短期潜在结果的可识别性;而其余两个模块则是在观察数据上训练的,因为长期结果只能从观察数据中获取。

最终整个网络模型的总损失函数如下所示:

2C074

图 2 ICEVAE网络框架

3 实验结果

ICEVAE方法在三种长期场景模拟数据集和两种长期半合成数据集IHDP,TWINS上均优于最先进的长期因果效应估计方法,证明了所提出方法的有效性。

3142D

表1 ICEVAE方法在不同生成机制模拟数据上的实验结果

51B4E

表2 ICEVAE方法在不同强度混淆下的模拟数据实验结果

12273

表3 ICEVAE方法在半合成数据上的实验结果

关闭窗口