Generalized Additive Models, 广义加性模型 GAM。

通过对预测变量应用平滑函数来捕捉非线性关系。GAM 扩展了传统的线性模型，使得每个预测变量对响应变量的影响可以通过非线性函数来建模。

GLM vs. GAM - Generalized Additive Models

1. GAM 的基本组成

广义加性模型包括以下几个主要成分：

  1. 响应变量：\(Y\) 是模型的目标变量。
  2. 预测变量：\(X = (X_1, X_2, \ldots, X_p)\) 是自变量或特征。
  3. 平滑函数：\(f_i(X_i)\) 是每个预测变量 \(X_i\) 对响应变量的影响，通过平滑函数建模。
  4. 线性预测器：将每个预测变量的平滑函数加总起来得到模型的线性预测器。

2. GAM 的模型形式

GAM 的模型可以表示为： \[ g(\mathbb{E}[Y]) = \beta_0 + \sum_{i=1}^p f_i(X_i) \] 其中：

  • \(g(\cdot)\) 是链接函数，将期望值 \(\mathbb{E}[Y]\) 与线性预测器联系起来。
  • \(\beta_0\) 是截距项。
  • \(f_i(X_i)\) 是对每个预测变量 \(X_i\) 施加的平滑函数。

2.1 平滑函数

平滑函数 \(f_i(X_i)\) 通过使用平滑器来捕捉预测变量和响应变量之间的非线性关系。常用的平滑方法包括：

  • 样条函数（Splines）
  • 局部回归（Local Regression）
  • 核平滑（Kernel Smoothing）

2.2 链接函数

链接函数 \(g(\cdot)\) 将期望值 \(\mathbb{E}[Y]\) 映射到线性预测器 \(\eta\)： \[ g(\mathbb{E}[Y]) = \eta \] 常见的链接函数包括：

  • 恒等链接函数：用于线性回归。
  • 逻辑链接函数：用于逻辑回归。
  • 对数链接函数：用于泊松回归。

3. GAM 的模型推导

3.1 建模步骤

  1. 选择链接函数：根据响应变量的分布选择合适的链接函数 \(g(\cdot)\)。
  2. 选择平滑函数：为每个预测变量选择适当的平滑函数 \(f_i(X_i)\)。
  3. 优化估计：通过最大似然估计或其他优化方法估计模型参数。

3.2 平滑函数的估计

平滑函数的估计通常通过最小化以下目标函数来实现： \[ \text{Objective} = \text{Deviance} + \text{Penalized Smoothing Terms} \] 其中，Deviance 是模型的拟合优度，Penalized Smoothing Terms 是对平滑函数复杂度的惩罚，以防止过拟合。

3.3 参数估计

通过最小化下述目标函数来估计模型参数： \[ \text{GAMLSS} = \sum_{i=1}^n \text{Log-Likelihood} + \text{Penalty Terms} \] 其中，Penalty Terms 用于控制平滑函数的复杂度，以避免过度拟合。

4. GAM 的优点

  • 灵活性：GAM 可以捕捉非线性关系，不需要对数据的具体形式做出强假设。
  • 可解释性：每个预测变量的影响通过平滑函数明确表示，易于解释。
  • 平滑：通过平滑函数处理噪声和非线性，增强模型的鲁棒性。