拡散モデルで人口を作る：ノイズを加える学習と生成を分ける

DDPM、TabDDPM、潜在空間での拡散、人口合成の公開コードを区別すると、学習するものと生成手順の違いが見えてくる。

何をしたいのか

仮想の住民一覧を作る目的はBNやVAE、GANと共通する。拡散モデルは、ノイズで乱したデータを手がかりに、元のデータ分布へ近づける更新を学ぶ生成モデルである。学習時は観測記録を使い、生成時は新しい乱数から始める。生成は、特定の元住民を探して復元する操作ではない。

1. ノイズとは

ノイズはここではランダムな数値の変動を指す。まず属性を計算できる数値表現にする。例えば年齢を標準化した数値は、そのまま年齢の年数とは違う。そこへ既知の規則で乱数を混ぜる。人間そのものを壊す操作ではなく、データ表現への操作である。

写真へ砂嵐を重ね、砂嵐の強さが違う多数の例で練習する比喩が使える。ただし、人口データは写真ではない。就業状態などのカテゴリーに、年齢と同じ数値操作を直接当てはめればよいわけではない。

2. DDPMの学習

Ho・Jain・AbbeelのDDPM（Denoising Diffusion Probabilistic Models、ノイズ除去拡散確率モデル）は基本となる一例である。原論文の学習Algorithm 1では、観測記録を一つ選び、ノイズの段階を選び、既知のノイズを加え、モデルにそのノイズを予測させる。予測と実際に加えたノイズの二乗誤差を小さくするよう内部パラメータを更新する。[1]

モデルには属性の組み合わせ全体を入力できるため、ノイズのある一項目だけでなく他の項目も手がかりにできる。どの関係を学べたかは評価が必要である。

追加する乱数は自分で作ったので正解が分かる。人間に新しい正解ラベルを毎回付けてもらう必要はない。ただし、観測記録そのものは入力に必要である。こうした学習方法から、人口全体の真実をデータなしで知れるとは言えない。

段階を表すtは生成計算の段階で、現実の翌日・翌年ではない。学習では、毎回最初から全段階を実行せず、選んだ段階のノイズ状態を直接計算できる。

3. 数字を一つだけ追う

DDPMのある段階で、元データの数値x0に0.8、標準正規ノイズepsilonに0.6を掛けて足す例を考える。0.8と0.6は平方和が1で、ここでは信号とノイズの係数である。

元の数値2.0、加えたノイズ-1.0なら、ノイズ付きの値は 0.8 * 2.0 + 0.6 * (-1.0) = 1.0 になる。ノイズ予測が正確なら、この式から元データ2.0を計算できる。予測が-0.5なら、計算される元データの推定は1.625で、ずれが残る。

ただし未知のノイズ付き値1.0を見ただけでは、元が必ず2.0と一意に決まるわけではない。多数の観測例から、分布としてもっともらしい更新を学ぶ。教材の検算は正解ノイズを既に知る式の確認であり、学習済みノイズ除去器の性能を示さない。

4. 新しい記録を生成する

生成時は新しい乱数から始め、学習済みモデルで繰り返し更新する。DDPMでは、予測ノイズ、段階ごとの係数、必要に応じた乱数を使って次の状態を計算する。単に予測ノイズを一回引いて終わりではない。最後に数値表現を属性へ変換する。

「元の35歳の人に戻った」とは解釈しない。新しい仮想記録を生成しており、それが実際に観測された人という意味ではない。乱数を変えると異なる記録が得られるが、多様性や割合の正確さは別に評価する。

5. 人口のカテゴリーはどうするか

TabDDPMの2023年論文は、数値にはGaussian diffusion、カテゴリーにはmultinomial diffusionを用いる。数値とカテゴリーを一つの表の中で扱うための設計である。カテゴリーのノイズは、例えば複数カテゴリーの間で値を確率的に乱す操作になる。学習される逆方向では他の属性も参照する。[2]

別の選択肢としてTabSynは、混合した属性をまず潜在空間へ表し、その空間で拡散を行って属性へ戻す。VAEと拡散は排他的とは限らない。今回は論文概要と著者リポジトリを確認した段階で、この方式全体を再現していない。[3]

6. 人口合成のコードで確認したこと

Darselほかの公開リポジトリを固定版で読解した。models/Diffusion/Diffusion_Embedded_data/train_Diffusion_Embedded_Data.py は埋め込み済みのデータからノイズ除去モデルを学習する。model_Diffusion.py の Model_Diffusion.forward は EDMLoss を呼ぶ。

utils/utils_diffusion.py の EDMLoss.__call__ は、ノイズ量sigmaを選び、乱数nを作り、denoise_fn(y + n, sigma) を計算する。ここでの正解はノイズnそのものではなく元データyで、重み付き二乗誤差を使う。DDPMのノイズ予測と同じ説明にしない。

同じファイルの sample は新しい正規乱数から始め、sample_step を反復する。sample_step はモデルの推定と段階ごとの更新幅で状態を更新し、最終段階以外では二次の補正を行う。生成側の sample_Diffusion_Embedded_Data.py はその結果を保存する。全方式が同じ段階数や同じ逆更新式を使うわけではない。[4]

7. なぜ使うのか、どこが限界か

生成を段階的なノイズ除去の学習に分けられることが特徴である。標準GANと同じGとDの競合は必須ではない。しかし、GANのモード崩壊への万能な解決策ではなく、希少群の不足、学習データの偏り、制約違反は検証する必要がある。反復生成の計算負荷も比較する。

Darselほかの2026年比較研究では、12属性を扱う対象条件でBNが有力で、深層モデルの中では拡散が有望だった。評価器を共通にして追加価値を測る候補として位置付ける。[5]

8. 解説で確認した範囲

今回行ったのは論文・コードの読解と、ノイズを混ぜる式と既知ノイズを使う復元式の検算。ニューラルネットワークの学習、拡散モデルの推論、実人口生成、論文性能再現は未実施。

LLMによる人口生成と比較するときは、文章化した個票で追加学習する方式と、公開集計を指示に入れる方式を区別する。世帯構造と実資料での比較も別に必要になる。

出典

1. Ho・Jain・Abbeel. DDPM, 2020. https://arxiv.org/html/2006.11239v2 （方法、学習・生成アルゴリズム）
2. Kotelnikovほか. TabDDPM, ICML2023. https://proceedings.mlr.press/v202/kotelnikov23a/kotelnikov23a.pdf （方法3・4節）
3. Mixed-Type Tabular Data Synthesis with Score-based Diffusion in Latent Space. https://arxiv.org/abs/2310.09656 ; 著者コード https://github.com/amazon-science/tabsyn （今回概要・構成確認）
4. https://github.com/vdarsel/PopulationSynthesis （公開コードの主要処理を確認）
5. https://hal.science/hal-05758634/document （前講座で最終版の方法・結果・限界を確認済み）