PopulationSim、SFT、DPOを計算から理解する

人口の重みと、モデルの重み

人口の重みは、標本が何世帯・何人を代表するかを表す。モデルの重みは、予測を計算する数値パラメータである。同じ「重み」でも別の量なので、区別して読む。

PopulationSimの入力

examples/example_test/configs/controls.csvには、合わせたい属性、地理単位、参照する表、重要度、集計用の式がある。seed_households.csvとseed_persons.csvは標本、地域の集計ファイルは目標値になる。標本の世帯と個人の関係を使って、それぞれの世帯が制約へどれだけ寄与するかを表す。

例えば、標本Aの寄与を世帯1・人数1・子供0、標本Bを世帯1・人数3・子供1とする。目標は世帯100・人数200・子供50とする。AとBの重みをそれぞれ50にすれば、三つの合計が一致する。説明用の架空例である。

populationsim/steps/initial_seed_balancing.pyは、設定と集計を読み、調整処理へ渡す。populationsim/balancing/single_balancer.pyのListBalancer.balanceは、初期重み、目標、上下限、重要度を扱い、収束状態、最終重み、制約ごとの目標と集計を返す。コードには、目標制約を緩和する扱いもある。全目標が常に完全一致するとは仮定しない。

populationsim/steps/integerize_final_seed_weights.pyは、浮動小数の重みと目標を整数化の処理へ渡す。整数化後は、世帯・個人の合計を再確認する。この処理と単純な四捨五入を同一視しない。

今回のマネージャーの人口基盤で使うB17001は集計表であり、その一枚をPopulationSimの全入力として渡せるわけではない。世帯・個人の標本を使うPopulationSimと、6区分の集計を再構築する初期試験は、扱う粒度が異なる。世帯構造を扱う場合は、それに対応する入力へ拡張する。

SFTの入力と計算

SFTは教師あり追加学習である。学習例を入力xと回答yの組にする。人間の反応予測なら、xには人物属性・実験条件・質問、yには実際の回答を入れられる。

言語モデルは文章をトークンという計算単位へ変換し、回答の各トークンの確率を順に計算する。回答全体の確率は、それらの条件付き確率の積になる。SFTでは一般に、回答の負の対数確率を小さくする。説明用の一回答の例なら、回答例の確率が0.2のときの損失は約1.609、0.8なら約0.223である。

損失 = −log(回答例の確率)

損失がどの設定にどれだけ依存するかを勾配として計算し、最適化処理で設定を更新する。すべての重みを更新する方法だけでなく、一部の追加パラメータを学習する方法もある。SFTという名前だけでは、具体的に何を更新したかまでは分からない。

一人の観測回答を学習例にすることと、その人の普遍的な正解を知ることは別である。同じ条件でも回答が揺れるため、個人予測と集団分布の両方で評価する。

DPOの入力と計算

DPOは直接選好最適化である。学習例は、同じ入力x、比較上選ばれた回答y+、比較する回答y−の組になる。参照モデルを固定し、更新するモデルと参照モデルで、それぞれの回答の確率を計算する。

概念的には、次の量を使う。

更新したモデルの、選択側と比較側の確率の比
÷ 参照モデルの、選択側と比較側の確率の比

説明用に、参照モデルの二回答の確率を0.3と0.7、更新するモデルを0.6と0.4とする。比の比は(0.6÷0.4)÷(0.3÷0.7)=3.5である。参照モデルと比べて、選択側の相対確率が上がっている。

原論文の損失は、比の比の対数に係数βを掛け、シグモイド関数σへ入れた値の負の対数を平均する。β=1とした説明例では、比の比が1の損失は約0.693、3.5なら約0.251になる。これは二回答全体の確率を使う単純例で、実際の言語モデルの学習ではトークンごとの計算が必要になる。

L_DPO = 平均[ −log σ( β × log(比の比) ) ]

βは原定式化の参照方策との関係を制御する量であり、単純に「大きいほど制約が弱い」と読まない。通常の説明では、まず固定参照モデルと回答比較の意味を理解し、その後に原論文の式と実装設定を読む。

Socratesは、同じ実験条件で別の人物が答えた異なる回答を対比に使う方法を説明する。対応する人物の実回答を比較上の選択側へ置く。一般的な文章の好みを学ぶDPOと、実回答への適合を学ぶDPOでは、比較ラベルを作る意味が違う。

コードを読む順番

PopulationSimでは、集計の設定、標本、寄与の表、重み調整、整数化、誤差の確認の順に読む。Socratesでは、データの人物・条件・回答、分割、学習済みモデルの設定、論文のSFT・DPOの節を読む。その後にLLaMA-Factoryのsrc/llamafactory/train/sft/workflow.pyとsrc/llamafactory/train/dpo/workflow.pyで、モデルとデータが学習処理へ渡る場所を確認する。

依存の導入、モデル推論、学習、PopulationSimの実行は本稿の作成時点では未実施。説明用の計算と、公開コードの処理を区別する。

出典

• PopulationSim
• Socrates論文
• DPO原論文
• InstructGPT論文
• LLaMA-Factory

質問に応じて改訂する学習用の草稿。2026年10月12日。