AI Economistは人々が適応する共有ルールをどう学ぶか

共有ルールが変わると、人の行動が変わります。その適応が、ルールの成果も変えます。SalesforceのAI Economistは、このループを二層の強化学習で明示した研究です。

経済の質問に答えるLLMではありません。経済agentsが資源採集、取引、建設を学び、別のsocial plannerが税率を学びます。個人とplannerの目的は別です。

資源と取引を持つ世界

主な模型では、agentsが格子を移動し、木と石を採り、市場へ注文を出し、家を建ててcoinを得ます。技能や資源へのアクセスは異なります。建設技能の低い主体が、技能の高い主体へ資源を売る分業が生じます。行動にはlabor負担があります。

在庫、注文、escrow、労働、税の状態はコードが更新します。言葉で取引や資金を創作できません。plannerは税期の初めに七つの限界税率を設定し、期末に徴収して均等に再配分します。観測とaction maskが、知識と可能な操作を決めます。

税は本人だけに作用しません。高技能の建設者が活動を減らせば、資源への需要が減り、売り手の所得にも影響します。行動を固定したまま制度を評価すると、こうした波及を見逃します。

二層の目的と学習

個人効用は、限界効用の逓減するcoin保有からlabor負担を引いたものです。coinは模型の富のproxyで、実生活の経済的健康ではありません。

plannerの目的の一つは、normalized Giniの補数と総coinを掛けた平等×生産性です。別の目的は、低保有者を重く見る効用の合計です。何を社会の目的にするかは設計者の価値判断で、AIが自動発見したものではありません。

住民は重みを共有しつつ別の観測と記憶状態を持ち、plannerは別のpolicyを持ちます。PPOで双方を更新する共同適応です。個人の最適応答や均衡を厳密に解いてからplannerを更新する証明付きsolverではありません。

双方が変わるため学習は不安定です。無税の経済から住民を学び、その後で許される税率を徐々に広げます。初期の高税率が、学ぶべき経済行動を潰すのを避けるためです。

何が実証されたか

特定の模型と目的で、無税、縮尺した米国税制、Saez型との比較を行っています。2020年のheadlineと2021年拡張版の数字は別実験です。小さな人間実験では、変更されたゲームへ固定税率を移し、bracketを再調整しています。国家税制で生活を改善した実証とは違います。

最終論文は2022年のScience Advances。公開repoはarchivedで旧訓練stackを使います。Managerはcomponent分離、会計、行動制約、住民の適応、群別評価を学べます。最初から巨大なPPO学習を再現する必要はありません。

健康、時間、自由、他の生命への影響はそれぞれ測定が必要です。scalar rewardを最適化するだけでは、全生命への恩恵は証明されません。

出典: 2020論文、拡張論文、Science Advances、固定ソース。旧公式ブログは今回取得できず、方法の説明は論文とコードに基づきます。