わりと最近にMCPというAI言語モデルからプログラムを操作させるための共通規格ができたから、言葉でロールプレイしつつ画面上のキャラクターを制御させるというのが作りやすくはなったと思う