Programming by DemonstrationからAgent Workflowへ

「AIがシステムを探索して自動化programを作る」という発想は、LLMで突然生まれたものではない。Web automationではProgramming by Demonstration（PbD）の長い系譜がある。

PbDでは、人間が実際にweb taskを操作してみせ、そのdemonstrationから一般化されたautomation programを合成する。2022年のWebRobotはweb RPAをprogram synthesis問題として定式化し、user demonstrationからselectorやloopを含むprogramを合成した。76 benchmark中69を解いたと報告している。

2023年のDiLogicsは、固定した一種類のaction traceだけではなく、入力条件によって異なるlogicを扱うため、自然言語処理でtask stepをsemanticに分解し、それぞれへdemonstrated UI actionを対応づける。これにより「同じ処理をただ再生するmacro」から、条件の異なる仕様へ一般化する方向へ進んだ。

この系統の重要な特徴は、探索・指定のコストを最初に払い、その結果をprogramとして固定することにある。これはWebwrightはBrowser Agentの成果物を「セッション」から「コード」へ移したと非常に近い。違いは主として「誰が探索するか」で、PbDでは人間がdemonstrationを提供し、WebwrightではLLM agent自身がtrial-and-errorしながらcodeを開発する。

2025年のReUseItは、この対比を明示的に整理している。従来PbDは人間によるcareful demonstrationやcorrectionが必要で、task variationへの一般化にも限界がある。ReUseItは代わりにagent自身のsuccessful/failed attemptsからexecution guard付きworkflowを合成する。つまり、Programming by DemonstrationをProgramming by Agent Explorationへ寄せる方向と見ることができる。

同じ2025年のALLOYは逆に、人間によるdemonstrationの価値を再評価している。自然言語promptだけではprocedural preferenceを完全に記述しにくい場合があり、ユーザー操作からreusable workflowを作ることで意図を表現しやすくする。これは「AIが全部探索すれば人間の手順指定は不要」という単純な方向ではないことを示す。

したがって、現代のagent automationには少なくとも次の設計空間がある。

• 人間が自然言語SOPを書く → agentがruntimeで解釈する
• 人間が操作demonstrationを行う → systemがworkflow/programを合成する
• agentが自分で探索する → workflowを合成する
• agentが自分で探索する → executable codeを合成する

ここでBrowser Useは「人間のdemonstrationの代わりにagent自身が環境へ試行する」ための能力としても使える。つまりBrowser Useは自動化の最終実行方式であるだけでなく、自動化programを発見するための探索器にもなり得る。

出典

• Rui Dong et al., “WebRobot: Web Robotic Process Automation using Interactive Programming-by-Demonstration”, PLDI 2022: https://arxiv.org/abs/2203.09993
• Kevin Pu et al., “DiLogics: Creating Web Automation Programs With Diverse Logics”, UIST 2023: https://arxiv.org/abs/2308.05828
• Yimeng Liu et al., “ReUseIt: Synthesizing Reusable AI Agent Workflows for Web Automation”, 2025: https://arxiv.org/abs/2510.14308
• Jiawen Li et al., “ALLOY: Generating Reusable Agent Workflows from User Demonstration”, 2025: https://arxiv.org/abs/2510.10049