講座報告主題：非均勻環境下的強化學習
專家姓名：史成春
日期：2023-09-18 時間：09:00
地點：數科院206
主辦單位：數學科學學院
主講簡介：Chengchun Shi is an Associate Professor at London School of Economics and Political Science. He is serving as the associate editors of JRSSB, JASA (T&M) and Journal of Nonparametric Statistics. His research focuses on developing statistical learning methods in reinforcement learning, with applications to healthcare, ridesharing, video-sharing and neuroimaging. He was the recipient of the Royal Statistical Society Research Prize in 2021. He also received the IMS travel awards in three years.研究專長：強化學習，統計推斷。
主講內容簡介：本文考慮在可能的非平穩環境中進行離線強化學習（RL）方法。文獻中許多現有的RL算法依賴于平穩性假設，該假設要求系統轉換和獎勵函數在時間上保持恒定。然而，實際情況下，平穩性假設是有限制性的，并且在許多應用中很可能被違反，包括交通信號控制、機器人技術和移動健康等領域。在本文中，我們基于預先收集的歷史數據，提出了一種一致的過程來測試最優策略的非平穩性，而無需額外的在線數據收集。基于提出的測試，我們進一步開發了一種順序變點檢測方法，可以與現有的最先進RL方法自然地結合，用于在非平穩環境中進行策略優化。我們的方法的有用性通過理論結果、仿真研究和來自2018年實習生健康研究的真實數據示例進行了說明。提出的方法的Python實現可在https://github.com/limengbinggz/CUSUM-RL ↗ 上找到。
歡迎師生參加！
