fa توسعه کنترلر هوشمند چراغ‌های راهنمایی بر پایه یادگیری تقویتی حالت پیوسته در محیط ترافیکی میکروسکوپیک تخصصي Special پژوهشي Research paper <div style="text-align: justify;">افزایش روزافزون تعداد خودروها و در پی آن ترافیک‌های سنگین شهری چالش بزرگی را برای کنترل بهینه ترافیک شهری برای مهندسین ایجاد کرده است. روش مناسب برای کنترل بهینه ترافیک هرچه باشد یقیناً باید وفق پذیر بوده تا بتواند ترافیک شهری را که دارای طبیعت پویا، پیچیده و تغییرپذیر است را به‌خوبی مدیریت نماید. در این راستا تمرکز اصلی تحقیق حاضر کنترل هوشمند و توزیع یافته چراغ‌های راهنمایی بر پایه یادگیری تقویتی است. کنترل هوشمند چراغ‌های راهنمایی بر پایه یادگیری تقویتی نیاز به یادگیری و تصمیم‌گیری در فضای حالت بزرگ (پیوسته) را دارد. همین امر باعث می‌شود که روش‌های رایج یادگیری تقویتی (حالت گسسته) برای چنین مسائلی (با فضای حالت بزرگ) به‌خوبی قابل بسط نباشند. هدف تحقیق حاضر حل این چالش در مسئله کنترل ترافیک میکروسکوپیک است. در همین راستا نوآوری تحقیق حاضر را می‌توان توسعه کنترلر هوشمند چراغ‌های راهنمایی بر پایه یادگیری تقویتی حالت پیوسته برای حل چالش بزرگ بودن فضای حالت برشمرد. یادگیری تقویتی حالت پیوسته از شباهت سنجی حالات برای تخمین ارزش آن‌ها استفاده می‌کند. در این تحقیق به‌منظور اعتبار سنجی، دو روش یادگیری Q و عملگر-نقاد حالت گسسته نیز پیاده‌سازی و عملکرد آن‌ها با روش پیشنهادی مقایسه شدند. نتایج نشان می‌دهند که روش پیشنهادی منجر به کاهش 16% و 13% زمان سفر در مقایسه با دو روش عملگر-نقاد و یادگیری Q می‌شود.</div> <div style="text-align: justify;">The daily increase of a number of vehicles in big cities poses a serious challenge to efficient traffic control. The suitable approach for optimum traffic control should be adaptive in order to successfully content with the urban traffic that has the dynamic and complex nature. Within such a context, the major focus of this research is developing a method for adaptive and distributed traffic signal control based on reinforcement learning (RL). RL as a promising approach for generating, evaluating, and improving traffic signal decision-making solutions is beneficial and synergetic. RL-embedded traffic signal controller has the capability to learn through experience by dynamically interacting with the traffic environment in order to reach its goals. Traffic signal control often requires dealing with continuous state defined by means of continuous variables. Conventional RL methods do not scale well to problems with continuous state space or very large state space because they require storing distinct estimations of each state value in lookup tables. The contribution of the present research is developing adaptive traffic signal controllers based on continuous state RL for handling the big state space challenge arises in traffic control. The performance of the proposed method is compared with Q-learning and actor-critic and the results reveal that the proposed method outperforms others.</div> : یادگیری تقویتی پیوسته, یادگیری Q, عملگر-نقاد, ناحیه بندی فضا و کنترل میکروسکوپیک ترافیک Continuous State Reinforcement Learning, Q-Learning, Actor-Critic, Microscopic Traffic Control 9 21 http://joc.kntu.ac.ir/browse.php?a_code=A-10-328-2&slc_lang=fa&sid=1 Mohammad Aslani محمد اصلانی maslani@mail.kntu.ac.ir 10031947532846004054 10031947532846004054 Yes Faculty of Geodesy and Geomatics Eng. K.N.Toosi University of Technology دانشگاه صنعتی خواجه نصیرالدین طوسی Mohammad Saadi Mesgari محمد سعدی مسگری mesgarii@kntu.ac.ir 10031947532846004055 10031947532846004055 No Faculty of Geodesy and Geomatics Eng. K.N.Toosi University of Technology دانشگاه صنعتی خواجه نصیرالدین طوسی