fa یادگیری تقویتی چندعاملی مشارکتی در محیط‌های پویا بر اساس انتقال دانش برای مسأله گله‌داری تخصصي Special پژوهشي Research paper <div style="text-align: justify;"><span dir="RTL">امروزه، برای حل بسیاری از مسائل، از سیستم&shy;های چندعاملی مشارکتی استفاده می&shy;شود که در آن گروهی از عامل&shy;ها </span><span dir="RTL">برای رسیدن به یک هدف مشترک</span><span dir="RTL"> همکاری می‌کنند. همکاری میان عامل&shy;ها، فوایدی همچون کاهش هزینه&shy;های عملیاتی، مقیاس&shy;پذیری بالا و سازگاری قابل‌توجه را به ارمغان خواهد آورد. برای آموزش این عامل&shy;ها در رسیدن به یک سیاست بهینه، از یادگیری تقویتی بهره می&shy;جویند. یادگیری در محیط&shy;های چندعاملی مشارکتی پویا، غیرقطعی و با اندازه فضای حالت بزرگ به یک چالش بسیار مهم در برنامه&shy;های کاربردی تبدیل‌شده است. ازجمله این چالش&shy;ها می‌توان به تأثیر اندازه فضای حالت بر مدت زمان یادگیری و همچنین همکاری ناکارآمد میان عامل&shy;ها و عدم وجود هماهنگی مناسب در تصمیم‌گیری عامل&shy;ها اشاره کرد. همچنین هنگام استفاده از الگوریتم&shy;های یادگیری تقویتی نیز با چالش&shy;هایی نظیر</span> <span dir="RTL">دشواری تعیین هدف یادگیری مناسب و زمان طولانی همگرایی ناشی از یادگیری مبتنی بر آزمایش و خطا مواجه خواهیم بود. در این مقاله، با معرفی یک چارچوب ارتباطی برای سیستم&shy;های چندعاملی مشارکتی، تلاش شده چالش&shy;های فوق تا حدی برطرف شود. در راستای حل مشکلات مربوط به همگرایی، انتقال دانش به کار برده شده است که می‌تواند به شکل قابل‌توجهی در افزایش کارایی الگوریتم‌های یادگیری تقویتی موثر واقع شود. همکاری میان عامل‌ها با استفاده از عامل سرگروه و هماهنگی میان آنان توسط یک عامل هماهنگ‌کننده صورت می‌پذیرد. چارچوب پیشنهادی برای حل مسأله گله‌داری به کار رفته است و نتایج تجربی افزایش کارایی عامل‌ها را نشان می‌دهند.</span></div> <div style="text-align: justify;">Nowadays, collaborative multi-agent systems in which a group of agents work together to reach a common goal, are used to solve a wide range of problems. Cooperation between agents will bring benefits such as reduced operational costs, high scalability and significant adaptability. Usually, reinforcement learning is employed to achieve an optimal policy for these agents. Learning in collaborative multi-agent dynamic environments with large and stochastic state spaces has become a major challenge in many applications. These challenges include the effect of size of state space on learning time, ineffective collaboration between agents and the lack of appropriate coordination between decisions of agents. On the other hand, using reinforcement learning has challenges such as the difficulty of determination the appropriate learning goal or reward and the longtime of convergence due to the trial and error in learning. This paper, by introducing a communication framework for collaborative multi-agent systems, attempts to address some of these challenges in herding problem. To handle the problems of convergence, knowledge transfer has been utilized that can significantly increase the efficiency of reinforcement learning algorithms. Cooperation and Coordination and between the agents is carried out through the existence of a head agent in each group of agents and a coordinator agent respectively. This framework has been successfully applied to herding problem instances and experimental results have revealed a significant improvement in the performance of agents.</div> سیستم‌های چندعامله مشارکتی, یادگیری تقویتی, انتقال دانش, مساله گله‌داری Collaborative multi-agent system, Reinforcement learning, Knowledge transfer, Herding problem. 55 66 http://joc.kntu.ac.ir/browse.php?a_code=A-10-253-1&slc_lang=fa&sid=1 Amin Nikanjam امین نیک انجام nikanjam@kntu.ac.ir 10031947532846008206 10031947532846008206 Yes K. N. Toosi University of Technology گروه هوش مصنوعی،دانشکده‌ی مهندسی کامپیوتر،دانشگاه صنعتی خواجه نصیرالدین طوسی، تهران، ایران Monireh Abdoos منیره عبدوس M_Abdoos@sbu.ac.ir 10031947532846008207 10031947532846008207 No Shahid Beheshti University گروه هوش مصنوعی، رباتیک و رایانش شناختی،دانشکده‌ی مهندسی و علوم کامپیوتر،دانشگاه شهید بهشتی،تهران، ایران Mahnoosh Mahdavi Moghadam ماهنوش مهدوی مقدم mahnooshmahdavi2012@gmail.com 10031947532846008208 10031947532846008208 No K. N. Toosi University of Technology گروه هوش مصنوعی،دانشکده‌ی مهندسی کامپیوتر،دانشگاه صنعتی خواجه نصیرالدین طوسی، تهران، ایران