fa راهکارکنترل مقاوم مبتنی بر یادگیری تقویتی به منظور توانبخشی حرکتی بازوی دست تخصصي Special پژوهشي Research paper توانبخشی حرکتی از مباحث مورد توجه محققان است. در اینتحقیق، یک راهکار کنترلی به منظور کنترل حرکت مدلی از بازوی دست با سه مفصل ارائه شده است. در مدل مورد استفاده، اثر فعالسازی همزمان عضلات آگونیست و آنتاگونیست مفصل مچ دست با استفاده از مکانیزم فریز سازی لحاظ شده است. با الهام از عملکرد سیستم اعصاب مرکزی در کسب مهارتهای حرکتی، راهکار کنترلی ارئه شده مبتنی بر یکی از الگوریتم های یادگیری تقویتی توسعه داده شده است. ابتدا کارایی کنترل کننده کلاسیک مبتنی بر یادگیری تقویتی به منظور کنترل حرکت دست به سمت یک هدف مشخص، مورد ارزیابی قرار گرفت. نتایج نشان دادند که چنین کنترل کننده ای نمی تواند حتی بازای پس چندین اپیزود پایداری سیستم را حفظ نماید. در مرحله بعد به منظور بهبود وضعیت پایداری و همچنین کارایی کنترل کننده، ترکیبی از کنترل کننده تناسبی-انتگرالی-مشتقی (PID) و کنترل کننده مبتنی بر یادگیری تقویتی ارائه و مورد ارزیابی قرار گرفت. کنترل کننده PID در کنار یادگیری تقویتی کارایی خوبی داشته است، اما به لحاظ تئوری تضمینی برای اثبات پایداری وجود ندارد. لذا به منظور بهبود شرایط پایداری سیستم کنترل، از ترکیب کنترل کننده HTC و کنترل کننده PID همراه با کنترل کننده مبتنی بر راهکار یادگیری تقویتی استفاده شده است. به این ترتیب پایداری سیستم کنترل حلقه بسته مبتنی تئوری لیاپانوف تضمین شده است. نتایج نشان دادند که کنترل کننده ترکیبی با استفاده از HTC در برابر اغتشاش خارجی و تغییرات تصادفی پارامترهای سیستم، کارایی بسیار خوبی داشته است. پس از شبیه سازی-های کامپیوتری، به منظور ارزیابی کاملتر راهکار کنترلی پیشنهادی، آزمایش های انسانی طراحی و انجام شدند. در آزمایش های انسانی الگوی فعالیت عضلات مفاصل دست، طی عملکرد حرکت دست با استفاده از سیگنال های الکترومایوگرام عضلات، استخراج شدند. نتایج نشان می دهند که همزمانی قابل ملاحظه ای بین بازه زمانی مربوط به فعالیت و عدم فعالیت تغییرات سیگنال خروجی کنترل کننده در مطالعات شبیه سازی با الگوی فعالیت عضلات دست فرد سالم وجود دارد. In this research, a control strategy has been presented to movement control of a three link model of human’s arm. The freezing mechanism has been used to consider the role of antagonistic coactivation of wrist muscles in the used three link model. Inspired by motor learning process of central nervous system, the presented control strategy has been designed based on the reinforcement learning algorithm. At first, the performance of a control methodology based on reinforcement learning was evaluated. The results show the instability of control system even after numbers of leaning episode. Then, a combination of a proportional derivative integral (PID) controller and a reinforcement learning based controller were utilizedtoimprove the stability conditions and performance of controller. Despite the good performance, there is no guarantee for stability of control system. So, to satisfy the stability conditions, a robust controller called HTC was added to thecombination of a PID controller and a reinforcement learning based controller. According to the simulation results, the combinational controller accompany by HTC had good performance even in presence of external disturbance, measurement noise and random changes of model parameters. For more assessments, the muscle activation profile of involved muscles during the arm movement of an intact subject was compared with control signals obtained through the simulation studies. The results show an interesting timing synchronization between the activation and deactivation timing of control signals and muscle activation profiles. کنترل کننده تناسبی-انتگرالی -مشتقی, کنترل کننده مقاوم (HTC), مدل بازوی سه مفصل, مکانیزم فریزسازی, یادگیری تقویتی proportional derivative integral controller, robust controller (HTC), three link model of human’s arm, freezing mechanism, reinforcement learning 17 30 http://joc.kntu.ac.ir/browse.php?a_code=A-10-1-55&slc_lang=fa&sid=1 Zahra Hasanzadeh Binabidi زهرا حسن زاده بنابیدی hasanzadeh_67511@yahoo.com 1003194753284600950 1003194753284600950 No گروه مهندسی پزشکی، دانشگاه آزاد اسلامی، واحد مشهد Hamidreza Kobravi حمیدرضا کبروی hkobravi@mshdiau.ac.ir 1003194753284600951 1003194753284600951 Yes گروه مهندسی پزشکی، دانشگاه آزاد اسلامی، واحد مشهد Saeed Toosizadeh سعید طوسی زاده saeedtoosizadeh@yahoo.com 1003194753284600952 1003194753284600952 No گروه مهندسی برق، دانشگاه آزاد اسلامی، واحد مشهد Reza Boostani رضا بوستانی BoostaniR@mums.ac.ir 1003194753284600953 1003194753284600953 No گروه مغز و اعصاب، دانشگاه علوم پزشکی مشهد