fa یک الگوریتم تکراری برای حل مسایل کنترل بهینه تصادفی با استفاده از زنجیر مارکوف تخصصي Special پژوهشي Research paper <p>در این مقاله، یک روش عددی برای حل مساله کنترل بهینه تصادفی با استفاده از زنجیرهای مارکوف ارائه شدهاست. بدین ترتیب که، ابتدا فرایند پخش کنترلی وضعیت سیستم با استفاده از یک زنجیر مارکوف کنترلی روی یک فضای وضعیت متناهی تقریب زده میشود. سپس تقریبی از تابع هزینه اولیه با استفاده از این زنجیر مارکوف تقریبی، بهدست میآید. برای اثبات همگرایی روش و یافتن یک زنجیر مارکوف تقریبی مناسب برای فرایند پخش، باید دو معیار مورد بررسی قرار گیرد. به عبارتی باید امید ریاضی و کوواریانس شرطی تغییرات وضعیت زنجیر مارکوف با میانگین و کوواریانس موضعی فرایند پخش اولیه متناسب باشند. با استفاده از تقریبات تفاضلات متناهی میتوان احتمالات انتقال و بازههای زمانی تغییر وضعیت زنجیر مارکوف را به گونهای تعیین کرد که زنجیر مارکوف در دو ویژگی سازگاری موضعی فوق صدق کند. در ادامه معادله برنامهریزی پویا با زنجیر مارکوفی که بدین ترتیب بهدست آمده و دارای این ویژگیهای میباشد، تقریب زده میشود. نهایتاً، با میل دادن پارامتر گسسته سازی زنجیر مارکوف به صفر، مشاهده میشود که جواب مسئله کنترل تصادفی تقریبی زنجیر مارکوف، به جواب مسئله کنترل بهینه تصادفی اولیه همگرا میباشد. در پایان یک الگوریتم تکراری برای حل مساله کنترل بهینه تصادفی پیشنهاد شده و از آن برای حل یک مثال استفاده شده است.</p> <p>In this paper, a numerical method for solving stochastic optimal control problem by using Markov chain approximation method has presented. The basic idea of the Markov chain approximation method is to approximate the original controlled process by an appropriate controlled Markov chain on a finite state space. Also, we need to approximate the original cost function by one which is appropriate for the approximating chain. These approximations should be chosen such that a good numerical approximation to the associated optimal control problem can be obtained, which means the conditional mean and covariance of the changes in state of the chain are proportional to the local mean drift and covariance for the original process. The finite difference approximations are used to the construction of locally consistent approximating Markov chain, the coefficients of the resulting discrete equation can serve as the desired transition probabilities and interpolation interval. The convergence is analogous to the convergence of a sequence of finite difference or finite element approximations to an original problem as the approximation interval goes to zero. Finally, we propose an iterative algorithm for solving stochastic optimal control and efficiency of the proposed algorithm is illustrated by an example.</p> مساله کنترل بهینه تصادفی, زنجیر مارکوف, روش عددی, الگوریتم تکراری. solving stochastic optimal control problem, Markov chain approximation, Numerical method, iterative algorithm 35 43 http://joc.kntu.ac.ir/browse.php?a_code=A-10-293-2&slc_lang=fa&sid=1 Behzad Kafash بهزاد کفاش Bkafash@ardakan.ac.ir 10031947532846003179 10031947532846003179 Yes دانشگاه اردکان Zahra Nikoeenezhad زهرا نیکویی نژاد Nikoueinezhad@yahoo.com 10031947532846003180 10031947532846003180 No دانشگاه یزد Ali Delavarkhalafi علی دلاورخلفی Delavarkh@yazd.ac.ir 10031947532846003181 10031947532846003181 No دانشگاه یزد