افزایش روزافزون تعداد خودروها و در پی آن ترافیک‌های سنگین شهری چالش بزرگی را برای کنترل بهینه ترافیک شهری برای مهندسین ایجاد کرده است. روش مناسب برای کنترل بهینه ترافیک هرچه باشد یقیناً باید وفق پذیر بوده تا بتواند ترافیک شهری را که دارای طبیعت پویا، پیچیده و تغییرپذیر است را به‌خوبی مدیریت نماید. در این راستا تمرکز اصلی تحقیق حاضر کنترل هوشمند و توزیع یافته چراغ‌های راهنمایی بر پایه یادگیری تقویتی است. کنترل هوشمند چراغ‌های راهنمایی بر پایه یادگیری تقویتی نیاز به یادگیری و تصمیم‌گیری در فضای حالت بزرگ (پیوسته) را دارد. همین امر باعث می‌شود که روش‌های رایج یادگیری تقویتی (حالت گسسته) برای چنین مسائلی (با فضای حالت بزرگ) به‌خوبی قابل بسط نباشند. هدف تحقیق حاضر حل این چالش در مسئله کنترل ترافیک میکروسکوپیک است. در همین راستا نوآوری تحقیق حاضر را می‌توان توسعه کنترلر هوشمند چراغ‌های راهنمایی بر پایه یادگیری تقویتی حالت پیوسته برای حل چالش بزرگ بودن فضای حالت برشمرد. یادگیری تقویتی حالت پیوسته از شباهت سنجی حالات برای تخمین ارزش آن‌ها استفاده می‌کند. در این تحقیق به‌منظور اعتبار سنجی، دو روش یادگیری Q و عملگر-نقاد حالت گسسته نیز پیاده‌سازی و عملکرد آن‌ها با روش پیشنهادی مقایسه شدند. نتایج نشان می‌دهند که روش پیشنهادی منجر به کاهش 16% و 13% زمان سفر در مقایسه با دو روش عملگر-نقاد و یادگیری Q می‌شود.