دوره 13، شماره 3 - ( مجله کنترل، جلد 13، شماره 3، پاییز 1398 )
جلد 13 شماره 3,1398 صفحات 39-29 |
برگشت به فهرست نسخه ها
Download citation:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
Rajabi S, Mousavinia A. Persian sign language detection based on normalized depth image information. JoC 2019; 13 (3) :29-39
URL: http://joc.kntu.ac.ir/article-1-613-fa.html
URL: http://joc.kntu.ac.ir/article-1-613-fa.html
رجبی شهاب، موسوی نیا امیر. تشخیص الفبای دستی فارسی ناشنوایان مبتنی بر اطلاعات نرمال سازی شده در تصاویر ژرفا. مجله کنترل. 1398; 13 (3) :29-39
شهاب رجبی1 
، امیر موسوی نیا* 1
، امیر موسوی نیا* 1
1- دانشگاه صنعتی خواجه نصیرالدین طوسی
چکیده: (6208 مشاهده)
پس از ارائه دستگاه کینکت، محصول شرکت مایکروسافت گزارشهای بسیاری از کاربرد این دستگاه در تشخیص حالت دست و انگشتان منتشر شده-است. در بیشتر این کاربرد ها اطلاعات ژرفا تنها برای جداسازی تصویر دست از پس زمینه استفاده شده و پردازش اصلی بر روی تصاویر ویدیویی و در فضای دو بعدی انجام شده¬است. در این مقاله روشی ارائه می¬شود که اطلاعات ژرفا نقش پر رنگ تری در پردارش دارند. با کمک روش آستانه گذاری مبتنی بر ژرفا، ابتدا قالب دست شخص در فضای سه بعدی استخراج می¬شود. سپس در فضای سه بعدی، راستای عمود برکف دست پیدا شده و با استفاده از ماتریسهای دوران و انتقال، این راستا با راستای دوربین همسو می¬شود. به این ترتیب دورانهای دست حول محورهای پیچ و یاو از تصویر حذف شده و با استفاده از ماتریس انتقال، تصویر دست در فاصله مشخصی از دوربین قرار می¬گیرد. در مرحله بعد، از دو ابزار تبدیل موجک و یک توصیفگر جدید به نام توصیفگر دایروی که در این سیستم معرفی شده¬است برای استخراج ویژگی ها استفاده می¬شود. یک شبکه های عصبی، غربالگری اولیه را در ویژگی های استخراج شده توسط تبدیل موجک انجام داده و سپس توصیفگر دایروی با استفاده از ماشین بردار پشتیبان بازشناسی حرف موردنظر را به اتمام می¬رساند. در آزمایشهای عملی با کمک اطلاعات برخط سنسور کینکت دقت شناسایی حروف الفبای فارسی %7/96 و تاخیر 2 ثانیه برای هر علامت بدست آمده¬است.
فهرست منابع
1. 1] Moghadam M., Nahvi, M. Hassanzadeh, 2011, "Static Persian Sign Language Recognition Using Kernel-Based Feature Extraction", 7th Iranian IEEE Machine Vision and Image Processing (MVIP). [DOI:10.1109/IranianMVIP.2011.6121539]
2. [2] Wang, L. C., Wang, R., Kong, D., Yin, B., 2014, "Similarity Assessment Model for Chinese Sign Language Videos", IEEE Transaction on Multimedia, 16, pp.751 - 761. [DOI:10.1109/TMM.2014.2298382]
3. [3] Huang, J., Zhou, W., Li, H., Li, W., 2015, "Sign language recognition using 3d 1430 convolutional neural networks", Multimedia and Expo (ICME), IEEE International Conference on IEEE, pp.1-6.
4. [4] Agris, U, V., Zieren, J., Canzler, U., Bauer, B., Kraiss, K. 2008, "Recent developments in visual sign language recognition", Universal Access in the Information Society, 6(4), pp.323-362. [DOI:10.1007/s10209-007-0104-x]
5. [5] Shah, N, K., Rathod, R, K., Agravat, J, S. 2014, "A survey on Human Computer Interaction Mechanism Using Finger Tracking", International Journal of Computer Trends and Technology (IJCTT). 7(3), pp. 174-177. [DOI:10.14445/22312803/IJCTT-V7P148]
6. [6] Verma, H. V., Aggarwal, E., Chandra, S., 2013, "Gesture recognition using kinect for sign language translation", IEEE Second International Conference on IEEE Image Information Processing (ICIIP). [DOI:10.1109/ICIIP.2013.6707563]
7. [7] Yang, H.D., 2014, "Sign language recognition with the kinect sensor based on conditional random fields", Sensors 15(1), pp.135-147. [DOI:10.3390/s150100135]
8. [8] Sun, C., Zhang, T., Bao, B., Xu, C., Mei, T., 2013, "Discriminative Exemplar Coding for Sign Language Recognition with Kinect", IEEE Transaction on Cybernetics, 43, pp.1418 - 1428. [DOI:10.1109/TCYB.2013.2265337]
9. [9] Li, S.Z., Yu, B., Wu, W., Su, S.Z., Ji, R.R., 2015, "Feature learning based on SAE-PCA network for human gesture recognition in rgbd images", Neurocomputing, 151, pp.565-573. [DOI:10.1016/j.neucom.2014.06.086]
10. [10] Liu, T., Zhou, W., Li, H., 2016, "Sign language recognition with long short-term memory", IEEE International Conference on Image Processing (ICIP), pp.2871-2875. [DOI:10.1109/ICIP.2016.7532884]
11. [11] Almeida, S.G.M., Guimar˜aes, F.G., Ram'ırez, J.A., 2014, "Feature extraction in Brazilian sign language recognition based on phonological structure and using rgb-d sensors", Expert Systems with Applications, 41, pp.7259-7271. [DOI:10.1016/j.eswa.2014.05.024]
12. [12] Lim, M.K., Tan, W.C. A., Tan, C.S., 2016, "A feature covariance matrix with serial particle filter for isolated sign language recognition", Expert Systems with Applications, 54, pp.208-218. [DOI:10.1016/j.eswa.2016.01.047]
13. [13] Zhao, R., Martinez, M. A., 2016, "Labeled Graph Kernel for Behavior Analysis", IEEE Transaction on Pattern Analysis and Machine Intelligence, 38, pp.1640 - 1650. [DOI:10.1109/TPAMI.2015.2481404]
14. [14] Elakkiya, R., Selvamani, K. 2017, "Enhanced dynamic programming approach for subunit modelling to handle segmentation and recognition ambiguities in sign language", Journal of Parallel and Distributed Computing.
15. [15] Karami, A., Zanj B., Kiani A. 2011, "Persian sign language (PSL) recognition using wavelet transform and neural networks", Expert Systems with Applications, 38(3), pp.2661-2667. [DOI:10.1016/j.eswa.2010.08.056]
16. [16] Wang, C., Liu, Z., Chan S., 2015, "Superpixel-Based Hand Gesture Recognition with Kinect Depth Camera", IEEE Transaction on Multimedia, 17, pp. 29 - 39. [DOI:10.1109/TMM.2014.2374357]
17. [17] Neiva D. H., Zanchettin C. 2018, "Gesture Recognition: a Review Focusing on Sign Language in a Mobile Context", Expert Systems with Applications.
18. [18] Albrecht, I., Haber, J., Seidel, H. 2003, "Construction and animation of anatomically based human hand models", Proceedings of ACM SIGGRAPH / Eurographics Symposium on Computer Animation SCA '03, pp.98-109.
19. [19] Caillette, F., Galata, A., Howard, T., 2008, "Real-time 3-d human body tracking using learnt models of behavior", CVIU, 109(2), pp 112-125. [DOI:10.1016/j.cviu.2007.05.005]
20. [20] Francke, H., Solar J, R., Verschae, R., 2007, "Real time hand gesture detection and recognition using boosted classifiers and active learning", Advances in Image and Video Technology, 4872, pp.533-547. [DOI:10.1007/978-3-540-77129-6_47]
21. [21] Krotosky, S., Trivedi, M., 2006, "Registration of Multimodal Stereo Images Using Disparity Voting from Correspondence Windows", IEEE International Conference on Video and Signal Based Surveillance. pp. 91-91. [DOI:10.1109/AVSS.2006.98]
22. [22] Markelj, P., Tomaževič, D., Likar, B., Pernuša, F. 2012, "A review of 3D/2D registration methods for image-guided interventions", Medical image analysis, 16(3), pp.642-661. [DOI:10.1016/j.media.2010.03.005]
23. [23] Pizzoli, M., Forster, C., Scaramuzza, D. 2014, "REMODE: Probabilistic, monocular dense reconstruction in real time", IEEE International Conference on Robotics and Automation (ICRA). [DOI:10.1109/ICRA.2014.6907233]
24. [24] Craig, J, J. 2009, Introduction to Robotics: Mechanics and Control (3rd Edition).
25. [25] Van den Bergh, M., Van Gool L., 2011, "Combining RGB and ToF cameras for real-time 3D hand gesture interaction", IEEE Workshop on Applications of Computer Vision (WACV). [DOI:10.1109/WACV.2011.5711485]
26. [26] Vogl, T. P., Mangis, J.K., Rigler, A.K., Zink, W.T., Alkon, D.L. 1988, "Accelerating the convergence of the backpropagation method", Biological Cybernetics, 59, pp.257-263. [DOI:10.1007/BF00332914]
27. [27] M. T., Demuth, H. B., Beale, M. H., De Jesús O., Neural network design, 2nd edition, Hagan, (2014),
28. [28] Duda, R. O., Hart, P. E., Stork, D. G., 1973, "Pattern classification", Journal of Classification, 24, pp.305-307.
29. [29] Fukunaga, Keinosuke, Introduction to statistical pattern recognition, Elsevier, 2013.
ارسال پیام به نویسنده مسئول
| بازنشر اطلاعات | |
 |
این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است. |
