با پیشرفت‌های هوش مصنوعی در در دهۀ اخیر، استفاده از دادۀ تصویری و ویدیویی و فن‌آوری‌های مبتنی بر پردازش تصویر برای خودکارسازی روش‌های جراحی و آموزش آن، رونق یافته است. امروزه در بیش‌ترِ اتاق‌های عمل از یک یا چند دوربین و یا دستگاه ثبت اطلاعات استفاده می‌شود تا دادۀ مهم پزشکی برای انجام تحلیل‌های بعدی ذخیره شوند. از این اطلاعات تصویری می‌توان برای طراحی و توسعۀ سامانه‌های خودکار هدایت تصویری با هدف کمک به پزشک متخصص حین جراحی و آموزش آن استفاده کرد. هم‌چنین، این سامانه‌ها می‌توانند به‌عنوان مغز ابزارهای رباتیکی کمک‌جراح فعالیت کنند. یک سامانۀ هدایت تصویری جراحی نیاز به قسمت‌های مختلفی دارد. از مهم‌ترین این قسمت‌ها می‌توان به تشخیص، بخش‌بندی و ردیابی ابزارها و نواحی مهم جراحی، تشخیص مراحل، حرکات و ژست‌ها، و تشخیص مهارت‌های جراحی اشاره کرد. خودکارکردن این بخش‌ها با استفاده از پردازش تصویر و بینایی ماشین کمک می‌کند، تا سامانه درک مستقل و عمیقی از صحنۀ جراحی داشته باشد. در این مقاله ابتدا تعدادی از مجموعه‌داده‌های‌ تصویری مهم مربوط به جراحی معرفی شده، و سپس شماری از پژوهش‌های اثرگذار در زمینۀ پردازش تصویر و بینایی ماشین در کاربردهای ذکرشده با هدف ایجاد اجزای یک سامانۀ خودکار هدایت تصویری جراحی، معرفی شده و زمینه های تحقیقاتی پیش رو معرفی می‌شوند.