創澤機器人
CHUANGZE ROBOT
 
  當前位置:首頁 > 新聞資訊 > 機器人開發 > 深度學習在術前手術規劃中的應用  
 

深度學習在術前手術規劃中的應用

來源:--      編輯:創澤      時間:2020/5/6      主題:其他   [加盟]

外科手術的進步對急性和慢性疾病的管理,延長壽命和不斷擴大生存範圍都產生了重大影響。如圖1所示,這些進步得益於診斷,成像和外科器械的持續技術發展。這些技術中,深度學習對推動術前手術規劃尤其重要。手術規劃中要根據現有的醫療記錄來計劃手術程序,而成像對於手術的成功至關重要。在現有的成像方式中,X射線,CT,超聲和MRI是實際中最常用的方式。基於醫學成像的常規任務包括解剖學分類,檢測,分割和配準。

圖1:概述了流行的AI技術,以及在術前規劃,術中指導和外科手術機器人學中使用的AI的關鍵要求,挑戰和子區域。

1、分類

分類輸出輸入的診斷值,該輸入是單個或一組醫學圖像或器官或病變體圖像。除了傳統的機器學習和圖像分析技術,基於深度學習的方法正在興起[1]。對於後者,用於分類的網絡架構由用於從輸入層提取信息的卷積層和用於回歸診斷值的完全連接層組成。

例如,有人提出了使用GoogleInception和ResNet架構的分類管道來細分肺癌,膀胱癌和乳腺癌的類型[2]。Chilamkurthy等證明深度學習可以識別顱內出血,顱骨骨折,中線移位和頭部CT掃描的質量效應[3]。與標準的臨床工具相比,可通過循環神經網絡(RNN)實時預測心髒外科手術後患者的死亡率,腎衰竭和術後出血[4]。ResNet-50和Darknet-19已被用於對超聲圖像中的良性或惡性病變進行分類,顯示出相似的靈敏度和更高的特異性[5]。

2、檢測

檢測通常以邊界框或界標的形式提供感興趣區域的空間定位,並且還可以包括圖像或區域級別的分類。同樣,基於深度學習的方法在檢測各種異常或醫學狀況方麵也顯示出了希望。用於檢測的DCNN通常由用於特征提取的卷積層和用於確定邊界框屬性的回歸層組成。

為了從4D正電子發射斷層掃描(PET)圖像中檢測前列腺癌,對深度堆疊的卷積自動編碼器進行了訓練,以提取統計和動力學生物學特征[6]。對於肺結節的檢測,提出了具有旋轉翻譯組卷積(3D G-CNN)的3D CNN,具有良好的準確性,靈敏度和收斂速度[7]。對於乳腺病變的檢測,基於深度Q網絡擴展的深度強化學習(DRL)用於從動態對比增強MRI中學習搜索策略[8]。為了從CT掃描中檢測出急性顱內出血並改善網絡的可解釋性,Lee等人[9]使用注意力圖和迭代過程來模仿放射科醫生的工作流程。

3、分割

分割可被視為像素級或體素級圖像分類問題。由於早期作品中計算資源的限製,每個圖像或卷積都被劃分為小窗口,並且訓練了CNN來預測窗口中心位置的目標標簽。通過在密集采樣的圖像窗口上運行CNN分類器,可以實現圖像或體素分割。例如,Deepmedic對MRI的多模式腦腫瘤分割顯示出良好的性能[10]。但是,基於滑動窗口的方法效率低下,因為在許多窗口重疊的區域中會重複計算網絡功能。由於這個原因,基於滑動窗口的方法最近被完全卷積網絡(FCN)取代[11]。關鍵思想是用卷積層和上采樣層替換分類網絡中的全連接層,這大大提高了分割效率。對於醫學圖像分割,諸如U-Net [12][13]之類的編碼器-解碼器網絡已顯示出令人鼓舞的性能。編碼器具有多個卷積和下采樣層,可提取不同比例的圖像特征。解碼器具有卷積和上采樣層,可恢複特征圖的空間分辨率,並最終實現像素或體素密集分割。在[14]中可以找到有關訓練U-Net進行醫學圖像分割的不同歸一化方法的綜述。

對於內窺鏡胰管和膽道手術中的導航,Gibson等人 [15]使用膨脹的卷積和融合的圖像特征在多個尺度上分割來自CT掃描的腹部器官。為了從MRI進行胎盤和胎兒大腦的交互式分割,將FCN與用戶定義的邊界框和塗鴉結合起來,其中FCN的最後幾層根據用戶輸入進行了微調[16]。手術器械界標的分割和定位被建模為熱圖回歸模型,並且使用FCN幾乎實時地跟蹤器械[17]。對於肺結節分割,Feng等通過使用候選篩選方法從弱標記的肺部CT中學習辨別區域來訓練FCN,解決了需要精確的手動注釋的問題[18]。Bai等提出了一種自我監督的學習策略,以有限的標記訓練數據來提高U-Net的心髒分割精度[19]。

4、配準

配準是兩個醫學圖像,體積或模態之間的空間對齊,這對於術前和術中規劃都特別重要。傳統算法通常迭代地計算參數轉換,即彈性,流體或B樣條曲線模型,以最小化兩個醫療輸入之間的給定度量(即均方誤差,歸一化互相關或互信息)。最近,深度回歸模型已被用來代替傳統的耗時和基於優化的注冊算法。

示例性的基於深度學習的配準方法包括VoxelMorph,它通過利用基於CNN的結構和輔助分割來將輸入圖像對映射到變形場,從而最大化標準圖像匹配目標函數[20]。提出了一個用於3D醫學圖像配準的端到端深度學習框架,該框架包括三個階段:仿射變換預測,動量計算和非參數細化,以結合仿射配準和矢量動量參數化的固定速度場[21]。提出了一種用於多模式圖像配準的弱監督框架,該框架對具有較高級別對應關係的圖像(即解剖標簽)進行訓練,而不是用於預測位移場的體素級別轉換[22]。每個馬爾科夫決策過程都由經過擴張的FCN訓練的代理商進行,以使3D體積與2D X射線圖像對齊[23]。RegNet是通過考慮多尺度背景而提出的,並在人工生成的位移矢量場(DVF)上進行了培訓,以實現非剛性配準[24]。3D圖像配準也可以公式化為策略學習過程,其中將3D原始圖像作為輸入,將下一個最佳動作(即向上或向下)作為輸出,並將CNN作為代理[25]。

參考文獻: 
[1]   G. Litjens, T. Kooi, B. E.Bejnordi, A. A. A. Setio, F. Ciompi, M. Ghafoorian, J. A. Van Der Laak, B. VanGinneken, and C. I. Sa′nchez, “A survey on deep learning in medical image analysis,” Medical Image Analysis, vol. 42, pp. 60–88, 2017.
[2]   P. Khosravi, E. Kazemi, M.Imielinski, O. Elemento, and I. Hajirasouliha, “Deep convolutional neural networks enable discrimination of heterogeneous digital pathology images,” EBioMedicine, vol. 27, pp. 317–328, 2018.
[3]   S. Chilamkurthy, R. Ghosh, S.Tanamala, M. Biviji, N. G. Campeau, V. K. Venugopal, V. Mahajan, P. Rao, and P.Warier, “Deep learning algorithms for detection of critical findings in head CT scans: a retrospective study,” The Lancet, vol. 392, no. 10162, pp. 2388–2396,2018.
[4]   A. Meyer, D. Zverinski, B.Pfahringer, J. Kempfert, T. Kuehne, S. H. Su¨ndermann, C. Stamm, T. Hofmann, V.Falk, and C. Eickhoff, “Machine learning for real-time prediction of complications in critical care: a retrospective study,” The Lancet RespiratoryMedicine, vol. 6, no. 12, pp. 905–914, 2018.
[5]   X. Li, S. Zhang, Q. Zhang, X.Wei, Y. Pan, J. Zhao, X. Xin, C. Qin, X. Wang, J. Li et al., “Diagnosis of thyroid cancer using deep convolutional neural network models applied to sonographic images: a retrospective, multicohort, diagnostic study,” The LancetOncology, vol. 20, no. 2, pp. 193–201, 2019.
[6]   E. Rubinstein, M. Salhov, M.Nidam-Leshem, V. White, S. Golan, J. Baniel, H. Bernstine, D. Groshar, and A.Averbuch, “Unsupervised tumor detection in dynamic PET/CT imaging of the prostate,” Medical Image Analysis, vol. 55, pp. 27–40, 2019.
[7]   M. Winkels and T. S. Cohen,“Pulmonary nodule detection in CT scan with equivariant CNNs,” Medical image analysis, vol. 55, pp. 15–26, 2019.
[8]   G. Maicas, G. Carneiro, A. P.Bradley, J. C. Nascimento, and I. Reid,“Deep reinforcement learning for active breast lesion detection from DCE-MRI,” in Proceedings of International Conference on Medical image computing and Computer-Assisted Intervention (MICCAI). Springer, 2017, pp.665–673.
[9]   H. Lee, S. Yune, M. Mansouri,M. Kim, S. H. Tajmir, C. E. Guerrier, S. A. Ebert, S. R. Pomerantz, J. M.Romero, S. Kamalian et al., “An explainable deep-learning algorithm for the detection of acute intracranial hemorrhage from small datasets,” NatureBiomedical Engineering, vol. 3, no. 3, p. 173, 2019.
[10]K. Kamnitsas, C. Ledig, V. F.Newcombe, J. P. Simpson, A. D. Kane, D. K. Menon, D. Rueckert, and B. Glocker, “Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation,” Medical image analysis, vol. 36, pp. 61–78, 2017.
[11]J. Long, E. Shelhamer, and T.Darrell, “Fully convolutional networks for semantic segmentation,” in proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,2015, pp. 3431–3440.
[12]O. Ronneberger, P. Fischer, and T. Brox, “U-Net: Convolutional networks for biomedical image segmentation,” in Proceedings of International Conference on Medical Image Computing and computer-Assisted Intervention (MICCAI). Springer, 2015, pp. 234–241.
[13]O. C¸i¸cek, A. Abdulkadir, S.S. Lienkamp, T. Brox, and O. Ronneberger,¨ “3D U-Net: learning dense volumetric segmentation from sparse annotation,” in Proceedings of InternationalConference on Medical Image Computing and Computer-Assisted Intervention(MICCAI). Springer, 2016, pp. 424–432.
[14]X.-Y. Zhou and G.-Z. Yang,“Normalization in training U-Net for 2D biomedical semantic segmentation,” IEEERobotics and Automation Letters, vol. 4, no. 2, pp. 1792–1799, 2019.
[15]E. Gibson, F. Giganti, Y. Hu,E. Bonmati, S. Bandula, K. Gurusamy, B. Davidson, S. P. Pereira, M. J.Clarkson, and D. C. Barratt, “Automatic multi-organ segmentation on abdominal CT with dense networks,” IEEE Transactions on Medical Imaging, vol. 37, no. 8,pp.1822–1834, 2018.
[16]G. Wang, W. Li, M. A. Zuluaga,R. Pratt, P. A. Patel, M. Aertsen, T. Doel, A. L. David, J. Deprest, S.Ourselin et al., “Interactive medical image segmentation using deep learning with image-specific fine-tuning,” IEEE Transactions on Medical Imaging, vol.37, no. 7, pp. 1562–1573, 2018.
[17]I. Laina, N. Rieke, C.Rupprecht, J. P. Vizca′ıno, A. Eslami, F. Tombari, and N. Navab, “Concurrentsegmentation and localization for tracking of surgical instruments,” in Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI).Springer, 2017, pp. 664–672.
[18]X. Feng, J. Yang, A. F. Laine,and E. D. Angelini, “Discriminative localization in CNNs for weakly-supervised segmentation of pulmonary nodules,” in Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention (MICCAI). Springer, 2017,pp. 568–576.
[19]W. Bai, C. Chen, G. Tarroni,J. Duan, F. Guitton, S. E. Petersen, Y. Guo, P. M. Matthews, and D. Rueckert,“Self-supervised learning for cardiac MR image segmentation by anatomical position prediction,” in International Conference on Medical Image Computing and ComputerAssisted Intervention. Springer, 2019, pp. 541–549.
[20]G. Balakrishnan, A. Zhao, M.R. Sabuncu, J. Guttag, and A. V. Dalca, “VoxelMorph: a learning framework for deformable medical image registration,” IEEE Transactions on Medical Imaging,2019.
[21]Z. Shen, X. Han, Z. Xu, and M.Niethammer, “Networks for joint affine and non-parametric image registration,”in Proceedings of the IEEE Conference on Computer Vision and pattern recognition (CVPR), 2019, pp. 4224–4233.
[22]Y. Hu, M. Modat, E. Gibson, W.Li, N. Ghavami, E. Bonmati, G. Wang, S. Bandula, C. M. Moore, M. Emberton etal., “Weaklysupervised convolutional neural networks for multimodal image registration,” Medical Image Analysis, vol. 49, pp. 1–13, 2018.
[23]S. Miao, S. Piat, P. Fischer,A. Tuysuzoglu, P. Mewes, T. Mansi, and R. Liao, “Dilated FCN for multi-agent2D/3D medical image registration,” in Proceedings of AAAI Conference on artificial intelligence, 2018.
[24]H. Sokooti, B. de Vos, F.Berendsen, B. P. Lelieveldt, I. Iˇsgum, and M. Staring, “Nonrigid image registration using multi-scale 3D convolutional neural networks,” in Proceedings of International Conference on Medical Image Computing and computer-Assisted Intervention (MICCAI). Springer, 2017, pp. 232–239.
[25]R. Liao, S. Miao, P. deTournemire, S. Grbic, A. Kamen, T. Mansi, and D. Comaniciu, “An artificial agent for robust image registration,” in Proceedings of AAAI Conference on Artificial Intelligence, 2017.

創澤智能機器人
創澤智能機器人
中國智能服務機器人領軍企業,涵蓋商用、家庭、特種等多用途的智能機器人產品體係,十幾年行業應用解決方案提供商
  



抗疫“智”先鋒!創澤消毒機器人技高一籌!

創澤智能消毒機器人到山東省胸科醫院、濟南市傳染病醫院、濟南市疾病預防控製中心投入新冠肺炎消毒戰鬥

2020年工業機器人企業《機器人戰“疫”係列》

2020年工業機器人推薦企業:眾為興,翼菲自動化,節卡,遨博,埃斯頓,華數,新鬆,國機智能,拓斯達,天機機器人

2020年物流機器人企業【推薦】

2020年物流機器人推薦企業:​斯坦德,極智嘉,京東,曠視艾瑞思,快倉,馬路創新,海康威視,北京機科,昆明船舶,新石器,美團

機器人遙操作

機器人遙操作已廣泛應用在醫療領域、極端環境探索如太空與深海場景、防恐防爆應用場景,及基於工業機械臂的自動化生產中

成都市公園城市智慧綜合杆設計導則

成都市新基建政策,加快建設全麵體現新發展理念的國家中心城市,建設安全、綠色、活力、智慧、友好的城市街道,統籌協調街道相關設施集約化建設

2020年人形機器人企業【推薦】

2020年人形機器人推薦企業:達闥科技、康力優藍、南京阿凡達、勇藝達、森漢科技、穿山甲、廣州卡伊瓦、三寶創新。

機器人抗擊傳染病

新冠病毒凸顯了機器人在與傳染病對抗中的重要作用,機器人不會感染傳染病

2020年清潔機器人企業【推薦】

2020年清潔機器人推薦企業:科沃斯、石頭科技、上海高仙、普森斯科技、四川東方水利、智意科技、東莞智科、廣州艾可、小狗科技、福瑪特機器人、神舟雲海。

2020年巡檢機器人企業【推薦】

2020年巡檢機器人推薦企業:哈工大機器人、朗馳欣創、優必選、杭州艾米、普華靈動、沐點智能、億嘉和、科大智能、京東數科、深圳施羅德。

2020年安防機器人企業【推薦】

2020年安防機器人推薦企業:廣州高新興、北京淩天、浙江國自、沈陽新鬆、湖南萬為、蘇州博眾、北京智能開誠、優必選、南京聚特、上海合時

2020年教育機器人企業【推薦】

2020年教育機器人企業:儒博科技、城市漫步、優必選、鑫益嘉、大疆創新、森漢科技、勇藝達、創客工場、智伴、科大訊飛...

迎賓機器人企業【推薦】

2020年迎賓機器人企業:優必選、穿山甲、創澤智能、慧聞科技、杭州艾米、廣州卡伊瓦、勇藝達、睿博天米、銳曼智能、康力優藍、雲跡科技、南大電子、獵戶星空、瞳步智能
 
資料獲取
新聞資訊
== 資訊 ==
» 國標《智慧城市 智慧多功能杆 服務功能與
» 人工智能之數據挖掘2020年第9期
» 噴霧消毒殺菌機器人
» 中國通信學會發布《全球人工智能基礎設施戰
» 創澤集團受邀參加工信部 AI 精準賦能中
» 人工智能案例 依圖科技:不斷崛起的AI
» 2020年麵向人工智能新基建的知識圖譜行
» 破解AI工程化難題,AI中台助力企業智能
» 淺析我國消防機器人發展現狀與趨勢 | 山
» 【華為出品】智能體白皮書2020
» “先行示範•智贏未來” 創澤
» 創澤集團牽頭起草的全國首個《應用於滅菌消
» 創澤集團智能機器人新品發布會!多款自主研
» 人工智能人才發展報告:亞太地區創新與招聘
» 創澤集團智能機器人“創創”受邀參加進博會
 
== 機器人推薦 ==
 
迎賓講解服務機器人

服務機器人(迎賓、講解、導診...)

智能消毒機器人

智能消毒機器人

安防巡檢機器人

安防巡檢機器人

人工智能垃圾站

人工智能垃圾站

== 信息推薦 ==
 

機器人招商  Disinfection Robot   消毒機器人公司  機器人應用  智能垃圾站  消毒機器人價格  消毒機器人廠家  機器人政策  教育機器人  迎賓機器人  機器人開發  清潔機器人  消毒機器人  講解機器人  安防巡檢機器人  霧化消毒機器人  紫外線消毒機器人  地圖 
版權所有 © 必威主頁     中國運營中心:北京·清華科技園九號樓5層     中國生產中心:山東日照太原路71號
銷售1:4006-935-088    銷售2:4006-937-088   客服電話: 4008-128-728

機器人
Baidu
map