基於先驗點的影像圖斑提取技術設計與實現
 |
基於先驗點的影像圖斑提取技術設計與實現基於先驗點的影像圖斑提取設計首先要進行深度學習高分辨率遙感影像語義分割，語義分割是計算機視覺的一項基本任務。此次設計從效果表現最穩定、精度較高的三種語義分割網絡分別進行分析，ICnet網絡、、Segnet、DeepLabV3網絡，設計主要對遙感影像進行五類分析，分別是：農田、建築、河流、道路、其他。對最後的結果進行對比，並提出改進之處。在進行DeepLabV3+網絡模型訓練時，將多種模型進行融合，實現最優模型的設計。
2、python gdal+skimage實現基於遙感影像的傳統圖像分割及合併外加矢量化，基於邊緣檢測的圖像分割方法的基本思路是先確定圖像中的邊緣像素，然後再把這些像素連接在一起就構成所需的區域邊界。
目錄
難點分析
1、基於先驗點的影像圖斑提取設計首先要進行深度學習高分辨率遙感影像語義分割，語義分割是計算機視覺的一項基本任務。此次設計從效果表現最穩定、精度較高的三種語義分割網絡分別進行分析，ICnet網絡、、Segnet、DeepLabV3+網絡（MobileNetV3特徵提取器）。
2、python gdal+skimage實現基於遙感影像的傳統圖像分割及合併外加矢量化，基於邊緣檢測的圖像分割方法的基本思路是先確定圖像中的邊緣像素，然後再把這些像素連接在一起就構成所需的區域邊界。
需求描述
1、任意給定一幅影像並在該影像上指定若干參考點位，自動識別出經過這些參考點位的線狀地物或包含這些參考點位的面狀地物；
2、任意給定一幅影像和一個面狀作業區域，自動識別出區域內的肉眼可見的線狀、面狀地物，並矢量化；
3、提取的地物要求幾何位置準確率優於85%，漏提率低於5%，幾何數據在保證準確的前提下儘可能美觀，地物屬性不做要求；針對不同時像、區域，提取算法的普適性較好，結果允許±5個百分點；
方案論證
以人工智能[1]（AI）的方式能自動識別特定目標，但對圖形邊界的描繪還不夠準確、美觀，期望通過給定參考點位的方式，實現自動提取影像圖斑，並在此基礎上實現高精度、高準確度的有約束條件的自動化提取圖斑功能。
基於先驗點的影像圖斑提取設計主要從三方面進行實現，一是深度學習高分辨率遙感影像語義分割，語義分割是計算機視覺的一項基本任務。其中此次設計從效果表現最穩定、精度較高的三種語義分割網絡進行分析，ICnet網絡、、Segnet、DeepLabV3+網絡（MobileNetV3特徵提取器）。二是python gdal+skimage實現基於遙感影像的傳統圖像分割及合併外加矢量化，基於邊緣檢測的圖像分割方法的基本思路是先確定圖像中的邊緣像素，然後再把這些像素連接在一起就構成所需的區域邊界。三是矢量和圖像重疊顯示，對於圖像重疊採用的是python代碼。最終實現基於先驗點的影像圖斑提取技術，此功能能夠極大提高遙感影像解譯的生產效率，為土地利用、自然資源監測等快速提供基礎圖斑數據。
系統架構設計
深度學習高分辨率遙感影像語義分割
深度學習在計算機視覺領域取得了很大的成功，在遙感影像[2]自動解譯方面，同樣帶來了快速的發展。語義分割是計算機視覺的一項基本任務。其中基於先驗點的影像圖斑提取設計從效果表現最穩定、精度較高的幾種語義分割網絡進行分析，一是ICnet網絡；二是Segnet，三是 DeepLabV3+網絡（MobileNetV3特徵提取器）。
遙感影像的傳統圖像分割及合併外加矢量化
圖像傳統分割算法及圖像塊合併方法：基於邊緣檢測的圖像分割方法的基本思路是先確定圖像中的邊緣像素，然後再把這些像素連接在一起就構成所需的區域邊界。圖像邊緣：圖像邊緣，即表示圖像中一個區域的終結和另一個區域的開始，圖像中相鄰區域之間的像素集合構成了圖像的邊緣。所以，圖像邊緣可以理解為圖像灰度發生空間突變的像素的集合。圖像邊緣有兩個要素，即：方向和幅度。沿着邊緣走向的像素值變化比較平緩；而沿着垂直於邊緣的走向，像素值則變化得比較大。因此，根據這一變化特點，通常會採用一階和二階導數來描述和檢測邊緣。綜上，圖像中的邊緣檢測可以通過對灰度值求導數來確定，而導數可以通過微分算子計算來實現。在數字圖像處理中，通常是利用差分計算來近似代替微分運算。
python gdal + skimage 實現圖像分割及合併外加矢量化：基於先驗點的影像圖斑提取設計用python gdal + skimage實現基於遙感影像的傳統圖像分割及合併外加矢量化。用網絡模型預測出來的標籤圖進行圖像分割，並且進行適量化。
矢量和圖像重疊顯示
圖像融合，實際上也是加法，只不過是按比例混合起來，有不同的權重。此設計在顯示方面脫離了專業遙感圖像的軟件，對於圖像重疊採用的是python代碼撰寫，可以對cv2.addweighted函數進行對圖像融合的透明度進行調整。因從arcgis遙感軟件中導出的矢量地圖temp.shp和原始的遙感圖像占比非常小，大片的白色背景，以及四周存在很多白邊，為了使重疊顯示速度更快以及質量越高，則需要實現圖片白邊的去除，然後進行同一大小的兩張圖像疊加顯示。
深度學習高分辨率遙感影像語義分割
深度學習在計算機視覺領域取得了很大的成功，在遙感影像自動解譯方面，同樣帶來了快速的發展。語義分割是計算機視覺的一項基本任務。其中此次設計從效果表現最穩定、精度較高的幾種語義分割網絡進行分析，一是ICnet網絡；二是Segnet，三是 DeepLabV3+網絡。設計主要對遙感影像進行五類分析，分別是：農田、建築、河流、道路、其他。
首先，準備數據集，因此次只給了遙感的影像圖，沒有給出對應的標籤圖，所以需要進行自行繪製標籤圖，在製作標籤圖時，主要運用的是數據包1中的E119D3_N34D2_20180409_GF2_DOM_4_fus文件下的.tif圖片進行遙感圖像切割，然後利用labelme快速標註軟件製作標籤圖，在製作時主要標註出了農田、建築、河流、道路、其他這五類，因是純手工標註，所以存在一定的誤差。然後進行模型訓練，訓練的網絡在時間上各不相同，精確度也有一些分別，具體在第四章體現。最後進行預測，並進行預測出的圖形合併成語義分割後的完整圖像。
ICnet網絡
ICnet網絡是一種新穎而獨特的圖像級聯網絡，有效地利用了低分辨率圖的語義信息和高分辨率圖的細節信息，實現了圖像的實時語義分割，級聯特徵融合單元與級聯標籤指導相結合，可以在較低計算量的情況下逐步恢復和細化分割預測。
圖像級聯網絡(ICNet)使用了級聯的圖像輸入(即低、中、高分辨率圖像)，採用了級聯的特徵融合單元，訓練時使用了級聯的標籤監督。新的架構如下圖所示。全分辨率的輸入圖像，下採樣2倍和4倍後，形成級聯輸入的中分辨率和低分辨率分支。
ICnet網絡核心思想是將圖像分為高中低三層。性能大幅提升的根本原因就是讓低低分辨的圖像經過語義分割網絡產生粗糙的分割結果；之後特徵級聯混合單元與標籤引導的級聯策略將中分辨率和高分辨率的特徵整合，逐步地優化之前生成的粗糙分割結果。