[SQL SERVER][SSIS]移除重複資料

[SQL SERVER][SSIS]移除重複資料

資料來源是excel,需要過濾重複資料才能新增到職稱主檔中,

這裡使用 模糊群組+條件式分割 就可以輕鬆搞定。

 

DataFlow

image

 

編輯模糊群組

image

選擇相關Group by欄位。

 

 

image

設定相似臨界值。

 

設定條件分割

image

觀察模糊群組資料集,即可以設定出這規則。

 

執行

image

過濾掉約450筆重複資料。

 

 

 

 

 

 

 

 

參考

模糊群組轉換