まぁちゃんとしたDBの設計とフラグを検索/抽出して一括操作できるような技術があったら
そもそもDUPEとか出来ないんだな