最早是由德川幕府八代將軍德川吉宗創立。本來伊賀與甲賀兩門忍者爭著在將軍家任職,後來天下太平,忍者探查情報的機能衰退。德川吉宗在擔任將軍之前,是紀州藩藩主,就把紀州藩一些任職側近「薬込役」職務的16名藩士,陸續調入江戶擔任「広敷伊賀者」,之後調動新職,7名改叫「御休息御庭締戸番(おきゅうそくおにわしめどばん)」、9名叫「伊賀御庭番」,與原來的「広敷伊賀者」做區別。之後又把紀州藩擔任「口之者」的1名藩士調入江戶擔任御庭番。總計17名。這17名御庭番,世襲傳承一直延續到戊辰戰爭江戶開城,幕府將軍的統治被明治天皇取代為止。