最早是由德川幕府八代将军德川吉宗创立。本来伊贺与甲贺两门忍者争著在将军家任职,后来天下太平,忍者探查情报的机能衰退。德川吉宗在担任将军之前,是纪州藩藩主,就把纪州藩一些任职侧近“薬込役”职务的16名藩士,陆续调入江户担任“広敷伊贺者”,之后调动新职,7名改叫“御休息御庭缔戸番(おきゅうそくおにわしめどばん)”、9名叫“伊贺御庭番”,与原来的“広敷伊贺者”做区别。之后又把纪州藩担任“口之者”的1名藩士调入江户担任御庭番。总计17名。这17名御庭番,世袭传承一直延续到戊辰战争江户开城,幕府将军的统治被明治天皇取代为止。