嚴島神社由創建起，即由創建人佐伯鞍職一族擔任神社主家。雖然一度被藤原氏搶去神社主家，但藤原氏沒落後佐伯一族就重掌神社。