賽夏族最為人知也最為重要的便是矮靈祭。相傳矮人教導賽夏族人農耕等技術，可說是族人的恩人，但因矮人屢次調戲賽夏族婦女，以致於族人用計殺害矮人，此後，賽夏族開始舉行矮靈祭，以慰藉矮人的靈魂。矮靈祭舉辦的時間在農曆十月，每兩年舉辦一次小祭，每十年舉辦一次大祭，每到這時候，外地的族人都會趕回來參加。據說往昔矮靈祭每年都會舉辦，後來因受到日本政府的反對，而改為兩年一次。台灣原住民中除了賽夏族人相信有矮人的存在外，布農族、鄒族、泰雅族、排灣族等，也都有關於矮人的傳說。不過只有本族發展出獨特的祭典，這與其族人傳說過去與矮人之間密切的恩怨情仇有關。南賽夏會比北賽夏提早一天舉行祭儀，雖然分隔兩地舉辦，但兩祭團的儀式幾乎皆相同，且兩祭團的成員會於祭典前後相互討論、觀摩並協助，因此時間的早晚對於族人而言並沒有太大的差別。<br />

結芒草約定祭典舉行時間：<br />