正史有关太公于刘邦发迹前和被尊为太上皇之后的记载极缺乏，晋代小说式文献《西京杂记》有则故事说道太公当上太上皇以后移居长安深宫一直闷闷不乐。刘邦询问的结果才知道太公“以平生所好皆屠贩少年。酤酒卖余。斗鸡蹴踘。以此为欢。今皆无此。故以不乐。高祖乃作新丰（新丰城），移诸故人实之，太上皇乃悦。”

前197年，太公在栎阳宫去世，后来葬于万年（今中国陕西省临潼区北，位于陕西省富平县杜村镇姚村南2000米。）