該館前身為舊'''大埔墟 火車 站'''<ref>{{Cite web|title=香港鐵路博物館更新及改善工程|url=https://www.lcsd.gov.hk/CE/Museum/Conservation/zh_TW/web/co/projects_conservation_train.html|accessdate=2020-03-09|author=|date=2018-09-18|format=|publisher=康樂及文化事務署|language=}}</ref>，於1913年建成，以往是[[九廣鐵路]]重要車站之一。但由於九鐵於1982至84年引進電氣化火車，新[[ 大埔墟 火車 站]] 於1983年啟用，因此舊大埔墟火車站於同年4月6日關閉。其後該火車站原址於1984年被列為[[香港法定古蹟|法定古蹟]]，並改建成博物館，相關工程包括在車站周邊加建路軌連接[[東鐵綫]]（以便將退役車卡經鐵路運送至本館入藏，現時已經被拆除），並對原車站建築進行修復及翻新工作。