1880年调入[[北洋水师]]，先任[[Epsilon级砲艇|镇西号砲艇]]管带。之后赴 [[ 英国 ]] 接[[超勇号无防护巡洋舰|超勇]]、[[扬威号无防护巡洋舰|扬威]]号，回国后任超勇管带。

1886年改任[[镇远舰|镇远]]号管带。1888年 [[ 北洋海军 ]] 成军，林泰曾为左翼总兵，加[[提督]]衔。

林泰曾“性沉默，寡言笑，存心慈厚，能忍人之所不能忍”，管带军舰，“用人信任必专，待下仁恕，故临事恒得人之力”。沈葆桢赞他“深通西学，性行忠谨”。自入北洋以来，频年巡历重洋，驾驶操练均极勤奋，为创建北洋海军出力颇多，[[李鸿章]]称他“资深学优”。先后两次随北洋海军出访 [[ 日本 ]] ，给日本海军界留下了极深刻的印象，称他是中国海军的“宝刀”。

1894年，朝鲜爆发东学党起义，朝鲜政府请中国出兵代为镇压。李鸿章派遣海陆军赴朝，日本政府也同时派兵入朝。李鸿章又增派林泰曾统率“镇远”等3舰赴 [[ 朝鲜 ]][[ 仁川 ]] ，以增强在朝海军实力。五月二十二日，林泰曾致电李鸿章，以战争一触即发，请饬北洋海军大队备战候进，并请调南洋军舰北上。次日，又电李鸿章，认为仁川泊船，“战守均不宜，拟以一二船驻仁探信，余船驻牙备战守”。李鸿章转询[[丁汝昌]]的意见，丁汝昌认为，水陆添兵必须大举，如果只是零星调往，有损无益，因此主张将“镇远”等舰调回，在威海齐作准备，以待主力决战。李鸿章回电同意，“镇远”等舰遂返回威海备战。