1879年（光绪五年），日本吞并琉球，驻日大臣何如璋给总理衙门和北洋大臣的重要文件共10余万字，分析了日本国情，陈述了我国应采取的对策，指出：“琉球如亡，不出数年，闽海先受其祸。”这些预见都被后来的事实所证明。而这些文件绝大部分都是由黄遵宪草拟的。但清政府却没有采纳黄遵宪在外交政策方面的意见，终使琉球成为日本侵略政策下的牺牲品。黄遵宪只好把他满腔悲愤寄托在他的诗篇《流求歌》里。

1880年（光绪六年），日本友人源辉声先生在征得黄遵宪同意后，把《日本杂事诗》的部分原稿，埋藏在东京墨江畔的家里，由黄遵宪题写了“日本杂事诗最初稿冢”九个字，刻石竖碑，作为中日两国人民永久友谊的象征。在日本期间，黄遵宪开始接触从西方传播到日本的资产阶级民主自由学说。当他读了法国启蒙运动先驱卢梭、孟德斯鸠的著作后，“心志为之一变，以为太平世必在民主”，领悟到“所当师四夷”，“中国必变从西法”，思想有了明显的转变。并把此思想和想法对何如漳分享。正是这种思想的形成，使他后来成为我国维新变法运动的积极倡导者。在日本期间，黄遵宪清楚地看到，日益强盛起来的日本正把侵略矛头指向中国和朝鲜。

1894年（光绪二十年），爆发了中日甲午战争。身在异国的黄遵宪，思念祖国，十分关注战事的发展。致力维新变法1894年（光绪二十年）底，黄遵宪结束了十几年的外交生涯，回到国内，任江宁洋务局总办。

参加变法

1895年（光绪二十一年）春天，黄遵宪怀着满腔忧国之情去江宁（今南京）拜见张之洞，但黄遵宪未没有受到重视。黄遵宪在湖北办理教案期间，清政府与日本签订了《马关条约》，听说台湾被割让，黄遵宪心情十分悲痛，然而黄遵宪并没有“被发入空山”，而是以极大的热情，投身到康有为掀起的维新变法的运动中。