1899年11月16日，法国与清政府签定《广州湾租界条约》，将雷州府遂溪县和高州府吴川县交界处的部分陆地、[[岛屿]]和两县之间的麻斜湾（今[[湛江港]]湾）划为法国租界（其中陆地面积518平方公里），称为“广州湾租界”。[[广州湾]]法国公使署旧址（俗称“公使堂”）建于1903年，广州湾法军指挥部旧址（俗称"“绿衣楼”）建于1905年。1943年2月至1945年9月，日军侵占广州湾期间，军部设于“公使堂”，宪兵驻“绿衣楼”。1946年1月15日，[[国民政府]]以原广州湾租界范围设立湛江市，市政府驻“公使堂”，“绿衣楼”为警察署。1950年至1954年，湛江市人民政府亦驻于"公使堂"办公。1955年以后，"公使堂"先后为湛江市少年宫、华南工学院湛江分院、湛江无线电一厂等单位使用。“绿衣楼”在1949年以后一直由公安局使用。