江永县有[[蒙古族]]、[[回族]]、[[藏族]]、[[维吾尔族]]、[[苗族]]、[[彝族]]、[[壮族]]、[[布依族]]、[[朝鲜族]]、[[满族]]、[[侗族]]、[[瑶族]] <ref>[http://www.sohu.com/a/234241376_100180399 【最美少数民族特色村镇】江永县源口瑶族乡]，搜狐网 2018-06-06 12:09</ref> 、[[白族]]、[[土家族]]、[[哈尼族]]、[[傣族]]、[[黎族]]、[[畲族]]、[[高山族]]、[[水族]]、[[纳西族]]、[[土族]]、[[撒拉族]]、[[仡佬族]]、[[锡伯族]]、[[阿昌族]]、[[羌族]]、[[塔吉克族]]、[[京族]]等民族分布<ref>[http://www.sohu.com/a/234241376_100180399 【最美少数民族特色村镇】江永县源口瑶族乡]，搜狐网 2018-06-06 12:09</ref> 。

江永县上江圩乡、城关镇、黄甲岭乡、铜山岭农场等地，历史上流传着一种记录当地土话的特殊文字，流行地域以上江圩为中心，波及毗邻的道县下蒋乡、新车乡。这种文字只在妇女范围内使用，称之为“女字”，通称“女书” <ref>[http://www.sohu.com/a/111662971_116449 探访“世界上最具性别意识的文字” ]，搜狐网 2016-08-23 14:48</ref> 。

关于女书的渊源，民间有几种传说：一是很久以前，上江圩才华出众的九斤姑娘做女红创造女字；二是桐口山冲里精通女工的盘巧姑娘18岁那年被抢到道州府，她根据与姐妹织花边、做鞋样的图案，每天造一个字，3年时间造出1080个字，并写了一封长信，藏在一条由她养大的狗身上，带给家乡的亲人；三是[[宋代]]，荆田村[[胡玉秀]]被选为皇妃，在宫中受到冷遇，只被宠幸三晚，万般清苦，想给家人写信，便创造了女字；四是上江圩一带的女子在织布绣花图案的基础上<ref>[http://www.sohu.com/a/111662971_116449 探访“世界上最具性别意识的文字” ]，搜狐网 2016-08-23 14:48</ref> 。