牂柯（牂，一从牜。柯一作牱、牁，当作柯）之名始见于《管子》：“桓公曰：余乘车之会三，兵车之会六，九合诸侯，一匡天下。（中略），南至吴、越、巴、牂柯...”。此处牂柯为国名。清人莫与俦云：“牂有壮大之意，柯犹大木枝之谓。”牂柯之本义为停泊时系船用的木桩。《汉书》地理志牂柯郡条下颜师古注：“牂柯，系船杙也。《华阳国志》云，楚顷襄王时遣庄𫏋伐夜郞，军至且兰，椓船于岸而步战。既灭夜郞，以且兰有椓船牂柯处，乃改其名为牂柯。杙音弋。”《史记》西南夷列传索隐引崔浩云：“牂柯，系船杙也，以为地名 <ref>[https://www.doc88.com/p-805989842194.html 史记卷一百一十六 西南夷列传] ，道客巴巴， 2012-3-27</ref> 。”夜郎国境内又有牂柯江（今贵州濛江，一说都江，另说北盘江）。《史记》西南夷列传引贾人言：“夜郎者，临牂柯江。”应劭云：“（牂柯郡，）临牂柯江也”，认为牂柯郡因牂柯江而得名。

汉武帝建元六年（前135年），朝廷遣唐蒙招抚夜郎侯，置犍为郡，治鄨县，开始了对西南夷的经营。元朔年闲，汉朝与匈奴争夺西北边地，无暇顾及西南。但出于遏制南越的需要，朝廷在南夷、夜郎地区保留了两县一都尉的建制，“稍令犍为自保就”。元鼎年闲，在北边和西北的战事相继取得胜利，朝廷得以全力解决南越问题。元鼎五年（前112年），南越丞相吕嘉反，武帝发兵五路攻南越 <ref>[https://www.sohu.com/a/410471093_120239638 汉武帝平南越之战：杨仆、路博德立下了万世功勋，他们堪比卫霍] ，搜狐，2020-07-30 </ref> ，其中一路“使驰义侯因巴、蜀罪人，发夜郎兵，下牂柯江”。但是夜郎以东的部落首领且兰君担心远征南越，会被邻部南夷乘虚而入，遂起兵叛汉，杀汉使者与犍为太守。于是中郎将郭昌、卫广率领原本要南下进攻南越的八校尉兵平定了且兰部落。元鼎六年（前111年），从长沙国和豫章郡出发的两路汉军已灭南越。八校尉兵没有按原计划南下，而是攻灭了位于夜郎与滇国之间的头兰部落，又降服了牂柯江与劳水（一说即今黑水河）之闲的漏卧、句町等部落。夜郎侯请降，武帝封其为夜郎王，赐王印。于是分犍为郡南地置牂柯郡。