其父杨师孔，曾任浙江参政(约相当于副省级长官)。 杨文聪于万历二十四年(1596年) ，诞 生于贵阳城南郊的石林精舍少怀壮志，学兼文武，善书画，有文采，万历末期举于乡。此后屡试不第，年已30，仍功名不就，因之落魄江湖，纵情山水。他爱[[南京]]栖霞山风物，曾读书山中，暇时常登峰顶，眺望长江。数年后，回忆这段生活，曾绘《江中望栖霞》，并题咏其上，以抒怀念之情。

[[ 崇祯 ]] 十六年(1643)已近中年时，他才谋得江宁知县一职，但不久又被劾罢官。失意之余，遂盘桓于秦淮风月场中。原来秦淮内河自明太祖定都南京就异常繁华，从东水关到西水关长达十里，彻夜灯船，尽笙歌。杨文聪为人豪侠，性爱交游，不仅与素淮名妓往来甚密，而且与复社名流侯方域等结为至友。以扇血点染桃花的韵事，很有可能就发生在这时。此事本传不载，然据近人考证，在孔尚任《桃花扇》成书之前，姜实节为杨文聪题画时就有"记否桃花留扇底，一回首处一消魂"之句。由此可知，杨文聪以扇血点染桃花，并非虚构，而是实有其事。