楊致遠2歲喪父。其下還有一個弟弟Chih-Kong Ken Yang，於[[史丹佛大學|-{zh-cn:斯坦福大学; zh-sg:斯坦福大学; zh-tw:史丹佛大學; zh-hk:史丹福大學; zh-mo:史丹福大學;}-]]取得[[博士]]學位。母親（Lily）是一位英文及戲劇教授，畢業於台灣大學外文系。楊致遠10歲的時候，舉家移居[[ 美國]][[加利福尼亞州]][[聖荷西 (加利福尼亞州)|聖荷西]]，其母親在成人教育學校教新移民學習英文。楊致遠剛到美國的時候幾乎不懂[[英語]]。儘管開始的時候有語言上的障礙，楊致遠學習上仍獲A等，並且在3年之後，他就成為班上的跳級生。