入伍服役後，張菲進入[[中華民國海軍陸戰隊|海軍陸戰隊]]軍樂隊，負責演奏[[低音號]]，但軍樂隊的生活他覺得太過枯燥乏味，開始試圖申請轉調[[藝工隊]]。然而當時藝工隊只缺一名薩克斯風手，不會演奏薩克斯風的張菲當下向對方保證自己能在短時間內練會，「你給我二個月時間，如果我不行你再把我打回部隊」。此後，張菲每天早、中、晚在豬圈旁一邊養[[家豬|豬]]，一邊練習薩克斯風，他曾對此笑言：「那一批豬長得特別肥胖。」<ref name="窩豬圈"/>。
==演藝生涯==
===1972年〜1977年===
張菲當兵服役退伍後，於[[臺北市]][[西門町]]各大[[西餐廳]]駐唱表演，專唱西洋歌曲，他曾回憶表示：「那時候我一個月在西餐廳裡面跑場，跑三個地方，早場吹薩克斯風，中場變個花樣彈[[電子琴]]唱歌，一個月可以賺到台幣3萬元左右，薪水超過我父親三倍，我就買了我第一台重機車。」在當時，張菲的收入已遠勝一般[[上班族]]，他十分滿意當時的生活，「我就覺得我已經成功了」。
1977年，某日張菲收工下班後，因協助送歌譜到「大使夜總會」給當時在秀場界已走紅、有「東方[[維納斯]]」之稱的姐姐[[費貞綾]]，於後台得知當晚預計開演的《[[梁山伯與祝英台]]》一劇中，原定飾演「大牛」的[[羅江 (主持人)|羅江]]因故臨時缺勤，夜總會經理正急於尋找適當代班人選。張菲當場在旁表示：「我會啊！呿，梁山伯祝英台從頭到尾全本我都會唱！」經理見到張菲是費貞綾的弟弟，便直接向張開價半個月檔期3萬元酬勞；張菲認為收入跟在西餐廳駐唱相比差不多，自己也比較喜歡音樂，當下回絕。費貞綾氣憤弟弟不懂得把握機會，將張菲的薩克斯風往地上摔，張菲只得同意上台。
後來，《梁山伯與祝英台》劇碼大受歡迎，夜總會老闆對張菲大為讚賞、十分賞識，趁勢延長該劇檔期，並加碼提供張菲一個月台幣5萬元的酬勞，但他思考：「我就怕秀下檔了，我也沒工作」；老闆為了留下張菲，再加碼讓他擔任副秀主持人，此後固定主持演出。張菲答應以後，在秀場展現主持才華，一個月後升任主秀主持人，主持生涯自此正式展開<ref name="惹火恆述"/>。
===1978年〜2001年===
出道後，張菲早年曾經在[[中視]]的兩個綜藝節目《[[一道彩虹]]》與《萬紫千紅》演出短劇，正式進入電視圈是在[[徐風]]主持的中視綜藝節目《大舞台》。繼費玉清之後，費貞綾曾介紹張菲給知名[[音樂人]][[劉家昌]]認識，希望替弟弟尋求更多機會。多年後，劉家昌在[[中天綜合台]][[談話性節目]]《[[康熙來了]]》回憶此事，當時費貞綾帶張菲去[[錄音室]]見他，劉家昌看出張菲在歌壇的發展不會比費玉清好，於是他對他們說：「去去去，怎麼都是你們家的人」打發姐弟兩人，讓張菲頗有怨言。
1979年，張菲與[[張魁 (藝人)|張魁]]、[[倪敏然]]、[[凌峰]]、[[夏雲飛]]合組「溫拿五鼠」，活躍秀場。在1980年代的台灣秀場界，張菲、[[豬哥亮]]、[[邢峰]]、[[高凌風]]與[[倪敏然]]有「[[南豬北張|南豬、北張]]、中邢峰，高凌風草上飛，倪敏然總管」之合稱，紅極一時<ref name="北張南豬"/>。1984年12月15日至1988年1月9日，張菲與[[倪敏然]]、[[檢場]]、[[徐風]]、[[羅江 (主持人)|羅江]]共同主持中視綜藝節目《[[黃金拍檔]]》，被合稱為“黃金五寶”，是當時台灣家喻戶曉的藝人團體。
1988年9月29日，張菲獨自主持的[[中視]]綜藝節目《[[歡樂一百點]]》開播；身為該節目第一代主持人，張菲主持期間是節目全盛時期，他也替自己建立起「綜藝大哥」的地位。在此前後，張菲開始發展副業。1987年4月，[[新北市|臺北縣]][[淡水區|淡水鎮]]知名啤酒屋「海中天」成立，主打該餐廳為張菲成立的品牌，由張菲擔任首任[[董事長]]，檢場擔任[[總經理]]，兩人同為原始大股東，一時聲勢鼎沸<ref>[http://www.newsos.com.tw/aboutus.php 海中天沿革] {{webarchive|url=https://web.archive.org/web/20140303163223/http://www.newsos.com.tw/aboutus.php |date=2014-03-03 }}</ref><ref>[https://tw.appledaily.com/new/realtime/20160130/786818/ 淡水地標海中天 旅館3月熄燈整地]，[[蘋果日報 (台灣)]]，2016-01-30</ref><ref>[https://www.setn.com/News.aspx?NewsID=122210/ 張菲曾任董事長的「海中天」 傳月底將熄燈改建豪宅]，[[三立新聞網]]，2016-02-01</ref>。後來兩人退股，多年後餐廳於2016年8月底結束營業<ref>[http://news.ltn.com.tw/news/life/breakingnews/1770829/ 再見！30年老招牌 淡水海中天8月底熄燈]，[[自由時報電子報]]，2016-07-21</ref><ref>[http://www.chinatimes.com/newspapers/20160722000461-260107/ 地主拒續約 海中天8月底熄燈]，[[中時電子報]]，2016-07-22</ref>。1989年4月7日，張菲向[[臺北市政府]]登記成立個人工作室「彥明傳播娛樂開發有限公司」，簡稱「彥明工作室」，現已解散。
1993年3月27日至1997年11月，張菲與費玉清共同主持[[台視]]週末黃金時段經典綜藝節目《[[龍兄虎弟 (電視節目)|龍兄虎弟]]》，是兩兄弟首次合作主持綜藝節目，張菲在這段期間與[[金元萱]]傳出緋聞。張菲與費玉清兩人於1995年以《龍兄虎弟》榮獲[[第30屆金鐘獎#綜藝節目主持人獎|第30屆電視金鐘獎「綜藝節目主持人獎」]]。
2000年4月8日，[[華視]]《[[龍虎綜藝王]]》停播，張菲宣布暫時退隱。
===2002年〜2015年===
至2002年4月，張菲留了鬍子，宣布復出，與[[康康]]、[[黃品源]]共同主持[[中視]]週末黃金時段綜藝節目《[[綜藝大哥大]]》。張菲說：「我會留著鬍子復出，就是為了區隔過去的主持形象。」<ref>黃尚智、陳世昌，〈胡瓜當年好「俊俏」 張菲苦笑抗議〉，《[[中國時報]]》2005年3月29日</ref>。2003年6月，《綜藝大哥大》當月的平均收視率達7.96<ref name="降價換續約">[https://tw.appledaily.com/forum/daily/20091125/32115076/ 張菲主持7年7個月生變《大哥大》降價換續約]，[[蘋果日報 (台灣)]]，2009-11-25</ref>，收視率最高曾突破8，堪稱中視當家綜藝節目<ref name="喊價六千萬">[https://tw.appledaily.com/forum/daily/20030611/20100477/ 張菲 年薪喊價六千萬]，[[蘋果日報 (台灣)]]，2003-06-11</ref>。
2004年，張菲與[[黃品源]]搭檔主持的《綜藝大哥大》收視和聲勢持續領先群雄，張菲雖然僅主持一個節目，但錄製完成一小時節目的主持費達新台幣30萬元，價碼穩居台灣主持界龍頭<ref>[https://news.tvbs.com.tw/entry/386445/ 主持人收入排行榜 胡瓜、吳宗憲奪冠]，[[TVBS]]新聞，2004-01-15</ref>。同年，張菲和黃品源以《綜藝大哥大》榮獲[[第39屆金鐘獎#綜藝節目主持人獎|第39屆電視金鐘獎「綜藝節目主持人獎」]]，再創事業高峰。張菲主持《綜藝大哥大》期間，最初每錄製完成一小時節目的主持酬勞為新台幣30萬元（每集節目兩小時共新台幣60萬元）<ref name="喊價六千萬"/>，後來隨收視攀高，最高曾創下每小時節目的主持酬勞破新台幣45萬元（每集節目兩小時破新台幣90萬元）的台灣電視業主持界最高天價紀錄。2009年，酬勞調降回主持完成一小時節目新台幣30萬元至35萬元<ref>[https://tw.appledaily.com/forum/daily/20090318/31474787/ 張菲心酸時薪剩35萬 哭夭只剩１碗飯]，[[蘋果日報 (台灣)]]，2009-03-18</ref><ref>[https://www.nownews.com/news/20090413/942921/ 比曝光率張菲認輸！陳揮文：看菲哥節目長大，不敢當！]，[[NOWnews 今日新聞]]，2009-04-13</ref><ref name="復出有望">[http://www.chinatimes.com/newspapers/20141103000500-260112/ 張菲復出有望 只待好菜上桌]，[[中時電子報]]，2014-11-03</ref>，[[經濟大衰退|金融風暴]]後因收視下滑和反映電視圈不景氣，再降至20萬元<ref>[https://news.tvbs.com.tw/entertainment/151556/ 張菲尾牙不砍價 期待郭董邀約]，[[TVBS]]新聞，2009-11-24</ref><ref name="降價換續約"/><ref>[https://tw.news.yahoo.com/張菲哭窮-集20萬還要漲-20110104-110121-010.html/ 張菲哭窮一集20萬還要漲]，[[中時電子報]]，2011-01-05</ref>。
2011年9月24日，《綜藝大哥大》因收視率不佳停播，張菲再度宣布退隱演藝圈<ref name="復出有望"/>。
===2016年〜2018年===
2016年1月31日，張菲於[[鴻海集團]][[尾牙]]擔任主持人，和[[謝金燕]]同台演出。外界傳聞該場尾牙是張菲再度復出前的暖身，他即將重返演藝圈<ref>[https://www.setn.com/News.aspx?NewsID=122089/ 天王兩樣情！張菲鴻海尾牙暖身復出 胡瓜遭爆罷錄節目]，[[三立新聞網]]，2016-02-01</ref>。直到2017年12月25日，張菲再度復出主持[[華視]]週末黃金時段綜藝節目《[[綜藝菲常讚]]》<ref>[https://stars.udn.com/star/story/10091/2894837/ 張菲隔7年重拾主持棒 打造綜藝歌唱舞台]，[[聯合新聞網]]，2017-12-25</ref>；2018年1月6日節目首播，直至2018年9月29日停播。