酒醒香销愁不胜，如何更向落花行。去年高摘斗轻盈。
夜雨几番销瘦了，繁华如梦总无凭。人间何处问多情。
顺治三年（1646），潘耒出生于江南吴江县（今属江苏苏州）的一家书香门第。六岁丧父，依兄潘柽章生活。潘柽章，字圣木，号力田，康熙二年（1663）因浙江南浔庄廷鑨明史案牵连，与吴炎同被凌迟于杭州弼教坊。其嫂沈氏流放就道，时耒年仅十七，徒步送之。沈氏流放至广宁（辽宁省北镇县），中途流产，服药自杀。耒曾有《恸哭七十韵》《阁谷歌》《度关曲》三首诗为其兄所遭庄史之祸而作。
潘耒生而奇慧，读书十行并下，过目不忘，曾先后受业于长兄柽章、吴炎、王锡阐、徐枋、顾炎武等著名学者，博通经史、音韵、算数及宗乘之学。嗜好收藏砚台，并根据砚的形状、质地，分刻铭文，闲睱独自把玩，自得其乐，人称其有“石癖”。
康熙十七年（1678）清政府诏举“博学鸿儒科”，潘耒为左谕德卢琦和刑部郎中谢重辉交章推荐。试后，潘耒名列二等第二名，以布衣身份被授为翰林院检讨，参与《明史》修纂，主纂《食货志》六卷。潘耒在京为官五年，其间，除参修《明史》外，又被康熙帝亲自简拔为日讲起居注官，出任会试考官，分校礼闱。他对于时政亦多有建白，后因精敏敢言，无稍逊避为忌者所中，以浮躁降职，后因母忧归，遂不复出。康熙三十四年（1695），在福建建阳将顾炎武《日知录》三十二卷本刻版行世，潘耒在《日知录》原序曰：“当代文人才子甚多，然语学问者，必敛衽推顾先生”，并谓此书“惟宋、元名儒能为之，明三百年来殆未有也”。
康熙四十二年（1703）春，康熙南巡，复耒原官，越三年，皇帝又南巡，大学士陈廷敬欲荐起耒，耒曰：“止止止，吾初志也，吾分也。”并附一首《老马行》以谢，竟不复出。
潘耒晚年崇信佛学，好山水，遍游天台、雁荡、武夷、黄山诸名山，为文记之，名篇有《游南雁荡记》、《火焰峰》、《天柱峰僧饷黄独》、《仙居诸山游记》等。