孙權把姐姐的女儿陳氏嫁给潘祕，調任湘鄉（今湖南省湘乡县）令。襄陽習溫担任荊州大公平。潘祕经過拜望習溫，問他：「先父原来说君侯當為州里議主，现在果如其言，不知道州里誰當代替你？」習溫回答：「没有比潘君你再合适的了。」後潘祕為尚書僕射，代替溫習溫為公平，很得州里的赞譽。
潘祕，三国孙吴武陵郡漢壽县（今湖南省汉寿县西北）人，潘濬之子，潘翥之弟。