遠祖吴闻是進士出身。吴瑶之子。吳謂之堂侄。早年與南宋遺民方鳳、谢翱、吴思齐等交游，後至大都（北京），任教於明宗潜邸，歷官上都路学正。後在马札儿台家授課。脫脫是他的學生。以集贤院大学士致仕。有子吴莱。
吳直方（1275年－1356年），初名佐孙，字行可，浦江（今属浙江）人。