杨赐的祖父杨震、父亲 杨秉都官至 太尉，且以忠正而闻名，又精通儒学，因而有许多门生，拥有很高的名望。 杨赐少年时便传承家学，研习儒术，常常隐居教授门生子弟，州郡屡次礼命都不接受。

后来，才受大将军梁冀的征辟，但杨赐并不以此为荣，反而不大愿意。出任为 陈仓令，因为疾病没有赴任。朝廷派 公车特征也不到，又屡次推辞 三公的礼命。后来才以司空所举 高第，迁为 侍中、 越骑校尉。