此后，元载多次在肃宗面前举荐杨炎，杨炎也从太常博士一路做到吏部侍郎。他和元载的交往越来越密，常一起讨论财政改革的事，元载曾说：“将来我若能掌权，必让你推行新法。” 可杨炎也看出元载的野心 —— 他大肆收受贿赂，结党营私，甚至想操控朝政。有次杨炎劝他：“大人若想长久，当以百姓为重，不可贪赃枉法。” 元载却拍着他的肩笑道：“杨兄太耿直了，在朝堂上做事，哪能一点手段都没有？”
唐代宗大历十二年，元载因 “专权贪腐” 被赐死，杨炎也受牵连，被贬为道州司马。消息传来时，杨炎正在吏部整理官员考核的册子，听到圣旨的那一刻，他只是平静地把册子交给下属，然后回到家中收拾行李。老仆哭着说：“大人是被元载连累的，不如去求情？” 杨炎却摇头：“元载有错，我与他交往过密，被贬也是应当。只是可惜，那些财政改革的想法，不知何时才能实现。”
道州地处江南，虽不如长安繁华，却也水土肥沃。可杨炎到任时，看到的却是另一番景象：农户们忙着把刚收的稻谷往官府运，路上有妇人哭着追一辆牛车，牛车上绑着她的女儿 —— 因为交不出 “租庸调”，只能把女儿卖给地主抵债。杨炎拦住牛车，问清缘由后，立刻去见道州刺史韦彪，请求暂缓征税。韦彪却摊着手说：“朝廷有规定，租庸调必须按时缴纳，我也没办法。” 杨炎又问：“道州的赋税为何如此之重？” 韦彪支支吾吾半天，才说：“除了租庸调，还有‘青苗钱’‘地头钱’，都是要上缴朝廷的。”
从那以后，杨炎又开始了走访百姓的日子。他带着那本记满河西疾苦的册子，走遍了道州的十二个县。在江华县，他见到一户姓周的农夫，家里有五口人，种着三亩地，每年要交的赋税加起来，比地里收的粮食还多。周农夫说：“去年我家交不出税，官府把我儿子抓去做苦役，到现在还没回来。” 杨炎把这些都记在册子上，夜里就在灯下整理，册子的封皮被他翻得褪了色，页边也写满了批注：“租庸调以丁身为本，不问资产，贫者税重，富者税轻，此乃乱源也。”
有次他在乡间遇到一位老秀才，老秀才说：“前朝曾有‘均田制’，按土地收税，后来均田制废了，税法却没改，百姓哪能不苦？” 杨炎听着，忽然眼前一亮 —— 若能按资产和土地征税，取代原来的租庸调，不就能解决 “贫者税重” 的问题吗？他立刻在册子上写下 “以资产为宗，不以丁身为本” 的想法，还画了个简单的征税流程图，计划每年分夏秋两季征税，这样既方便百姓缴纳，也便于官府统计。
在道州的三年里，杨炎收集了上千户百姓的赋税数据，还写了《道州百姓疾苦疏》，只是他身为贬官，疏文根本递不到朝廷。有次韦彪见他总往乡下跑，劝他：“杨司马，你只是个司马，操这些心做什么？不如多写些诗文，将来还能回京。” 杨炎却指着册子说：“只要还穿着官服，就不能看着百姓受苦。就算这疏文递不上去，我也要把这些记下来，总有一天会有人看到。”
大历十四年，唐代宗驾崩，唐德宗即位。德宗早就听说过杨炎的才学，又想起元载生前对他的举荐，便下旨召他回朝，任门下侍郎、同平章事 —— 也就是宰相。接到圣旨时，杨炎正在道州城外的田里帮周农夫插秧，老仆跑来报信，他手里还沾着泥水，却笑着说：“终于有机会为百姓做事了。”
回京后，杨炎第一件事就是把道州的册子和《道州百姓疾苦疏》呈给德宗。德宗翻看册子时，见上面记着某户人家有几亩地、几口人、交多少税，甚至还有百姓的签名画押，不禁感叹：“杨卿真是用心了。” 杨炎趁机提出推行两税法的主张，说：“如今均田制已废，丁口逃亡，租庸调难以征收；若推行两税法，按资产和土地征税，每年分夏秋两季缴纳，既能增加国库收入，也能减轻百姓负担。”
可朝堂上的反对声却不小。户部尚书刘晏第一个站出来反对：“租庸调推行多年，百姓早已习惯，突然改弦更张，恐生乱子。” 刘晏是当时的理财名臣，掌管着盐铁和漕运，在朝堂上颇有威望。杨炎反驳道：“刘尚书只知习惯，却不知百姓之苦！道州有农户因交不出租庸调卖儿卖女，难道这也是习惯吗？两税法按资产征税，富者多交，贫者少交，这才是公平之道。”
两人在朝堂上争论了起来，德宗也拿不定主意。退朝后，杨炎又去见德宗，把道州周农夫的故事讲给他听：“周农夫种三亩地，每年要交的