杨廷和在武宗驾崩、世宗未至时，曾总揽朝政共三十七日，他裁撤许多冒滥军功的官员。至杨慎被贬后，被裁撤的挟怨者招募了一些亡命之徒在路上埋伏，要伺机杀害杨慎。杨慎知道后，一路小心防备，到临清县时这些人才散去，他扶病上路，骑马走了近万里，非常疲惫，等抵达永昌卫时，险些无法病愈。

在放逐滇南漫长的三十多年流放生活中，并未因环境恶劣而消极颓废，他不仅寄情山水，而且悉心著述，为白族修史。每到一处，往往借咏边塞奇花异草，抒发政治热情。他在《南枝曲》中，以生在“穷山绝域”而“绝世独立”、自放清香的老梅自喻；在《山茶花》中，盛赞山茶花不畏严寒，“绿叶红英斗雪开”的傲然风骨。在咏物之中，寄寓着自己正直的人格和理想。

更为难能可贵的是，杨慎在放逐期间，仍然关心人民疾苦，不忘国事。如当他发现昆明一带豪绅以修治海口为名，勾结地方官吏强占民田，化公为私，敛财肥己，坑害百姓时，不仅正义凛然地写了《海门行》《后海门行》等诗痛加抨击，还专门写信给云南巡抚赵剑门，力言此役“乃二三武弁投闲置散者，欲谋利自肥而倡此议”，请求制止如此劳民伤财的所谓水利工程。

杨廷和患病，杨慎得以短暂回家探视，杨廷和非常高兴，病也就好了，杨廷和病愈后，杨慎又返回永昌。听说寻甸的安铨、武定的凤朝文作乱，便率领家僮和步兵一百多人，快速赶到木密所，与副使张峩用计击破叛军，平定叛乱。

杨廷和在新都去世，年七十一，杨慎请求巡抚欧阳重替他请命回乡葬父，获准后赶回新都治丧。此后，或暂回四川，或在云南省城，或停留于永昌，在各地均得到地方官员善待。世宗因大礼议之故，对杨廷和、杨慎父子极其愤恨，常问及杨慎近况，大臣则回答杨慎“老病”，世宗才稍觉宽慰。杨慎听闻此事，更加放浪形骸，常纵酒自娱，游历名胜。《乐府纪闻》称他“暇时红粉傅面，作双丫髻插花，令诸妓扶觞游行，了不为愧。”终世宗一世，六次大赦，杨慎终不得还，按明律年满六十岁可以赎身返家，但无人敢受理。

杨慎在黔国公沐朝弼的帮助下，举家迁蜀，寄寓江阳，但因人举发，又被巡抚派四名指挥押回永昌。杨慎在昆明病逝，时年七十二岁，临终时，他还以“临利不敢先人，见义不敢后身”勉励后人。杨慎去世后，沐朝弼等人前往吊祭，当时巡抚云南的右副都御史游居敬，命人为其殡殓入棺，还葬故乡新都，附葬于杨廷和墓旁。

杨慎，在滇南三十年，博览群书，后人论及明代记诵之博、著述之富，推杨慎为第一。他又能文、词及散曲，论古考证之作范围颇广，其诗沉酣六朝，揽采晚唐，创为渊博靡丽之词，造诣深厚，独立于当时风气之外，著作达四百余种，被后人辑为《升庵集》。