宗藩乱政，当然给宗藩以限制；大地主兼并土地，贫民失业，当然给大地主以制裁，机巧变诈的人多，当然只有痛快地施行法治。一切都在居正底眼里，但是他只是一个在野的人，尽管有加以制裁的决心，但是没有加以制裁的权势。他只有种田了，一篇《学农园记》，写着他底生活：
余少苦笃贫，家靡儋石，弱冠登仕，裁有田数十亩。嘉靖甲寅，以病谢，自念身被沈病，不能簪笔执简，奉承明之阙，若复驰逐城府，与宾客过从，是重增其戾。乃一切谢屏亲故，即田中辟地数亩，植竹种树，诛茆结庐，以惬息其中。时复周行阡陌间，前田夫、佣臾，测土地燥湿，较穜稑先后，占云望祲，以知岁时之丰凶。每观其被风露，炙熇日，终岁仆仆，仅免于饥；岁小不登，即妇子不相眄；而官吏催科，急于救燎，寡嫠夜泣，逋寇宵行；未尝不恻然以悲，惕然以恐也。或幸年谷顺成，黄云被垄，岁时伏腊，野老欢呼，相与为一日之泽，则又欣然以喜，嚣然以娱。虽无冀缺躬馌之勤，沮、溺耦耕之苦，而咏歌欣戚，罔不在是。既复自惟，用拙才劣，乏宏济之量，惟力田疾耕，时得甘膬以养父母，庶获无咎。（文集九）
田赋以外，还有商税。洪武十八年令：“各处税课司局商税，俱三十分税一，不得多收。”（《明会典》卷三十五）这是一个原则，但是原则是原则，执行是执行，商税底额外苛求，无形转嫁，更加重一般人民底负担。这也在居正底眼中。他说：
异日者，富民豪侈，莫肯事农，农夫藜藿不饱，而大贾持其盈余，役使贫民。执政者患之，于是计其贮积，稍取奇羡，以佐公家之急，然多者不过数万，少者仅万余，亦不必取盈焉，要在摧抑浮淫，驱之南亩。自顷以来，外筑亭障，缮边塞，以捍骄虏，内有宫室营建之费，国家岁用，率数百万，天子旰食，公卿心计，常虑不能样给焉。于是征发繁科，急于救燎，而榷使亦颇骛益赋，以希意旨，赋或溢于数矣。故余以为欲物力不屈，则莫若省征发，以厚农而资商；欲民用不困，则莫若轻关市，以厚商而利农。
周子曰，即如是，国用不足，奈何？
张子曰，余尝读《盐铁论》，观汉元封、始元之间，海内困弊甚矣，当时在位者，皆【扌戹】掔言榷利，而文学诸生，乃风以力本节俭。其言似迂，然昭帝行之，卒获其效。故古之理财者，汰浮溢而不骛厚入，节漏费而不开利源；不幸而至于匮乏，犹当计度久远，以植国本，厚元元也。贾生有言：“生之者甚少，靡之者甚多，天下财力，安得不困？”今不务除其本，而竞效贾竖以益之，不亦难乎？（文集八《赠水部周汉浦榷竣还朝序》）
居正只是一个在野的人，但是对于政治，他底主张已经很清楚地留下一个轮廓。要解除民众痛苦，便得减轻负担。嘉靖三十年来最大的负担：第一是对外的国防经费，其次是皇宫底建筑。在政治方面有抱负的人，对国防，对皇室，都要有一番布置。居正看清楚了，慢慢地在伺候他底机会。
在他休假三年的当中，辽王宪【火节】是一个往还甚密的同伴。真不幸，这两个同年同岁的人，眼看他们底命运，永远纠结在一处。毛妃死了，宪【火节】自由了，在辽王底崇衔以外，他是清微忠教真人。这是一重保障，对于崇奉道教的世宗，他是一个彻底的同道。修道只是一个名义，宪【火节】最喜欢的还是女人，是游戏。亲王是不许擅自外出的，但是宪【火节】有时会到数百里以外．追求他底爱好，谁也管不着。你管得着皇帝底同道辽王殿下吗？居正回家，宪【火节】又添了一种欢愉，他虽然不是什么游朋浪友，但是既是翰林院编修，诗是一定会做的了。宪【火节】也喜欢做诗，嬲着居正做诗。唱和、催句，凡是酸秀才爱做的事，都做到了。在喝酒、追女人这一类的生活以外，又添一种新的娱乐，这可够宪【火节】高兴了。居正数到当日祖父被宪【火节】灌酒的创痕，料不到自己又身受这催诗的虐政。一切且忍耐着，他只得抽取空闲的时间，追陪这一个自命曹子建、李太白的辽王殿下。辽王自然有辽王底诗才。居正曾说：
盖天禀超轶，有兼人之资，得司契之匠。其所著述，虽不效文士踵蹑陈迹，自不外于矩矱。每酒酣赋诗，辄令坐客拈韵限句，依次比律，纵发忽吐，靡不奇出。或险韵奇声，人皆燥吻敛袂，莫能出一语；王援豪落纸，累数百言，而稳贴新丽，越在意表，倾囊泻珠，累累不匮。（文集八《种莲子戊午稿序》）
这是一种讽刺。所谓“越在意表”，“靡不奇出”，当然是一种不上家数的态度。但是居正还得和他唱和。一杯苦酒，只得慢慢地咽下。诗集有《同贞庵殿下、李罗村饮述斋园亭》，（诗一）《味秘草堂卷为贞庵王孙赋》，（诗五）《和贞一王孙八岭山韵》，（诗五）《赠贞庵王孙二首》，（诗五）贞庵即贞一，又诗中屡言“瑶章惊锡蓬莱阙，羽节高悬太乙宫”；（《味秘草堂卷》）“江上初闻小有洞，年来不住大罗天”；（《赠贞庵王孙》）显然是指宪【火节】。李罗村名宪卿，湖广巡抚，嘉靖三十六年，擢左副都御史，总督湖广川贵，采办大木，开府江陵。
居正文集里有两篇关于辽府的文章：一篇是《辽府承奉正王公墓志铭》，（文集五）一篇是《王承奉传》。（文集九）墓志铭是休假中作的，对于宪【火节】称为“英敏聪达，才智绝人”。《王承奉传》作时，居正已经还朝了，直言“王聪敏辩给，而嗜利刻害，及长，多不法，常出数百里外游戏，有司莫敢止”。斗争已经开始了，当然用不到讳饰，这是后事。在休假中，居正对宪【火节】，还是妥协。对于辽王底不法，一句没有提到。甚至宪【火节】底私生子冒充嫡子的事，也没有说。《王承奉传》便尽情地揭露，并且指出在呈报的时候，照例应由承奉正署名，但是在王大用（承奉正为王府内监官名，大用为人名）拒绝以后，宪【火节】偷偷地把承奉印盖上，其后大用竟因此气死。一切的事，居正在应酬唱和中，都看在眼里。直到隆庆二年，才得到一度的结束。
休假之中，居正曾经一度到过武昌。《贺少宰镇山朱公重膺殊恩序》（文集八）称“今年愚承乏，与得阳董公偕，得辨材省中”，即指其事。镇山朱公即朱衡，浔阳董公即董份。
最使居正感到兴趣的，还是衡山之游，文集有《游衡岳记》、《后记》两篇，（文集九）诗集便有十篇左右。居正自言：
余用不肖之躯，弱冠登仕，不为不通显。然自惟涉世酷非所宜，每值山水会心处，辄忘返焉，盖其性然也。夫物唯自适其性，乃可永年，要欲及今齿壮力健，即不能与汗漫期于九垓，亦当遍游寰中诸名胜，游目骋怀，以极平生之愿。今当发轫衡岳，遂以告于山灵。（《游衡岳记》）
这一次的旅行，在嘉靖三十五年十月，同游者有应城李义河、湘潭王会沙、汉阳张甑山，山中盘桓八日，下山后遇长沙李石棠。他们看到岳庙、半山亭、祝融峰、观音岩、上封观、兜率寺、南台寺、黄庭观、方广寺、二贤祠。录两诗于次：
宿南台寺
一枕孤峰宿瞑烟，不知身在翠微巅，寒生钟磬宵初彻，起结跏趺月正圆。尘梦幻随诸相灭，觉心光照一灯然，明朝更觅朱陵路，踏遍紫云犹未旋。（诗五）
出方广寺
偶来何见去何闻，耳畔清泉眼畔云，山色有情能恋客，竹间将别却怜君。瘦筇又逐孤鸿远，浪迹还如落叶分，尘土无心留姓字，碧纱休护壁间文。（诗五）
在游山中间，居正底心绪，仍旧是在矛盾中的。这两首诗显见得他是无意功名了，但是《谒晦翁、南轩祠示诸同志》（诗一）说：
愿我同心侣，景行希令猷，涓流汇沧海，一篑成山丘，欲骋万里途，中道安可留？各勉日新志，毋贻白首羞！
什么是“万里途”、“日新志”？当然不会是“遗游寰中诸名胜”之志。居正底心永远是热的。在他到上封观的途中，他底目光永远是向北方。
最奇怪的是他一边请告回籍，一边还认定“欲骋万里途，中道安可留”！请病假的是他，自称“齿壮力健”的也是他。号称“闭关不启”的是他，约李义河游山的也是他。（诗三《与李义河给谏约游衡岳不至奉嘲二首》）病假当然应当取销了；他的心绪，正在不断地计划早日还朝。敬修《文忠公行实》解释嘉靖三十六年秋间居正出山的动机：
大父见太师居山中且三年，而坚卧不起，常邑邑不乐。前问“大人所为焦劳状云何？”大父辄起行若不顾，而又时时以其意语所亲者。以此恐伤大父心，遂出。
假如不是有意的曲解，这一定是敬修底无知。
居正底请告，完全是因为对于政局的不满，也许还有一点惧祸的心理。《谢病别徐存斋相公书》已经给我们一些启示。他请告中的诗句，更显然地指出：
民生各有性，迭用异柔刚，羡君倜傥概，千里何昂昂。而我荏弱姿，忍垢俱发鋩，偏智守一隅，语默互相妨。（诗一《再寄胡剑西二首》之一）
昔我图南奋溟渤，身逢明主游丹阙，作赋耻学相如工，干时实有扬云拙。一朝肮脏不得意，翩翻归卧沧江月。故人知我烟霞心，遥传毫素寄云林，看图仿佛犹龙面，使我跌宕开尘襟。尘襟已消豁，世网谁能侵？休言大隐沈金马，且弄扁舟泛碧浔。他日紫阁如相忆，烟水桃花深更深。（诗二《曹纪山督学题老子出关图谢之》）
江陵底山水看厌了，他开始发见自己怀恋的只是北京底城阙。