彭城王遵，往诣关右，途次闻丧，乃屯次河内。可巧冠军大将军姚弋仲，车骑大将军蒲洪，安西将军刘宁，征虏将军石闵等，平乱班师，即前回梁犊之乱。与遵相遇，当下同声说遵道：“殿下年长且贤，先帝尝欲立殿下为嗣，至暮年昏耄，乃为张豺所误，今女主临朝，奸臣用事，众心未服，京内空虚，殿下若声讨张豺，鼓行东进，哪有不背叛开门，欢迎殿下哩？”遵欣然相从，即从河内举兵，还指邺都。洛州刺史刘国等，并引兵往会，传檄至邺。张豺大惧，飞召张举还军。举未及归，遵已将到，急得豺形色仓促，不能不调兵出御。偏都中耆旧羯士，相互告语道：“天子儿来奔丧，我辈合法出迎，何如反随张豺把守哩？”因而相率逾城，连续迎遵。豺虽严令制止，滥加殛毙，终不能止。继闻镇军大将军张离，亦率龙腾军二千，斩关出迎，越吓到手足无措。适宫中有旨传召，只好报命趋入。刘太后向豺泣语道：“先帝梓宫未殡，便遇内乱，今上幼冲，国事尽托将军，将军将如何弭乱？现欲加遵重官，未知能撤兵免祸否？”这叫做一厢甘心，豺支吾半晌，说不出一句话儿，唯有唯唯服从。
刘太后乃遣使谕遵，命为丞相，领大司马多数督，统辖中外诸军，录尚书事，并加黄钺九锡，增封十郡。遵不受命，回绝来使，且进至安阳亭，邺中恟惧。张豺一筹莫展，没何如硬着头皮，引众往迎。遵面加叱责，令摆布将豺拘住，当即贯甲耀兵，自太武门驰入，直登太武前殿，擗踊尽哀，退至东阁，命兵士牵出张豺，至平乐市中枭首，并夷三族。且假传太后令云：“嗣子幼冲，为先帝私恩所授，但皇业至重，非季子所能接受，今适时彭城王遵，入嗣大位，勉绍洪基”如此。遵伪让至三，朝