此诗抒发作者对主人公被斥退罢归的惋惜不满与感慨之情。起句以浩叹发出，「征南将」点明归者以前身份，就是这位南征北战的将军，如今却被朝廷罢斥遣归，投老江头，萧条南归，恓惶而去。「流落」二字融注情感，突发领起，总冒全首，含裹通体，撞心触眼，是为一篇主意所在，一起手即与别者连缀纽结，开出下文若大天地。此句从眼前事写起，次句叙其人先前军职显要，重兵在握。「驱」意为统率，下得有力。「十万师」而能驱遣自如，表现其叱咤风云的才幹，足见其人的不凡。不过这些都成为过去，一个「曾」字，深深地荡入雄壮的岁月，饱含唏嘘惋叹。首联今昔对比，叙其身世处境，感慨难以名状。
颔联写友人困顿坎坷，仍眷恋朝廷。「罢归」「老去」指出将军「流落」之因，「归无旧业」说明题目的「襄州」，仅家徒四壁而已。也暗示其人一心戎马，为国征战不解营生。在「古木苍苍离乱后，几家同住一孤城」（《新息道中作》）的时代，老去投归，景况可想。两句上二下三，前后转折，意义上中间含个「而」字在，顿挫而沉郁，有杜诗风神。所谓「明时」，实则为作者对时局的微词。戎马一生、屡树战功的将军，却被罢斥，足见朝廷之「不明」。两句为对文，作互文看更有慨触。次句语由直寻，羌无故实，但「老去」犹「恋」，则使人不能不想起廉颇老矣还希重用的史实，而同情这位被迫退职的军人。
颈联两句又荡回过去，承「曾驱」来，追忆将军昔日独镇「三边」（泛指边防），敌寇生畏，关塞晏然，有功于国。次句为「一剑知轻生」的倒句。「一剑知」，意谓奔勇沙场，忠心可鉴，此外，出生入死，效命疆场，也只有随身伙伴——佩剑知道。有感于时局不明，焉得逢人而语，这是感慨系之的话。两句字斟句酌，句凝字稳。谓语「静」「知」殿在句后，以示其人的功业与赤心。独静三边，为国轻生，以示「罢归」，尚非其时。
以上六句都可视为挥手别后所思，尾联「茫茫江汉上，日暮欲何之」结到眼前，以实景束住，念及其故居旧业无存，因此有「欲何之」的忧问。既罢归而无所可去，伤其恓惶流落，老而不遇。这末尾回首一问，既关合「罢归」句，又与起手「流落」语意连成一片。日暮苍苍，汉水茫茫，老将白髮，归去何方。沉沉暮色吞去了一片孤帆，茫茫汉江也似乎吞没了诗人关照的疑问，「欲何之」的关注之情，也使人思绪波荡，触动读者深切的寻思和悬念。