溪亭，指临溪水的亭子。唐张祜《题上饶亭》诗：“溪亭拂一琴，促轸坐披衿。” 宋李清照《如梦令》词：“常记溪亭日暮，沉醉不知归路。”首联破题。“清秋有馀思，日暮尚溪亭”，表明全诗以溪亭为中心，逐一描绘周围的清秋初月的景色。乍读起来，似有恬静闲适的印象，细细品味，又觉不然。诗人徙倚溪亭，观览景色，思绪纷披，直至日暮，尚徘徊不下。“馀思”，是指诗人在南宋灭亡之后，时时所怀有的旧君故国之思，同那种多愁善感的“悲秋”有着本质的区别。不了解首句所要表达的意图，就会把全篇看成单纯写景之作。只有真正领悟到诗人在特定的历史环境下的心理状态，才能透过迷蒙的景色去探索诗人的悠悠孤愤和高洁品格。这种破题法，既无“突兀高远，如狂风卷浪，势欲滔天”（《诗家法数·律诗要法》）的气派，也没有运用比兴的表现手法，而是语淡辞婉，直叙其事，于平淡之中留下意馀象外的情韵。
颔联紧承一二句。“高树月初白”，是说高高树巅挂着一弯洁白的初月，切上联“日暮”。“微风酒半醒”，在微风吹拂之下，诗人酒意初醒，与上联“馀思”呼应。月上高树，周围一片冷清幽寂。当此之时，诗人心绪不宁，“馀思”萦绕，难以去怀，从其半醉半醒的精神状态，正说明他感慨至深。
颈联写诗人举止。“独行穿落叶”，踽踽独行之状如见，“穿”字尤妙。“闲坐数流萤”，独坐百无聊赖，只得藉数流萤以遣闷，其侘傺不平的心情可以想见，用一“数”字，更见生动。这两句诗把其复杂的矛盾心情注入形象鲜明的画面，不难看出，其中隐现着诗人对生活的感受和时代乱离的影子。注家评曰：“此联本平，然用‘穿’、‘数’二字，便觉精神振竦，所谓五言诗以第三字为眼，是也。”足见诗人用字之工。
末联写景。“何处渔歌起，孤灯隔远汀。”一声声悠长的渔歌，打乱了诗人的冥思遐想，举目四顾，只有远处水面上飘动着一点若明若暗的灯火，此情此景，倍添凄凉孤寂，蕴含着国破家亡、飘泊无依之感。
通观全诗，以景传情，用富有象征意义的景物描写，寄寓诗人的感慨馀思，情韵深长，颇具特色。