词的开头，是对临别时汉阳冬天风景的描写。“衰草愁烟，乱鸦送日，风沙回旋平野“。衰草云烟发愁，乌鸦向夕阳送别，风沙在平野回旋。“愁”、“送”二字，下语工妙，以拟人化的手法写出了恙草与乌鸦的忧愁和惜别之情，意境凄迷，气象阔远，一下子把人带入孤独忧伤的情绪之中。正是以愁人观物，物皆着愁之色彩。这时的姜夔已是人到中年，尽管他多才多艺，仍然是功不成，名不就，长期过着飘泊江湖天涯羁旅的生活。从这首词可以看出，他对江湖游士、豪门清客的生活，已有些厌倦了，然而他无法改变现状，无可奈何之情已隐约暗现。
接着是对自己往事的回忆：“拂雪金鞭，欺寒茸帽，还记章台走马”。姜夔以自己的诗才，结识了著名诗人萧德藻，萧并把侄女嫁给了他。萧德藻与尤袤、范成大、陆游齐名，有“尤萧范陆四诗翁”之称。通过萧德藻，他又结识了范成大、杨万里、陆游、辛弃疾、叶适、朱熹等社会名流。作为权门清客，他有过游冶流连的生活，游荡过繁华的娱乐场所。词中追忆了这段冶游生活之后，他认为最值得珍惜的还是昔日的友情：“谁念飘零久，漫赢得幽怀难写。故人清沔相逢，小窗闲共情话。”这位才华横溢的诗人、词家，他的诗曾受到杨万里的高度评论：“尤萧范陆四诗翁，此后谁当第一功。新拜南湖为上将，更推白石作先锋。”凭着他的社会关系与在诗坛的盛名，他决不至于晚年家贫如洗，死后靠别人的资助来埋葬，原因就在于他不同于一般的权门清客。他是一个讲究气节纯粹的诗人。他所交结的也都是既有名望又有气节的人。据说张鉴要出钱给他捐官，又要把良田送他，他都拒绝了。杨万里称他甚似晚唐隐逸诗人陆龟蒙，范成大称其“翰墨人品，皆似晋宋之雅士。”他一生最珍视的不是高官厚俸，他是一个绝对忠于文学、忠于爱情友情的高人。所以在怀念往日壮游生活之后，不禁深深地感叹：有谁怜念我湖海飘零，只落得满腔伤感！他感到同汉阳朋友的久别重逢，小窗闲话，难能可贵。
下片的开头，是对旧游之地的追忆与深沉的感叹：“长恨离多会少，重访问竹西，珠泪盈把。雁碛波平，渔汀人散，老去不堪游冶。”他深深感叹的是在人生的旅程里，同朋友们“离多会少”。对于一个忠于友情的人，离别当然是最痛苦和难以承受的。眼前的现实又逼迫他在汉阳只能有短暂的停留，又要东下湖州了。
接着是追忆他的扬州、衡岳、洞庭等地之游。竹西：扬州城东禅智寺侧有竹西亭。杜牧《题扬州禅智寺》有“谁知竹西路，歌吹是扬州？”此代指扬州。白石在《扬州慢》中也有“淮左名都，竹西佳处”之句以代扬州。“雁碛”、“渔汀”都不是泛指大雁翔集的沙滩，和渔舟往来的洲渚，是指他曾经“游冶”过的名山胜地。他曾游衡岳、洞庭，回雁峰是南岳七十二峰之一，滨临湘水，水边滩碛相连；洞庭湖，渔舟往来不歇，因此应指他曾经游历过的衡岳、洞庭。（《昔游诗》中说：“昔游衡山下，看水入朱陵。”又说：“芦洲雨中淡，渔网烟外归。”）他重访扬州是什么使他“珠泪盈把”。那是因为金人在1129年（建炎三年）和1161年（绍兴三十一年）大举南下之后，昔日繁华的扬州，遭到了战火的惨重破坏。他在初访扬州时写的《扬州慢》一词中说：“过春风十里，尽荠麦青青。”“念桥边红药，年年知为谁生？”诗人怀着爱国的黍离之悲，重访扬州，怎能不令人伤痛！对于衡岳、洞庭的壮丽风光，他在《昔游诗》这一组诗中，曾尽情地描绘和歌颂。他歌颂洞庭说：“洞庭八百里，玉盘盛水银。长虹忽照影，大哉五色轮。”他描写南岳说：“飞云身畔遇，揽之不盈掬。”描写南岳湘滨的风光说：“昔游衡山下，看水入朱陵。半空扫积雪，万万玉花凝。”此时由于诗人老去，情怀悲凉，没有那种游乐之情了。白石论诗，主张“意中有景，景中有意”，主张“句中有馀味，篇中有馀意”。这首用白描手法描写的词，所以令人读来蕴藉含蓄，余味不尽，正是由于“景中有意”的缘故。比如竹西亭吧，这是扬州胜景，然而白石重访时，却是“珠泪盈把”。衡阳的“雁碛”，洞庭的“渔汀”是多么幽雅的画面，然而诗人已觉得“老去不堪游冶”了。他在写景时，赋予自己的深情厚意，因而使人读来馀味无穷。
词的结尾也是很奇特的：“无奈苕溪月，又照我扁舟东下。甚日归来，梅花零乱春夜。在苕溪这里，他从对昔日壮游的回忆转回到现实情境中的惜别，又跳到对将来归来的设想，反映出白石词在结构上的特色是多采用暗线结构，即打破时空局限，将回忆、现境、设想溶成一片，达到“野云孤飞，去留无迹”的意境。这种结构，正如白石所说：“波澜开阖，如在江湖中，一波未平，一波已作。如兵家之阵，方以为正，又复是奇；方以为奇，忽复是正。出入变化，不可纪极，而法度不可乱。”（《白石道人诗说》）在整个下片中，他通过幽静凄清的景物描写和奇特的联想，对所吟咏的事物，赋予了动人心扉的魔力。