词以写景导入。“江水苍苍”三句是愁人眼中的秋色。江水浩渺而苍茫，秋天江潮常是最为壮观的，但在流放异乡的词人看来，江水仿佛离人之泪，纵使秋江都是泪，也流不尽许多愁。“倦柳愁荷”更是情景交融。秋霜以后，柳叶行将败落，已不是春夏时节的青翠欲滴，荷叶几个月来辛勤扶持着娇艳的荷花，这时花落叶老，往日的郁郁葱葱已不复存在，以至只留下听秋雨的“残荷”（别本“愁”即作“残”）。而这江、这柳、这荷，都感受到秋天的袭来。“废阁”、“古帘”与下文“清灯冷屋”都是写词人居所的。阁已“废”，却还住人；帘已“古”，却还挂着，可见词人生活的清贫。“雁程最嫌风力”句，“雁程”，指雁之行程。“嫌”，即怕。雁飞最怕风大，逆风飞翔，吃力而难停歇，自然也就不能捎来故园信息。史达祖原籍是北宋故都汴梁，但他生于高宗绍兴末年，一生大部分时间是在南宋都城临安度过的，其亲友也大都在那里。这里的“故园”，应指其西湖边葛岭一带的家园。“爱渠入眼南山碧”一句是忆旧。“渠”，即它。
“南山”在临安是实有的，大旗山北有一座高四十余丈的山即名南山，山上有杜牧墓。西湖周围尚有南屏山、南高峰，皆可谓之“南山”，但这里当是泛指居所南面的群山。词人身处贬所，故格外留恋过去临安的家居生活。一“爱”字，一“碧”字，与上文贬所景象之感情色彩成了鲜明对照。“念上国”一句，明白道出所念乃是京都。词人尽管身遭不幸，而忠君爱国之心并未改变。“谁是脍鲈江汉未归客”一句，乃反躬自问，这江汉未归之客实指词人自己。“江汉”指长江、汉水间的地域。如杜甫在江陵（今属湖北）作诗自称“江汉思归客”，即指旅居在江、汉之间。此词的“江汉未归客”字面亦当本于杜诗。“脍鲈”用晋人张翰的典故。张翰任齐王冏之东曹椽，因秋风起，思吴中菰菜、莼羹、鲈鱼脍，遂辞官，命驾归。
作者以张翰自诩，但却不能如张翰之全身远祸。宋代官员得罪流放远州，轻者送某州居住，稍重曰安置，又重曰编管，皆指定居住地，受地方官约束，不得自由行动。况且他是鲸面流放，身不由己，有家难归，并非留恋爵禄。词写至此，词情更为抑郁，便由伤秋怀乡转而感伤不幸身世。
过片句以“还又”二字作过渡，更进一层。苍苍江水，倦柳愁荷，已使江汉未归之客黯然神伤，又值“岁晚”，况是“瘦骨临风，夜闻秋声”，故倍增孤寂之感。“岁晚”，犹岁暮。俗话说：“年怕中秋月怕半”，中秋以后，一年过去大半，仿佛日之黄昏，无怪乎杜甫《秋兴》诗中“一卧沧江惊岁晚”即谓深秋为“岁晚”。“瘦骨”二字道出词人贬中体貌枯槁，精神憔悴。
“夜闻”二句写客中的所闻所感。秋时西风作，草木凋零，多肃杀之声，而称“秋声”。庾信《周谯国公夫人步陆孤氏暮志铭》谓“树树秋声，山山寒色”。秋声乃西风吹动树木所发。“岑寂”，为冷清、寂寞之意。词人孤身羁旅，对萧瑟之秋风，萌发寂寥之情。
此情既是触景而生，也是贬谪中的爱国志士无往而不在的身世之感的真实流露。词人一心报效祖国，他曾“每为神州未复”（《龙吟曲》）而忧心忡忡，也曾幻想“趁建瓴一举，并收鳌极”（《满江红》），更希望有一天能“办一襟风月看升平，吟春色”（《满江红》）。但他寄予厚望的开禧北伐失败了，主战者的头颅成了向敌人讨好的贡品，当时的形势诚如王夫之《宋论》指出的：“侂胄诛，兵已罢，宋日以坐敝而讫于亡。”国事一日不如一日，有着报国之心的词人不能无动于衷。但眼前的现实却如此冷酷：“露蛩悲、清灯冷屋，翻书愁上鬓毛白。”蛩即蟋蟀，秋露降下，蟋蟀悲鸣，仅有冷屋中的一盏孤灯与词人相伴，只能以“翻书”来打发这漫漫长夜。屋是冷的，阁是破的，词人的心也是碎的。他忧国伤时，故愁得鬓发都白了。曾几何时，公元1201年（嘉泰元年）张镃为他的词集作序时还称他“郁然而秀整”，且“须发未白”，时间过去不多几年，他竟然已“瘦骨临风”、“鬓毛白”。其实他这时还不到五十岁，却已早衰。他早年也曾到过江汉一带，当时正值青春年少，与好友们相约嬉游的情景还历历在目，犹如昨日。可是此时贬谪故地，却是万般无奈，惊魂不定。史弥远政变的刀光剑影仿佛还在词人眼前晃动。继韩侂胄遇害后，丞相陈自强也被贬死雷州，北伐主帅苏师旦被处斩于韶州。史弥远虽对外只会腆颜事敌，但对政敌的迫害却从不手软。这时，史达祖在贬所会不会受到新的迫害只有天才知晓，但这种威胁是无时不在的。他既无辛弃疾那样的雄才大略，性格上也缺少稼轩的英雄气概，在这首词中也不难看出。
“苒苒”二字乃柔弱之意，“苒苒魂惊”，正透出他性格上软弱的一面。故当其客中送客之际，只能一洒志士之泪，却无一壮语赠别，连牢骚也不敢发。后结二句，为送别寄远之辞。“南浦”指南面的水边。《离骚》有“送美人兮南浦”之句，又江淹《别赋》云：“春草碧色，春水渌波，送君南浦，伤如之何！”这里借“南浦”而点出送别之意。“烟驿”，指词人之居所，与前文之“废阁”、“冷屋”同义。“剪梅”乃寄远常用之典。据《荆州记》载，“陆凯、范晔相善，自江南寄梅花一枝诣长安与晔，并赠诗曰：‘折梅逢驿使，寄与陇头人。江南无所有，聊赠一枝春。’”因无所有而折梅寄远已属可叹，何况词人身处贬所，寄远之际更多一番不足为外人道的苦情。词即在这哀怨之中结束了，更显得一往情深。
从这首词的艺术表现手法看，也是颇具特色的。词人身遭不幸，家国之恨、身世之感郁积于胸，不可不言而又不可明言，故形成了一种沉郁苍凉的风格和回环往复、虚实相间的抒情结构。词人深沉哀怨之情是历历可感的。“雁程最嫌风力”、“无奈苒苒魂惊”等语，都写得沉郁深挚，颇为感人。梅溪词受清真影响，在章法结构上常常通过种种回忆、想象、联想等手法，前后左右，回环吞吐地描摹出他所要表达的东西，看到的和想到的融于一篇。这一特点，在他被贬流放后的作品中表现得尤为突出。这首词正是如此。词中之江水、柳、荷、废阁、古帘、清灯冷屋，都是实景，而“受渠入眼南山碧”，“年少俊游浑断得”则是回忆与想象，全词以伤秋怀归贯穿全篇，虚虚实实，欲言又止，摇曳生姿，朦胧而不晦涩，这就比直抒胸臆更感人肺腑、耐人寻味。
含蓄蕴藉是沉郁风格的又一表现。结尾数句，既点明是送别友人，又将未了之情引起读者遐想，不尽之意见于言外，显得含意隽永，余音不绝。清人对此词非常推崇，推它为《梅溪词》的杰作，显然是有见地的。