上阕写景。先从远处着笔。
“远岸收残雨，雨残稍觉江天暮。”上阕头两句写江天过雨之景，发端“远岸收残雨”，句中词序颠倒实即“残雨收”：意谓远远的江岸一带，雨点疏疏稀稀的快停止了。雨快下完了，才觉得江天渐晚，则可推断出这场雨下了很长时间。孤舟因雨不能行驶，词人此时蜗居小舟，孤寂无依更可知，这就把时间、地点、人物的动作和心情都或明或暗地表现出来了。紧接着，“雨残稍觉江灭暮”，一幅以江天为背景的寥阔画面，那是淡淡的水墨画，雨快停止，而天空开始黑下来了。
“拾翠汀洲人寂静，立双双鸥鹭。”转换了另一个画面，诗人将视线从远岸收向较近的汀洲上。拾翠佳人，就是指在河边拾香草的女子。鸥鹭成双，词人却孤独寂寞地处在小舟之中。这一对照，就更显词人内心的孤独寂寞。汀洲之上，有鸥鹭以之为家，但拾翠者早已归去，虚拟作陪，更以“双双”形容“鸥鹭”，便觉景中有情。时间在流逝，天渐渐更黑了，随着诗人视线的变动，又展现出另一幅画面。
“望几点、渔灯隐映蒹葭浦。”“望几点”句，时间由日暮转向夜晚。诗人放眼望去，只见芦苇荡里，隐隐约约闪动着渔船上的灯火，一点又一点。渔灯已明，但由于是远望，又隔有蒹葭，所以说是“隐映”，这是远处所见。“停画桡”句，就是描绘自己所处之地，附近所闻。“道去程”二句，乃是舟人的语言和动作。“前村烟树”本属实景，而冠以“遥指”二字，又似虚写。此二句将船家对路途的安排，他们的神情、口吻以及隐约可见的江村勾勒了出来，用笔极其简练，而又生动、真切。
“停画桡，两两舟人语。道去程今夜，遥指前村烟树。”这是诗人耳中所闻，船停止了划桨，两个舟子在谈话：他们指着远方的前村烟树朦胧处，说今夜的行程就去那里。后一句词序颠倒且有省略，意谓（舟子）遥指前村烟树，道今夜去程（是那边）：这是词的特殊语言。行文至此，从拾翠人回、鸥鹭双双立、渔人点点灯火归家、直至两舟子语今夜远村去程，无不触动诗人敏感的心，故下片自然地引出抒情。
下阕由今夜的去程而思至长年漂泊的艰苦。
“游宦成羁旅，短樯吟倚闲凝伫。”过片“游宦成羁旅”，正面倾吐出旅愁，点明本词主旨：“短樯吟倚闲凝伫”，又是词序颠倒，正面写出舟中百无聊赖的生活。这句是诗人的立足点，原来上阕诗人那些所见所闻，都是从“凝伫”而得。它起着总上启下的作用。
“万水千山迷远近。想乡关何处？”“万水”两句，由“凝伫”转来，由于长久远眺，所见则“万水千山”，所思则“乡关何处”，前句渲染出一片万水千山茫茫无际的景色，后句点明诗人的乡愁。“迷远近”虽指目“迷”，也是心“迷”。崔颢《黄鹤楼》云：“日暮乡关何处是，烟波江上使人愁。”与此句正是语近意通。
“自别后、风亭月榭孤欢聚。”“自别后”以下，直接“乡关何处”，而加以发挥。“风亭”七字，回忆过往，嗟叹今夕。昔日良辰美景，胜地欢游，现在只有孤舟一人，乡情郁郁，而用一“孤”字将今昔分开，意谓亭榭风月依然，但人却不能欢聚，就把它们辜负了。想到这里，诗人离愁更浓，故接着唱出全词的最强音。
“刚断肠、惹得离情苦。听杜宇声声，劝人不如归去。”“刚断肠”以下，紧接上文。乡思正浓，归日无期，而杜宇声声，劝人归去，愈觉不堪。杜宇不识人心，却劝人返，则无情而似有情；人不能归，而杜宇不谅，依旧催劝，徒乱人意，则有情终似无情。以听杜宇哀啼结束，更觉深情婉转、凄侧动人，用意层层深入，一句紧接一句，情深意婉而下笔有力，读来浸人心腑。