全诗三十二句，八句一层，凡四层。
第一层写远游别弟，两情依依之状。起二句切题面“登临海峤”，并点明时令。深秋往寻远山，“山远行不近”，看似语意重复，细味之可感到诗人矛盾的心情，寻游之兴固佳，然而想起行程遥远又不禁愁从中来。“与子别山阿”两句点题面“初发彊中”，且以“含酸赴修畛”，将游兴与愁别的矛盾侧注到愁别中来。离情是如此的深重，往时携手联袂，今日中流分别，情怀依依，舟已行而人犹引颈相望，奈何舟行太速，颈犹未酸，行舟已隐没在曲屈的汀州之中了。
第二层写惊流泛棹，日落栖泊，但离思无时或去，往事都来心头。前二句笔分两面，“隐汀绝望舟”为送者设想；从弟一定还伫立江岸，望断去舟；然而行者则已“骛棹逐惊流”，在骇浪惊涛中心潮起伏了。三四句合二为一，用《列子》中公孙朝“欲尽一生之欢，穷当年之乐”语，说的是：真想把一生的欢乐合在一起，与从弟并作这一次的千里之游。这是承上两相遥望而来很自然的想法，但是分别已成事实，并游之想徒为子虚。千里独行，愁思中不觉已夕阳西下，当是泊舟栖息之时了。寻寻觅觅，诗人终于停舟系缆在临江楼下。偏偏选中此地泊舟的理由，不仅是因为黄昏当息，更因为此地曾与从弟等同来共游，故地独栖，回忆当时的情景，也是稍纾离思，慰情聊胜无的办法。
第三层承上申足别恨。忆昔本为消愁，但结果旧日共游之欢乐反而映现出今日独行的悲苦，旧欢转成新愁，不禁叹息频频。这种无可排遣的愁怀本已使人劳心焦思，更何况又逢这启人悲怨的深秋。耳畔只听得，秋泉活活，哀猿嗷嗷，悲愁断肠的秋声，弥漫在夹江两岸。闻此，戚戚新别之心，更引动了旧事万千，都来心头。
第四层，力图从悲苦中振起，拟想舟至剡中登游寻仙的情景以自遣。诗人不堪新愁旧悲转相交煎的心情，就计算起行程，明日从鬼谷子修行的清溪出发，傍晚就可到达浙东名胜剡中，而后日清晨就可攀登“势拔五岳掩赤城”的天姥山了。一旦在高出尘嚣的云霓中徜徉，归期就将不复计虑。也许此游有幸遇到接引汉代王子乔到嵩山为仙的古仙人浮丘公吧，那么就更要与从弟永远分手了。全诗在远游成仙的遐想中结束，又仍含蕴着对从弟的怀恋，正与开头远行惜别首尾呼应。复杂的情思，是喜还是悲，是喜为主还是悲为要，恐怕诗人自己也难以说清，而读者则不妨见仁见智，去慢慢品咂。
不难看出，此诗体制酷学曹植的名篇《赠白马王彪》。彪为植之异母弟，此诗则赠从弟惠连。二人都受倾轧，无法在朝廷存身，而作远游，灵运曾谓天下之才共一石，曹植得八斗，自己得一斗，余一斗，天下人共分之。而由此诗可见，灵运之心祈陈思，不唯在仰其才，更在于可引为同病相怜的隔代知音。其“愤而成篇”（《赠白马王彪》序）的歌唱，又一次证明了钟嵘所说谢诗“共源出于陈思”，洵为慧眼独具。
诗歌情景相生，辗转入深，又借顶真格联结上下章，藉其缠绵回环的音声加强抒情效果，也同于曹诗，而语言之于古拙之中见淳厚，如前析起句然，更可见仿效之迹。然而正如谢客学曹诸诗都并非邯郸学步一样，此诗之于《赠白马王彪》也有所创新。
二诗都转韵，曹诗都押平声韵，谢诗则平仄韵互转，在音声的扬抑变化中，更见掩抑之情，这种韵法，成为后世转韵五古的典型韵式。
谢诗的构思与间架也更趋复杂。从所要表达的情意看，《赠白马王彪》是较单纯的骨肉相残，宗臣去国之思，悲愤苍凉。而此诗则合远游的佳兴与离别的悲苦于一体，离愁中还更暗蕴外贬的牢愁。要将这些复杂的情思揉于一诗，其结构势必不能如曹植那样一线单衍，而运用了前析由游兴与行愁并起，再侧注于行愁，反复剀陈，更由愁中所见秋景折到遐想游兴，最后“傥遇浮丘公，长绝子徽音”两句，双收回应，诗思就如游龙行空，夭蜷连蜷，在深曲中见慷慨之情，较之建安诗，更耐咀嚼。
虚实详略的安排是此诗较曹诗精严的又一表现。曹诗七章，景物描写与抒情有所交叉，但并非每章如此，后半几乎全为抒情，而此诗四章，每章情景互转，两相比较可见曹之有所交叉并非有意安排，而谢之情景互转注重人工经营，但是其情景的位置富于变化，转换十分自然，可见到了锤炼精工的境地。篇中第三节的忆旧共增新愁一节尤可寻味，反反复复。如果加以铺陈，则必转移全诗主线，就会滞涩而累赘了。这种略中详，详中略，较之曹诗之取材也更可见匠心作用。
曹植与谢客都以高才疏放见称，而其实又都是情感充沛而又深蕴之人，当其与亲友相对时，卸去了放诞的外衣，而以赤子之心相向，长歌当哭，其感情其实热得烫人。这也是中国士大夫的一种典型。