全诗分三个层次，「束发」句至「还得静者便」是第一层，反復剀陈自己的心志。「剖竹」句至「筑观基曾巅」是正写过旧宅，理旧居。「挥手」以下四句表明一旦任满，将隐遁故山的愿望。
从元兴年间（西元四〇二年-西元四〇四年）初仕至遭贬作诗时（西元四二二年），谢灵运由弱冠少年而将近不惑，这将近「二纪」（一纪十二年，此举成数而言）的岁月，是人生中风华正茂的时期。而对「自谓才能宜参权要」（《宋书本传》）的诗人来说，却偏偏独多坎坷。刘裕势力日盛，对晋室功臣的谢家来说本已是一个厄运，偏偏他在变幻不测的政治风云中又一而再，再而三地「站错了队」。他先从刘裕的政敌刘毅为记室参军，结果刘毅被诛，灵运的叔父兼导师谢混也以首逆而同时及祸，他本人虽幸免难，但已难获信任，刘宋代晋後，尽管他早已名高当时，但只是被帝王视作文学侍臣。刘裕病笃，继嗣之争顿起，他瞅准了二皇子刘义真，谁知又错了；少帝即位，义真被挤到历阳，好友颜延之出放始安，他则外贬永嘉。二十年如花岁月蹉跎而过，无穷感慨遂因故宅的触發，冲涌而出，遂發为诗中首八句的感慨。他反復陈说自己少怀耿介坚贞之志，误入官场，实有违于初志而沾染了尘垢，这当然是有感于先祖高栖远祸的明智而言的；但是因为实际上这二十年是他功业追就的失败，青云之志的摧折，所以他所说的「清旷」，就不能像乃祖功成身退时的志满意得，平和恬宁。从诗中所说二十年前初仕景状恍如昨日之中；从他用汉代名臣汲黯戆直拙于为宦而多挫折之典中，不难看出他那「清旷」之下的幽愤。所谓「拙疾相倚薄，还得静者便」，表面说的是拙宦与疾病给了自己归根復命，静居山墅，以遂初志的便利；而实际上却是这位「静者」内心不平的微妙流露。这种有激于先祖勋业与素德而以清旷出之的幽愤，是全诗一以贯之的意脉，它流注于第二层次的景物描写中，最後停蓄为第三层次那敬告乡亲，三载任满後将还山归隐的誓愿。这个誓愿發得很毒，预想归隐，而竟说到了要死後归葬，誓愿越重，正愈见出其心中的怨愤之深。
全诗最可注目处有二：一是记游写景，前人都摘评「白云」「绿筱」一联的幽美，因谓谢诗多秀句而少全篇，其实不然。这二句之所以为佳，更重要的原因倒是在全景所显示出来的象中之意。诗人帆沧海，过旧山，山行曲折，水涉沿洄，历经重重叠叠的山岩峭壁与连绵萦环的水中洲渚，真所谓是重重掩抑，步步曲屈。正在「山重水復疑无路」之际，而突然「柳暗花明又一村」，眼前出现了一派崭新的明丽景象；洁白的云絮抱护着向空壁立的幽峭山岩，而山下清波涟漪，翠绿的蔓藤临岸袅娜，似少女的青丝，照镜自媚。这景象清丽中有着一种孤高之气，正渗透着诗人经历仕途风霜，企望故宅一憩心境，也正体现着他负才自傲，孤芳自赏的性格特征。论者常云陶诗景中有人，谢诗景中无人，其实又不然，细味谢诗，无一不有其人格在，只是陶诗景淡意显，谢诗则语丽情晦。刘勰《文心雕龙》拈出「隐秀」一词状六朝诗风，其源头正在谢灵运。
诗的又一佳处是结构，全诗以大段议论抒清旷幽愤之思起，气势鼓荡，復潜注于精美绝伦的景物描写中，最後又由隐而显，發为誓愿，由显而隐之间，先以「剖竹」二句倒插，由议论挽入记游，復因美景而起营葺旧居之想，扣题「过始宁墅」，自然道入归隐旧山之誓。由此两处顿挫，遂使一气贯注中得曲屈沉健之致，而免轻滑剽急之弊。如果将杜少陵《自京赴奉先县咏怀五百言》，《北征》诸巨篇与此诗对读，就可發现，老杜之体，其实轫于谢灵运。《昭昧詹言》拈出，谢杜韩（昌黎）黄（山谷）为一脉相承，洵非虚言。
这首诗对于谢灵运来说，是仕途上的不幸，但是却是他诗歌创作生涯中的大幸，尽管此诗尚带有传统的行旅诗的成分；但是已明显可见中国山水诗的序幕至此真正揭开了。而且这个序幕，揭得甚佳，一开始就与陶渊明的田园诗，表示了完全不同的个性特色。这只要读一下渊明题材相近的《归园田居》之一，就可见无论抒情写景，结构用笔，都是大不相同的。不过序幕总是序幕，《过始宁墅》在谢诗中，其组织尚较单纯、意气也较發露。灵运山水诗意象深曲，锤炼谨严，森然中见出逸荡之气的典型风格，要稍晚至其徜徉于永嘉山水时，才终于形成。