这首诗从题目看，应是纪游之作。而诗的前半部分却从治郡的政绩写起，这种闲笔似无关宏旨，实际上正透露了诗人潜结的意绪。公元422年（永初三年）谢灵运出任永嘉郡守。原是刘宋朝廷内部权力之争的结果，以出身士族名门、“自谓才能宜参权要”的诗人，而今迁谪到一个僻远的边郡任职，其愤懑悒郁的心情不难想见。诗人骨鲠在喉，不得不吐，而驱走其笔端的山水，不过是他用来浇胸中垒块的酒杯而已。
诗的结构组织颇为均衡：全诗十八句，前八句（首句至“空馆”句）赋事，写郡政；次八句（“协以”句至“樵拾”句）写景，记游山；末两句以言志作结。写郡政本为倾泄自己的郁塞不平之气，却偏从前贤的美政写起，这在写法上是以宾衬主，欲收先声夺人之效。“龚汲”指西汉的龚遂和汲黯。龚遂字少卿，宣帝时出任渤海太守，当时渤海的社会秩序正处于混乱之中，他到任后开仓济民、劝民农桑，境内大治。汲黯字长孺，武帝时为东海太守，他尚黄老之术，以清静治民，“多病，卧阁不出。岁余，东海大治。”这两人都以治理边郡的政绩著称，与大谢此时的身分境遇暗合。“君子”两句由宾返主，从前贤说到自身，言所思者，非关区区个人的出处去从，唯以传承前贤的美政德行为念。接着便直陈自己治郡的德政。“建德乡”语出《庄子·山木篇》：“南越有邑焉，名为建德之国。”这里只是借用其字面，即指永嘉郡。“虞芮意”则谓此地民风淳朴、礼义相让。虞和芮本是周文王时两个毗邻的诸侯国，因土地纠纷欲请文王裁夺，两国国君入周后见百姓互谅互让，深感惭愧，遂自愿停讼息争。下两句中的“寥寥”、“空馆”即由此句而引出，言官府衙署因无讼争之事而变得清闲和安静，所谓“禹治天下，朝廷之间可以罗雀矣。”（《鬻子》语）以上几句，从称美前贤一转而为夫子自道，言外颇有以龚、汲等历史名臣自许的神情。据史书记载，谢灵运在永嘉任上其实是采取消极无为态度的：“民间听讼，不复关怀。”因此这里的自得实际上是一种自饰，而在这自饰之中，又不无对朝廷慢待自己的牢骚意味。诗人以自标风操的方式回答政敌的打击，在失意中仍可见其倔强的个性。第八句中的“清思”，泛指清雅的文思、游思等，由此过渡至下面的出游。
“协以上冬月”以下八句为纪游部分，这部分组织得次序井然、神固气完。就时间言，诗以“晨游”发端，而以“西芘”收束，西芘，指夕照中的林荫山影，其间由朝入暮，包含了完整的一天。就景物言，由综览全局渐至局部和细节，步骤分明。先是总写：“千圻”句言水岸的纵横交错，曲折萦回；“万岭”句言峰峦的争奇斗险，千姿百态，两句极言山岭川壑之多，也概括了这一带山川形势的奇特风貌。后是特写，诗人从千圻万岭中独拈出“三山”“两江”的形胜作具体写照。按岭门山在平阳县城前，登山远眺，可北望飞云江，南望鳌江；“三山”或指楼石山，《初学记》载“温州楼石山，三石并高百丈，杪如剑峰。”《平阳县志》云：“山在平阳城西南五十里，周回四十三里，高数十仞，望如楼阁，号‘三山楼’。”三山为孤耸特立迥出岭表者，两江为贯串曲岸者，故特将这二者郑重表出之。“峭”、“驶”二字，已勾勒出三山两江形貌，诗人意犹未尽，更用“威摧”、“瀄汩”渲染之。威摧，山势高峻貌，意同“峭”；瀄汩，急流激荡貌，意同“驶”。此处用复笔设色，有意以生僻险涩的用语来加强景观的崎岖险巇之感，诚如陈祚明所说：“二语中‘威摧’字山形在目，‘瀄汩’字水声在耳……大抵此地山水险异，诗亦穷极险异之态。”（《采菽堂古诗选》卷十七）而再往下的“渔舟”、“樵拾”两句，又可谓是特写中的特写、大景中的细景。“渔舟”一作“渔商”，指渔人客商的船只出没于风波之中；“樵拾”指日夕时砍柴和采集野菜的村民离山归家。这两句是景语又兼含玄理：渔商危而樵拾安，两者的出处虽然不同，却都是顺性而动的。按魏晋玄学主张物各得其性，人如能“会通万物之性”、“各安其所安”，“则彼无不当而我无不怡也”（《庄子》郭象注），就能获得最大的人生自由。因此这两句不仅是寓目即景，而且也透露了诗人从眼前景物中悟出的玄思。诗的末两句正由此顺流而下，水到渠成：既然以“物畅其性”为生活鹄的，则人生最大的快乐，也在顺应自己的志向旨趣而不是屈从于他人或外物。诗人体物悟道，仿佛在游遨眺览中找到了精神的依托和凭藉，终于发出了守志不屈、身处逆境之中而不向坎壈命运低头的抗争之声。
萧子显说谢诗“典正可采”（《南齐书·文学传论》）。即以此诗的章句组织来看，也体现出严整、匀称、工稳的特色。诗的赋事和纪游两部分句数相等。直接写景的有六句，共由三组偶句组成，每一组对仗的工整自不必说，组与组之间的承接方式也齐整如一：每组的出句直承上组的对句，而每组的对句又遥应上组的出句。如“威摧三山峭”承“万岭”而来，“瀄汩两江驶”则遥应“千圻”；“渔舟”承“两江”而来，“樵拾”则遥应“三山”等。正如刘勰所谓“外文倚交”、“宛转相腾”（《文心雕龙·章句》），从而形成一种交错回环的美。从这首诗对章句对称美的艺术追求中，也可见六朝崇尚典雅的审美趣味之一斑。