开篇二句写诗人傍晚江行的见闻。首句写白昼已尽，黄昏降临，幽僻的古寺传来了报时的钟声，次句写沔水口附近的渔梁渡头人们急于归家时抢渡的喧闹，首句表现的是安宁静谧的环境，次句却表现喧嚣，形成了鲜明而强烈的比照，这是远离人寰的禅境与喧杂纷扰的尘世的比照。
第二联，前句承「渔梁」诗意，是写村人各自上岸还家；后句承「山寺」诗意，写自己回到鹿门。这两句是以人归引出自归，作为前文的具体补述。两种归途展现两样不同的心境，这又是一个比衬，从中表现出诗人与世无争的隐逸志趣和不慕荣利的淡泊情怀。
第三联，鹿门山的林木本为暮霭所笼罩，朦胧而迷离，山月一出，清光朗照，暮雾竟消，树影清晰。诗人完全被大自然陶醉，他忘情地攀登着崎岖的山路，不知不觉间来到了庞公昔时隐居的地方。这微妙的感受，亲切的体验，表现出隐逸的情趣和意境，隐者为大自然所融化，至于忘乎所以。孟浩然仰慕庞公的志节，他在《登鹿门山怀古》中也吟有「昔闻庞德公，采药遂不返。隐迹今尚存，高风邈已远」的诗句。
最后二句，这「幽人」，既指庞德公，也是自况，因为诗人彻底领悟了「遁世无闷」的妙趣和真谛，躬身实践了庞德公「采药不返」的道路和归宿。山岩之内，柴扉半掩，松径之下，自辟小径。这里没有尘世干扰，唯有禽鸟山林为伴，隐者在这里幽居独处，过着恬淡而寂寥的生活。
全诗虽歌咏归隐的清闲淡素，但对尘世的热闹仍不能忘情，表达了隐居乃迫于无奈的情怀。感情真挚飘逸，于平淡中见其优美，真实。显然，这首诗的题材是写「夜归鹿门」，颇像一则随笔素描的山水小记。但它的主题是抒写清高隐逸的情怀志趣和道路归宿。诗中所写从日落黄昏到月悬夜空，从汉江舟行到鹿门山途，实质上是从尘杂世俗到寂寥自然的隐逸道路。
诗人以谈心的语调，自然的结构，省净的笔墨，疏豁的点染，真实地表现出自己内心的体验和感受，动人地显现出恬然超脱的隐士形象，形成一种独到的意境和风格。前人说孟浩然诗「气象清远，心悰孤寂」，而「出语洒落，洗脱凡近」（《唐音癸签》引徐献忠语）。这首七古倒很能代表这些特点。从艺术上看，诗人把自己内心体验感受，表现得平淡自然，优美真实，技巧老到，深入浅出，是成功的，也是谐和的。也正因为诗人真实地抒写出隐逸情趣，脱尽尘世烟火，因而表现出消极避世的孤独寂寞的情绪。