开头四句，“起得峭拔”（纪昀语），直接点出登寺之所见，而省略了登寺的过程。更主要的，是暗示了并非登一次，所以才有“朝”“暮”之说。白天看吴山，但见蜿蜒起伏，所以说是“横”；晚上看吴山，只能在夜空中见出轮廓，所以说是“从”（纵）。这一表达方式，与著名的《题西林壁》中“横看成岭侧成峰，远近高低各不同”相似，可见作者观察的细致。如此写山，看似不具体，实则正如宋玉《登徒子好色赋》中对增之一分则太长，减之一分则太短，施朱则太红，傅粉则太白的“东家之子”的描写一样，可以充分调动读者的想象，表现出吴山之美。至此，写山题面已足，于是进而写阁。写阁不说其外部之壮丽和内部之清雅，而说“空洞无一物”，这就和题中的“寺”联系起来了。阁中当然不可能空无一物，但佛家宣称“四大皆空”，苏轼本人也曾在《送参寥师》中说过：“欲令诗语妙，无厌空且静。静故了群动，空故纳万境。”这实际上是对“幽人”即佛徒的赞美。
以下分别续足前面的意思，“春来”四句承接首四句，写由吴山之美惹动思归之心，因而觉得“秋悲春更悲”。“雕栏”四句承接次四句，写由朱阁之美联想雕栏易朽，致慨于光阴易逝，人生无常。这就由乐生悲，感情也显得低沉。但末二句又复振起，说人虽然与亭台池阁最终都将化为异物，但吴山长存，则诗人的精神亦长存，见出乐观和旷达，而这种乐观和旷达又暗与“幽人”数句相承，反映了佛家无生无灭的思想。这种思想可以和作者的《前赤壁赋》相对照。在那篇著名的赋里，作者借“客”之口写道：“方其（曹操）破荆州，下江陵，顺流而东也。舳舻千里，旌旗蔽空，酾酒临江，横槊赋诗，固一世之雄也，而今安在哉！”又由曹操写到普遍的人生：“哀吾生之须臾，羡长江之无穷，挟飞仙以遨游，抱明月而长终。知不可乎骤得，托遗响于悲风。”人们追求永恒不得，是一种永恒的、无法解脱的悲哀，对此，苏轼说：“逝者如斯，而未尝往也；盈虚者如彼，而卒莫消长也。盖将自其变者而观之，则天地曾不能以一瞬；自其不变者而观之，则物与我皆无尽也。”以不变的眼光看待物与我，就能超越具体的悲和喜，与大自然一样，达到永恒。《法惠寺横翠阁》的结尾所表达的，也就是这个意思。