本篇历叙与王判官聚散行迹，并因世乱而归隐庐山屏风叠。其所以退也，非所谓“社稷苍生曾不系其心膂”（宋罗大经《鹤林玉露》），乃报国无门也。
开篇“昔别黄鹤楼，蹉跎淮海秋”二句，飘然而来，写的是公元726（开元十四年），诗人离开蜀中，自湖北顺江而下，在金陵、扬州一带漫游的往事。屈指算来，流光已经过去整整三十年，自己仍然功业无成，一个“昔”，一个“蹉跎”，包含了无限的感慨。
“俱飘”二句，牵入王判官。自己与王判官分手，就像落叶随风飘散，又像洞庭湖的诸多支派各自流向天之一方。
这一别就是多年。青年惜别，至中年仍未能相见。自己虽曾于公元742（天宝元年），得道士吴筠举荐，应诏赴京，但至公元744（天宝二载），便为谗言所中，而赐金还山。自己于是再次放浪江湖，漫游吴越。这里用了一个“蹭蹬”，蹭蹬者，失道也，反映出诗人政治上失意之后的悲愤心情。
当诗人政治上失意之时，只有美好的大自然能给诗人以心灵的慰藉。那天台山上翠绿的藤萝，剡溪水面清朗的风月，海上变幻的云山，水中清彻的倒影，无不令人心旷神怡，乐而忘返。然而置身于山水风月之间。有一件事诗人始终未能忘却，那就是“思君”，时时思念自己的朋友王判官。
李白极重朋友交谊，尤致慨于知音之难得。诗人是很自负的，认为自己的才气，足可以倾倒生于荆州的屈原、宋玉，在梁孝王门下为客的邹阳、枚乘。但世人多笑我浮夸放诞，我的知音究竟在哪里呢？言外之意，只有您王判官是我的知音，可惜这样的知音是太少了。
“大盗’’以下急转，由对往事的追忆转入当前的现实。“大盗”者，窃国之盗也，指安禄山。“割鸿沟”言其侵占地方之广，“扫秋叶”言其为害之烈。而被扫一方以“秋叶”喻之，也隐约可以见出诗人对唐军软弱涣散、缺乏战斗力的不满。
“济代”即济世，唐人避李世民（唐太宗）讳而改。“吾非济代人”是作者的愤激之言，“且隐屏风叠”是作者此时不得不作出的抉择。这是一个痛苦的抉择。越是这样的时刻，诗人就越是企盼知音，思念自己的知心朋友，然而尽管夜中长望，仍然是思君不见，这更使诗人感到无限的孤独和怅惘。但无论如何，诗人决心拂衣而去，立即踏上隐居的道路，永远与自由飞翔的海鸥为友。这一愿望诗人曾经多次表述过，但诗人的初心是“功成拂衣去，归入武陵源”（《登金陵冶城西北谢安墩》），而这次的表述却是面临着国难当头、自己却不能有所作为的痛苦现实，这对诗人的政治理想来说，不能不说是一个沉重的打击，因此本诗的情调便于豪放和旷达之中又带有激愤和伤感。