这首诗构思缜密，章法严整，层次分明。依其诗意的进展，可分为三段。
开头五句为第一段，描绘长江和绝岛，是对这幅画内容的总概括。“山苍苍，水茫茫”，展现山色苍苍，水光茫茫，点明这是一幅青绿色的平远山水，而且画面浩淼空阔。苏轼说“大孤小孤”二山皆在“江中央”，可知李思训所画的未必就是大小孤山，而是苏轼在观画中感到这两个绝岛的形状与位置同大小孤山相似，遂想象它们就是大小孤山，并以此展开诗的艺术构思，为诗的奇妙结尾埋下伏笔。“崖崩”两句具体描写“绝岛”即大小孤山，这是画面的中心。这两座山四面环水，山势险峻，山上丛林茂密，一棵棵高大的乔木好像巨柱巍然耸立，直插云端。
德国文艺理论家菜辛在《拉奥孔——论画与诗的界限》一书中说：“诗描绘物体，只通过运动去暗示。诗人的妙技在于把可以眼见的特征化为运动。”苏轼兼擅诗画，对诗画各自的艺术特长和局限有深刻的体会，因此他描绘长江上的这两个绝岛，不作静态的刻划，而是通过运动去暗示和展现。“崖崩”，写山崖太陡峭而引发崩塌；“路绝”，写山石滚落，堵塞了道路；“猿鸟去”，写猿鸟惊惶四散，消失在深林中。“搀”这个动词也赋子静穆的乔木以刺天的动态和气势。画幅上并没有猿鸟，但诗人不说“无猿鸟”而写“猿鸟去”，仿佛他亲眼见到猿鸟纷纷逃进了密林，这是诗人灵心虚构、无中生有的妙笔。
“客舟何处来”以下四句是第二段，写画中小船。这不起眼的一叶小舟，在苏轼的笔下占据了诗的中心。他先用一个疑问句，引起读者注意，再以生花妙笔，反复描写、渲染。“客舟”两句说，这只客船从哪里来？船工划桨时唱的歌声在江心水上忽抑忽扬。
南朝梁代诗人丘迟《发渔浦》诗有“棹歌發中流”句，苏轼去掉“發”字添加了“声抑扬”三字，这抑扬的棹歌声便在读者的耳际萦绕回荡。“沙平风软”两句，诗人恍若置身画中，登上了客船，眺望前方：沙岸平旷，江风轻柔，江上远景望无际。江波一起一伏，诗人观看江中孤山，也随船一起忽高忽低，时俯时仰。熙宁四年（公元1071年）六月，苏轼写了首拗体七律《出颍口初见淮山是日至寿州》，第四句是“青山久与船低昂”，第七句是“波平风软望不到”。苏轼这首题画诗又重复用了这两句，上下只换了“沙”、“孤”二字。可见，这是诗人船上观山亲身体会而获的得意之句，表现出人们乘船时都有所感受却从未有人用诗句传达写出来的情景兴味。人、船、山一起低昂，而且是持续地长久地低昂。这种动态多么新鲜美妙，有旋律节奏感，充满逸趣，苏轼仅用“孤山久与船低昂”七个字就活灵活现地描绘出来了，真是才华横溢，大家手笔。
绘画是视觉艺术，画家用颜色、水墨、线条在纸上描画出的景象，读者的眼睛直接看得见，因此，绘画形象的鲜明性、直观性，是用语言符号作为表现媒介的诗歌比不上的。但人有多种感觉最主要的审美感觉是视觉和听觉。绘画只能够表现视觉，而无法表现听觉，还有触觉、味觉、嗅觉。绘画是空间艺术，一幅画只能描绘在一个空间中的瞬息情景。诗歌却是灵活地结合着空间的时间艺术，它不宜于描绘静物，却可以自由地用语言表现在时间上先后承续的动作。在这一段诗中，读者见识了苏轼精通诗画艺术奥秘的本领。他先用“棹歌中流声抑扬”添加了画上没有的悦耳歌声，再以“孤山久与船低昂”表现长久持续的动态，从而在再现画境中充分发挥了诗歌的特长。
画面上的景物已写完，无声的静态画境己转化为有声的动态诗境。按照一般题画诗的作法，诗人或对画中情景加以赞美，或对画家与画作发表评论，诗即可完满收结。大诗人苏轼却妙脱蹊径，迥生慧心。他利用有关大小孤山的民间传说，挥毫落纸如云烟，写下诗的第三段，开拓出一个奇丽浪漫、谐趣盎然的新境界。欧阳修《归田录》卷二载：“江南有大小孤山，在江水中，疑然独立，而世俗转‘孤’为‘姑’。江侧有一石矶，谓之澎浪矶，遂转为彭郎矶。云彭郎者，小姑婿也。”这四句诗说：大小孤山的峰峦，在水雾缭绕之中，宛若两个女子高耸的发髻。看，她们在早晨照着明净如镜的江面梳理新妆呢。船上的客商，你的举止不要太轻狂了，美丽的小姑早就心有所属，她在前年己嫁给了英俊的彭郎。前二句，诗人妙以女子髮髻比喻二山之峰峦，以镜喻水面，又以女子晨起对镜梳妆形容江中二山。结尾两句，更把比喻、拟人、谐音双关等表现手法融于一炉，根据小姑嫁彭郎的民间故事戏为谐语。于是，诗人对祖国如画江山的深清赞美，对李思训绘画作品的高度评价，也就含蓄风趣地自然流露出来。从诗歌意境创造的角度来看，诗的第三段是从前二段写实的基础上恣发奇想、凭虚营构的。“峨峨两烟鬟”与“小姑”，同“大孤小孤”首尾呼应：“舟中贾客”也与“客舟”上下承接，使诗的意境完整浑成。
在这首题画诗中，苏轼还发挥了诗歌语言节奏感与音乐美的特长。全篇十三句，有八个七言句，三个五言句，两个三言句。开篇是两个三言句，以下两段以一个五言句或两个五言句起头，这使诗歌具有活泼的民间歌谣风味，又是七言歌行以七言句为主，交织穿插三、五言句的常见体式。通首押声音清亮的平声阳韵。诗人有意运用“苍苍”、“茫茫”、“峨峨”等叠字词，“抑扬”、“低昂”、“漫狂”等连绵词，还有“崖崩路绝”、“沙平风软”句中对仗，又重复“大孤小孤”、“孤山”、“小姑”等词，形成了流丽圆转、回环往复、舒缓起伏、悠扬和谐的声韵节奏。这恰好与客舟摇漾、山船俯仰的情景相适应，使诗歌的境界美与音乐美完美统一。