此诗起笔洗炼，苍凉。先说曹霸是魏武帝曹操之後，已经被削职，沦为寻常百姓。然後宕开一笔，颂扬曹霸祖先，曹操称雄中原的业绩虽成往史，但其诗歌的艺术造诣高超，辞采美妙，流风余韵，至今犹存。开头四句，抑扬起伏，跌宕多姿，大气包举，统摄全篇。清代诗人王士禛十分赞赏，称为「工于发端」（《渔洋诗话·卷中》）。
接着写曹霸在书画上的师承渊源，进取精神，刻苦态度和高尚情操。曹霸最初学东晋卫夫人的书法，写得一手好字，只恨不能超过王羲之。他一生沉浸在绘画艺术之中而不知老之将至，情操高尚，不慕荣利，把功名富贵看得如天上浮云一般淡薄。诗人笔姿灵活，「学书」二句只是陪笔，故意一放；「丹青」二句点题，才是正意所在，写得主次分明，抑扬顿挫，错落有致。
「开元」以下八句，转入主题，高度赞扬曹霸在人物画上的辉煌成就。前两句的意思是：开元年间，曹霸应诏去见唐玄宗，有幸屡次登上南薰殿。凌烟阁上的功臣像，因年久褪色，曹霸奉命重绘。他以生花妙笔画得栩栩如生。文臣头戴朝冠，武将腰插大竿长箭。褒国公段志玄、鄂国公尉迟恭，毛发飞动，神采奕奕，仿佛呼之欲出，要奔赴沙场鏖战一番似的。曹霸的肖像画，形神兼备，气韵生动，表现了高超的技艺。
诗人一层层写来，在这里，画人仍是衬笔，画马才是重点所在。「先帝」以下八句，诗人细腻地描写了画玉花骢的过程。唐玄宗的御马玉花骢，众多画师都描摹过，各各不同，无一肖似逼真。有一天，玉花骢牵至阊阖宫的赤色台阶前，扬首卓立，神气轩昂。玄宗即命曹霸展开白绢当场写生。作画前曹霸先巧妙运思，然後淋漓尽致地落笔挥洒，须臾之间，一气呵成。那画马神奇雄峻，好像从宫门腾跃而出的飞龙，一切凡马在此马前都显得相形失色。诗人先用「生长风」形容真马的雄骏神气，作为画马的有力陪衬，再用众画工的凡马来烘托画师的「真龙」，着意描摹曹霸画马的神妙，这一段文字倾注了热烈赞美之情，笔墨酣畅，精彩之极。「玉花」以下八句，诗人进而形容画马的艺术魅力。榻上放着画马玉花骢，乍一看，似和殿前真马两两相对，昂首屹立。诗人把画马与真马合写，十分高妙，不着一「肖」字，却极为生动地写出了画马的逼真传神，令人真假莫辨。玄宗看到画马神态轩昂，十分高兴，含笑催促侍从，赶快赐金奖赏。掌管朝廷车马的官员和养马人都不胜感慨，怅然若失。杜少陵以玄宗、太仆和圉人的不同反应渲染出曹霸画技的高妙超群。随後又用他的弟子、也以画马有名的韩干来作反衬。
诗人用前後对比的手法，以浓墨彩笔铺叙曹霸过去在宫廷作画的盛况；最後八句，又以苍凉的笔调描写曹霸流入民间的落泊境况。「将军善画盖有神」句，总收上文，点明曹霸画艺的精湛绝伦。他不轻易为人画像。可是，在战乱的动荡岁月里，一代画马宗师，流落飘泊，竟不得不靠卖画为生，甚至屡屡为寻常过路行人画像了。曹霸走投无路，遭到流俗的轻视，生活如此穷苦，世上没有比他更贫困的了。画家的辛酸境遇和杜少陵的坎坷经历十分相似，诗人内心由此引起共鸣，感慨自古负有盛名、成就杰出的艺术家，往往时运不济，困顿缠身，郁郁不得志。诗的结句，推开一层讲，以此宽解曹霸，同时也是诗人聊以自慰，饱含对封建社会世态炎凉的愤慨。
这首诗在章法上错综绝妙，诗中宾主分明，对比强烈。如学书与学画，画人与画马，真马与画马，凡马与「真龙」，画工与曹霸，韩幹与曹霸，早先之盛与後来之衰等等。前者为宾，是绿叶，後者为主，是红花。绿叶扶红花，烘托映衬，红花显得更为突出而鲜明。在诗情发展上，抑扬起伏，波澜层出。前四句写曹霸的身世，包含两层抑扬，摇曳多姿。「至尊含笑催赐金」句，将全诗推向高潮，一起之後紧跟着一跌，与末段「途穷反遭俗眼白」，又形成尖锐的对比。诗的结构，一抑一扬地波浪式展开，最後以抑的沉郁调子结束，显得错综变化而又多样统一。在结构上，前後呼应，首尾相连。诗的开头「于今为庶为清门」与结尾「世上未有如公贫」，一脉贯通，构成一种悲慨的主调与苍凉的气氛。中间三段，写曹霸画人画马的盛况，与首段「文采风流今尚存」句相照应。
杜少陵热情地为画家立传，以诗摹写画意，评画论画，诗画结合，富有浓郁的诗情画意，把深邃的现实主义画论和诗传体的特写融为一炉，具有独特的美学意义，在中国唐代美术史和绘画批评史上也有一定的认识价值。这在唐诗的发展上是一种新贡献。