诗分三段，每段八句。第一段写古时进贡荔枝事。历史上把荔枝作为贡品，最著名的是汉和帝永元年间及唐玄宗天宝年间。“十里”四句，写汉和帝时，朝廷令交州进献荔枝，在短途内置驿站以便飞快地运送，使送荔枝的人累死摔死在路上的不计其数。“飞车”四句，写唐玄宗时令四川进献荔枝，派飞骑送来，到长安时，还是新鲜得如刚采下来一样，朝廷为了博杨贵妃开口一笑，不顾为此而死去多少人。这一段，抓住荔枝一日色变，二日香变，三日味变的特点，在运输要求快捷上做文章，指出朝廷为饱口福而草菅人命。这一点，杜牧《过华清宫绝句》“一骑红尘妃子笑，无人知是荔枝来”已作了描写，苏诗中“知是荔支龙眼来”、“宫中美人一破颜”句就是从杜牧诗中化出。但杜牧诗精警，苏诗用赋体，坐实了说，博大雄深，二者各有不同。
“永元”起八句是第二段，转入议论感慨。诗人以无比愤慨的心情，批判统治者的荒淫无耻，诛伐李林甫之类，媚上取宠，百姓恨之入骨，愿生吃其肉；感叹朝廷中少了像唐羌那样敢于直谏的名臣。于是，他想到，宁愿上天不要生出这类可口的珍品，使得百姓不堪负担，只要风调雨顺，人们能吃饱穿暖就行了。这段布局很巧，“永元”句总结第一段前四句汉贡荔枝事，“天宝”句总结后四句唐贡荔枝事，“至今”句就唐事发议论，“无人”句就汉事发议论，互为交叉，错合参差，然后用“我愿”四句作总束，承前启后。
“君不见”起八句是第三段，写近时事。由古时的奸臣，诗人想到了近时的奸臣；由古时戕害百姓的荔枝，诗人想到了近时戕害百姓的各种贡品。诗便进一步引申上述的感叹，举现实来证明，先说了武夷茶，又说了洛阳牡丹花。这段对统治者的鞭挞与第一、二段意旨相同，但由于说的是眼前事，所以批判得很有分寸。诗指责奸臣而不指责皇帝，是诗家为尊者讳的传统。就像杜甫《北征》“不闻夏殷衰，中自诛褒妲”，写安史之乱而为玄宗开释；李白《巴陵送贾舍人》“圣主恩深汉文帝，怜君不遣到长沙”，写才士被贬，反说皇帝大度。苏轼在这里用的也是这种“春秋笔法”，很显然，他不仅反对佞臣媚上，对皇帝接受佞臣的进贡，开上行下效之风，使百姓蒙受苦难，他也是十分不满的。这一段，如奇军突起，忽然完全撇开诗所吟咏的荔枝，杂取眼前事，随手挥洒，开拓广泛，且写得波折分明，令人应接不暇。而诗人胸中郁勃之气，一泻而出，出没开阖，极似杜诗。
全诗有叙有议，不为题囿，带有诗史的性质，因此清方东树等的赞誉。