据唐人薛用弱《集异记》记载：唐玄宗开元间，王之涣与高适、王昌龄到旗亭饮酒，遇梨园伶人唱曲宴乐，三人便私下约定以伶人演唱各人所作诗篇的情形定诗名高下。王昌龄的诗被唱了两首，高适也有一首诗被唱到，王之涣接连落空。轮到诸伶中最美的一位女子演唱了，她所唱则为「黄河远上白云间」。王之涣甚为得意。这就是著名的「旗亭画壁」故事。此事未必实有。但表明王之涣这首诗在当时已成为广为传唱的名篇。
诗的前两句描绘了西北边地广漠壮阔的风光。首句抓住自下（游）向上（游）、由近及远眺望黄河的特殊感受，描绘出「黄河远上白云间」的动人画面：汹涌澎湃波浪滔滔的黄河竟象一条丝带迤逦飞上云端。写得真是神思飞跃，气象开阔。诗人的另一名句「黄河入海流」，其观察角度与此正好相反，是自上而下的目送；而李白的「黄河之水天上来」，虽也写观望上游，但视线运动却又由远及近，与此句不同。「黄河入海流」和「黄河之水天上来」，同是着意渲染黄河一泻千里的气派，表现的是动态美。而「黄河远上白云间」，方向与河的流向相反，意在突出其源远流长的闲远仪态，表现的是一种静态美。同时展示了边地广漠壮阔的风光，不愧为千古奇句。
次句「一片孤城万仞山」出现了塞上孤城，这是此诗主要意象之一，属于「画卷」的主体部分。「黄河远上白云间」是它远大的背景，「万仞山」是它靠近的背景。在远川高山的反衬下，益见此城地势险要、处境孤危。「一片」是唐诗习用语词，往往与「孤」连文（如「孤帆一片」、「一片孤云」等等），这里相当于「一座」，而在词采上多一层「单薄」的意思。这样一座漠北孤城，当然不是居民点，而是戍边的堡垒，同时暗示读者诗中有征夫在。「孤城」作为古典诗歌语汇，具有特定涵义。它往往与离人愁绪联结在一起，如「夔府孤城落日斜，每依北斗望京华」（杜甫《秋兴》）、「遥知汉使萧关外，愁见孤城落日边」（王维《送韦评事》）等等。第二句「孤城」意象先行引入，为下两句进一步刻划征夫的心理作好了准备。
诗起于写山川的雄阔苍凉，承以戍守者处境的孤危。第三句忽而一转，引入羌笛之声。羌笛所奏乃《折杨柳》曲调，这就不能不勾起征夫的离愁了。此句系化用乐府《横吹曲辞​·折杨柳歌辞》「上马不捉鞭，反折杨柳枝。蹀座吹长笛，愁杀行客儿」的诗意。折柳赠别的风习在唐时最盛。「杨柳」与离别有更直接的关系。所以，人们不但见了杨柳会引起别愁，连听到《折杨柳》的笛曲也会触动离恨。而「羌笛」句不说「闻折柳」却说「怨杨柳」，造语尤妙。这就避免直接用曲调名，化板为活，且能引发更多的联想，深化诗意。玉门关外，春风不度，杨柳不青，离人想要折一枝杨柳寄情也不能，这就比折柳送别更为难堪。征人怀着这种心情听曲，似乎笛声也在「怨杨柳」，流露的怨情是强烈的，而以「何须怨」的宽解语委婉出之，深沉含蓄，耐人寻味。这第三句以问语转出了如此浓郁的诗意，末句「春风不度玉门关」也就水到渠成。用「玉门关」一语入诗也与征人离思有关。《后汉书·班超传》云：「不敢望到酒泉郡，但愿生入玉门关。」所以末句正写边地苦寒，含蓄着无限的乡思离情。如果把这首《凉州词》与中唐以后的某些边塞诗（如张乔《河湟旧卒》）加以比较，就会发现，此诗虽极写戍边者不得还乡的怨情，但写得悲壮苍凉，没有衰飒颓唐的情调，表现出盛唐诗人广阔的心胸。即使写悲切的怨情，也是悲中有壮，悲凉而慷慨。「何须怨」三字不仅见其艺术手法的委婉蕴藉，也可看到当时边防将士在乡愁难禁时，也意识到卫国戍边责任的重大，方能如此自我宽解。也许正因为《凉州词》情调悲而不失其壮，所以能成为「唐音」的典型代表。