此诗共二章，每章九句。前后两章共用了四个比喻，语言也相似，只是押韵不同。关于诗的主题，有几种不同的说法。《毛诗序》认为是“诲（周）宣王也”，郑笺补充说：“诲，教也，教宣王求贤人之未仕者。”王先谦《诗三家义集疏》举例证明鲁诗、齐诗、韩诗都与毛诗观点一致。到了宋代朱熹《诗集传》则说：“此诗之作，不可知其所由，然必陈善纳诲之辞也。”认为这是一篇意在劝人为善的作品。今人程俊英在《诗经译注》祖毛、郑旧说而加以发展，说：“这是一首通篇用借喻的手法，抒发招致人才为国所用的主张的诗，亦可称为‘招隐诗’。”这种说法较易为今人所理解。
朱熹在分析第一章时说：“盖鹤鸣于九皋，而声闻于野，言诚之不可揜（掩）也；鱼潜在渊，而或在于渚，言理之无定在也；园有树檀，而其下维萚，言爱当知其恶也；他山之石，而可以为错，言憎当知其善也。由是四者引而伸之，触类而长之，天下之理，其庶几乎？”他将诗中四个比喻，概括为四种思想：即诚、理、爱、憎。并认为从这四者引申出去，可以作为“天下之理”——即普遍真理。他的说法看起来很辩证，都是用发展的变化的观点分析问题，而且兼顾一个问题的两个方面；然而他却是用程朱理学来说诗，这一点从他对第二章的解释中看得更加清楚。
《诗集传》释第二章结句引程子曰：“玉之温润，天下之至美也。石之粗厉，天下之至恶也。然两玉相磨，不可以成器，以石磨之，然后玉之为器，得以成焉。犹君子之与小人处也，横逆侵加，然后修省畏避，动心忍性，增益预防，而义理生焉，道理成焉。”程子说诗与朱子说诗，如出一辙，皆为引申之词。“他山之石，可以攻玉”，就字面而言，就是另一座山上的石头，可以用来磨制玉器，今人也常常引以为喻。然而是否为诗的本义呢，似乎很难说。
今人程俊英在《诗经译注》中说：“诗中以鹤比隐居的贤人。”“诗人以鱼在渊在渚，比贤人隐居或出仕。”“园，花园。隐喻国家。”“树檀，檀树，比贤人。”“萚，枯落的枝叶，比小人。”“它山之石，指别国的贤人。”“毛传：‘榖，恶木也。’喻小人。”她从“招隐诗”这一主题出发，将诗中所有比喻都一一与人事挂钩，虽不无牵强附会，倒也自成一说。
其实，就诗论诗，不妨认为这是一首即景抒情小诗。在广袤的荒野里，诗人听到鹤鸣之声，震动四野，高入云霄；然后看到游鱼一会儿潜入深渊，一会儿又跃上滩头。再向前看，只见一座园林，长着高大的檀树，檀树之下，堆着一层枯枝败叶。园林近旁，又有一座怪石嶙峋的山峰，诗人因而想到这山上的石头，可以取作磨砺玉器的工具。诗中从听觉写到视觉，写到心中所感所思，一条意脉贯串全篇，结构十分完整，从而形成一幅远古诗人漫游荒野的图画。这幅图画中有色有声，有情有景，因而也充满了诗意，读之不免令人产生思古之幽情。