库部郎中与监察御史的秩级相同，皆为六品职。王维此次未被授为外任，又未被贬职，他应该能接受这个结果。大约李林甫未对他过度抑制，可能也惮于他诗名太盛。
王维眼见张九龄被贬出京，李林甫与牛仙客从此把持了朝政之事，心中滋味并不好受。前程大受影响不说，王维还时时担心李林甫再寻自己的不是，其诗中写道：“既寡遂性欢，恐招负时累。”由此可见其惴惴不安之心。
其妻体会到王维的心绪变化，劝慰道：“官人想是心伤张丞相离去吧？官人，天下没有不散的宴席，张丞相昔日器重你，此为上天赐予的缘分；
今张丞相离去，官人说不定又有其他因缘，何必如此长吁短叹呢？”
王维叹道：“我为何如此命运多舛呢？好不容易遇到一个开明贤良的张丞相，却又被人算计走了。唉，因缘之说，只怕十分渺茫了。李林甫对文学之士极度不屑，我不敢再有幻想。”
其妻笑道：“我们在济州之时，日子过得何等清贫？我们不是一样快乐吗？官人如今的俸禄，比济州多了不少，妾心已然十分满足了。如有归隐之意，官人现在就是挂冠而去，妾也是乐意的。”