书办的话直如一语惊醒梦中人，但卫伯玉知道了因由以后，反而更加沮丧。既然天子对自己的不公乃是出身所致，那同时也意味着，在短期内是无法改变这种现状的，甚至还有可能面临着天子的打压。
冥思苦想了好一阵，卫伯玉才想到了一个好主意。虽然天子赏罚不公，却不意味着他不能在朝中找一个靠山。
靠山的人选有两个，其一是观军容处置使鱼朝恩，而且卫伯玉和鱼朝恩的关系也很不错，两个人从陇右到长安也是相谈甚欢。其二则是杨国忠，虽然目前来看，此人和鱼朝恩相比风头还矮了半头，但他毕竟执政已达六七年之久，比起突兀崛起的鱼朝恩根基要深厚了许多。所以，卫伯玉毫不犹豫的选择了后者。
卫伯玉的投靠对杨国忠而言正如雪中送炭，他也急于在军中培植党羽，两个人正好一拍即合。
投靠了杨国忠以后，卫伯玉自觉有宰相撑腰，心思也渐渐的安稳下来，以为龙武军或许就不会被肢解。可好心情持续了没有几天，天子一纸诏书下达，就要在龙武军中筛选出万人精锐交给神武军。