宋朝的樞密院是宰輔機構，掌管軍政兵權。王德用被任命為樞密副使之職時，他推辭說自己是武將出身，很榮幸能夠征戰沙場為國效力，仰賴皇上的聲威，現在在軍中都不勝其職，已經很滿足了，而且自己沒有甚麼學問，不能擔此大任。

後來王德用被任命為樞密長貳，他從來都不自視過高，非常注重抑制和收斂自己。後升任至樞密長，有人秘密請求他幫助推薦官職，王德用都說：“你是進士登科，推薦肯定會合格的。但是我是武將，向來讀書少，如果由我推薦，恐怕不合適啊！”

御史中丞孔道輔曾經彈劾過王德用，王德用因此被免了樞密院官，鎮守外地，後來又被貶官任隨州知州。很多官員都替他害怕，而王德用的言行舉止卻同沒事一樣，只是很少與賓客來往而已。

過了很久，孔道輔去世了。有一人對王德用說：“孔道輔就是害您的人。”本以為王德用會幸災樂禍，沒想到王德用十分謙卑，處處以大局為重，並沒有計較私人恩怨，他傷心的說道：“孔道輔在其位言其事，怎麼能說是害我呢？可惜朝廷損失了一位直言諫諍的大臣。”

說這話的人為此終身感到慚愧，官員們都非常佩服王德用有度量。