因為嚴君平節操清奇，很受人敬重，聲望也越來越大。當時，益州牧李強，以及大將軍王鳳等，都聽說了嚴君平有賢德，所以紛紛想結交他，請他出來做官，但嚴君平卻都一一拒絕了。
同鄉有個富人叫羅衝，他問嚴君平說：「你為甚麼不去做官呢？」嚴君平說：「我沒有能力。」羅衝以為他是沒有錢財，便準備好了車馬衣糧，想資助他去做官，嚴君平說：「我視此為累贅，並不是因為沒有錢財。況且我是有餘你是不足，怎麼能讓不足的人來幫助有餘的人呢？」羅衝說：「我有萬金，你連一石穀物都沒有，怎麼還說自己有餘呢？這不是荒謬嗎！」
嚴君平說：「不是這樣。我先前住在你家，人都要休息了可你還有很多事要做，每天日夜忙碌，急切不安，從來沒有滿足的時候。現如今我以占卜為業，每天還能剩餘百錢，剩的錢上面的灰塵都很厚了，我都不知道要用在甚麼地方。這難道不是我有餘而你不足嗎？」
羅衝聽了非常慚愧。嚴君平又對他說道：「益我貨（貨，錢財）者損我神，生我名者殺我身，所以我不願去做官。」
嚴君平始終不願為了那些只是過眼煙雲的功名利祿，而喪失了自己的志向，可謂知足常樂，當時的人們非常佩服他，後人為紀念他，還把他居住的街道命名為「君平街」。