「由吾道榮」聽說有個晉陽人精通法術，就尋訪。這個晉陽人在別人家當雇工，無人識得他，由吾道榮尋訪了很久才找到他。這個晉陽人精通道家的陰陽曆數、天文、藥性，看到「由吾道榮」向道，就都傳授給他。

這個晉陽人對「由吾道榮」說：「我本來是天上的恆岳仙人，因為犯了小罪過，被天官謫貶下人間。如今期限滿了，將要返回天庭。你送我到汾水吧。」到了汾水，正逢水暴漲，把橋衝斷了，渡船很難渡過河去。恆岳仙人臨水施展道術，水流就截斷了。片刻，截住的水流積到將要達到天那樣高度。恆岳仙人慢慢踩著河底沙石過河。而這另外空間的景象只有「由吾道榮」看到。旁人卻看不到，都說：「水流如此長，此人卻能浮過去。」都很驚異。

「由吾道榮」就回到琅琊山隱居修行，只吃松籽、茯苓，探求長生的秘訣。不久，北齊顯祖皇帝高洋追往晉陽，途中走到遼陽山，有猛獸出現，離騎的馬只有十步，騎馬的人受驚恐怖，嚇得要逃走。「由吾道榮」用手杖畫地成火坑，嚇跑了猛獸。不久，正逢北齊滅亡，「由吾道榮」順應天意歸順了北周，一直活到隋朝初年。

（《北齊書 卷四十九》）