后来，这位老祖寿元耗尽，归于轮回之后，李家再也没有出过什么资质特别好的后辈。
能拥有灵根，在凡人中已是万中无一，那些天灵根、真灵根更是凤毛麟角。这李家，自从那位金丹期的老祖坐化之后，再也没有天灵根或者真灵根的修士出现。慢慢地，李家的地位也逐渐衰退。
城中的产业相继被其他家族吞并，家族的规模也不断变小。到了李辉父亲他们这一代的时候，李家早已经连城中心居住的房产也都变卖，迁移到了这城墙根下散修聚居的地方。
此时的李家，早已名存实亡，族中没有固定的产业，一开始，当时的李家家主还要求族中修士进山采药，或者猎取一些妖兽，然后上缴部分给族中，用这些族产来对资质稍微好的一些后辈进行培养。
等到后来，没有人再理会这些，各人都不再给族中上缴自己的财物，全部用来提升自身。最终，当时的李家家主将家族解散。从此凌霄城中不再有李姓家族这一说，族中原来的房产也都各自分配下去。李辉的父亲，便分到了这一所小房子。