现只剩一片，大发雷霆，追查出被潘安所窃。但潘安抱着虎毒不食子的格言，说雪莲被其服用，死活不肯交出雪莲，最后，差点被废了武功。现在的潘家，也日渐衰落，其它家族也正虎视眈眈，考虑到潘安已是武师，培养不易和家族正需用人之际，才被保了下来。但死罪可免，活罪难逃，在饱偿皮肉之苦后贬为外室弟子，这个处罚在潘家算是重罚。
这事件直接导致兄弟姐姝对潘忆韩更加冷落，特别是潘安，更是怀恨在心：凭什么他偷了雪莲就被如些重罚，而一个废物，父亲却不计得失的培养？下了决心，想除掉这个不中用的弟弟，以平心中不平。
虽潘安被贬为外室弟子，但其身份特殊，还是有许多地方与外室弟子不一样，除丹房，宝库，藏经阁等重要地方外，其他地方还是进出如旧。虽住在外室弟子区域，但明显与其他外室弟子相区别开了，房间不但大，而且也很豪华。但比其作为家庭核心弟子期间相比，待遇算低多了，而且约束比较多。