当时宫中经常举行佛事活动,为了掩人耳目,让冯小宝方便出入宫中,武则天命他剃度为僧,任命为白马寺主,并改名换姓,“令与太平公主婿薛绍合族,令绍以季父事之”,让薛绍称其为叔父,冒充大族,朝廷上下则呼为“薛师”。薛怀义仗着武则天的宠幸,无法无天,大行不法之事,曾因武则天宠幸御医沈南璆,他便气急败坏地将明堂一把火焚毁。武则天明知是薛怀义干的,但也自觉难堪,没有追究,反而命薛怀义主持重修明堂,薛越发骄纵嚣张,树敌益多。
一天,薛怀义擅自闯入只有宰相可以出入的南衙,宰相苏良嗣瞧不惯他的嚣张气焰,喝令左右结结实实地搧了他几十个耳光。薛怀义捧着红肿的脸向武则天哭诉,不料武则天反而告诫他:“这老儿,朕也怕他,阿师以后当于北门出入,南衙乃宰相往来之路,不可去侵犯他。”
为了这事,武则天的女儿太平公主曾当面劝过她母亲:“为什么不选择姿禀秾粹的人来帮助游赏圣情,排遣烦虑,何必去宠幸那些市井无赖之徒,为千秋万世所讥笑呢?”
