过了几天，李绩单独入见，高宗说：褚遂良是顾命大臣，他极力反对，这事儿真的就算了?李绩答道：“此陛下家事，何必更问外人。 ”高宗随即下定了决心。
与李绩的惧祸心理不同的是，李林甫并非真的是以为太子废立与天下无关，其目的是为了投靠武惠妃，并与其结成政治同盟，从而达到排斥异己、掌控朝中大权的目的。德宗说：“此朕家事，何预于卿而力争如斯?”李泌答道：“皇帝以四海为家，今臣独任宰相之重，四海之内，一物失所，责归于臣，况坐视太子冤横而不言，臣罪大矣。
又过了五十多年，唐德宗欲废太子而立侄舒王，宰相李泌说，幸亏陛下和臣商量，要是奸臣(李林甫之流)得到您的旨意，恐怕早就跑到舒王那里邀功请赏去了。
。
永徽六年(公元655年)，唐高宗李治欲废王皇后而改立武则天，召大臣朝仪，元老大臣李绩托病不入，而褚遂良则以死相谏。
唯有李泌，同心用心为公，仗义执言。宰相张九龄担心引发宫廷权力争斗，拒不奉诏。可他依然绝不妥协，坚持自己的意见，并终极说服了德宗。作为朝中重臣，更应从大局出发，提供客观理性的意见，来匡助最高统治者做出准确的抉择。
八十年后，唐玄宗开元年间，武惠妃谮太子瑛、鄂王瑶、光王琚结党营私，玄宗欲皆废之。然而，在集权体系体例下，任何人的身家性命、仕途前程都自然地被绑定在某一部政治战车上，碰到动摇国本的大事时，人们往往会从一己之利出发，做出趋利避害的选择，因此或言不由衷、首鼠两端，或脚踏两船、见风使舵，从而将左右天平的砝码毫无留存地托付给最高统治者。奸臣李林甫一言不发，过后却暗里里对宦官说：“此人主家事，何必问外人?”玄宗听说后犹豫未决。 ”此后，李林甫居相位19年，贬斥忠良，进益奸佞，杜绝言路，擅权自恣，直至铸成安史之乱。
北宋庄绰在其《鸡肋编》中记述的以上三则故事读来令人感触不已。就算是现代官场，我们不也时常听闻“领导您说了算”一类的话吗?究实在质，又与“陛下家事”有何分别呢?
一句“陛下家事”，不管出于惧祸自保，仍是出于别有专心，都免不了会带来两个严峻后果：一是统治者习认为常而独断朝纲，很刺耳进逆耳忠言，做出准确的抉择;二是统治者受到怂恿而随心所欲，从而宵小群集，酿成后代之大祸。 ”玄宗遂决意废立。言下之意，太子不可废。因此，一句“陛下家事”，实际上暗含怂恿和赞同，即是在说“太子早就该废了，皇上您尽管下命令好了。不外，我们在为李泌的赤胆忠心所打动的同时，更为他碰到了多少还有些人主之量的德宗而感到庆幸。这也是造成统治者个人为所欲为的一个重要原因。则作俑者，可不慎乎?”
实在，后宫与太子废立关乎天下安定和政权不乱，哪里是简简朴单的“陛下家事”?那是必需慎重从事、善作权衡的大事。 ”太子由是获免。至德宗便谓当然，反云家事以拒臣下。所以，庄绰才会感触地说：“李绩首倡奸言，遂使林甫祖用其策以逢君恶。李绩一生极富传奇色彩，是位列三公的三朝元老，被朝廷倚为长城，可面临高宗废立之议，他却深恐不管反对仍是赞成都有可能给自己招惹大祸，便以“陛下家事”为由，抛却了作为朝廷重臣所应负有的责任，纵容高宗轻率施行后宫废立，高宗死后武则天临朝篡权扰埋下了伏笔。后张九龄被罢相，玄宗又提出废太子之事，李林甫说：“此陛下家事，非臣等宜预。
庄绰此论极是，不外对集权之下的古人而言，不免难免有些苛求。据《新唐书》本传记载，其反对废太子的立场之果断，以至于让德宗说出“卿违朕意，不顾家族邪”这样的狠话来。
