李卫的结局并不美好。在雍正皇帝驾崩后，乾隆皇帝登基，开始逐步削弱旧朝臣的权力。尽管李卫努力保持低调，尽量不与新皇发生冲突，但最终还是难逃被边缘化的命运。他被调离了核心部门，担任了一个相对清闲的职位。对于一直身居要职、习惯了权力中心的李卫来说，这无疑是一次沉重的打击。
乾隆皇帝对李卫的不满还体现在他死后对李卫祠庙的处置上。乾隆帝下令将李卫的塑像从西湖花神庙中撤出，付之一炬，并斥责李卫为“庸臣”。这些举动表明，李卫在乾隆皇帝心中的地位一落千丈，他的结局并不如他在雍正朝时那般显赫。
综上所述，李卫在乾隆皇帝时期虽然仍被任命为官员，但已经失去了往日的权力和地位，最终在一次权力斗争中遭到了边缘化，并在死后遭到了乾隆皇帝的严厉斥责和祠庙被毁的羞辱。
