隆科多还经常说：“白帝城托孤之日，就是我隆科多死不瞑目之时。”这些话就在宫廷中广泛地传，后来，雍正就把隆科多的步军统领的职务，让隆科多的对手来干，雍正皇帝就让隆科多做他的吏部尚书。
还有一点，雍正发现隆科多的立场不坚定，对雍正没有绝对的忠诚，雍正皇帝怀疑，隆科多偏向了皇八子一派，这是雍正皇帝所不能容忍的。雍正处理完年羹尧以后，紧接着收拾隆科多，收拾隆科多应该给隆科多找个借口。
找隆科多的毛病，最主要的就是玉牒，在康熙末年的时候，修玉牒的时候，肯定有对雍正不利的东西，可能对皇十四子做“大将军王”，其中封的王爵，应该在这次有记载，但是雍正继位以后，开始把这些销毁。
原底本被隆科多阿布兰那里要了回来，藏在家里头，隆科多想拿玉牒要挟雍正，议政大臣想等隆科多跟俄罗斯谈判结束的时候，再让他回京再议罪。雍正说不行，跟俄罗斯交涉这件事情，并不是隆科多能够做得了。
立刻把隆科多押解回京，到了京城以后，把隆科多的职务全部地革除，然后在议罪，经过议政大臣还有刑部讨论，最后拼凑了41款大罪。基本上都是欲加之罪。雍正把隆科多永远禁锢。雍正六年（1728年）隆科多死于幽禁禁所。
