回顾性群组设计的主要缺点在于对照不充分,具体体现在对人群的采样过程,以及对预测变量性质和质量的把握。现存的资料可能并没有收录对回答研究问题来说至关重要的被试者和信息。换句话说,研究者常常只能根据现有的记录来决定采集哪些数据。即使现有资料包含了有关重要试验变量的信息,但是这些信息也常常是不完整的、不准确的,或者不是以回答研究问题的理想方式所评估的。