摘要：
之前用的adam优化器一直是这样的：alpha_optim=torch.optim.Adam(model.alphas(),config.alpha_lr,betas=(0.5,0.999),weight_decay=config.alpha_weight_decay)没有细想内部参数的问题，但是最近的工作中是要让优化器中的部分参数参与梯度更新，其余部分不更新，由于weight_decay参数的存
之前用的adam优化器一直是这样的：
alpha_optim = torch.optim.Adam(model.alphas(), config.alpha_lr, betas=(0.5, 0.999),
weight_decay=config.alpha_weight_decay)没有细想内部参数的问题，但是最近的工作中是要让优化器中的部分参数参与梯度更新，其余部分不更新，由于weight_decay参数的存在，会让model.alphas都有所变化，所以想要真正部分参数
参与更新，则要关掉weight_decay