回到师部，黄克诚暗自悔恨，没有保护好这些同志，使这些好党员、好干部遇害。他哪里知道，厄运正向他袭来。没几天，肃反委员会派人来红三师，将黄克诚抓了起来，进行所谓“审查”。
至于抓捕缘由，他们早就炮制好了：黄克诚这个人有问题，一贯右倾，有“AB 团”之嫌疑。
黄克诚被抓的消息很快被彭德怀知道了。这位正直的红军高级将领禁不住拍案而起，他大声质问肃反委员会：“你们凭什么抓捕我的师政治委员？！”
肃反委员会的人原本认定黄克诚是“AB 团”分子，准备杀掉他的，面对彭德怀的质问，他们又拿不出黄克诚是“AB 团”的证据来，于是他们只好向彭德怀解释：“黄克诚在肃反问题上表现右倾，是个右倾机会主义分子。”
“右倾？”彭德怀严肃地说道，“对右倾机会主义分子可以斗争嘛，不应该用捕杀的办法！”
肃反委员会理屈词穷，无言以对。于是，他们又将黄克诚释放了。
不过，师政治委员一职被撤消了，并且黄克诚被勒令不准再带兵。
政委可以不当，兵也可以不带，赋闲休息可不行。黄克诚便向彭德怀请求，要么到连队去当一名普通士兵去打仗，要么随便给分配点工作干。
彭德怀还是十分赏识黄克诚的。黄克诚那耿直的性格，彭德怀早就有评价——比彭德怀还像彭德怀。他怎么舍得让一个师政委，戴着副大眼镜片子，去当兵打仗？
彭德怀批准了黄克诚的请求，将黄克诚调到了军团司令部，让他当了一名秘书，主要督办前委党务方面的工作。
对自己先是被抓，然后又很快被放出来，黄克诚并没有仔细思考内中缘由，毕竟是战争年代，哪里有时间计较个人得失呢。
黄克诚毫不知晓是彭德怀在关键时刻救了他。彭德怀一向光明磊落、正直无私，因而也没有向黄克诚谈论此事。
这件不能称其为秘密的“秘密”，在两个人之间隐藏了二十余年。
直到1959 年庐山会议，这件事以一种证明他们两人有“父子关系”的方式被披露出来，黄克诚才知晓此事。不过，那时他的第一反应不是对彭德怀救命之恩的感激，而是感到愤怒与受到侮辱。那些别有用心的人，将他与彭德怀之间纯洁的同志关系、革命友谊玷污了！
调到军团司令部不久，黄克诚便被派往寻乌调查肃反打“AB 团”的情况。
寻乌，地处闽、粤、赣三省交界，是一个较为富庶的边贸小城。
毛泽东那篇著名的《寻乌调查》就是在这里完成的。寻乌可以算是老革命根据地了，土地斗争开展得较早，群众打土豪、分田地，革命热情也很高，因而群众基础好；再加上当地党组织工作扎实，群众对红军十分爱戴。凡有部队路过这里，老百姓不但热情欢迎，还拿出最好的东西招待红军。冬日的寻乌街头，冷冷清清。
黄克诚带领一个班的战士来到寻乌县城。队伍走在街道上，很少见到行人。偶尔有人站在房檐下，但是看见黄克诚他们走来，便唯恐避之不及似的关上了房门，就连擦肩而过的行人也对他们十分冷淡。
原来，苏区各根据地都搞起了肃反运动，不少优秀的地方干部被肃掉了。寻乌也不例外，这里打“AB 团”闹得人心惶惶，很多人无辜受难，老百姓对此心中有气，十分不满，所以就对红军采取了这种消极冷淡的态度。黄克诚了解到这些情况后，心情十分沉重。
回到军团部，他将在寻乌的所见所闻向军团前委一一作了汇报，说到动情处，他抑制不住内心的悲愤，对前委领导们说：“我们不能再搞自相残杀的蠢事情了！否则，我们将变成孤家寡人。”
黄克诚的这句话后来被应验了。他在回忆录中有这样一段发人深思的描述：主力红军长征之后，留在中央苏区的红军部队无法坚持，这除了敌人的“围剿”封锁之外，还与打“AB 团”扩大化而脱离了苏区的人民群众有很大的关系。
以后陈毅同志曾对我讲起过，他说胡灿原来在兴国一带的人民群众中有很高的威信，肃反中胡灿被杀，当地群众无不病哭失声，他们对这种做法非常不满意。后来陈毅到了兴国，当地群众时他很冷淡，胡灿的母亲还当面质问陈毅：“我儿子究竟犯了什么罪？你们为什么要把他杀掉！”问得陈毅无法回答。
1931 年下半年开始，中共中央开始发出了反对肃反中的“简单化” 和“扩大化”的指示。
1931 年12 月，周恩来进入中央革命根据地，就任苏区中央局书记。在他亲自主持下，苏区中央局作出了《关于苏区肃反工作决议案》，使肃反扩大化的趋势一度有所抑制。就在这时，黄克诚再次被起用，被派往红三军团第一师担任政治委员。
黄克诚怀着平静的心情，走马上任了。
其实，在战争年代里，职务的大起大落是常有的事。不过，经过这一段波折，黄克诚更加坚信一点：不盲从，不苟同，无论身居高位还是身陷逆境，都应当一心为公，无私无畏。
