曾国藩编练湘军时，问自己的第一个问题，并不是探究“湘军如何能打”，而是先分析了“绿营为何不能打”。曾国藩在分析后得出一个结论：绿营存在巨大的制度缺陷。
找制度的弱点
绿营采取的是“世兵制”，即士兵由国家供养，世代为兵，各地都有绿营。一旦发生战事，就采取抽调的制度，东抽一百，西拨五十，组成一支部队，然后派将领带兵出征。这样的结果是：兵不识兵，将不识将，将不识兵，兵不识将。用曾国藩的话说，这就像砍树枝一样，东砍一条，西砍一根，然后捆到一起，形不成一个整体。也就是曾国藩说的“近营则避匿不出，临阵则狂奔不止”，“胜则相忌，败不相救”。在他看来，这样的军队，即使“诸葛复起”，也是打不了胜仗的。所以，湘军要想镇压太平天国，就必须从制度上进行彻底改变。
曾国藩采取了全新的制度设计。与绿营的世兵制不同，湘军采取的是招募制，而且是层层招募制。具体来说，就是大帅招募自己手下的统领，统领招募自己手下的营官，营官招募自己手下的哨官，哨官招募自己手下的什长，什长招募自己手下的士兵。
湘军的待遇很高，不愁招不到兵。但只有上司招募你，你才能进入湘军，得到升官发财的机会。这样一来，士兵势必感激自己的什长，什长势必感激自己的哨官，哨官势必感激自己的营官，营官势必感激自己的统领，而统领势必感激自己的大帅。如此，从大帅到士兵，湘军就像一棵大树，“由根而生干，生枝，生叶，皆一气所贯通”，组织内部全部打通了。“是以口粮虽出自公款，而勇丁感营官挑选之恩，皆若受其私惠。平日既有恩谊相孚，临阵自能患难相顾”。由此，在湘军内部，人和人的关系也就跟绿营不一样，不再是捆在一起的树枝，而成为一个由感情纽带凝聚起来的整体。
引导自利行为
招募制只是曾国藩制度设计的第一个层面，更厉害的是第二个层面。曾国藩规定，在作战过程中，任何一级军官一旦战死，那么，他手下的军队便就地解散。比如，营官战死，那么整个营就地解散，全部赶回家去，一个不留；以此类推，哨长、什长都是如此。这会导致一个什么结果呢？这样一来，所有人都会做一件事情，就是一定要保住自己的长官。只有保住长官，你才有继续升官发财的机会。
保卫长官本来是一种道德要求，但湘军通过制度，使其变成了最符合下属自己利益的行为。由此，在湘军中，道德的要求和利益的追求完美地结合在一起。《湘军志》有言：“其将死，其军散；其将存，其军完。从湘军之制，则上下相维，喻利于义。将卒亲睦，各护其长。”这便形成了曾国藩所说的“呼吸相顾，痛痒相关，赴火同行，蹈汤同行。胜则举杯酒以让功，败则出死力以相救”的“死党”。
这是湘军凝聚力和战斗力的来源，也解释了为什么湘军和绿营同处一个时代，绿营士兵打起仗来首先想自己逃命，而湘军士兵首先想保卫自己的长官。
制度是决定和改变人行为的东西。人都是理性的，人都知道什么样的行为对自己最有利。曾国藩确立基本制度后，根本不用自己挥着战刀在后面逼下属冲锋陷阵，下属自然就知道往前冲。下属的行为已经变成了自觉、自发、对自己最有利的行为。