曾氏家族的家系表可以回溯到中国历史的发端，并且自孔子的时代就相当清晰了。曾国藩是从著名哲学家曾子算起的第70代人，而他的那位远祖是孔大圣人最早的门徒之一。湖南的曾氏家族所由衍生的那个支派在元朝定居于衡阳，于17世纪移居湘乡，在这里世代务农。1他们当中无人引人注目，直到其祖父曾玉屏，曾国藩在其文章中通常称呼他的另一名字——星冈。他对孙儿施加了很大的影响，这种影响随孙儿的年龄与日俱增。这位祖父年轻时好逸恶劳，但他听说外人预言曾家将会毁在他的手上，他便沉下心来，成为热情的模范农民与园丁。他怀着对祖先的深切敬意，首倡建立一座像样的宗祠，他认为，在所有的神灵中，祖先的神灵最值得敬畏，因为他们的兴趣和影响，无论好坏，都在家族之中，比那些更加遥远的神鬼重要得多。2