鲍尔默虽然出生于一个比较富裕的家庭,但是他的祖父和外祖父那一代的生活还是十分艰辛的。鲍尔默的外祖父是犹太人,他从沙皇部队退役后,在底特律依靠卖汽车的旧零件维持生活,还经常从街上寻找废弃的旧汽车,然后从上面拆下旧零件来卖。虽然工作很辛苦,但是外祖父却十分疼爱鲍尔默这个外孙子,每个月都会给鲍尔默六美元作为犒赏。而鲍尔默很快就会把外祖父给他的六美元偷偷塞给他的母亲。鲍尔默从小就养成了节俭的生活习惯。
鲍尔默的父亲是瑞士人,二战后来到了美国,他和鲍尔默的母亲结婚后把家安在了底特律。鲍尔默的父亲在福特汽车公司从会计做起,后来曾担任福特汽车公司的经理。在儿童时代,鲍尔默深受母亲的宠爱,而父亲对他的管教却十分严格。鲍尔默的父亲一生的遗憾是没有上过大学,所以他希望鲍尔默能实现自己的理想。在鲍尔默八岁的时候,父亲就告诉他今后一定要考上哈佛大学。
在高中的时候鲍尔默就表现出了从不言输的个性,他不但是学校橄榄球队的后卫队员,还是篮球队的经理人。篮球队的教练回忆说,鲍尔默是团队精神的典范,他总能把球队需要的东西放在该放的地方,而且他能使整个队伍都保持非常良好的状态,是他见过的最好的经理人。