彼はしばしばコンピュータの父と呼ばれている。というのも、初期の機械式計算機を発明した張本人であり、その発明をベースに、さらなる複雑な設計を行うことに成功しているからである。彼が開発した機械のうち、完成しなかったものもある。そういったものは、ロンドンにあるサイエンス・ミュージアムにて、現在も展示されている。1991年、バベッジ自身によって作成された設計に基づき、階差機関が組み立てられた。バベッジは、ロンドンにて誕生した。彼が生まれた場所であるが、諸説あり、詳しいことはわかっていない。バベッジに父は裕福な家庭の出身であったので、小学校時代は複数人の家庭教師をつけるなど、教育の環境は非常に良いものであった。10歳の時、彼の生命を脅かすほどの高熱を発症した。その高熱は何とか収まったが、療養のため、田舎の学校へと転校し、そこに通うこととなった。
