计算器是最早的计算工具，例如:奇普(Quipu或khipu)是古代印加人的一种结绳记事的方法，用来计数或者记录历史。它是由许多颜色的绳结编成的。

还有古希腊人的安提凯希拉装置，中国的算盘等。中国古代最早采用的一种计算工具叫筹策，又被叫做算筹。这种算筹多用竹子制成，也有用木头，兽骨充当材料的。约二百七十枚一束，放在布袋里可随身携带。直到今天仍在使用的珠算盘，是中国古代计算工具领域中的另一项发明，明代时的珠算盘已经与现代的珠算盘几乎相同。

早期的计算器为纯手动式，如算盘、算筹等。算盘通常是以滑动的珠子制成。在西方，算盘在印度阿拉伯数字流行前使用了数个世纪，且在近代中国的记帐与商务上仍广泛使用。后来出现机械计算器。17世纪初，西方国家的计算工具有了较大的发展，英国数学家纳皮尔发明的"纳皮尔算筹"，英国牧师奥却德发明了计圆柱型对数算尺，这种计算尺不仅能做加减乘除、乘方、开方运算，甚至可以计算三角函数，指数函数和对数函数，这些计算工具不仅带动了计算器的发展，也为现代计算器发展奠定了良好的基础，成为现代社会应用广泛的计算工具。

1642年，年仅19岁的法国伟大科学家帕斯卡(Pascaline)发明了第一部机械式计算器，在他的计算器中有一些互相联锁的齿轮，一个转过十位的齿轮会使另一个齿轮转过一位，人们可以像拨电话号码盘那样，把数字拨进去，计算结果就会出现在另一个窗口中，但是只能做加减计算。1694年，莱布尼兹(Leibniz)在德国将其改进成可以进行乘除的计算。此后，一直要到20世纪50年代末才有电子计算器的出现。

19世纪，巴贝奇将计算工具的概念更往前推，试图创建第一个可编程式计算器，但他建造的机器太重了，因而无法操作。

20世纪，20世纪70年代开始，微处理器技术被吸纳进计算器制程，最初的微处理器是Intel于1971年为日本名为Busicom(ビジコン)的计算器公司生产的，1972年惠普推出第一款掌上科学计算器HP-35。