主条目：计算机硬件历史
本来，计算机的英文原词“computer”是指从事数据计算的人（英语：Computer (occupation)）。而他们往往都需要借助某些机械计算设备或模拟计算机。
这些早期计算设备的祖先包括有算盘，以及可以追溯到公元前87年的被古希腊人用于计算行星移动的安迪基西拉机械装置。随着中世纪末期欧洲数学与工程学的再次繁荣，1623年德国博学家Wilhelm Schickard（德语：Wilhelm Schickard）率先研制出了欧洲第一部计算设备，這是一個能進行六位以內數加減法，並能通过鈴聲輸出答案的“計算鐘”。使用轉動齒輪來進行操作。
1642年法國數學家布莱士·帕斯卡在英国数学家威廉·奥特雷德所制作的“計算尺”的基礎上，將其加以改進，使能進行八位計算。還賣出了許多製品，成為當時一種時髦的商品。
1801年，法国人约瑟夫·玛丽·雅卡尔对织布机的设计进行改进，使用一系列打孔的纸卡片来作为编织复杂图案的程式。尽管这种被称作“雅卡尔织布机”的机器并不被认为是一部真正的计算机，但是其可程式化性质使之被视为现代计算机发展过程中重要的一步。
查尔斯·巴貝奇于1820年构想和设计了第一部完全可程式化计算机。但由于技术条件、经费限制，以及无法忍耐对设计不停的修补，这部计算机在他有生之年始终未能问世。约到19世纪晚期，许多后来被证明对计算机科学有着重大意义的技术相继出现，包括打孔卡片以及真空管。德裔美籍统计学家赫爾曼·何樂禮设计了一部制表用的机器，其中便应用打孔卡片来进行大规模自动数据处理。
在20世纪前半叶，为了迎合科学计算的需要，许多专门用途的、复杂度不断增长的模拟计算机被研制出来。这些计算机都是用它们所针对的特定问题的机械或电子模型作为计算基础。1930－1940年代，计算机的性能逐渐强大并且通用性得到提升，现代计算机的关键特色被不断地加入进来。
1936年，艾伦·图灵提出了图灵机。
1937年，年仅21岁的麻省理工学院研究生克劳德·香农发表了论文《繼電器和開關電路的符號分析（英语：A Symbolic Analysis of Relay and Switching Circuits）》，文中首次提及数字电子技术的应用。他向人们展示了如何使用开关来实现逻辑和数学运算。此后，他通过研究万尼瓦尔·布什的微分模拟器（英语：differential analyser）进一步巩固了他的想法。这是一个标志着二进制电子电路设计和逻辑门应用开始的重要时刻，而这些关键思想诞生的先驱，应当包括：阿尔蒙·斯特罗格，他为一个含有逻辑门电路的设备申请了专利；尼古拉·特斯拉，他早在1898年就曾申请含有逻辑门的电路设备；李·德富雷斯特，于1907年他用真空管代替了继电器。
HP Jornada 690開啟了手機和電腦結合的早期概念，成為智能手機早期概念典範
沿着这样一条上下求索的漫漫长途去定义所谓的“第一部电子计算机”可谓相当困难。1941年5月12日，德国工程师康拉德·楚澤完成了他的图灵完全机电一体计算机“Z3”，这是第一部具有自动二进制数学计算特色以及可行的程式化功能的计算机，但还不是“电子”计算机。此外，其他值得注意的成就主要有：
1941年夏天诞生的阿塔纳索夫-贝瑞计算机是世界上第一部电子计算机，它使用了真空管计算器，二进制数值，可复用内存；在英国于1943年被展示的神秘的巨像计算机（Colossus computer），尽管程式化能力极為有限，但是它使人们确信使用真空管既值得信赖，又能实现电气化的再编程；哈佛大学的哈佛一型；以及基于二进制诞生于宾夕法尼亚大学的ENIAC，全名為電子數值積分計算器，这是第一部通用意图的计算机，但由于其结构设计不够弹性化，导致对它的每一次再编程都要重新连接電子线路。
1940年代的第二次世界大戰中，為訓練轟炸機飛行員，美國海軍曾向麻省理工學院探詢，是否能夠開發出一款可以控制飛行模擬器的計算機。軍方當初的設想只是希望經由該計算機將飛行員模擬操作產生的數據即時反映到儀表盤上。和以前的训练系统林克训练机（英语：Link Trainer）不同，军方计划系统能尽可能真实地根据空气动力学模型进行模拟，以使其能适用于各种不同类型的飞机。於是麻省理工創造了旋風工程，其製造出了世界上第一臺能夠即時處理資料的旋風電腦，併發明了磁芯儲存裝置。這為個人電腦的發展做出了歷史性的貢獻。
开发埃尼阿克的小组针对其缺陷又进一步改善了设计，并最终呈现出今天我们所熟知的冯·诺伊曼结构（程序存储体系结构）。这个体系是当今所有计算机的基础。
20世纪40年代中晚期，大批基于此一体系的计算机开始研制，其中以英国最早。尽管第一部研制完成并投入运转的是小规模实验机（Small-Scale Experimental Machine，SSEM），但真正被开发出来的实用机很可能是延迟存储电子自动计算器（EDSAC）。
在整个1950年代，真空管计算机居于统治地位。1958年9月12日在后来英特爾的創始人罗伯特·诺伊斯的領導下，發明了集成电路。
不久英特爾又推出了微處理器。1959年到1964年間設計的計算機一般稱為第二代計算機。
到了1960年代，電晶體计算机将其取而代之。晶体管體積更小，速度更快，价格更加低廉，性能更加可靠，这使得它们可以商品化生产。
1964年到1972年的計算機一般被稱為第三代計算機。大量使用集成电路，典型的機型是IBM360系列。
到了1970年代，積體電路技术的引入大大地降低了计算机生产成本，计算机也从此开始走向千家万户。1972年以後的計算機習慣上被稱為第四代計算機。基於大規模積體电路，及後來的超大規模積體电路。Intel 4004是美國英特爾公司 (Intel) 推出的第1款微處理器，也是全球第一款微處理器；1971年11月15日发布。1972年4月1日，英特爾推出8008微處理器。1976年，史蒂夫·賈伯斯和斯蒂夫·沃兹尼亚克創辦蘋果計算機公司。並推出其Apple I計算機。1977年5月Apple II型計算機發佈。1979年6月1日，英特爾發佈了8位元的8088微處理器。
1982年，微電腦開始普及，大量進入學校和家庭。1982年1月康懋達64計算機發佈，價格595美元。
1982年2月Intel 80286發佈。時脈提高到20MHz，並增加了保護模式，可存取640KB記憶體。支援1MB以上的虛擬記憶體。每秒執行270萬條指令，集成了134000個電晶體。
1990年11月，微軟發佈第一代MPC（Multimedia PC，多媒體個人電腦標準）：處理器至少為80286/12 MHz（後來增加到80386SX/16 MHz），有光碟機，傳輸率不少於150 KB/sec。
1994年10月10日英特爾發佈75MHz奔騰處理器。1995年11月1日，Pentium Pro發佈。主頻可達200MHz，每秒鐘完成4.4億條指令，集成了550萬個晶體管。1997年1月8日英特爾發佈Pentium MMX，對遊戲和多媒體功能進行了增強。
此後計算機的變化日新月異，1965年發表的摩尔定律不斷被認證，預測在2030年代以前依然適用。