Rengeteg félig-meddig dokumentált történet, legenda kering ókori kínai, görög és későbbi arab tudósok és feltalálók által tervezett, esetleg épített gépekről, automatákról (Arkhimédesz, Eratoszthenész, Hérón, Mo Ti, Löw rabbi Góleme stb.). Nem mindig tudjuk eldönteni, mennyi igazság van ezekben. Annyi bizonyos, az emberiség ősidők óta szeretett volna fizikai/szellemi munkára képes, lehetőleg önirányított gépeket, automatákat, de legalább egy számológépet építeni, erről tanúskodik például Raymond Lullus 1275 körül írt és közzétett mechanikus gépének terve.
A 17. századtól több megvalósult próbálkozás is történt mechanikus számológép építésére. Az igazán hatékony mechanikus számológép építésének azonban komoly technikai korlátai vannak. Úgy tűnik, hogy a fizikának ez a tartománya túl „durva” ahhoz (az épített gépek lassúak, drágák, nagyok, nehézkesek), hogy a papíron végzett kézi számolásnál jóval hatékonyabban működő információfeldolgozó gép építését lehetővé tegye.
1769-ben a magyar Kempelen Farkas billentyűzetvezérlésű hangszintetizátort kezdett építeni, amit 1782-ben mutatott be először. Ez a gép ugyan nem volt programozható, billentyűkkel és nyílások (csövek) ujjal való befogásával, illetve egyéb mechanikus módokon kézileg lehetett vezérelni, és mechanikus elveken alapult (fabillentyűkből és faházból, fémből álló hangképző „szervekből” és egy bőrből, később gumiból készült légtölcsérből állt), de megmutatta, hogy olyan komplex feladatokat is lehet gépileg szimulálni, mint az emberi hang képzése. A gép szótagokat és rövid szavakat tudott „kimondani” (bár a kezeléséhez sok gyakorlás kellett). Több mint 100 évig senki sem tudott Kempelenénél jobb hangszintetizátort építeni.
Sok gépet tervezett Charles Babbage (1792–1871) is. 1812-ben rájött a gépek és matematika közötti összhangra. Ő fogalmazta meg először azokat a követelményeket, amelyeknek minden programozható számológépnek meg kell felelnie:
Babbage elvben konstruált ilyen gépet, az „Analytical engine”-t (1834), amely 20 jegyű számokkal végzett műveleteket. Nem tudta azonban megépíteni, mert a kor technikája nem tette még lehetővé (például a súrlódást nem tudta lecsökkenteni). Csak száz év múlva építették meg valójában a Babbage által megálmodott gépet. Ada Lovelace asszony (1816–1851) ugyanakkor Babbage képzeletbeli gépéhez leírta azon módszereket, ahogyan programot lehet rá készíteni. Megjelennek nála az algoritmusok egyes lépései (GOTO, STOP). Ily módon tehát Ada az első ismert programozó. (Az Ada programozási nyelvet később róla nevezik el.)
Még 1822-ben Babbage épített egy másik, gőzzel hajtott gépet, amely differenciálni is tud, a függvények differenciálhányados-függvényét közelítő módszerekkel számolja. Ez volt a differenciálgép (Difference Engine).
Az első számológép feltalálásától több mint 300 évet kellett várni arra, hogy a mechanikus gépeket felváltsák az elektronikus eszközök. 1936-ban Konrad Zuse megalkotta az első programozható elektromechanikus számológépet, a Z1-et.
1939–ben Vincent Atanasoff és asszisztense, Clifford Berry megterveztek egy csak elektronikus egységekből álló digitális alapú számológépet, az Atanasoff–Berry Computer-t (ABC). Ezt tekintjük egyben a világ első számítógépének.
Németországban Zuse szintén továbbfejlesztette korábbi programozható számológépét 1939-ben Z2, majd 1941-ben Z3 néven. Ez utóbbi tekinthető az első szabadon programozható, teljesen programvezérelt számítógépnek. 24 bites szavakkal dolgozott, memóriájában 16 adatot tudott tárolni. Felépítése hasonló a mai gépekhez: processzort (ALU), vezérlőegységet (CU), memóriát, bemeneti egységet (szalag) és kimeneti egységet tartalmaz. Az elektromechanikus szerkezet egy tonna súlyú volt, néhány ezer elektromágneses reléből állt, repülők és rakéták tervezéséhez használták. Egy összeadást átlag 0,7 mp, szorzást 3 mp alatt végzett el, a tízes számrendszerbeli számokat már lebegőpontos bináris ábrázolás útján kezelte.
Az 1940-es években megjelentek az olyan analóg számítógépek, amelyek már numerikus egyenletek megoldásait is ki tudták számítani. 1943-ban az angol titkosszolgálat Alan Turing matematikus vezetésével megépíttette a Colossust. Ez szintén relés alapon épül fel, és a II. világháborús német katonai rejtjelezőkód megfejtését segítette.
Az első teljesen automatikusan működő számítógépet az Amerikai Egyesült Államokban, a Harvard Egyetemen, 1939-1944-ig tartó munkában készítették el Howard Aiken vezetésével az Automatic Sequence Controlled Calculator-t (ASCC), más néven Mark I-et. A találmány elődeivel ellentétben már tízes számrendszerben számolt.
1943-1946 között készült el az ABC után a második teljesen elektronikus számítógép, az ENIAC (Electronic Numerical Integrator and Calculator) a Pennsylvania Egyetemen. Ez még nem Neumann-elvű gép volt, csak a számításhoz szükséges adatokat tárolta, a programot kapcsolótáblán kellett beállítani. Jellemzői: elektroncsővel működött, a programozása kizárólag gépi nyelven történt, sok energiát használt fel, gyakori volt a meghibásodás (átlagosan 15 percenként), a sebessége mindössze 1 000 – 5 000 művelet/másodperc volt. A gép súlya 30 tonna volt, és 18 ezer rádiócsövet tartalmazott. A rádiócsövek nagy hőt termeltnek. A programozáshoz 6000 kapcsolót kellett átállítani.
Az elektronikus számítógépek logikai tervezésében kiemelkedő érdemeket szerzett a magyar származású Neumann János. Alapvető gondolatait – a kettes számrendszer alkalmazása, memória, programtárolás, utasításrendszer – Neumann-elvekként emlegetjük. Neumann János irányította az EDVAC megépítését is 1944-ben, amelyet 1952-ben helyeztek üzembe. Ez volt az első olyan számítógép, amely a memóriában tárolja a programot is. Ennek a számítógépnek a terve és a továbbfejlesztett Neumann-elvek alapján készülnek a mai számítógépek is.
A számítógépek nagy része ekkor még hadi célokat szolgált. Az 1950-es évek elejéig a számítógépeket elsősorban a lőpályaelemzésben, a modern haditechnikai eszközök kutatásában használták.
A számítástechnika korszaka hivatalosan 1951. június 5-én kezdődött, amikor az első UNIVAC-ot (Universal Automatic Computer) leszállították az Egyesült Államok Népszámlálási Hivatala számára. Az UNIVAC már szöveges információt is tudott kezelni. Az UNIVAC volt az első, kereskedelmi forgalomban elérhető számítógép. Az Egyesült Államokban 1955-ben már 46 UNIVAC számítógépet helyeztek üzembe.
1951-ben Neumann az Institute for Advanced Study (IAS) kutatóintézetnél megépítette az IAS-komputert, amely a nagy amerikai tudományos intézetek digitális elektronikus számítógépeinek mintájául szolgált a következő években.
1958 – 1965: A második generációs számítógépek már tranzisztorokat tartalmaztak – ami lecsökkentette a méretüket –, valamint ferritgyűrűs tárakkal látták el őket. Ezeknél a gépeknél jelenik meg a megszakítás-rendszer, amelyekkel a hardveres jelzéseket a számítógépek kezelni tudják. Ekkor jelentek meg az operációs rendszerek, valamint a magas szintű programozási nyelvek pl.: FORTRAN. A népszerű gépek közé tartoztak, például az IBM7090, 7070 és 1410. Memóriaként mágnestárat használtak, a háttértár mágnesszalag, majd mágneslemez. Ezek a gépek 50 000-100 000 művelet/másodperc sebességet értek el.
A harmadik generációs számítógépek abban tértek el legfőképpen az előzőektől, hogy már integrált áramköröket használnak, amiket 1965-ben találtak fel. Ezek képesek voltak arra, hogy egy időben több feladatot is használjanak, a multiprogramozásnak és a párhuzamos működtetésnek köszönhetően. Megjelent a grafikus monitor, és a programozási nyelv is közérthetőbbé vált (BASIC). Fejlődésnek indult az adatátvitel is.
Az 1960-as évektől kezdve párhuzamos események sorozata idézi elő a fejlődéssel járó változásokat egészen napjainkig. Ez a generáció az úgynevezett miniszámítógépek gyártásának tömegessé válásával indul.
1961-ben az IBM bemutatja a Stretch nevű számítógépet, ami egy tranzisztoros számítógép, 64 bites adatátvitellel, és multiprogramozott üzemmódban fut. 1962-ben Ken Iverson megalkotja az APL programnyelvet (A Programming Language). Ugyanebben az évben az IBM piacra dobja az 1311-es hordozható lemezt, és a Rand Corporationnnal létrehozza az első általános szimulációs nyelvet a SIMSCRIPT-tet, amiből később a GPSS fejlődik ki.
1963-ban a General Motors és a MIT Lincoln Laboratories kifejleszti a párbeszédes grafikus felületet (DAC-1, Sketchpad). Ezt használták CAD-es tervezésnél. A Sketchpad használta először a fényceruzát, amelyet Ivan Sutherland fejlesztett ki. Szintén 1963-ban a DEC már forgalmazza az első PDP-5-ös minikomputert.
1964 is termékeny év, az IBM bejelenti a 360-as rendszert, ami az első kompatibilis számítógépcsalád. Ennek részeként az IBM kifejleszti a PL/1 általános célú programozási nyelvet (az ezt megelőző nyelveket általában specifikusan egy-egy feladatcsoportra szánták). A Control Data Corporation (CDC) bemutatja a CDC 6000-est, amely 60-bites szavakat használ, és párhuzamos műveleteket végez, majd később árulni kezdi a 6600-ast, amit Seymour Cray tervezett, és ami az akkori évek leggyorsabb számítógépe volt. Ekkor Tom Kurtz és Kemény János (John Kemeny) megalkotja az első time-sharing programnyelvet, ez volt a BASIC. Eközben M. R. Davis és T. D. Ellis kifejlesztik a grafikus felületet (Graphic tablet) a Rand Corporation-nél.
A számítástechnika fejlődésének következtében a CDC megalapítja 1965-ben a Control Data Institute-ot, amely biztosítja a számítógépes képzéseket. Ekkortájt a Digital Equipment árulni kezdi a PDP-8-at, ami az első minikomputer. Az IBM szállítani kezdi az első 360-as rendszert, ami az első integrált alaplapú számítógép, vagy más néven harmadik generációs komputer.
1967-ben DEC bemutatja a PDP-10-es számítógépet. A rákövetkező évben az Univac bemutatja a 9400-as számítógépet.
1969-ben Edson deCastro bemutatja a Nova nevezetű 16 bites miniszámítógépet. De nem csak ezért érdekes ez az év, ekkor rendezik az első nemzetközi MI (mesterséges intelligencia) konferenciát valamint az IBM szétválasztja a hardvert és a szoftvert és bevezetik a minikomputer-vonalat, a System/3-at. Nicklaus Wirth megírja a PASCAL fordítóprogramot és telepíti a CDC 6400-asra. 1970-ben a DEC legyártja az első 16-bites minikomputert, a PDP-11/20-ast, a Data General legyártja SuperNova nevű számítógépét, végül az IBM legyártja az első 370-es rendszert, a negyedik generációs számítógépet.
1971 hozza a nagy fordulatot: John Blankenbaker megépíti az első személyi számítógépet a Kenbak I-t.
A 4. generáció kezdetének a világ első mikroprocesszorának megjelenését tekintjük.
Ezt a generációt már átlagemberek is használták.
A processzor a számítógép és a számítógép alapú berendezések központi modulja, a gépi → A számítógépek negyedik generációját 1971-től 1991-ig számíthatjuk. Nincsenek alapvető változások a számítógépek szervezésében, csupán a korábbi megoldásokat tökéletesítik. Ezek már nagy integráltságú integrált áramköröket használnak. Erre a generációra jellemző, hogy a szoftvergyártás óriási méretűvé válik. A szoftverek árai elérik, egyes esetekben meg is haladhatják a hardverét.
1973-ra megjelent a merevlemez, a „winchester”, amit az IBM a 3340-es modelljében használt.
1974: Az Intel bemutatja a 8080-as, 8 bites mikroprocesszort, amelyet számos személyi számítógépben használnak.
1975-re a MITS bemutatja az Altair-t. A készlet 397 dollárba kerül, amelyben egy 256 bájtos komputer van. A kivitel és bevitel kapcsolókból és lámpákból áll. Altair-re az első Basic értelmezőt Ed Roberts és Bill Gates készítette.
1976-1981-ig számos cég rukkol elő fejlesztéseivel, például a NEC, a Zilog, az Apple, a DEC, a Datapoint, a CDC, a Next stb.
1981-ben a Commodore bemutatja a VIC-20-as házi számítógépet (home computer), amelyet több mint egymillió példányban adnak el. A személyi számítógép piacra betör az IBM. Szintén ekkor az Osborne Computer bemutatja az Osborne 1-et, ami az első hordozható számítógép.
Nemcsak a méret és a technikai megoldások fejlődtek, a sebesség is változott: 1987-re a Cray kutatói bemutatják a Cray 2S-t, amely 40%-kal gyorsabb a Cray 2-nél. Nagyon meghatározó év az 1987-es, mert ekkor a Texas Instruments bemutatja az első mikroprocesszor chip-et.