主条目：記憶體階層

實際上，幾乎所有電腦都有各種不同的記憶體，這些記憶體在中央處理器旁邊，構築成記憶體階層，在效率和花費兩者之間的拉鋸中，在階層中較低層的記憶體， 頻寬較低，而且資料到中央處理器的時間也較久，遲滯時間較長。傳統上分第一級，第二級，第三級，離線記憶體。

第一級記憶體

编辑

第一級記憶體（又稱主記憶體或內部記憶體），通常簡稱為記憶體，這層的記憶體與中央處理器直接連通，中央處理器會不斷讀取儲存在這裡的指令集，並在需要時執行這些指令集。

歷史上，早期的電腦使用延遲線，威廉士管作為主要的儲存器。在1954年，磁芯記憶體被開發出來大幅取代了上述不太穩定的方法。磁芯記憶體維持優勢至1970年代，此時積體電路技術的進步，使得半導體記憶體在價格上變得便宜而有競爭力。

這使得現代化的隨機存取記憶體（RAM）被製造出來。該款記憶體的重量輕，尺寸小，然而十分昂貴。這種記憶體被用來做成第一級記憶體，同時它也是揮發性記憶體，意思就是當電力不再供應時，記憶體內的資料就會消失。

如同右圖所示，在第一級記憶體的內部除了主記憶體，也就是隨機存取記憶體外，還分有兩個或兩個以上的子層:

暫存器被設置在處理器內。每個暫存器都儲存資料中的一個字（一個字的大小通常是32位元或64位元）。中央處理器內的指令能讓 算術邏輯單元 去執行各種計算或是處理資料。暫存器傳輸資料的速度是所有記憶體中最快的。

CPU快取，它傳輸資料的速度僅次於暫存器。被用來作為提升電腦的效能。大部分經常被使用的資料，會複製另一份存在快取記憶體內，這樣可提升速度，否則速度將會大幅降低，且暫存器也容納不下那麼多資料。多層快取階層亦經常被使用—第一層快取容量最小，速度最快且位於處理器內部；第二層快取容量較大且較慢。

主記憶體藉記憶體匯流排與中央處理器連接。有兩種不同的匯流排: 位址匯流排以及資料匯流排。一開始中央處理器藉位置匯流排傳送數字，這數字就是記憶體位置，其指出資料的位置。然後中央處理器用資料匯流排將資料讀出或寫入。此外，內存管理單元（MMU）是一種介於中央處理器跟主記憶體的裝置，用來重新計算記憶體位置，例如提供虛擬地址。

由於RAM具有揮發性，這樣的話電腦就無法儲存開機時需要的指令，因此，非揮發性記憶體儲存了執行開機的程式（BIOS），為了讀取較大的程式，先自第二層的非揮發性記憶體讀取到隨機存取記憶體，然後執行程式。一種記憶體因著這目的被製出，就是唯讀記憶體（唯讀記憶體也是屬於隨機存取）。

許多唯讀記憶體並不僅僅只能讀取，雖然速度慢，但資料還是可以抹除並重新寫入。一些嵌入式系統直接使用唯讀記憶體來跑程式，因為程式幾乎不會變化，現在的電腦將資料存於第二層非揮發性的記憶體，而非唯讀記憶體，這是比較經濟的做法。

第二級記憶體

编辑

去除保護殼之後的硬碟

第二級記憶體，又稱外部記憶體或輔助記憶體，和第一級記憶體不同的是，第二級記憶體和中央處理器並沒有直接連通，電腦經常使用記憶體的I/O通道來與之連接，第二級記憶體使用資料緩衝器來將資料傳送至第一級記憶體。在不供應電源的情況下，第二級記憶體的資料仍然不會消失—這表示它是非揮發性的。

現今的電腦，硬碟被廣泛地做為第二層記憶體，硬碟存取資料的時間大約是幾千分之一秒，或是幾個毫秒。然而，隨機存取記憶體存取資料的時間僅有幾十億分之一秒，或是幾個奈秒。硬碟的速度只有記憶體存取速度的百萬分之一，光碟，例如CD和DVD，有更長的存取時間。

當資料儲存於碟片時，將資料傳送到區塊可降低遲滯時間，提升效率，這樣的話需要外部記憶體演算法。連續存取和區塊存取的速度比隨機存取要快得多，所以許多尖端的記憶體都在開發更有效率的演算法來執行連續存取或區塊存取。一個突破I/O瓶頸的方法是使用多重磁碟，可以增加第一級與第二級記憶體之間的頻寬。[8]

這裡列舉一些第二級記憶體的例子：快閃記憶體（例如隨身碟和固態硬碟）、軟碟、磁帶、紙帶、打孔卡、RAM盘、Zip Drive。

第二級記憶體通常被設計成符合文件系統的格式，這使得資料可以儲存在目錄和電腦檔案內。

大部分的作業系統使用了虛擬記憶體的概念，第一級記憶體的物理容量雖然不變，但可以藉挪用第二級記憶體的空間來增大第一級記憶體的容量。系統會將最少使用到的區塊移至第二級記憶體（置換檔案或分頁檔案），當這些檔案被需要時再將它們取回，當愈多檔案需要從第二級記憶體中取回，電腦的效能就愈低。

第三級記憶體

编辑

第三級儲存裝置或第三級記憶體,[9] 這是指可直接插入或自電腦拔除的儲存裝置；裡面的資料在被使用前通常都會複製到第二級記憶體內。該款記憶體的存取速度比第二級記憶體要慢得多（5–60秒，相较于1–10毫秒）。該款記憶體的優勢在於其擁有龐大的儲存空間，典型的例子包含磁帶櫃和光學記錄庫。