Python使用mmap實(shí)現(xiàn)內(nèi)存映射文件操作
內(nèi)存映射通常可以提高I/O的性能,因?yàn)槭褂脙?nèi)存映射時(shí),不需要對每個(gè)訪問都建立一個(gè)單獨(dú)的系統(tǒng)調(diào)用,也不需要在緩沖區(qū)之間復(fù)制數(shù)據(jù),內(nèi)核和用戶都能很方便的直接訪問內(nèi)存。
說明1)什么叫映射?
==>就是給一個(gè)對象(可以是變量、物理等),起一個(gè)唯一的別名,建立一一對應(yīng)的關(guān)系;
2)文件映射:將磁盤上的文件的位置,與進(jìn)程邏輯地址空間中一塊大小相同的區(qū)域之間的一一對應(yīng);
3)映射后得到一個(gè)類似數(shù)組類型的東西(mmap.mmap()對象),可以通過類似操作數(shù)組的方式,達(dá)到對文件內(nèi)容更改的目的;
優(yōu)點(diǎn)1)相對于二進(jìn)制文件的缺陷通常讀寫文件時(shí),使用read()和write()方法,這兩種方法都是以流的形式進(jìn)行的,也就是一個(gè)字節(jié)接著一個(gè)字節(jié)的讀寫;如果想從某一位置開始讀寫,使用seek()方法調(diào)整文件指針,此方法對二進(jìn)制文件的操作非常不方便,因?yàn)橄鄬τ诙M(jìn)制文件,數(shù)據(jù)寫入文件時(shí)是以數(shù)組的形式,將數(shù)據(jù)映射到文件內(nèi),然后就以訪問數(shù)組的形式訪問文件,而且在對文件進(jìn)行修改后,能再次通過此數(shù)組將數(shù)據(jù)同步到文件中;
2)某些嵌入式設(shè)備,寄存器被編址到內(nèi)存地址空間,我們可以映射/dev/mem某范圍,取訪問這些寄存器例如:在樹莓派(為學(xué)習(xí)計(jì)算機(jī)編程教育設(shè)計(jì)的一種微型電腦)上,有一個(gè)pwm波形的發(fā)生器,若想使用此發(fā)生器,就要訪問樹莓派的寄存器;實(shí)際上,寄存器就是物理地址的某一特定空間;此時(shí),如果要訪問寄存器,需要將 /dev/mem 的某一范圍,映射到內(nèi)存中,用訪問內(nèi)存的方式來訪問寄存器;
3)如果多個(gè)進(jìn)程映射同一個(gè)文件,還能實(shí)現(xiàn)進(jìn)程通信的目的多個(gè)進(jìn)程把同一個(gè)文件映射到各自的內(nèi)存空間當(dāng)中,實(shí)際上它們看到的是同一個(gè)視圖,也能實(shí)現(xiàn)進(jìn)程通信的目的;
本篇,將詳細(xì)介紹Python內(nèi)存映射庫:mmap。
mmap(讀文件)使用mmap()函數(shù)可以創(chuàng)建一個(gè)內(nèi)存映射文件。該函數(shù)的第1個(gè)參數(shù)是一個(gè)文件描述符,可以通過file對象的fileno()函數(shù)獲取;第2個(gè)參數(shù)是要映射的文件部分大小(單位字節(jié)),如果該值為0,映射整個(gè)文件,如果該參數(shù)大于文件大小,則擴(kuò)展該文件。
示例如下:
import mmapwith open(’英文文檔.txt’,’r’) as f: with mmap.mmap(f.fileno(),0,access=mmap.ACCESS_READ) as m:print(m.read(10))print(m.read(10))print(m[:-10])
運(yùn)行之后,效果如下:
這里讀寫會(huì)根據(jù)文件指針進(jìn)行移動(dòng),比如開始讀10個(gè)字符,那么第2次讀就會(huì)接著11個(gè)字符開始在讀,不會(huì)返回起點(diǎn),而通過切片或者seek()函數(shù)可以將指針重置。
至于access參數(shù),表示以什么方式訪問,這里以讀的方式。
需要特別注意的是,windows不支持創(chuàng)建長度為0的映射。
write(寫文件)寫文件比較簡單,這里我們直接看一段代碼:
import mmapword = b’The’with open(’英文文檔.txt’, ’r+’) as f: with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_WRITE) as m:loc = m.find(word)m[loc:loc + len(word)] = b’lyj’print(m.read())
運(yùn)行之后,首字母The,就被我們替換成'lyj'了,效果如下:
當(dāng)然,這里除了切片寫入之外,也可以使用write()等文件操作方法進(jìn)行操作,與文件操作一樣。需要注意的是假如access等于ACCESS_COPY,那么不會(huì)把修改的內(nèi)容寫入磁盤上的文件。
到此這篇關(guān)于Python使用mmap實(shí)現(xiàn)內(nèi)存映射文件操作的文章就介紹到這了,更多相關(guān)Python 內(nèi)存映射文件操作內(nèi)容請搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)!
相關(guān)文章:
1. python實(shí)現(xiàn)讀取類別頻數(shù)數(shù)據(jù)畫水平條形圖案例2. Java 基于UDP協(xié)議實(shí)現(xiàn)消息發(fā)送3. Python編寫nmap掃描工具4. php5.6不能擴(kuò)展redis.so的解決方法5. python 爬取嗶哩嗶哩up主信息和投稿視頻6. 關(guān)于HTML5的img標(biāo)簽7. python 如何停止一個(gè)死循環(huán)的線程8. CSS3實(shí)現(xiàn)動(dòng)態(tài)翻牌效果 仿百度貼吧3D翻牌一次動(dòng)畫特效9. ASP.NET MVC前臺(tái)動(dòng)態(tài)添加文本框并在后臺(tái)使用FormCollection接收值10. PHP獲取時(shí)間戳等相關(guān)函數(shù)匯總
