共享内存与存储映射(mmap)

摘要:
mmap用于共享内存的方式1、我们可以使用普通文件进行提供内存映射,例如,open系统调用打开一个文件,然后进行mmap操作,得到共享内存,这种方式适用于任何进程之间。而shm共享内存,每个进程最终会映射到同一块物理内存。但在posix中的共享内存就是指这种使用文件的方式“内存映射”。

【前言】对这两个理解还是不够深刻,写一篇博客来记录一下。

首先关于共享内存的链接:共享内存里面包含了创建共享内存区域的函数,以及两个进程怎么挂载共享内存通信,分离、释放共享内存。

共享内存的好处就是效率高,不需要太多次的进行数据的copy。可以直接进行读写内存。所以,相对来说在IPC进程间通信三大主题里面,共享内存要比消息队列使用多,而且消息队列只在有血缘关系的进程间通信;但是,共享内存不保证同步,使用了信号量用来保证共享内存同步。Linux中的两种共享内存。一种是我们的IPC通信System V版本的共享内存,另外的一种就是我们今天提到的存储映射I/O(mmap函数),当然还有一种POSIX的共享内存,它是在mmap基础之上构建的。

一、mmap

mmap I/O的描述符间接说明内存映射是对文件操作。另外,mmap另外可以在无亲缘的进程之间提供共享内存区。这样,类似的两个进程之间就是可以进行了通信。

Linux提供了内存映射函数mmap, 它把文件内容映射到一段内存上(准确说是虚拟内存上,运行着进程), 通过对这段内存的读取和修改, 实现对文件的读取和修改。mmap()系统调用使得进程之间可以通过映射一个普通的文件实现共享内存。普通文件映射到进程地址空间后,进程可以像访问内存的方式对文件进行访问,不需要其他内核态的系统调用(read,write)去操作。

这里是讲设备或者硬盘存储的一块空间映射到物理内存,然后操作这块物理内存就是在操作实际的硬盘空间,不需要经过内核态传递。比如你的硬盘上有一个文件,你可以使用linux系统提供的mmap接口,将这个文件映射到进程一块虚拟地址空间,这块空间会对应一块物理内存,当你读写这块物理空间的时候,就是在读取实际的磁盘文件,就是这么直接高效。通常诸如共享库的加载都是通过内存映射的方式加载到物理内存的

mmap系统调用并不完全是为了共享内存来设计的,它本身提供了不同于一般对普通文件的访问的方式,进程可以像读写内存一样对普通文件进行操作,IPC的共享内存是纯粹为了共享。

(1)mmap系统调用介绍:

void *mmap(void *addr, size_t length, int prot, intflags,
                  int fd, off_t offset);

这就是mmap系统调用的接口,mmap函数成功返回指向内存区域的指针,失败返回MAP_FAILED。

addr,某个特定的地址作为起始地址,当被设置为NULL,标识系统自动分配地址。实实在在的物理区域。

length说的是内存段的长度。

prot是用来设定内存段的访问权限。

prot参数说明
PROT_READ内存段可读
PROT_WRITE内存段可写
PROT_EXEC内存段可执行
PROT_NONE内存段不能被访问

flags参数控制内存段内容被修改以后程序的行为。

flags参数说明
MAP_SHARED进程间共享内存,对该内存段修改反映到映射文件中。提供了POSIX共享内存
MAP_PRIVATE内存段为调用进程所私有。对该内存段的修改不会反映到映射文件
MAP_ANNOYMOUS这段内存不是从文件映射而来的。内容被初始化为全0
MAP_FIXED内存段必须位于start参数指定的地址处,start必须是页大小的整数倍(4K整数倍)
MAP_HUGETLB按照大内存页面来分配内存空间

fd参数是用来被映射文件对应的文件描述符。通过open系统调用得到。

offset设定从何处进行映射。

(2)mmap用于共享内存的方式

1、我们可以使用普通文件进行提供内存映射,例如,open系统调用打开一个文件,然后进行mmap操作,得到共享内存,这种方式适用于任何进程之间。

2、可以使用特殊文件进行匿名内存映射,这个相对的是具有血缘关系的进程之间,当父进程调用mmap,然后进行fork,这样父进程创建的子进程会继承父进程匿名映射后的地址空间,这样,父子进程之间就可以进行通信了。相当于是mmap的返回地址此时是父子进程同时来维护。

3、另外POSIX版本的共享内存底层也是使用了mmap。所以,共享内存在在posix上一定程度上就是指的内存映射了。https://www.cnblogs.com/LubinLew/p/POSIX-shared_memory.html

三、mmap和System V共享内存的比较

共享内存:

![enter description here][1]

这是System V版本的共享内存(以下我们统称为shm),下面看下mmap的:
![enter description here][2]

总结:

1、mmap是在磁盘上建立一个文件,每个进程地址空间中开辟出一块空间进行映射。而shm共享内存,每个进程最终会映射到同一块物理内存。shm保存在物理内存,这样读写的速度肯定要比磁盘要快,但是存储量不是特别大。

2、相对于shm来说,mmap更加简单,调用更加方便,所以这也是大家都喜欢用的原因。

3、另外mmap有一个好处是当机器重启,因为mmap把文件保存在磁盘上,这个文件还保存了操作系统同步的映像,所以mmap不会丢失,但是shmget在内存里面就会丢失。

4、总之,共享内存是在内存中创建空间,每个进程映射到此处。内存映射是创建一个文件,并且映射到每个进程开辟的空间中。

但在posix中的共享内存就是指这种使用文件的方式“内存映射”。参考:https://www.cnblogs.com/LubinLew/p/POSIX-shared_memory.html

附录:linux高端内存https://www.cnblogs.com/wuchanming/p/4360277.html

免责声明:文章转载自《共享内存与存储映射(mmap)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇C#将Word,Excel与Html,PDF互转详解centos下vi的用法下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

现代操作系统 第一章 引论 笔记

现代操作系统 封面上的趣图 什么是计算机系统? 现代计算机系统由一个或多个处理器、主存、磁盘、打印机、键盘、鼠标、显示器、网络接口以及各种其他输入/输出设备组成。 什么是操作系统? 操作系统是一个软件,它的任务是为用户程序提供一个更好、更简单、更清晰的计算机模型,并管理组成计算机系统的各种设备。 操作系统的两个功能? 1. 扩展机器(自顶向下的观点)...

文件随机或顺序读写原理深入浅出

一、文件读写的用户程序、操作系统、磁盘交互原理  最近为了彻底搞懂文件读写原理,我特意查询了很多资料,包括Java读写文件的API代码、操作系统处理文件以及磁盘硬件知识等。由于网上现存技术文章,几乎没有找到一篇能够彻底综合讲明白这个原理的文章。心中还是有很多疑问。且有不少文章包括书籍所阐述的随机/顺序读写原理讲述的都是错误或误导性的。所以我综合了一下我能查...

逆向映射的演进

在此向郭大侠致敬。 一、前言 数学大师陈省身有一句话是这样说的:了解历史的变化是了解这门学科的一个步骤。今天,我把这句话应用到一个具体的Linux模块:了解逆向映射的最好的方法是了解它的历史。本文介绍了Linux内核中的逆向映射机制如何从无到有,如何从笨重到轻盈的历史过程,通过这些历史的演进过程,希望能对逆向映射有更加深入的理解。 二、基础知识 在切入逆向...

什么是内存(二):虚拟内存

通过上一篇文章的扯淡,我们应该已经明白了存储器的层次结构,技术细节很复杂,但是思想却不难理解,因为就是很简单的缓存思想。那么本文我们开始讨论关于内存的另一个话题.虚拟内存。其实思想也是很容易理解的。 我不知道有多少人听过虚拟内存这个概念,但是虚拟内存是计算机系统最重要的概念之一,并且它成功的主要原因就是它一直在沉默的,自动的工作,换句话说,我们这些做应用的...

Linux用户空间与内核地址空间

Linux 操作系统和驱动程序运行在内核空间,应用程序运行在用户空间,两者不能简单地使用指针传递数据,因为Linux使用的虚拟内存机制,用户空间的数据可能被换出,当内核空间使用用户空间指针时,对应的数据可能不在内存中。 Linux内核地址映射模型 x86 CPU采用了段页式地址映射模型。进程代码中的地址为逻辑地址,经过段页式地址映射后,才真正访问物理内...

进程间通讯 —— 共享内存

通过内存共享的方式来进行进程之间的通讯,可以通过发送端进程在接收端进程中开辟一段内存空间,然后往该内存空间内写入数据,并通知接收端读取数据来达到。   实现代码片段   发送端:   BOOL SendProcessMessage() { HWND hWnd; hWnd = FindWindow(NULL, "Recv"); // 查...