Ⅰ 我c++要处理大量数据,一个都是几百m,如何存入内存.
用内存映射应该行的。内存映射就是把一个文件当作一块内存区域用。 类别: 内存映射文件 题目:对一个文件使用内存映射文件 Demo: 1:创建或打开一个文件内核对象: // Open the file for reading and writing. HANDLE hFile = CreateFile(pszPathname, GENERIC_WRITE | GENERIC_READ, 0, NULL, OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, NULL); // 由于hFile即使为INVALID_HANDLE_VALUE,下面的CreateFileMapping仍然可以正常运行, // 所以这里一定要对hFile进行检查! if (hFile == INVALID_HANDLE_VALUE) { chMB("File could not be opened."); return(FALSE); } 2:创建一个文件映射内核对象: // Get the size of the file (I assume the whole file can be mapped). DWORD dwFileSize = GetFileSize(hFile, NULL); // Create the file-mapping object. The file-mapping object is 1 character // bigger than the file size so that a zero character can be placed at the // end of the file to terminate the string (file). Because I don't yet know // if the file contains ANSI or Unicode characters, I assume worst case // and add the size of a WCHAR instead of CHAR. HANDLE hFileMap = CreateFileMapping(hFile, NULL, PAGE_READWRITE, 0, dwFileSize + sizeof(WCHAR), // 如果该文件小于设定的大小,本函数将扩展该文件的大小, // 使磁盘上的文件变大。这样当以后将该文件作为内存映射 // 文件使用时,物理存储器就已经存在了。 NULL f// 这个文件映射对象的名字用于与其他进程共享该对象,这里我们还用不到。 ); if (hFileMap == NULL) { chMB("File map could not be opened."); CloseHandle(hFile); return(FALSE); } 3:将文件数据映射到进程的地址空间: 当创建了一个文件映射对象之后,仍然必须让系统为文件的数据保留一个地址空间区域, 并将文件的数据作为映射到该区域的物理存储器进行提交。 // Get the address where the first byte of the file is mapped into memory. // the return value is the starting address of the mapped view: PVOID pvFile = MapViewOfFile(hFileMap, FILE_MAP_WRITE, 0, 0, 0); if (pvFile == NULL) { chMB("Could not map view of file."); CloseHandle(hFileMap); CloseHandle(hFile); return(FALSE); } 4:既然我们通过pvFile得到了映象视图的起始地址,那么可以对视图做一些操作了: ANSI版本: PSTR pchANSI = (PSTR) pvFile; UNICODE版本: PWSTR pchUnicode = (PWSTR) pvFile; 5:从进程的地址空间中撤销文件数据的映象: // Clean up everything before exiting. UnmapViewOfFile(pvFile); 6:关闭文件映射对象和文件对象: CloseHandle(hFileMap); CloseHandle(hFile); Definition: HANDLE CreateFileMapping( HANDLE hFile, // handle to file LPSECURITY_ATTRIBUTES lpAttributes, // security DWORD flProtect, // protection DWORD dwMaximumSizeHigh, // high-order DWORD of size DWORD dwMaximumSizeLow, // low-order DWORD of size LPCTSTR lpName // object name ); LPVOID MapViewOfFile( HANDLE hFileMappingObject, // handle to file-mapping object DWORD dwDesiredAccess, // access mode DWORD dwFileOffsetHigh, // high-order DWORD of offset DWORD dwFileOffsetLow, // low-order DWORD of offset SIZE_T dwNumberOfBytesToMap // number of bytes to map ); BOOL UnmapViewOfFile( LPCVOID lpBaseAddress // starting address ); Tips: 也可以尽量早地把对象关闭,以消除资源泄漏的可能性,如: HANDLE hFile = CreateFile(…); HANDLE hFileMapping = CreateFileMapping(hFile,…); CloseHandle(hFile); PVOID pvFile = MapViewOfFile(hFileMapping,…); CloseHandle(hFileMapping); // use the memory-mapped file. UnmapViewOfFile(pvFile);
Ⅱ 内存映射文件的内存文件
内存映射文件与虚拟内存有些类似，通过内存映射文件可以保留一个地址空间的区域，同时将物理存储器提交给此区域，只是内存文件映射的物理存储器来自一个已经存在于磁盘上的文件，而非系统的页文件，而且在对该文件进行操作之前必须首先对文件进行映射，就如同将整个文件从磁盘加载到内存。由此可以看出，使用内存映射文件处理存储于磁盘上的文件时，将不必再对文件执行I/O操作，这意味着在对文件进行处理时将不必再为文件申请并分配缓存，所有的文件缓存操作均由系统直接管理，由于取消了将文件数据加载到内存、数据从内存到文件的回写以及释放内存块等步骤，使得内存映射文件在处理大数据量的文件时能起到相当重要的作用。另外，实际工程中的系统往往需要在多个进程之间共享数据，如果数据量小，处理方法是灵活多变的，如果共享数据容量巨大，那么就需要借助于内存映射文件来进行。实际上，内存映射文件正是解决本地多个进程间数据共享的最有效方法。内存映射文件并不是简单的文件I/O操作，实际用到了Windows的核心编程技术–内存管理。所以，如果想对内存映射文件有更深刻的认识，必须对Windows操作系统的内存管理机制有清楚的认识，下面给出使用内存映射文件的一般方法：首先要通过CreateFile（）函数来创建或打开一个文件内核对象，这个对象标识了磁盘上将要用作内存映射文件的文件。在用CreateFile（）将文件映像在物理存储器的位置通告给操作系统后，只指定了映像文件的路径，映像的长度还没有指定。为了指定文件映射对象需要多大的物理存储空间还需要通过CreateFileMapping（）函数来创建一个文件映射内核对象以告诉系统文件的尺寸以及访问文件的方式。在创建了文件映射对象后，还必须为文件数据保留一个地址空间区域，并把文件数据作为映射到该区域的物理存储器进行提交。由MapViewOfFile（）函数负责通过系统的管理而将文件映射对象的全部或部分映射到进程地址空间。此时，对内存映射文件的使用和处理同通常加载到内存中的文件数据的处理方式基本一样，在完成了对内存映射文件的使用时，还要通过一系列的操作完成对其的清除和使用过资源的释放。这部分相对比较简单，可以通过UnmapViewOfFile（）完成从进程的地址空间撤消文件数据的映像、通过CloseHandle（）关闭前面创建的文件映射对象和文件对象。
Ⅲ 内存映射是怎么回事
内存映射文件是由来一个自文件到一块内存的映射,使进程虚拟地址空间的某个区域与磁盘上某个文件的部分或全部内容的建立映射。建立映射后，通过该区域可以直接对被映射的磁盘文件进行访问.而不必执行文件I/O操作也无需对文件内容进行缓冲处理。就好像整个被映射的文件都加载到了内存一样，因此内存文件映射非常适合于用来管理大文件。内存映射文件对程序的提速，只在处理大文件或非常频繁的文件读写操作时效果才明显。通过内存映射，相当于将磁盘上的文件所在空间建立成一块虚拟内存，程序访问时可按内存的方式进行，省去了普通io方式的一些环节，其实真正要读写操作时，会进行换页，将这些个“虚拟内存”读到物理内存中。总之，内存映射文件是应用虚拟内存的技术来达到加速处理的
Ⅳ java内存映射文件有什么用，不理解啊
内存映射文件(memory-mappedfile)能让你创建和修改那些大到无法读入内存的文件。有了内存映射文件，你就可以认为文件已经全部读进了内存，然后把它当成一个非常大的数组来访问了。将文件的一段区域映射到内存中，比传统的文件处理速度要快很多
Ⅳ 64位一个内存映射文件最大多大
32位最大内存是2^32字节=4,294,967,296，也就是4G。64位理论上最大是2^内64字节=18,446,744,073,709,551,616=18EB，约180亿GB（1EB=1024PB，1PB=1024TB，1TB=1024GB）容
