博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Linux系统编程之IO_缓冲和非缓冲
阅读量:5035 次
发布时间:2019-06-12

本文共 3922 字,大约阅读时间需要 13 分钟。

  下面是一段类似日志记录的代码,已获取通讯的报文内容和当时的环境参数内容,就是创建一个文件,使用标准IO的fopen、fprintf进行输出记录。但是在调试中,刚开始我就傻眼了,文件创建成功了,但是实时查看竟然没有任何数据记录。经过半天的担惊受怕和反复排查,发现是被标准IO的缓冲机制摆了一道,惭愧呀。。。

  代码转自http://blog.csdn.net/mr_chenping/article/details/9166937

  下面给出一个示例程序,模拟我的项目程序:

#include 
#include
#include
#include
#include
int main(){ FILE* fp=NULL; const char *filename_1="test_fprintf.log"; const char *filename_2="test_write.log"; int fd; fp = fopen(filename_1, "wb"); if(fp == NULL) { printf("open %s failed, %s\n", filename_1, strerror(errno)); return -1; } //setbuf(fp, NULL); //设置NULL为标准IO自动分配 //设置_IONBF为不对IO进行缓冲 //setvbuf(fp, NULL, _IONBF, 0); fd = open(filename_2, O_WRONLY|O_CREAT|O_EXCL, 0666); if(fd < 0) { printf("open %s failed, %s\n", filename_2, strerror(errno)); return -1; } while(1) { fprintf(fp, "test fprintf.\n"); fprintf(fp, "-------test fprintf.\n"); fprintf(fp, "=======test fprintf.\n"); //可以进行刷新,强制将全缓冲区数据传递到内核高速缓冲区中 //有内核完成写磁盘操作 //fflush(fp); write(fd, "test open.\n", sizeof("test open.\n")); write(fd, "--------test open.\n", sizeof("--------test open.\n")); write(fd, "--------test open.\n", sizeof("--------test open.\n")); sleep(1); } return 0;}

  后台运行上面的示例程序,然后实时查看两个日志文件,会发现testfrpintf.log文件一开始一直都是空的,而testwrite.log则是不断有数据写入,如下状态: 

  我当时就是奇怪为什么文件会是空的。可以看出标准IO会缓冲4096Bytes的数据,当达到这么多数据时才会进行实际的磁盘写入,而系统调用write则是直接写入,不进行缓冲。

  标准IO库提供缓冲的目的是尽可能减少使用read和write调用的次数,降低执行IO的时间,它提供三种类型的缓冲:

  1. 全缓冲。在填满标准IO缓冲区4096Bytes后(缓冲区已满)才进行实际IO操作(通过write系统调用,将数据传递到内核高速缓冲区,最终内核将数据写入磁盘),对于磁盘文件通常就是全缓冲,上面的示例就是采用缓冲。
  2. 行缓冲。在输入和输出中遇到换行符时(缓冲区已满)进行实际的IO操作(通过write系统调用,将数据传递到内核高速缓冲区,最终内核将数据写入磁盘),当涉及到一个终端时,通常使用行缓冲。使用最频繁的printf函数就是采用行缓冲,所以感觉不出缓冲的存在。
  3. 不带缓冲。标准IO库不对字符进行缓冲存储。标准出错流stderr通常是不带缓冲的。

  ISO C要求下列缓冲特征:

  • 当且仅当标准输入和标准输出并不涉及交互式设备时,它们才是全缓冲的。
  • 标准出错决不会是全缓冲。

  很多系统默认使用下列类型的缓冲:

  • 标准出错是不带缓冲的。
  • 如若是涉及终端设备的其它流,则他们是行缓冲的;否则是全缓冲的。

  当然,对于标准IO流,我们也可以更改缓冲类型,或者是直接刷新。ISO C中提供下面两个函数以更改缓冲类型:

void setbuf(FILE *fp, char *buf); //buf为NULL,表示关闭缓冲int setvbuf(FILE *fp, char *buf, int mode, size_t size); //成功返回0,出错返回非0值

  setvbuf函数中的mode参数可以为:_IOBUF 全缓冲, _IOLBF 行缓冲, _IONBF 不带缓冲,如果buf为NULL, 则标准IO库将自动地为该流分配适当长度(常量BUFSIZ)的缓冲区。一般而言,应由系统选择缓冲区的长度,并自动分配缓冲区,这样关闭流时,标准IO库将自动释放缓冲区。

  强制冲洗一个流,使用函数:

int fflush(FILE *fp); //成功返回0, 出错返回EOF

  项目中我是使用这个函数解决郁闷的。

 fflush(NULL); //冲洗所有输出流

  补充一下知识点:

  read()和write()系统调用在操作磁盘文件时不会直接发起磁盘请求,而是仅仅在用户空间缓冲区与内核缓冲区高速缓存之间复制数据。例如下面调用将3个字节的数据从用户空间内存传递到内核空间的缓冲区中。

  write(fd,"abc",3);

  write()随机返回。在后续某个时刻,内核会将其缓冲区中的数据写入(刷新至)磁盘。(因此,可以说系统调用与磁盘操作并不同步)

  与此同理,对输入而言,内核从磁盘中读取数据并存储到内核缓冲区中。read()调用将从该缓冲区中读取数据,直至把缓冲区中的数据读完,这时,内核会将文件的下一段内容读入缓冲区高速缓存。

  这样设计,使得read()和write()很快,不需要等待(缓慢的)磁盘操作。同时,这一设计也极为高效,因为这减少了内核必须执行的磁盘传输次数。(预读和满写)

  两句话:

  1.read()和write()负责在用户空间缓冲区和内核高速缓冲区高速缓存复制数据。

  2.内核负责从磁盘读数据到内核高速缓冲区(预读),以及当内核高速缓冲区满了,写到磁盘中去(满写)。

  总结一下:

  自上而下,首先是通过stdio库将用户数据传递到stdio缓冲区(一般是4096Bytes,或者也可以有标准IO自动分配),该缓冲区位于用户态内存区。当缓冲区满时(行缓冲遇到‘\n',全缓冲满4096Bytes),stdio库会调用write()系统调用,将数据传递到内核高速缓冲区(位于内核态内存区)。最终,内核发起磁盘操作,将数据传递到磁盘。

  使用fflush()强制刷新stdio缓冲区(通过write()调用),将数据传递到内核高速缓冲区中。

  fsync() syn()系统调用将使缓冲数据和与打开文件描述符fd相关的所有元数据都刷新到磁盘上。

  首先要明白不带缓冲的概念:所谓不带缓冲,并不是指内核不提供缓冲,而是只单纯的系统调用,不是函数库的调用。系统内核对磁盘的读写都会提供一个块缓冲,当用write函数对其写数据时,直接调用系统调用,将数据写入到块缓冲进行排队,当块缓冲达到一定的量时,才会把数据写入磁盘。因此所谓的不带缓冲的I/O是指进程不提供缓冲功能。每调用一次write或read函数,直接系统调用。

  而带缓冲的I/O是指进程对输入输出流进行了改进,提供了一个流缓冲,当用fwrite函数网磁盘写数据时,先把数据写入流缓冲区中,当达到一定条件,比如流缓冲区满了,或刷新流缓冲,这时候才会把数据一次送往内核提供的块缓冲,再经块缓冲写入磁盘。
  因此,带缓冲的I/O在往磁盘写入相同的数据量时,会比不带缓冲的I/O调用系统调用的次数要少。

  最后,以一幅图总结一下。

                              

转载于:https://www.cnblogs.com/xieweichong/p/4241029.html

你可能感兴趣的文章
TFS --- GrantBackup Plan Permissions Error
查看>>
Css:背景色透明,内容不透明之终极方法!兼容所有浏览器
查看>>
mysql存储过程
查看>>
letecode [136] - Single Number
查看>>
linux下设置固定IP的方法
查看>>
ubuntu 16.04 (软件应用)-输入法
查看>>
windos7修复引导扇区
查看>>
Leetcode总结之Backtracking
查看>>
Android开发学习之路-图片颜色获取器开发(1)
查看>>
StackExchange.Redis 官方文档(一) Basics
查看>>
Objective-C 使用 C++类
查看>>
浅谈之高级查询over(partition by)
查看>>
Notes: CRM Analytics–BI from a CRM perspective (2)
查看>>
graphite custom functions
查看>>
列出所有的属性键
查看>>
js获取请求地址后面带的参数
查看>>
设计模式のCompositePattern(组合模式)----结构模式
查看>>
二进制集合枚举子集
查看>>
磁盘管理
查看>>
SAS学习经验总结分享:篇二—input语句
查看>>