fsync，在windows下哪个函数可以完成unix下fsync函数的功能0
来源：整理 编辑：智能门户 2023-08-16 13:03:01
本文目录一览
1，在windows下哪个函数可以完成unix下fsync函数的功能0
int open(const char *path, int oflags, mode_t mode);当使用带有o_creat标志创建文件时，必须使用以上带有三个参数格式的open调用。可以 $man open 然后有以下内容 00400 s_irusr 文件所有者有读权限 00200 s_iwusr 写 00040 s_irgrp 组用户有读权限 00004 s_iroth 其他用户有读权限这些字段按位or后就得到 00644也就是创建的文件要满足这些要求。
2，记日志文件fsync多久调用一次比较好
每次重做日志缓冲写入日志文件后调用一次。每次重做日志缓冲写入日志文件后将调用一次fsync，原因在于写入日志文件很多时候只是写入文件系统的缓存，调用fsync则直接写入了磁盘。
3，关于缓冲区的问题
scanf()不读取空格和回车，从键盘上的缓冲区读取出来的字符如果有空格和回车，则自动舍弃，只显示相应的按键变化，却不会读进你的数组中。所以回车既没有继续留在缓冲区中也没有读进数组中。被丢弃了file结构里本身带有一个缓冲。而系统在操作io的时候可能会还有一个缓冲。fflush单纯是调用系统地写操作（比如writefile）把file结构里的那个缓冲的数据传给系统，这个时候很可能仅仅是写到系统的缓冲区里了。fsync是调用系统的flush函数(flushfilebuffers)，清空系统的写入缓冲区。 ----c是独立于系统存在的，所以它只能假设系统本身没有缓冲区（比如dos就没有读取文件的缓冲区）。于是c库就自己又加了一层缓冲区。同时为了保证能正常处理低一层的缓冲，又增加了一个fsync函数。你只需要考虑本层级的和下一个层级的缓冲区就行了。再往下你想管也管不了，事实上最下一层是硬盘上的缓冲区。
4，安卓如何关闭fsync
如果打开这个参数，PostgreSQL服务器将尝试确保更新被物理地写入到磁盘，做法是发出fsync()系统调用或者使用多种等价的方法（见wal_sync_method）。这保证了数据库集簇在一次操作系统或者硬件崩溃后能恢复到一个一致的状态。如何理解官网上这解释：checkpoint简单点说就是一个数据库事件，用来保证数据一致性和完整性。当我们在数据库中执行checkpoint时，就会将其之前的脏数据刷到磁盘，从而实现数据缩短数据库崩溃恢复时间的目的。当执行checkpoint时，数据库主要完成以下几个工作：识别shared buffers中所有的脏页将脏页写入相应的数据文件确保修改后的文件通过fsync()写入到磁盘注意：fsync（）函数用于强制从缓冲区高速缓存中物理写入数据，并确保在系统崩溃或其他故障之后，直到fsync（）调用时的所有数据都记录在磁盘上。对于fsync=on时，这个时候执行检查点，数据库直接调用OS的fsync函数，立刻直接写入硬盘，注意这个立刻，而当fsync=off时，数据库会把脏页写入os，然后os再根据系统的调度算法，把脏页写入磁盘，注意这里不是立刻，总之就是系统可能在干别的活，你先排队把，我先干完别的，
5，关于缓冲区
FILE结构里本身带有一个缓冲。而系统在操作IO的时候可能会还有一个缓冲。fflush单纯是调用系统地写操作（比如WriteFile）把FILE结构里的那个缓冲的数据传给系统，这个时候很可能仅仅是写到系统的缓冲区里了。fsync是调用系统的flush函数(FlushFileBuffers)，清空系统的写入缓冲区。 ----C是独立于系统存在的，所以它只能假设系统本身没有缓冲区（比如DOS就没有读取文件的缓冲区）。于是C库就自己又加了一层缓冲区。同时为了保证能正常处理低一层的缓冲，又增加了一个fsync函数。你只需要考虑本层级的和下一个层级的缓冲区就行了。再往下你想管也管不了，事实上最下一层是硬盘上的缓冲区。所谓缓冲区是减少io次数的一种方式，其意义在文件io的时候显得更加重要。这种缓冲技术的存在可以显著减少磁盘操作以提升效率。我们都知道，磁盘访问的速度远远的低于内存的访问速度。--------------------------------------------至于输出到控制台，这并不明显，所以你感觉不到是正常的。
6，sync是什么
sync（意指Synchronize，即“同步”）为UNIX操作系统的标准系统调用，功能为将内核文件系统缓冲区的所有数据。sync作为C语言的函数之一，sync()一般以void sync(void)的形式在unistd.h内声明。该函数也可以从命令行执行sync命令的方式调用，同时在其他程序语言（如Perl）中也有名字与之相似的函数。UNIX中还有一些与sync相似的系统调用，如fsync与fdatasync。其中fsync负责写入所有与特定文件描述符相关的缓冲区数据；fdatasync功能与fsync相似，但只负责写入文件中被变更的数据，而不会修改文件的元数据（如文件属性）。sync在数据库中的应用在对数据进行修改操作（包括增、删、改）时，被修改的数据一般仅是暂存于基于内存的写入缓存，而当掉电时这些修改便会丢失；而为保证数据的持久性，数据库必须使用某些形式的sync，以确保修改的内容切实写入非易失性存储器，如PostgreSQL就使用了多种sync类调用（包括fsync与fdatasync）来达到这一目的。但是，对于旋转寻道的硬盘来说，每次旋转只能完成一项“提交”操作以将客户端的修改写入，因此每秒最多只能完成几百次的“提交”操作；而若关闭fsync的限定来放宽要求，则可大幅提升性能，但同时也会带来系统崩溃后数据库损毁的潜在危险。有鉴于此，数据库也使用囊括最近修改信息的日志文件（一般比主题数据文件小得多）来保障可靠性：根据日志文件，系统管理员可以在系统崩溃后准确地重做修改操作，以此即可减少对主要数据文件的sync操作。
7，linux之sync和fsyncfsync和fflush的区别和联系
传统的U N I X实现在内核中设有缓冲存储器，大多数磁盘I / O都通过缓存进行。当将数据写到文件上时，通常该数据先由内核复制到缓存中，如果该缓存尚未写满，则并不将其排入输出队列，而是等待其写满或者当内核需要重用该缓存以便存放其他磁盘块数据时，再将该缓存排入输出队列，然后待其到达队首时，才进行实际的I / O操作。这种输出方式被称之为延迟写（delayed write）（Bach 〔1 9 8 6〕第3章详细讨论了延迟写）。延迟写减少了磁盘读写次数，但是却降低了文件内容的更新速度，使得欲写到文件中的数据在一段时间内并没有写到磁盘上。当系统发生故障时，这种延迟可能造成文件更新内容的丢失。为了保证磁盘上实际文件系统与缓存中内容的一致性，U N I X系统提供了s y n c和f s y n c两个系统调用函数。#include void sync(void); int fsync(intf i l e d e s) ; 返回：若成功则为0，若出错则为-1 s y n c只是将所有修改过的块的缓存排入写队列，然后就返回，它并不等待实际I / O操作结束。系统精灵进程(通常称为u p d a t e )一般每隔3 0秒调用一次s y n c函数。这就保证了定期刷新内核的块缓存。命令s y n c ( 1 )也调用s y n c函数。函数f s y n c只引用单个文件(由文件描述符f i l e d e s指定)，它等待I / O结束，然后返回。f s y n c可用于数据库这样的应用程序，它确保修改过的块立即写到磁盘上。比较一下f s y n c和O _ S Y N C标志(见3 . 1 3节)。当调用f s y n c时，它更新文件的内容，而对于O _ S Y N C，则每次对文件调用w r i t e函数时就更新文件的内容。
8，技术文档 PostgreSQL 性能优化之 fsync 参数
目 录 总 结 PostgreSQL 通过调用系统 fsync() 或者其他使得事务内容写入到物理磁盘，这样可以保证操作系统或者数据库出现宕机后，仍然可以恢复到某一个一致性的状态。理论上讲 PostgreSQL 的 fsync 功能关闭，可以实现性能的提升，但是带来的影响就是需要承担数据的丢失，因为出现系统宕机或者数据库崩溃的时候有一些数据是没有落盘的。 本文将验证 fsync 参数的性能影响，以及参数关闭时数据库宕机后的影响。 数据量：1000W fsync 参数：on 初始化表：user_info pgbench 压测 pgbench 结果 pgbench 压测 pgbench 结果 数据量：1000W fsync 参数：off 初始化表：user_info pgbench 压测 pgbench 结果 pgbench 压测 pgbench 结果 通过对比发现，将 fsync 改为 off，对于读 TPS，参数 fsync 的影响不大，对于写 TPS，性能有一定提升。 现在验证参数关闭时数据库宕机后的影响 首先，使用将数据库性能跑起来 然后，模拟服务器断电 之后，启动数据库 提示信息：比致命错误还过分的错误。 结果：数据库无法启动，原因就是因为无法找到一个有效的 checkpoint 记录，这就是因为 fsync 设置为 off，由于数据库异常宕机导致。可以通过使用 pg_resetxlog 恢复数据库，但是会造成部分数据无法找回，数据丢失；也可以通过备份恢复，同样也会丢失部分数据。 fsync 参数对于读 TPS 的性能影响不大，对于写 TPS 的性能有一些影响，设置为 off，写 TPS 性能有一定提升，但是存在数据库宕机后无法正常启动，即使恢复后启动数据库，也会有数据丢失的很大风险。因此生产环境非必要时，不要将此参数设置为 off，还是使用默认的 on 比较稳妥。
9，带缓存与不带缓存函数的区别
以 ssize_t write(int filedes, const void *buff, size_t nbytes)和size_t fwrite(const void *ptr, size_t size, size_t nobj, FILE *fp)来讲讲自己对unix系统下带缓存的I/O和不带缓存的I/O的区别。首先要清楚一个概念，所谓的代缓存并不是指上面两个函数的buff参数，而是指unix系统在内核中所设的缓冲存储器。当将数据写到文件上时，内核先将该数据写到缓存，如果该缓存未满，则并不将其排入输出队列，直到缓存写满或者内核再次需要重新使用此缓存时才将其排入输入队列，待其到达对首，在进行实际的I/O操作，也就是此时才把数据真正写到磁盘，这种技术叫延迟写。现在假设内核所设的缓存是100个字节，如果你使用write，且buff的size为10，当你要把9个同样的buff写到文件时，你需要调用9次write，也就是9次系统调用，此时也并没有写到硬盘，如果想立即写到硬盘，调用fsync，可以进行实际的I/O操作。标准I/O，也就是带缓存的I/O采用FILE*，FILE实际上包含了为管理流所需要的所有信息：实际I/O的文件描述符，指向流缓存的指针（标准I/O缓存，由malloc分配，又称为用户态进程空间的缓存，区别于内核所设的缓存），缓存长度，当前在缓存中的字节数，出错标志等，假设流缓存的长度为50字节，把以上的数据写到文件，则只需要2次系统调用（fwrite调用write系统调用），因为先把数据写到流缓存，当其满以后或者调用fflush时才填入内核缓存，所以进行了2次的系统调用write。fflush将流所有未写的数据送入（刷新）到内核（内核缓冲区），fsync将所有内核缓冲区的数据写到文件（磁盘）。不带缓存的read和write是相对于fread/fwrite等流函数来说明的，因为fread和fwrite是用户函数（3），所以他们会在用户层进行一次数据的缓存，而read/write是系统调用（2）所以他们在用户层是没有缓存的，所以称read和write是无缓存的IO，其实对于内核来说还是进行了缓存，不过用户层看不到罢了。直接使用系统调用的read和write方法读写就是不带缓存的。
10，redis如何配置
/etc/sysctl.conf添加vm.overcommit_memory=1刷新配置使之生效sysctl vm.overcommit_memory=1 补充介绍： **如果内存情况比较紧张的话，需要设定内核参数：echo 1 > /proc/sys/vm/overcommit_memory 内核参数说明如下：overcommit_memory文件指定了内核针对内存分配的策略，其值可以是0、1、2。0， 表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。1， 表示内核允许分配所有的物理内存，而不管当前的内存状态如何。2， 表示内核允许分配超过所有物理内存和交换空间总和的内存 **编辑redis.conf配置文件（/etc/redis.conf），按需求做出适当调整，比如：daemonize yes #转为守护进程，否则启动时会每隔5秒输出一行监控信息save 60 1000 #减小改变次数，其实这个可以根据情况进行指定maxmemory 256000000 #分配256M内存在我们成功安装Redis后，我们直接执行redis-server即可运行Redis，此时它是按照默认配置来运行的（默认配置甚至不是后台运 行）。我们希望Redis按我们的要求运行，则我们需要修改配置文件，Redis的配置文件就是我们上面第二个cp操作的redis.conf文件，目前 它被我们拷贝到了/usr/local/redis/etc/目录下。修改它就可以配置我们的server了。如何修改？下面是redis.conf的主 要配置参数的意义：daemonize：是否以后台daemon方式运行pidfile：pid文件位置port：监听的端口号timeout：请求超时时间loglevel：log信息级别logfile：log文件位置databases：开启数据库的数量save * *：保存快照的频率，第一个*表示多长时间，第三个*表示执行多少次写操作。在一定时间内执行一定数量的写操作时，自动保存快照。可设置多个条件。rdbcompression：是否使用压缩dbfilename：数据快照文件名（只是文件名，不包括目录）dir：数据快照的保存目录（这个是目录）appendonly：是否开启appendonlylog，开启的话每次写操作会记一条log，这会提高数据抗风险能力，但影响效率。appendfsync：appendonlylog如何同步到磁盘（三个选项，分别是每次写都强制调用fsync、每秒启用一次fsync、不调用fsync等待系统自己同步）redis如何配置
文章TAG：
fsync 在windows下哪个函数可以完成unix下fsync函数的功能0
