如何解决用c读写文件的程序，我认为它花费的时间太长了
第一个代码使用预设缓冲区，当我将缓冲区设置为512byte并需要复制100MB文件时，它大约需要1秒钟，但是当我使用1byte缓冲区时，它需要3分钟以上的时间来复制100MB文件，另一方面其他使用fread和fwrite函数的代码，在512byte缓冲区上大约快了0.5秒，但是用1byte缓冲区复制100 mb文件只花了13秒钟左右，这样别人就能看到使用系统调用的代码中的任何错误（读，写，打开）
1。使用（读，写...）
的代码int main(int argc,char* argv[])
{
char sourceName[20],destName[20],bufferStr[20];
int f1,f2,fRead;
int bufferSize = 0;
char* buffer;
bufferSize = atoi(argv[3]);
buffer = (char*)calloc(bufferSize,sizeof(char));
strcpy(sourceName,argv[1]);
f1 = open(sourceName,O_RDONLY);
if (f1 == -1)
printf("something's wrong with oppening source file!\n");
else
printf("file opened!\n");
strcpy(destName,argv[2]);
f2 = open(destName,O_CREAT | O_WRONLY | O_TRUNC | O_APPEND);
if (f2 == -1)
printf("something's wrong with oppening destination file!\n");
else
printf("file2 opened!");
fRead = read(f1,buffer,sizeof(char));
while (fRead != 0)
{
write(f2,sizeof(char));
fRead = read(f1,sizeof(char);
}
close(f1);
close(f2);
return 0;
}
2。使用（fread，fwrite ...）
的代码int main(int argc,char* argv[]) {
FILE* fsource,* fdestination;
char sourceName[20],destinationName[20],bufferSize[20];
//scanf("%s %s %s",sourceName,destinationName,bufferSize);
strcpy(sourceName,argv[1]);
strcpy(destinationName,argv[2]);
strcpy(bufferSize,argv[3]);
int bSize = atoi(bufferSize);
printf("bSize = %d\n",bSize);
fsource = fopen(sourceName,"r");
if (fsource == NULL)
printf("read file did not open\n");
else
printf("read file opened sucessfully!\n");
fdestination = fopen(destinationName,"w");
if (fdestination == NULL)
printf("write file did not open\n");
else
printf("write file opened sucessfully!\n");
char *buffer = (char*)calloc(bSize,sizeof(char));
int flag;
printf("size of buffer: %d",bSize);
while (0 < (flag = fread(buffer,sizeof(char),bSize,fsource)))
fwrite(buffer,fdestination);
fclose(fsource);
fclose(fdestination);
return 0;
}
编辑：
这些是我对缓冲区的测量
我对每个缓冲区和每个文件进行了20次测量，分别是malaDat（1byte），srednjaDar（100MB），velikaDat（1GB）
解决方法
旁注： sizeof(char)总是 1 定义。因此，只是不要使用sizeof(char) －对此不满意。而且，我认为这加剧了您的困惑。
因为使用read/write 的示例是，并且使用sizeof(char)作为count（第3个参数），所以它仅传输一个每个循环迭代中的字节（即非常慢）。
猜测，我认为您将count的{{1}}与read/write的{{1}}参数混淆了。
您想要的是：
size此外，fread/fwrite将[可能]选择最佳缓冲区大小[可能为4096]。您可以使用while (1) {
fRead = read(f1,buffer,bufferSize);
if (fRead <= 0)
break;
write(f2,fRead);
}
进行更改。
我发现[从某处的一些文档中]对于大多数文件系统[至少在linux下]，最佳传输大小为64KB（即fread/fwrite）。
因此，请尝试设置setbuf。
IIRC，有一个ioctl / syscall可以返回最佳大小的值，但是我忘了它是什么。
更新：
好吧，但是当我选择1字节缓冲区时，它仍然太慢，需要40多分钟才能复制。
当然，一个1字节的传输[缓冲区]大小会产生可怕的结果。
当我在相同的缓冲区中使用fread和fwrite时，花费的时间更少，大约需要3分钟，为什么？
文件有多大（即相应的传输速率[以MB /秒为单位]）？我假设您的系统可以以10 MB /秒的速度传输[保守的-30 MB /秒[最低]，对于最近的新系统来说]。那么，这是600 MB / min，文件大约是1.8 GB？
当您为64 * 1024指定1字节的传输/缓冲区大小时，它们将完全按照您告诉他们的操作进行 。传输1个字节。因此，您将执行约20亿个bufferSize = 64 * 1024系统调用和20亿个read/write系统调用！
系统调用通常很慢。
read流具有内部缓冲区。设置为最佳大小，例如：4096。
write [和stdio]将通过调用[内部] fread（计数为4096）来填充/清空该缓冲区。
因此，fwrite进行了4096次更少的系统调用。因此，只有大约470,000个系统调用。相当减少。
从内部缓冲区转移到您的缓冲区的时间是一次，但这只是短暂/快速{ {1}}操作完全在用户空间应用程序中完成。这比在每个字节上发出系统调用要快得多。
因此，您传递给read/write的传输大小不会不影响其内部缓冲区的大小。
fread/fwrite仅发出memcpy系统调用，以在流的内部缓冲区分别为空/满时分别对其进行补充/清空，无论您输入的长度是多少fread/fwrite通话。
如果您想放慢fread/fwrite，请查看read/write等的手册页。等并做：
fread/fwrite更新＃2：
这完全正常吗？我问是因为这是我进行这项测量的大学任务，而我的同事得到的系统调用结果要比用户调用慢2分钟，而我得到的结果要慢得多
如果您与他们核对，我敢打赌他们正在使用更大的缓冲区。
请记住，原始fread/fwrite代码有一个 bug ，一次只能传输一个字节，而与设置setbuf的设置无关到[从命令行]。
这就是为什么我在原始帖子中更改了循环。
要实现...
在setbuffer(fsource,NULL,1);
setbuffer(fdestination,1);
处查看read/write。如果您使用bufferSize而不是O_DIRECT，则可以强制缓冲区对齐为允许open工作的页面大小（4096）的倍数。并且，将缓冲区大小设置为页面大小的倍数。
此选项绕过从内核的内部页/文件系统缓存中从用户空间进行posix_memalign系统调用的复制/传输操作，并具有DMA硬件传输直接往返于 缓冲区。
另外，请考虑添加malloc
此外，还有一个linux syscall，它专门设计用来绕过 all 用户空间的内存/缓冲，以使内核执行文件到文件的复制。它是O_DIRECT，但与read/write类似，但使用文件描述符，偏移量和长度。
而且，最快的访问文件数据的方法是使用O_NOATIME。查看我的答案：
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。