快速访问文件

我目前正在构build一个能够生成大量图像的应用程序(几万张图像,可能更多,但不会在不久的将来)。 我希望能够确定一个文件是否存在,并通过http发送给客户端(我使用Apache是​​我的Web服务器)。

做这个的最好方式是什么? 我想过把图像分割成几个文件夹,并减less每个目录中的文件数量。 例如,可以说我决定每个文件名都以abc开头的小写字母开头。 比我创build26个目录,当我想要查找一个文件,我将首先添加目录的名称。 例如,如果我想要一个名为“funnyimage2.jpg”的文件,我将它保存在一个名为“f”的目录中。 如果需要,我可以将图层添加到该结构中。

说实话,我甚至不确定是否将所有文件保存在一个目录中并不是那么好,所以如果你可以添加一个解释为什么你的解决scheme更好,这将是非常有帮助的。

ps我的应用程序是用PHP编写的,我打算使用file_exists来检查文件是否存在。

如何找出一个过程需要的linuxfunction?

ldd在x86 Linux上显示不同的地址

关于fork和execve系统调用

Linux上真的没有asynchronous块I / O吗?

sed:只是想删除一个子string

用用户input运行crontab

调用clock()时出现分段错误

如何获得debuggingpostgres的权限?

从批处理Linux到Windows的awk和sed命令。 如何转换?

Graylog2服务器无法连接到ElasticSearch

用散列(如md5或sha1)执行此操作,然后为路径的每个段使用2个字符。 如果你深入四级,你将永远是好的:

f4/a7/b4/66/funnyimage.jpg

噢,它缓慢的原因全部转储到一个目录,是因为大多数文件系统不会将文件名存储在B-TREE或类似的结构中。 它将不得不扫描整个目录来经常查找文件。

哈希的原因很好,因为它的分布非常好。 26个目录可能无法剪切,尤其是如果很多图像具有“image0001.jpg”

由于ext3的目的是向后兼容早期的ext2,因此许多磁盘上的结构与ext2类似。 因此,ext3缺乏最近的特征,如扩展,inode的动态分配和块子分配。 一个目录最多可以有31998个子目录,因为一个inode最多可以有32000个链接[16]。

unix文件系统上的目录只是一个列出文件名和inode包含实际文件数据的文件。 因此,扫描特定文件名的目录归结为打开文本文件和扫描具有特定文本的行的等效操作。

在某些时候,打开该目录“文件”和扫描文件名的开销将超过使用多个子目录的开销。 一般来说,这将不会发生,直到有成千上万的文件。 您应该对您的系统/服务器进行基准测试,以查找交叉点的位置。

之后,决定如何将你的文件名分割成子目录是一件简单的事情。 如果只允许字母数字字符,那么基于前2个字符(1,296个可能的子字符串)的拆分可能比单个具有10,000个文件的目录更有意义。

当然,对于你添加的每一个额外的分割级别,你都迫使系统打开另一个目录“文件”并扫描你的文件名,所以不要过分深入分割。

你的设置是好的。 继续这样

看来你在正确的道路上。 serverFault的另一篇文章似乎证实你正在做正确的事情。

我认为linux对目录可以包含的文件数量有限制; 最好把它们分开。

用你的方法,你可以有许多不同的文件名称相同的确切图像。 此外,你会有更多的图像,以“T”开始比“Q”,所以目录仍然会变大。 您可能需要将它们存储为MD5-HASH.jpg。 这将消除重复并且在36个目录上具有更均匀的分布。

编辑:像Evert提到的,你可以做一个多级目录结构来保持目录的大小更小。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


引言 本文从Linux小白的视角, 在CentOS 7.x服务器上搭建一个Nginx-Powered AspNet Core Web准生产应用。 在开始之前,我们还是重温一下部署原理,正如你所常见的.Net Core 部署图: 在Linux上部署.Net Core App最好的方式是在Linux机器
引言: 多线程编程/异步编程非常复杂,有很多概念和工具需要去学习,贴心的.NET提供Task线程包装类和await/async异步编程语法糖简化了异步编程方式。 相信很多开发者都看到如下异步编程实践原则: 遵守以上冷冰冰的②③条的原则,可保证异步程序按照预期状态正常运作;我们在各大编程论坛常看到违背
一. 宏观概念 ASP.NET Core Middleware是在应用程序处理管道pipeline中用于处理请求和操作响应的组件。 每个组件是pipeline 中的一环。 自行决定是否将请求传递给下一个组件 在处理管道的下个组件执行之前和之后执行业务逻辑 二. 特性和行为 ASP.NET Core处
背景 在.Net和C#中运行异步代码相当简单,因为我们有时候需要取消正在进行的异步操作,通过本文,可以掌握 通过CancellationToken取消任务(包括non-cancellable任务)。 Task 表示无返回值的异步操作, 泛型版本Task<TResult>表示有返
HTTP基本认证 在HTTP中,HTTP基本认证(Basic Authentication)是一种允许网页浏览器或其他客户端程序以(用户名:口令) 请求资源的身份验证方式,不要求cookie,session identifier、login page等标记或载体。 - 所有浏览器据支持HTTP基本认
1.Linq 执行多列排序 OrderBy的意义是按照指定顺序排序,连续两次OrderBy,后面一个有可能会打乱前面一个的排序顺序,可能与预期不符。 要实现sql中的order by word,name类似效果; LINQ 有ThenBy可以紧接使用, ThenBy记住原本排序的值,然后再排其他值,
ASP.NET Core 核心特性:开源、跨平台、高性能是其决战JAVA的必胜法宝,最引人关注的跨平台特性 到底是怎么实现? 
 本文分Unix、Windows剖析跨平台内幕,读完让你大呼过瘾。
前导 Asynchronous programming Model(APM)异步编程模型以BeginMethod(...) 和 EndMethod(...)结对出现。 IAsyncResult BeginGetResponse(AsyncCallback callback, object state
引言 最近在公司开发了一个项目,项目部署架构图如下: 思路 如图中文本所述,公司大数据集群不允许直接访问外网,需要一个网关服务器代理请求,本处服务器A就是边缘代理服务器的作用。 通常技术人员最快捷的思路是在服务器A上部署IISʺpplication Request Routing Module组件
作为一枚后端程序狗,项目实践常遇到定时任务的工作,最容易想到的的思路就是利用Windows计划任务/wndows service程序/Crontab程序等主机方法在主机上部署定时任务程序/脚本。 但是很多时候,若使用的是共享主机或者受控主机,这些主机不允许你私自安装exe程序、Windows服务程序
引言 熟悉TPL Dataflow博文的朋友可能记得这是个单体程序,使用TPL Dataflow 处理工作流任务, 在使用Docker部署的过程中, 有一个问题一直无法回避: 在单体程序部署的瞬间(服务不可用)会有少量流量无法处理;更糟糕的情况下,迭代部署的这个版本有问题,上线后无法运作, 更多的流
合格的web后端程序员,除搬砖技能,还必须会给各种web服务器配置Https,本文结合ASP.NET Core部署模型聊一聊启用Https的方式。 温故知新 目前常见的Http请求明文传输,请求可能被篡改,访问的站点可能被伪造。 HTTPS是HTTP加上TLS/SSL协议构建的可进行加密传输、身份认
长话短说 前文《解剖HttpClientFactory,自由扩展HttpMessageHandler》主要讲如何为HttpClientFactory自定义HttpMessageHandler组件, 现在来完成课后的小作业: 将重点日志字段显示到Nlog的LayoutRenderer上。 本文实现一个
引言问题 作为资深老鸟,有事没事,出去面试;找准差距、定位价值。 面试必谈哈希, Q1:什么是哈希? Q2:哈希为什么快? Q3:你是怎么理解哈希算法利用空间换取时间的? Q4:你是怎么解决哈希冲突的? Q5:你有实际用写过哈希算法吗? 知识储备 哈希(也叫散列)是一种查找算法(可用于插入),哈希算
前言 如题,有感于博客园最近多次翻车,感觉像胡子眉毛一把抓, 定位不了生产环境的问题。 抛开流程问题,思考在生产环境中如何做故障排除, 发现博客园里面这方面的文章比较少。 .Net 本身是提供了sos.dll工具帮助我们在生产中故障排除,通过提供有关内部公共语言运行时(CLR)环境的信息,
.NET程序是基于.NET Framework、.NET Core、Mono、【.NET实现】开发和运行的 ,定义以上【.NET实现】的标准规范称为.NET Standard .NET Standard .NET标准是一组API集合,由上层三种【.NET实现】的Basic Class Library
长话短说 上个月公司上线了一个物联网数据科学项目,我主要负责前端接受物联网事件,并提供 参数下载。 webapp 部署在Azure云上,参数使用Azure SQL Server存储。 最近从灰度测试转向全量部署之后,日志时常收到: SQL Session超限报错。 排查 我在Azure上使用的是 S
临近年关,搜狗,360浏览器出现页面无法成功跳转,同域Cookie丢失? 也许是服务端 SameSite惹的祸。
本文揭示由于Chrome低版本内核不识别 SameSite= None, 引发的单点登录故障。
本文聊一聊TraceID的作用和一般组成,衍生出ASP. NETCore 单体和分布式程序中 TraceId 的使用方式
通过给 HttpClint请求的日志增加 TraceId,解锁自定义扩展 HttpClientFacroty 的姿势