linux – 在不同的执行中维护FIFO可读

我之前从未使用过命名管道,最近意识到这正是我需要的.

我正在运行一个使用gnu parallel的程序,它可以生成为mySQL上的数据库格式化的输出吨(GB到1TB,现在很难知道).

我发现我可以打开两个终端：
    1号航站楼的内容如下：

find . -type f -name "*.h" | parallel --jobs 12 'cprogram {}' > /home/pipe

管道是用mkfifo制成的fifo.

在第二个终端上,我运行一个类似于此的命令：

mysql DataBaseName -e "LOAD DATA LOCAL INFILE '/home/pipe' INTO TABLE tableName";

有用…

但这很简陋……如果我理解正确,当第一个过程结束导致管道关闭时会产生EOF.

理想情况下,我想在具有不同参数的循环中运行第一个进程.每次迭代可能需要很长时间,我需要进行健全性检查,所以我不会放松一周,发现我有错误或错误的逻辑.

我想知道如何以标准方式将FIFO用于这种程序.

最佳答案

If I understand correctly,there’s an EOF generated when the first
process ends causing the pipe to close.

有点.除此之外还有一点点 – 从第一道工序结束后说管道关闭在技术上是不正确的.

相反,当管道中没有剩余数据并且任何进程都没有打开它时,管道和FIFO返回EOF.

通常,这可以通过让读取器进程打开FIFO进行读取和写入来解决,即使它永远不会写入 – 例如,通过从FIFO读取接受本地客户端的服务器可以打开FIFO进行读取和写入当没有活动客户端时,服务器不必处理EOF的特殊情况.这是处理它的“标准”方法,如UNIX环境中关于IPC机制的章节中的高级编程所述.

在您的情况下,这实际上是不可能的,因为您没有持续运行的永久进程(也就是说,您没有相应的服务器进程).您基本上需要某种“持久性写入器”,即在不同迭代期间维持管道打开以进行写入的过程.

我能想到的一个解决方案是在后台捕获FIFO的标准输入.这可以确保cat打开FIFO进行写入,因此始终存在一个活动的写入器,但是通过将其保留在后台,您实际上不会将任何输入提供给它,并且它永远不会写入FIFO.请注意,一旦cat尝试从stdin读取,shell就会停止(但不会终止)作业(后台进程组中运行的进程通常会发送SIGTTIN并在尝试从stdin读取时停止,因为它们在它们被带到前台之前没有控制终端).无论如何,只要你没有输入任何输入,你就会很好 – 这个过程处于停止状态,但FIFO仍然可以写入.只要后台作业没有终止,你就永远不会在管道上看到EOF.

所以,总之,你：

>创建FIFO：mkfifo / home / pipe
>启动后台作业,打开FIFO进行写入：cat> / home / pipe&
>运行您想要的程序,以及您想要的迭代次数.忽略有关正在停止的后台作业的shell消息.您可以这样离开,因为即使作业停止,管道仍然可以打开以进行写入.
>完成后,通过将背景猫带到前台并发送SIGINT(通常是Ctrl C)或使用kill PID来杀死它.

请注意,通过执行此操作,读取器进程(在本例中为mysql)将永远不会知道输入何时结束.除非你在杀死mysql之前杀掉后台cat,否则它总会阻塞更多输入.