python3多线程写入文件

如何解决python3多线程写入文件

嗨,我目前是多线程技术的新手,正在尝试解决此问题:

  • 具有75个元素的列表
  • 写入列表中不超过10个元素的8个文件(例如:file1-从索引0到9,文件2-从索引10到19,...,文件8-从索引70到74) / li>
  • 使用5个线程来处理,每个线程处理一个单独的文件写入,一个线程将处理1个以上的文件

一开始我只是尝试使用线程进行打印:

import threading
a = list(range(75))

class myThread(threading.Thread):
    def __init__(self,threadID,name,file_number):
        threading.Thread.__init__(self)
        self.threadID = threadID
        self.name = name
        self.file_number = file_number

    def run(self):
        print("Starting " + self.name)
        print_time(self.name,self.file_number)
        print("Exiting " + self.name)

def print_time(threadName,file_number):
  render_list = a[:10]
  print("%s: %s" % (threadName,render_list))
  del a[:10]


# Create new threads
thread1 = myThread(1,"Thread-1",1)
thread2 = myThread(2,"Thread-2",2)
thread3 = myThread(3,"Thread-3",3)
thread4 = myThread(4,"Thread-4",4)
thread5 = myThread(5,"Thread-5",5)
thread6 = myThread(5,6)
thread7 = myThread(5,7)
thread8 = myThread(5,8)

# Start new Threads
thread1.start()
thread2.start()
thread3.start()
thread4.start()
thread5.start()
thread6.start()
thread7.start()
thread8.start()
thread1.join()
thread2.join()
thread3.join()
thread4.join()
thread5.join()
thread6.join()
thread7.join()
thread8.join()
print("Exiting Main Thread")

它完美打印出来:

Starting Thread-1
Thread-1: [0,1,2,3,4,5,6,7,8,9]
Exiting Thread-1
Starting Thread-2
Thread-2: [10,11,12,13,14,15,16,17,18,19]
Exiting Thread-2
Starting Thread-3
Thread-3: [20,21,22,23,24,25,26,27,28,29]
Exiting Thread-3
Starting Thread-4
Thread-4: [30,31,32,33,34,35,36,37,38,39]
Exiting Thread-4
Starting Thread-5
Thread-5: [40,41,42,43,44,45,46,47,48,49]
Exiting Thread-5
Starting Thread-5
Thread-5: [50,51,52,53,54,55,56,57,58,59]
Exiting Thread-5
Starting Thread-5
Thread-5: [60,61,62,63,64,65,66,67,68,69]
Exiting Thread-5
Starting Thread-5
Thread-5: [70,71,72,73,74]
Exiting Thread-5
Exiting Main Thread

但是当我尝试写入文件时:

import threading
a = list(range(75))

class myThread(threading.Thread):
    def __init__(self,file_number):
  render_list = a[:10]
  f = open("demofile_%s.txt" % file_number,"a")
  for i in render_list:
    f.write("%s\n" % i)
  f.close()
  print("%s: %s" % (threadName,8)

# Start new Threads
thread1.start()
thread2.start()
thread3.start()
thread4.start()
thread5.start()
thread6.start()
thread7.start()
thread8.start()
thread1.join()
thread2.join()
thread3.join()
thread4.join()
thread5.join()
thread6.join()
thread7.join()
thread8.join()
print("Exiting Main Thread")

我文件中的内容是错误的,并且重复了以下打印内容:

Starting Thread-1
Starting Thread-2
Starting Thread-3
Starting Thread-4
Thread-1: [0,9]
Exiting Thread-1
Thread-3: [0,9]
Exiting Thread-3
Thread-4: [0,9]
Exiting Thread-4
Starting Thread-5
Thread-2: [0,9]
Starting Thread-5
Thread-5: [30,39]
Exiting Thread-2
Exiting Thread-5
Thread-5: [30,39]
Starting Thread-5
Exiting Thread-5
Starting Thread-5
Thread-5: [60,69]
Thread-5: [60,69]
Exiting Thread-5
Exiting Thread-5
Exiting Main Thread

似乎该线程未按打印顺序运行

希望有人可以帮助我解决问题

解决方法

在开始之前,您应该了解两件事:

  1. 在Python中实际上没有多线程,因为python执行体系结构不允许多线程,因此我建议您使用Linux C。
  2. 不保证执行顺序,调度程序以所需的顺序执行,因此您使用了某种阻塞机制,例如信号量“以实际方式”使其以所需的顺序执行,那是因为您不知道何时有些行将要执行,有时您需要控制系统资源。

要记住的一个关键概念是线程是异步的,也许一个线程可以完成而另一个线程却在创建时就没关系了,所以您具有IPC(进程间通信)机制,可以对进程和线程进行正确处理。 / p>

想象您向一个网站发出请求,并且您的PC冻结直到该请求执行为止,这很烦人,所以线程不同步任务。

所以,这就是为什么您没有按顺序看到输出的答案。

现在让我们解决重复的错误:

因为不能保证执行顺序,并且您访问的全局变量没有保护,所以您会收到不必要的错误,例如重复的数字。

您需要使用某些阻止技术来读取共享资源。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


依赖报错 idea导入项目后依赖报错,解决方案:https://blog.csdn.net/weixin_42420249/article/details/81191861 依赖版本报错:更换其他版本 无法下载依赖可参考:https://blog.csdn.net/weixin_42628809/a
错误1:代码生成器依赖和mybatis依赖冲突 启动项目时报错如下 2021-12-03 13:33:33.927 ERROR 7228 [ main] o.s.b.d.LoggingFailureAnalysisReporter : *************************** APPL
错误1:gradle项目控制台输出为乱码 # 解决方案:https://blog.csdn.net/weixin_43501566/article/details/112482302 # 在gradle-wrapper.properties 添加以下内容 org.gradle.jvmargs=-Df
错误还原:在查询的过程中,传入的workType为0时,该条件不起作用 <select id="xxx"> SELECT di.id, di.name, di.work_type, di.updated... <where> <if test=&qu
报错如下,gcc版本太低 ^ server.c:5346:31: 错误:‘struct redisServer’没有名为‘server_cpulist’的成员 redisSetCpuAffinity(server.server_cpulist); ^ server.c: 在函数‘hasActiveC
解决方案1 1、改项目中.idea/workspace.xml配置文件,增加dynamic.classpath参数 2、搜索PropertiesComponent,添加如下 <property name="dynamic.classpath" value="tru
删除根组件app.vue中的默认代码后报错:Module Error (from ./node_modules/eslint-loader/index.js): 解决方案:关闭ESlint代码检测,在项目根目录创建vue.config.js,在文件中添加 module.exports = { lin
查看spark默认的python版本 [root@master day27]# pyspark /home/software/spark-2.3.4-bin-hadoop2.7/conf/spark-env.sh: line 2: /usr/local/hadoop/bin/hadoop: No s
使用本地python环境可以成功执行 import pandas as pd import matplotlib.pyplot as plt # 设置字体 plt.rcParams['font.sans-serif'] = ['SimHei'] # 能正确显示负号 p
错误1:Request method ‘DELETE‘ not supported 错误还原:controller层有一个接口,访问该接口时报错:Request method ‘DELETE‘ not supported 错误原因:没有接收到前端传入的参数,修改为如下 参考 错误2:cannot r
错误1:启动docker镜像时报错:Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen 解决方法:重启docker -> systemctl r
错误1:private field ‘xxx‘ is never assigned 按Altʾnter快捷键,选择第2项 参考:https://blog.csdn.net/shi_hong_fei_hei/article/details/88814070 错误2:启动时报错,不能找到主启动类 #
报错如下,通过源不能下载,最后警告pip需升级版本 Requirement already satisfied: pip in c:\users\ychen\appdata\local\programs\python\python310\lib\site-packages (22.0.4) Coll
错误1:maven打包报错 错误还原:使用maven打包项目时报错如下 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0:resources (default-resources)
错误1:服务调用时报错 服务消费者模块assess通过openFeign调用服务提供者模块hires 如下为服务提供者模块hires的控制层接口 @RestController @RequestMapping("/hires") public class FeignControl
错误1:运行项目后报如下错误 解决方案 报错2:Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.8.1:compile (default-compile) on project sb 解决方案:在pom.
参考 错误原因 过滤器或拦截器在生效时,redisTemplate还没有注入 解决方案:在注入容器时就生效 @Component //项目运行时就注入Spring容器 public class RedisBean { @Resource private RedisTemplate<String
使用vite构建项目报错 C:\Users\ychen\work>npm init @vitejs/app @vitejs/create-app is deprecated, use npm init vite instead C:\Users\ychen\AppData\Local\npm-