Golang 的 协程调度机制 与 GOMAXPROCS 性能调优

作者:林冠宏 / 指尖下的幽灵

掘金:

博客:

GitHub :

腾讯云专栏:

<h4 id="前序">前序

正确地认识 G,M,P 三者的关系,能够对协程的调度机制有更深入的理解! 本文将会完整介绍完 go 协程的调度机制,包含:

  • 调度对象的主要组成
  • 各对象的关系 与 分工
  • gorutine 协程是如何被执行的
  • 内核线程 sysmon 对 gorutine 的管理
  • gorutine 协程中断挂起 与 恢复
  • GOMAXPROCS 如何影响 go 的并发性能

Golang 简称 Go,Go 的协程(goroutine) 和我们常见的线程(Thread)一样,拥有其调度器。

  • G (Goroutine),代表协程,也就是每次代码中使用 go 关键词时候会创建的一个对象
  • M (Work Thread),工作线程
  • P (Processor),代表一个处理器,又称上下文

  • 每一个运行的 M 都必须绑定一个 P,线程M 创建后会去检查并执行G (goroutine)对象
  • 每一个 P 保存着一个协程G 的队列
  • 除了每个 P 自身保存的 G 的队列外,调度器还拥有一个全局的 G 队列
  • M 从队列中提取 G,并执行
  • P 的个数就是GOMAXPROCS(最大256),启动时固定的,一般不修改
  • M 的个数和 P 的个数不一定一样多(会有休眠的M 或 P不绑定M )(最大10000)
  • P 是用一个全局数组(255)来保存的,并且维护着一个全局的 P 空闲链表

  • 全局G任务队列会和各个本地G任务队列按照一定的策略互相交换。没错,就是协程任务交换
  • G任务的执行顺序是,先从本地队列找,本地没有则从全局队列
  • 转移
    • 局部与全局,全局G个数 / P个数
    • 局部与局部,一次性转移一半

  1. 当我们创建一个G对象,就是 gorutine,它会加入到本地队列或者全局队列
  2. 如果还有空闲的P,则创建一个M 绑定该 P ,注意!这里,P 此前必须还没绑定过M 的,否则不满足空闲的条件。细节点:
    1. 先找到一个空闲的P,如果没有则直接返回
    2. P 个数不会占用超过自己设定的cpu个数
    3. P 在被 M 绑定后,就会初始化自己的 G 队列,此时是一个空队列
    4. 注意这里的一个点
      • 无论在哪个 M 中创建了一个 G,只要 P 有空闲的,就会引起新 M 的创建
      • 不需考虑当前所在 M 中所绑的 P 的 G 队列是否已满
      • 新创建的 M 所绑的 P 的初始化队列会从其他 G 队列中取任务过来
    5. 这里留下第一个问题:

      如果一个G任务执行时间太长,它就会一直占用 M 线程,由于队列的G任务是顺序执行的,其它G任务就会阻塞,如何避免该情况发生? --①

  3. M 会启动一个底层线程循环执行能找到的 G 任务。这里的寻找的 G 从下面几方面找:
    • 当前 M 所绑的 P 队列中找
    • 去别的 P 的队列中找
    • 去全局 G 队列中找
  4. G任务的执行顺序是,先从本地队列找,本地没有则从全局队列找
  5. 程序启动的时候,首先跑的是主线程,然后这个主线程会绑定第一个 P
  6. 入口 main 函数,其实是作为一个 goroutine 来执行

协程的切换时间片是10ms,也就是说 goroutine 最多执行10ms就会被 M 切换到下一个 G。这个过程,又被称为 中断,挂起

原理:

go程序启动时会首先创建一个特殊的内核线程 sysmon,用来监控和管理,其内部是一个循环:

  1. 记录所有 P 的 G 任务的计数 schedtick,schedtick会在每执行一个G任务后递增

  2. 如果检查到 schedtick 一直没有递增,说明这个 P 一直在执行同一个 G 任务,如果超过10ms,就在这个G任务的栈信息里面加一个 tag 标记

  3. 然后这个 G 任务在执行的时候,如果遇到非内联函数调用,就会检查一次这个标记,然后中断自己,把自己加到队列末尾,执行下一个G

  4. 如果没有遇到非内联函数 调用的话,那就会一直执行这个G任务,直到它自己结束;如果是个死循环,并且 GOMAXPROCS=1 的话。那么一直只会只有一个 P 与一个 M,且队列中的其他 G 不会被执行!

例子,下面的这段代码,hello world 不会被输出

func main(){
    runtime.GOMAXPROCS(1)
    go func(){
        fmt.Println("hello world")
    }()
    go func(){
        for {
    }
}()
select {}

}


<h4 id="中断后的恢复">中断后的恢复

  1. 中断的时候将寄存器里的栈信息,保存到自己的 G 对象里面
  2. 当再次轮到自己执行时,将自己保存的栈信息复制到寄存器里面,这样就接着上次之后运

看完上面的内容,相信你已经知道,GOMAXPROCS 就是 go 中 runtime 包的一个函数。它设置了 P 的最多的个数。这也就直接导致了 M 最多的个数是多少,而 M 的个数就决定了各个 G 队列能同时被多少个 M 线程来进行调取执行!

故,我们一般将 GOMAXPROCS 的个数设置为 CPU 的核数,且需要注意的是:

  • go 1.5 版本之前的 GOMAXPROCS 默认是 1
  • go 1.5 版本之后的 GOMAXPROCS 默认是 Num of cpu

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Golang的文档和社区资源:为什么它可以帮助开发人员快速上手?
Golang:AI 开发者的实用工具
Golang的标准库:为什么它可以大幅度提高开发效率?
Golang的部署和运维:如何将应用程序部署到生产环境中?
高性能AI开发:Golang的优势所在
本篇文章和大家了解一下go语言开发优雅得关闭协程的方法。有一定的参考价值,有需要的朋友可以参考一下,希望对大家有所帮助。1.简介本文将介绍首先为什么需要主...
这篇文章主要介绍了Go关闭goroutine协程的方法,具有一定借鉴价值,需要的朋友可以参考下。下面就和我一起来看看吧。1.简介本文将介绍首先为什么需要主动关闭gor...
本篇文章和大家了解一下go关闭GracefulShutdown服务的几种方法。有一定的参考价值,有需要的朋友可以参考一下,希望对大家有所帮助。目录Shutdown方法Regi...
这篇文章主要介绍了Go语言如何实现LRU算法的核心思想和实现过程,具有一定借鉴价值,需要的朋友可以参考下。下面就和我一起来看看吧。GO实现Redis的LRU例子常
今天小编给大家分享的是Go简单实现多租户数据库隔离的方法,相信很多人都不太了解,为了让大家更加了解,所以给大家总结了以下内容,一起往下看吧。一定会...
这篇“Linux系统中怎么安装NSQ的Go语言客户端”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希
本文小编为大家详细介绍“怎么在Go语言中实现锁机制”,内容详细,步骤清晰,细节处理妥当,希望这篇“怎么在Go语言中实现锁机制”文章能帮助大家解决疑惑,下面...
今天小编给大家分享一下Go语言中interface类型怎么使用的相关知识点,内容详细,逻辑清晰,相信大部分人都还太了解这方面的知识,所以分享这篇文章给大家参考
这篇文章主要介绍“怎么以正确的方式替换Go语言程序自身”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希
本文小编为大家详细介绍“Go语言中除法运算的效率怎么提高”,内容详细,步骤清晰,细节处理妥当,希望这篇“Go语言中除法运算的效率怎么提高”文章能帮助大家解...
本文小编为大家详细介绍“Go语言中的next()方法怎么使用”,内容详细,步骤清晰,细节处理妥当,希望这篇“Go语言中的next()方法怎么使用”文章能帮助大家解决疑...
这篇文章主要介绍了Go语言中slice的反转方法怎么使用的相关知识,内容详细易懂,操作简单快捷,具有一定借鉴价值,相信大家阅读完这篇Go语言中slice的反转方法怎...
这篇文章主要介绍“怎么使用Go语言实现数据转发功能”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“怎么使用Go语
这篇文章主要讲解了“Go语言中怎么实现代码跳转”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究
这篇文章主要讲解了“Go语言如何多开协程”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Go语言如何多开协...