死磕以太坊源码分析之p2p节点发现

死磕以太坊源码分析之p2p节点发现

在阅读节点发现源码之前必须要理解kadmilia算法,可以参考:KAD算法详解

节点发现概述

节点发现,使本地节点得知其他节点的信息,进而加入到p2p网络中。

以太坊的节点发现基于类似的kademlia算法,源码中有两个版本,v4和v5。v4适用于全节点,通过discover.ListenUDP使用,v5适用于轻节点通过discv5.ListenUDP使用,本文介绍的是v4版本。

节点发现功能主要涉及 Server Table udp 这几个数据结构,它们有独自的事件响应循环,节点发现功能便是它们互相协作完成的。其中,每个以太坊客户端启动后都会在本地运行一个Server,并将网络拓扑中相邻的节点视为Node,而TableNode的容器,udp则是负责维持底层的连接。这些结构的关系如下图:

image-20201123210628944

p2p服务开启节点发现

在P2p的server.go 的start方法中:

if err := srv.setupDiscovery(); err != nil {
		return err
	}

进入到setupDiscovery中:

// Discovery V4
	var unhandled chan discover.ReadPacket
	var sconn *sharedUDPConn
	if !srv.NoDiscovery {
		...
		ntab,err := discover.ListenUDP(conn,srv.localnode,cfg)
		....
	}

discover.ListenUDP方法即开启了节点发现的功能.

首先解析出监听地址的UDP端口,根据端口返回与之相连的UDP连接,之后返回连接的本地网络地址,接着设置最后一个UDP-on-IPv4端口。到此为止节点发现的一些准备工作做好,接下下来开始UDP的监听:

ntab,cfg)

然后进行UDP 的监听,下面是监听的过程:

监听UDP

// 监听给定的socket 上的发现的包
func ListenUDP(c UDPConn,ln *enode.LocalNode,cfg Config) (*UDPv4,error) {
	return ListenV4(c,ln,cfg)
}
func ListenV4(c UDPConn,error) {
	closeCtx,cancel := context.WithCancel(context.Background())
	t := &UDPv4{
		conn:            c,priv:            cfg.PrivateKey,netrestrict:     cfg.NetRestrict,localNode:       ln,db:              ln.Database(),gotreply:        make(chan reply),addReplyMatcher: make(chan *replyMatcher),closeCtx:        closeCtx,cancelCloseCtx:  cancel,log:             cfg.Log,}
	if t.log == nil {
		t.log = log.Root()
	}

	tab,err := newTable(t,ln.Database(),cfg.Bootnodes,t.log) // 
	if err != nil {
		return nil,err
	}
	t.tab = tab
	go tab.loop() //

	t.wg.Add(2)
	go t.loop() //
	go t.readLoop(cfg.Unhandled) //
	return t,nil
}

主要做了以下几件事:

1.新建路由表

tab,t.log) 

新建路由表做了以下几件事:

  • 初始化table对象
  • 设置bootnode(setFallbackNodes)
    • 节点第一次启动的时候,节点会与硬编码在以太坊源码中的bootnode进行连接,所有的节点加入几乎都先连接了它。连接上bootnode后,获取bootnode部分的邻居节点,然后进行节点发现,获取更多的活跃的邻居节点
    • nursery 是在 Table 为空并且数据库中没有存储节点时的初始连接节点(上文中的 6 个节点),通过 bootnode 可以发现新的邻居
  • tab.seedRand:使用提供的种子值将生成器初始化为确定性状态
  • loadSeedNodes:加载种子节点;从保留已知节点的数据库中随机的抽取30个节点,再加上引导节点列表中的节点,放置入k桶中,如果K桶没有空间,则假如到替换列表中。

2.测试邻居节点连通性

首先知道UDP协议是没有连接的概念的,所以需要不断的ping 来测试对端节点是否正常,在新建路由表之后,就来到下面的循环,不断的去做上面的事。

go tab.loop()

定时运行doRefreshdoRevalidatecopyLiveNodes进行刷新K桶。

以太坊的k桶设置:

const (
	alpha           = 3  // Kademlia并发参数,是系统内一个优化参数,控制每次从K桶最多取出节点个数,ethereum取值3
  
	bucketSize      = 16 // K桶大小(可容纳节点数)
  
	maxReplacements = 10 // 每桶更换列表的大小
	hashBits          = len(common.Hash{}) * 8 //每个节点ID长度,32*8=256,32位16进制
	nBuckets          = hashBits / 15       //  K桶个数
  )

首先搞清楚这三个定时器运行的时间:

refreshInterval    = 30 * time.Minute
revalidateInterval = 10 * time.Second
copyNodesInterval  = 30 * time.Second
doRefresh

doRefresh对随机目标执行查找以保持K桶已满。如果表为空(初始引导程序或丢弃的有故障),则插入种子节点。

主要以下几步:

  1. 从数据库加载随机节点和引导节点。这应该会产生一些以前见过的节点

    tab.loadSeedNodes()
    
  2. 将本地节点ID作为目标节点进行查找最近的邻居节点

    tab.net.lookupSelf()
    
    func (t *UDPv4) lookupSelf() []*enode.Node {
    	return t.newLookup(t.closeCtx,encodePubkey(&t.priv.PublicKey)).run()
    }
    
    func (t *UDPv4) newLookup(ctx context.Context,targetKey encPubkey) *lookup {
    	...
    		return t.findnode(n.ID(),n.addr(),targetKey)
    	})
    	return it
    }
    

    向这些节点发起findnode操作查询离target节点最近的节点列表,将查询得到的节点进行ping-pong测试,将测试通过的节点落库保存

    经过这个流程后,节点的K桶就能够比较均匀地将不同网络节点更新到本地K桶中。

    unc (t *UDPv4) findnode(toid enode.ID,toaddr *net.UDPAddr,target encPubkey) ([]*node,error) {
    	t.ensureBond(toid,toaddr)
    	nodes := make([]*node,bucketSize)
    	nreceived := 0
      // 设置回应回调函数,等待类型为neighborsPacket的邻近节点包,如果类型对,就执行回调请求
    	rm := t.pending(toid,toaddr.IP,p_neighborsV4,func(r interface{}) (matched bool,requestDone bool) {
    		reply := r.(*neighborsV4)
    		for _,rn := range reply.Nodes {
    			nreceived++
          // 得到一个简单的node结构
    			n,err := t.nodeFromRPC(toaddr,rn)
    			if err != nil {
    				t.log.Trace("Invalid neighbor node received","ip",rn.IP,"addr",toaddr,"err",err)
    				continue
    			}
    			nodes = append(nodes,n)
    		}
    		return true,nreceived >= bucketSize
    	})
      //上面了一个管道事件,下面开始发送真正的findnode报文,然后进行等待了
    	t.send(toaddr,toid,&findnodeV4{
    		Target:     target,Expiration: uint64(time.Now().Add(expiration).Unix()),})
    	return nodes,<-rm.errc
    }
    
  3. 查找3个随机的目标节点

    for i := 0; i < 3; i++ {
    		tab.net.lookupRandom()
    	}
    
doRevalidate

doRevalidate检查随机存储桶中的最后一个节点是否仍然存在,如果不是,则替换或删除该节点。

主要以下几步:

  1. 返回随机的非空K桶中的最后一个节点

    last,bi := tab.nodeToRevalidate()
    
  2. 对最后的节点执行Ping操作,然后等待Pong

    remoteSeq,err := tab.net.ping(unwrapNode(last))
    
  3. 如果节点ping通了的话,将节点移动到最前面

    tab.bumpInBucket(b,last)
    
  4. 没有收到回复,选择一个替换节点,或者如果没有任何替换节点,则删除该节点

    tab.replace(b,last)
    
copyLiveNodes

copyLiveNodes将表中的节点添加到数据库,如果节点在表中的时间超过了5分钟。

这部分代码比较简单,就伸展阐述。

if n.livenessChecks > 0 && now.Sub(n.addedAt) >= seedMinTableTime {
				tab.db.UpdateNode(unwrapNode(n))
			}

3.检测各类信息

go t.loop()

loop循环主要监听以下几类消息:

  • case <-t.closeCtx.Done():检测是否停止
  • p := <-t.addReplyMatcher:检测是否有添加新的待处理消息
  • r := <-t.gotreply:检测是否接收到其他节点的回复消息

4. 处理UDP数据包

go t.readLoop(cfg.Unhandled)

主要有以下两件事:

  1. 循环接收其他节点发来的udp消息

    nbytes,from,err := t.conn.ReadFromUDP(buf)
    
  2. 处理接收到的UDP消息

    t.handlePacket(from,buf[:nbytes])
    

接下来对这两个函数进行进一步的解析。

接收UDP消息

接收UDP消息比较的简单,就是不断的从连接中读取Packet数据,它有以下几种消息:

  • ping:用于判断远程节点是否在线。

  • pong:用于回复ping消息的响应。

  • findnode:查找与给定的目标节点相近的节点。

  • neighbors:用于回复findnode的响应,与给定的目标节点相近的节点列表

处理UDP消息

主要做了以下几件事:

  1. 数据包解码

    packet,fromKey,hash,err := decodeV4(buf)
    
  2. 检查数据包是否有效,是否可以处理

     packet.preverify(t,fromID,fromKey)
    

    在校验这一块,涉及不同的消息类型不同的校验,我们来分别对各种消息进行分析。

    ①:ping

    • 校验消息是否过期
    • 校验公钥是否有效

    ②:pong

    • 校验消息是否过期
    • 校验回复是否正确

    ③:findNodes

    • 校验消息是否过期
    • 校验节点是否是最近的节点

    ④:neighbors

    • 校验消息是否过期
    • 用于回复findnode的响应,校验回复是否正确
  3. 处理packet数据

    packet.handle(t,hash)
    

    相同的,也会有4种消息,但是我们这边重点讲处理findNodes的消息:

func (req *findnodeV4) handle(t *UDPv4,from *net.UDPAddr,fromID enode.ID,mac []byte) {
...
}


我们这里就稍微介绍下如何处理`findnode`的消息:

```go
func (req *findnodeV4) handle(t *UDPv4,mac []byte) {
	// 确定最近的节点
	target := enode.ID(crypto.Keccak256Hash(req.Target[:]))
	t.tab.mutex.Lock()
	//最接近的返回表中最接近给定id的n个节点
	closest := t.tab.closest(target,bucketSize,true).entries
	t.tab.mutex.Unlock()
	// 以每个数据包最多maxNeighbors的块的形式发送邻居,以保持在数据包大小限制以下。
	p := neighborsV4{Expiration: uint64(time.Now().Add(expiration).Unix())}
	var sent bool
	for _,n := range closest { //扫描这些最近的节点列表,然后一个包一个包的发送给对方
		if netutil.CheckRelayIP(from.IP,n.IP()) == nil {
			p.Nodes = append(p.Nodes,nodeToRPC(n))
		}
		if len(p.Nodes) == maxNeighbors {
			t.send(from,&p)//给对方发送 neighborsPacket 包,里面包含节点列表
			p.Nodes = p.Nodes[:0]
			sent = true
		}
	}
	if len(p.Nodes) > 0 || !sent {
		t.send(from,&p)
	}
}

首先先确定最近的节点,再一个包一个包的发给对方,并校验节点的IP,最后把有效的节点发送给请求方。

涉及的结构体:

UDP

  • conn :接口,包括了从UDP中读取和写入,关闭UDP连接以及获取本地地址。
  • netrestrict:IP网络列表
  • localNode:本地节点
  • tab:路由表

Table

  • buckets:所有节点都加到这个里面,按照距离

  • nursery:启动节点

  • rand:随机来源

  • ips:跟踪IP,确保IP中最多N个属于同一网络范围

  • net: UDP 传输的接口

    • 返回本地节点
    • 将enrRequest发送到给定的节点并等待响应
    • findnode向给定节点发送一个findnode请求,并等待该节点最多发送了k个邻居
    • 返回查找最近的节点
    • 将ping消息发送到给定的节点,然后等待答复

以下是table的结构图:

image-20201112104254003

思维导图

思维导图获取地址

image-20201123211034861

参考文档

http://mindcarver.cn/ ⭐️⭐️⭐️⭐️

https://github.com/blockchainGuide/ ⭐️⭐️⭐️⭐️

https://www.cnblogs.com/xiaolincoding/p/12571184.html

http://qjpcpu.github.io/blog/2018/01/29/shen-ru-ethereumyuan-ma-p2pmo-kuai-ji-chu-jie-gou/

https://www.jianshu.com/p/b232c870dcd2

https://bbs.huaweicloud.com/blogs/113684

https://www.jianshu.com/p/94d02a41a146

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


文章浏览阅读903次。文章主要介绍了收益聚合器Beefy协议在币安智能链测试网网上的编译测试部署流程,以Pancake上的USDC-BUSD最新Curve版流动池的农场质押为例,详细介绍了完整的操作流程。_怎么在bsc网络上部署应用
文章浏览阅读952次。比特币的主要思路是,构建一个无中心、去信任的分布式记账系统。交易签名只能保证交易不是他人伪造的,却不能阻止交易的发起者自己进行多重交易,即交易的发起者将一个比特币同时转账给两个人,也就是所谓的双花。比特币应用的区块链场景也叫做公链,因为这个区块链对所有人都是公开的。除此之外,还有一种区块链应用场景,被称作联盟链。区块链的出现,使得低成本,去信任的跨组织合作成为可能,将重构组织间的关系,这个关系既包括企业间的关系,也包括政府和企业间的关系,还有政府部门间的关系。
文章浏览阅读2.5k次。虚拟人从最初的不温不火,到现在步入“出生高峰期”,元宇宙可以说是功不可没。此前,量子位发布了《虚拟数字人深度产业报告》,报告显示,到2030年我国虚拟数字人整体市场规模将达到2700亿元。其中,“身份型虚拟人”市场规模预计达到1750亿元,占主导地位,而“服务型虚拟人”总规模也将超过950亿元。得益于AI、VR/AR 等技术的发展,虚拟人的应用场景正在从传统的虚拟偶像等娱乐行业迈向更多元化的领域。_最喜欢的虚拟角色
文章浏览阅读1.3k次,点赞25次,收藏13次。通过调查和分析用户需求、兴趣和行为,你可以更好地定位你的目标受众,并在市场中找到你的定位。在设计你的Web3.0项目时,注重用户界面的友好性、交互流畅性和功能的创新性,以提供独特的用户体验。通过与有影响力的人或组织进行合作,推广你的Web3.0项目。通过与他们分享你的项目并抓住他们的推荐,可以迅速获得更多的关注度。通过优化你的网站和内容,将有助于提高你的排名,并增加有机流量。通过提供奖励激励计划,如空投、奖励机制等,激励用户参与你的Web3.0项目。的人或组织合作,可以增加你的项目的曝光度。
文章浏览阅读1.7k次。这个智能合约安全系列提供了一个广泛的列表,列出了在 Solidity 智能合约中容易反复出现的问题和漏洞。Solidity 中的安全问题可以归结为智能合约的行为方式不符合它们的意图。我们不可能对所有可能出错的事情做一个全面的列表。然而,正如传统的软件工程有常见的漏洞主题,如 SQL 注入、缓冲区超限和跨网站脚本,智能合约中也有反复出现的。_solidity安全漏洞
文章浏览阅读1.3k次。本文描述了比特币核心的编译与交互方法_编译比特币
文章浏览阅读884次。四水归堂,是中国建筑艺术中的一种独特形式。这种形式下,由四面房屋围出一个天井,房屋内侧坡向天井内倾斜,下雨时雨水会从东西南北四方流入天井,从而起到收集水源,防涝护屋的作用,寓意水聚天心,天人合一。在科技产业当中,很多时候我们需要学习古人的智慧与意蕴,尝试打通各个生态,聚四方之力为我所用,这样才能为最终用户带来最大化价值。随着数字化、智能化的发展,算力成为生产力的根基。在这一大背景下,算力需要贯通软..._超聚变csdn
文章浏览阅读1k次,点赞24次,收藏19次。云计算和区块链是当代科技领域两个备受关注的核心技术。本文将深入探讨云计算和区块链的发展历程,详细剖析其起初阶段的奠基、面临的问题、业务内容、当前研究方向、用到的技术、实际应用场景、未来发展趋势,并提供相关链接供读者深入了解。
文章浏览阅读1.5k次。融入对等网络的奥妙,了解集中式、全分布式和混合式对等网络的差异,以及区块链网络的结构与协议,让你跃入区块链的连结网络。揭开密码学的神秘面纱,探寻对称密码学、非对称密码学、哈希函数、数字签名等关键技术,让你了解信息安全的核心。解码共识算法的精髓,从理论到实践,从PoW、PoS到PBFT,让你深入了解区块链如何达成共识。探索智能合约的世界,从定义到生命周期,从执行引擎到开发与部署,带你进入无限可能的合约领域。了解令人惊叹的区块链世界,从概念到价值,从发展历程到政策法规,一篇章串联出区块链的精髓。
文章浏览阅读777次。8 月份,加密货币市场经历了明显的波动,比特币价格波动幅度较大。与此同时,NFT 市场出现大幅下跌,引发了人们对这一新兴行业未来发展趋势的担忧
文章浏览阅读8.8k次,点赞53次,收藏37次。近二十年来,我国信息科技发展日益成熟,出现的网络完全问题也是“百花齐放”。而元宇宙作为5G技术、AR/VR技术、云计算以及区块链等技术的组合体,其安全性指定会被人们所广泛关注。根据前面所讲,元宇宙融合了虚拟世界和现实世界,通过数据将现实世界的各种元素映射到数字化的虚拟世界中。所以没有数据,就等于没有元宇宙的一切;没有信息安全,元宇宙的社会生产、生活就不能正常有序地进行。所以足以可见数据安全、信息安全对元宇宙发展起到的重要作用!!_元宇宙 安全计算
文章浏览阅读1.4k次。最早使用历史 1991年采用 时间戳 追溯 数字文档,之后 2009年后创始人**中本聪** (satoshi nakamoto )日裔美国人,在设计比特币数字货币中将此理念写入应用程序中_web3.0学习
文章浏览阅读1.7k次。DeFi收益来源全面概述_drfi收益
文章浏览阅读941次,点赞17次,收藏21次。号外:教链内参1.28《从BTC现货ETF的近期数据看到的》隔夜BTC经历现货ETF通过后的情绪冷静,一度破位40k后又逐渐修复至42k上方。请珍惜42k的BTC吧。也许到下个周期,我们将不再有机会见到这个高度的BTC了。下面,让我们重温,42k的BTC,在过去四年穿越牛熊的过程中,带给我们的启迪吧。需要提醒的是,历史文字,自有历史局限性,回顾,也须带着批判性的目光阅读和审视。2021年2月8日,...
文章浏览阅读1.2k次,点赞23次,收藏21次。其实一开始我也是这么想的,但根据PoW算法机制,如果你的计算量不够大,是无法控制区块链的走向的,也就是说,即使你投入了大量的成本用于完成任务,也不能保证自己成功。例如,你持有100个币,总共持有了30天,那么,此时你的币龄就为3000,这个时候,如果你发现了一个PoS区块,那么你的币龄就会被减去一定的值,每减少365个币龄,将会从区块中获得0.05个币的利息(可理解为年利率5%),那么在这个案例中,利息=3000×5%/365=0.41个币。前面说过,谁的算力强,谁最先解决问题的概率就越大。
文章浏览阅读1.9k次。这里主要实现的部分继续下去,对 Blockchain 这个对象有一些修改,如果使用 TS 的话可能要修改对应的 interface,但是如果是 JS 的话就无所谓了。需要安装的依赖有:express现在的 express 已经不内置 body-parser,需要作为单独的依赖下载request不下载会报错,是使用 request-promise 所需要的依赖和已经 deprecated 了,具体 reference 可以参考。_js区块链
文章浏览阅读1k次,点赞19次,收藏19次。作者:Zach Pandl Grayscale编译:象牙山首席村民 碳链价值以太坊在2023年取得了丰厚的回报。但表现不如比特币以及其他一些智能合约公链代币。我们认为,这反映了今年比特币特有的积极因素以及以太坊链上活动的缓慢复苏。尽管以太坊的涨幅低于比特币,但从绝对值和风险调整值来看,今年以太坊的表现优于传统资产类别。以太坊不断增长的L2生态系统的发展可能会吸引新用户,并在2024年支撑以太币的...
文章浏览阅读908次,点赞20次,收藏20次。通证是以数字形式存在,代表的是一种权利、一种固有和内在的价值。徐教授告诉我:多年的职业经历,多年的为易货贸易的思考,认识到在处理贸易和经济领域的关系时,应以提高人民生活水平、保证社会成员充分就业、保证就业成员实际收入和有效需求的大幅稳定增长、实现世界资源的充分利用以及扩大货物的生产和交换为目的,期望通过达成互惠互利安排,实行公开、公平、公正的“三公原则”,开展国家与国家、企业与企业之间的易货贸易,规避因信用问题引起的各类风险,消除国际贸易中的歧视待遇,促进全球国家的经济发展,从而为实现上述目标做出贡献。
文章浏览阅读2.5k次。由于webase文档原因,查找起来比较局限,有时候想找一个api却又忘了在哪个模块的目录下,需要一步一步单独点,而利用文档自带的检索功能又因为查找文档全部信息,显得十分缓慢,所以整理了有关WeBASE的api列表但不可否认,现在只有列表,没有对应的页面跳转,文章目的也只是为了多了解webase的接口_webase私钥管理里获取
文章浏览阅读1.4k次,点赞28次,收藏21次。基于​openzeppelin来构建我们的NFT,并用一个例子来手把手的说明如何在opensea快速发布自己的NFT智能合约(ERC721)。