.NET Core技术研究-通过Roslyn代码分析技术规范提升代码质量

随着团队越来越多,越来越大,需求更迭越来越快,每天提交的代码变更由原先的2位数,暴涨到3位数,每天几百次代码Check In,补丁提交,大量的代码审查消耗了大量的资源投入。

如何确保提交代码的质量和提测产品的质量,这两个是非常大的挑战。

工欲善其事,必先利其器。在上述需求背景下,今年我们准备用工具和技术,全面把控并提升代码质量和产品提测质量。即:

1. 代码质量提升:通过自定义代码扫描规则,将有问题的代码、不符合编码规则的代码扫描出来,禁止签入

2. 产品提测质量:通过单元测试覆盖率和执行通过率,严控产品提交质量,覆盖率和通过率达不到标准,无法提交测试。

准备用2篇文章,和大家分享我们是如何提升代码质量和产品提测质量的。今天分享第一篇:通过Roslyn代码分析全面提升代码质量。

一、什么是Roslyn

  Roslyn 是微软开源的 .NET 编译平台(.NET Compiler Platform)。  编译平台支持 C# 和 Visual Basic 代码编译,并提供丰富的代码分析 API。

  利用Roslyn可以生成代码分析器和代码修补程序,从而发现和更正编码错误。 

  分析器不仅理解代码的语法和结构,还能检测应更正的做法。 代码修补程序建议一处或多处修复,以修复分析器发现的编码错误。

  我们写下面一堆代码,Roslyn编译器会有如下提示: 

  

 通过编写分析器和代码修补程序,主要服务以下场景:  

  • 强制执行团队编码标准(Local)
  • 提供库包方面的指导约束(Nuget)
  • 提供代码分析器相关的VSIX扩展插件(Visual Studio Marketplace)

 Roslyn是如何做到代码分析的呢?这背后依赖于一套强大的语法分析和API:

 

  上图中:Language Service:语言层面的服务,可以简单理解为我们在VS中编码时,可以实现的语法高亮、查找所有引用、重命名、转到定义、格式化、抽取方法等操作

  Compiler API:编译器API,这里提供了Syntax Tree API代码语法树API,Symbol API代码符号API

  Binding and Flow Anllysis APIs绑定和流分析API(https://joshvarty.com/2015/02/05/learn-roslyn-now-part-8-data-flow-analysis/),

  Emit API编译反射发出API(https://joshvarty.com/2016/01/16/learn-roslyn-now-part-16-the-emit-api/

  这里我们详细看一下语法树、符号、语义模型、工作区:

  1. 语法树是一种由编译器 API 公开的基础数据结构。 这些树表示源代码的词法和语法结构。其包含:  

  • 语法节点:是语法树的一个主要元素。 这些节点表示声明、语句、子句和表达式等语法构造。
  • 语法标记:表示代码的最小语法片段。 语法标记包含关键字、标识符、文本和标点。
  • 琐碎内容:对正常理解代码基本上没有意义的源文本部分,例如空格、注释和预处理器指令。
  • 范围:每个节点、标记或琐碎内容在源文本内的位置和包含的字符数。
  • 种类:标识节点、标记或琐碎内容所表示的确切语法元素。
  • 错误:表示源文本中包含的语法错误。

     看一张语法树的图:

  

  2. 符号:符号表示源代码声明的不同元素,或作为元数据从程序集中导出。每个命名空间、类型、方法、属性、字段、事件、参数或局部变量都由符号表示。

  3. 语义模型:语义模型表示单个源文件的所有语义信息。 可使用语义模型查找到以下内容:   

  • 在源中特定位置引用的符号。
  • 任何表达式的结果类型。
  • 所有诊断(错误和警告)。
  • 变量流入和流出源区域的方式。
  • 更多推理问题的答案。

  4. 工作区:工作区是对整个解决方案执行代码分析和重构的起点。相关的API可以实现:

     将解决方案中项目的全部相关信息组织为单个对象模型,可让用户直接访问编译器层对象模型(如源文本、语法树、语义模型和编译),而无需分析文件、配置选项,或管理项目内依赖项。

   

  了解了Roslyn的大致情况之后,我们开始基于Roslyn做一些“不符合编程规范要求(团队自定义的)”的代码分析。

二、基于Roslyn进行代码分析

  接下来讲通过Show case的方法,通过实际的场景和大家分享。在我们编写实际的代码分析器之前,我们先把开发环境准备好  :

    使用VS2017创建一个Analyzer with Code Fix工程

    因为我本机的VS2019找了好久没找到对应的工程,这个章节,使用VS2017吧

    

    创建完成会有两个工程:

    

    其中,TeldCodeAnalyzer.Vsix工程,主要用以生成VSIX扩展文件

   TeldCodeAnalyzer工程,主要用于编写代码分析器。

    工程转换好之后,我们开始编码吧。

 1. catch 吞掉异常场景

  问题:catch吞掉异常后,线上很难排查问题,同时确定哪块代码有问题

  示例代码:

try
{
     var logService = HSFService.Proxy<ILogService>();
     logService.SendMsg(new SysActionLog());
}
catch (Exception ex)
{
                
}

  需求:当开发人员在catch吞掉异常时,给与编程提示:异常吞掉时必须上报监控或者日志

  明确了上述需要,我们开始编写Roslyn代码分析器。ExceptionCatchWithMonitorAnalyzer

  

  我们详细解读一下:

  ① ExceptionCatchWithMonitorAnalyzer必须继承抽象类DiagnosticAnalyzer

  ② 重写方法SupportedDiagnostics,注册代码扫描规则:DiagnosticDescriptor    

internal static DiagnosticDescriptor Rule = new DiagnosticDescriptor(DiagnosticId,Title,MessageFormat,Category,DiagnosticSeverity.Warning,isEnabledByDefault: true,description: Description);

public override ImmutableArray<DiagnosticDescriptor> SupportedDiagnostics => ImmutableArray.Create(Rule);

 ③ 重写方法Initialize,注册Microsoft.CodeAnalysis.SyntaxNode完成Catch语句的语义分析后的事件Action

public override void Initialize(AnalysisContext context)
{           context.ConfigureGeneratedCodeAnalysis(GeneratedCodeAnalysisFlags.Analyze | GeneratedCodeAnalysisFlags.None);
            context.EnableConcurrentExecution();
            context.RegisterSyntaxNodeAction(AnalyzeDeclaration,SyntaxKind.CatchClause);
}

 ④ 实现语法分析AnalyzeDeclaration,检查对catch语句中代码实现   

private void AnalyzeDeclaration(SyntaxNodeAnalysisContext context)
{
            var catchClause = (CatchClauseSyntax)context.Node;
            var block = catchClause.Block;
            foreach (var statement in block.Statements)
            {
                if (statement is ThrowStatementSyntax)
                {
                    return;
                }
            }


            if (Common.IsReallyContains(block,"MonitorClient") == false)
            {
                context.ReportDiagnostic(Diagnostic.Create(Rule,block.GetLocation()));
            }
}

  补充一下Common.IsReallyContains方法:

class Common
    {
        public static bool IsReallyContains(SyntaxNode node,string statement)
        {
            return node.ToString().Contains(statement) && node.DescendantNodes().OfType<LiteralExpressionSyntax>().Count(p => p.ToString().Contains(statement)) ==0 ;
        }
    }

  

        代码实现后的效果(直接调试VSIX工程即可)

  

代码编译后也有对应Warnning提示

 2. 在For循环中进行服务调用

  问题:for循环中调用RPC服务,每次访问都会发起一次RPC请求,如果循环次数太多,性能很差,建议使用批量处理的RPC方法

  示例代码:

foreach (var item in items)
{
      var logService = HSFService.Proxy<ILogService>();
      logService.SendMsg(new SysActionLog());
}  

  需求:当开发人员在For循环中调用HSF服务时,给与编程提示:不建议在循环中调用HSF服务,建议调用批量处理方法.

  明确了上述需要,我们开始编写Roslyn代码分析器。HSFForLoopAnalyzer  

    [DiagnosticAnalyzer(LanguageNames.CSharp)]
    public sealed class HSFForLoopAnalyzer : DiagnosticAnalyzer
    {
        public const string DiagnosticId = "TA001";
        internal const string Title = "增加循环中HSF服务调用检查";
        public const string MessageFormat = "不建议在循环中调用HSF服务,建议调用批量处理方法.";
        internal const string Category = "CodeSmell";

        internal static DiagnosticDescriptor Rule = new DiagnosticDescriptor(DiagnosticId,isEnabledByDefault: true);

        public override ImmutableArray<DiagnosticDescriptor> SupportedDiagnostics => ImmutableArray.Create(Rule);

        public override void Initialize(AnalysisContext context)
        {
            context.RegisterSyntaxNodeAction(AnalyzeMethodForLoop,SyntaxKind.InvocationExpression);
        }

        private static void AnalyzeMethodForLoop(SyntaxNodeAnalysisContext context)
        {
            var expression = (InvocationExpressionSyntax)context.Node;
            string exressionText = expression.ToString();
            if (Common.IsReallyContains(expression,"HSFService.Proxy<"))
            {
                var loop = expression.Ancestors().FirstOrDefault(p => p is ForStatementSyntax || p is ForEachStatementSyntax || p is DoStatementSyntax || p is WhileStatementSyntax);
                if (loop != null)
                {
                    var diagnostic = Diagnostic.Create(Rule,expression.GetLocation());
                    context.ReportDiagnostic(diagnostic);
                    return;
                }

                if (Common.IsReallyContains(expression,">.") == false)
                {
                    var syntax = expression.Ancestors().FirstOrDefault(p => p is LocalDeclarationStatementSyntax);
                    if (syntax != null)
                    {
                        var declaration = (LocalDeclarationStatementSyntax)syntax;
                        var variable = declaration.Declaration.Variables.SingleOrDefault();
                      

                        var method = declaration.Ancestors().First(p => p is MethodDeclarationSyntax);
                        var expresses = method.DescendantNodes().Where(p => p is InvocationExpressionSyntax);
                        foreach (var express in expresses)
                        {
                            loop = express.Ancestors().FirstOrDefault(p => p is ForStatementSyntax || p is ForEachStatementSyntax || p is DoStatementSyntax || p is WhileStatementSyntax);
                            if (loop != null)
                            {
                                var diagnostic = Diagnostic.Create(Rule,expression.GetLocation());
                                context.ReportDiagnostic(diagnostic);
                                return;
                            }
                        }
                    }
                }
            }
        }
    }

  基本的实现方式,和上一个差不多,唯一不同的逻辑是在实际的代码分析过程中,AnalyzeMethodForLoop。大家可以根据自己的需要写一下。

       实际的效果:

       

       还有几个代码检查场景,基本都是同样的实现思路,再次不一一罗列了。

       在这里还可以自动完成代理修补程序,这个地方我们还在研究中,可能每个业务代码的场景不同,很难给出一个通用的改进代码,所以这个地方等后续我们完成后,再和大家分享。

三、通过Roslyn实现静态代码扫描

  线上很多代码已经写完了,发布上线了,对已有的代码进行代码扫描也是非常重要的。因此,我们对catch吞掉异常的代码进行了一次集中扫描和改进。

  那么基于Roslyn如何实现静态代码扫描呢?主要的步骤有:

  ① 创建一个编译工作区MSBuildWorkspace.Create()

  ② 打开解决方案文件OpenSolutionAsync(slnPath);  

  ③ 遍历Project中的Document

  ④ 拿到代码语法树、找到Catch语句CatchClauseSyntax

  ⑤ 判断是否有throw语句,如果没有,收集数据进行通知改进

  看一下具体代码实现:

  先看一下Nuget引用:

  Microsoft.CodeAnalysis

  Microsoft.CodeAnalysis.Workspaces.MSBuild

  

  代码的具体实现:

  

    

 public async Task<List<CodeCheckResult>> CheckSln(string slnPath)
        {
            var slnFile = new FileInfo(slnPath);
            var results = new List<CodeCheckResult>();          
            var solution = await MSBuildWorkspace.Create().OpenSolutionAsync(slnPath);            

            if (solution.Projects != null && solution.Projects.Count() > 0)
            {
                foreach (var project in solution.Projects.ToList())
                {
                    var documents = project.Documents.Where(x => x.Name.Contains(".cs"));

                    foreach (var document in documents)
                    {
                        var tree = await document.GetSyntaxTreeAsync();
                        var root = tree.GetCompilationUnitRoot();
                        if (root.Members == null || root.Members.Count == 0) continue;
                        //member
                        var firstmember = root.Members[0];
                        //命名空间Namespace
                        var namespaceDeclaration = (NamespaceDeclarationSyntax)firstmember;

                        foreach (var classDeclare in namespaceDeclaration.Members)
                        {
                            var programDeclaration = classDeclare as ClassDeclarationSyntax;

                            foreach (var method in programDeclaration.Members)
                            {

                                //方法 Method
                                var methodDeclaration = (MethodDeclarationSyntax)method;

                                var catchNode = methodDeclaration.DescendantNodes().FirstOrDefault(i => i is CatchClauseSyntax);
                                if (catchNode != null)
                                {
                                    var catchClause = catchNode as CatchClauseSyntax;
                                    if (catchClause != null || catchClause.Declaration != null)
                                    {
                                        if (catchClause.DescendantNodes().OfType<ThrowStatementSyntax>().Count() == 0)
                                        {
                                            results.Add(new CodeCheckResult()
                                            {
                                                Sln = slnFile.Name,ProjectName = project.Name,ClassName = programDeclaration.Identifier.Text,MethodName = methodDeclaration.Identifier.Text,});
                                        }
                                    }
                                }
                            }
                        }
                    }
                }
            }

            return results;
        }  

     以上是通过Roslyn代码分析全面提升代码质量的一些具体实践,分享给大家。

 

周国庆

2020/5/2

 

 

 

  

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


在上文中,我介绍了事件驱动型架构的一种简单的实现,并演示了一个完整的事件派发、订阅和处理的流程。这种实现太简单了,百十行代码就展示了一个基本工作原理。然而,要将这样的解决方案运用到实际生产环境,还有很长的路要走。今天,我们就研究一下在事件处理器中,对象生命周期的管理问题。事实上,不仅仅是在事件处理器
上文已经介绍了Identity Service的实现过程。今天我们继续,实现一个简单的Weather API和一个基于Ocelot的API网关。 回顾 《Angular SPA基于Ocelot API网关与IdentityServer4的身份认证与授权(一)》 Weather API Weather
最近我为我自己的应用开发框架Apworks设计了一套案例应用程序,并以Apache 2.0开源,开源地址是:https://github.com/daxnet/apworks-examples,目的是为了让大家更为方便地学习和使用.NET Core、最新的前端开发框架Angular,以及Apwork
HAL(Hypertext Application Language,超文本应用语言)是一种RESTful API的数据格式风格,为RESTful API的设计提供了接口规范,同时也降低了客户端与服务端接口的耦合度。很多当今流行的RESTful API开发框架,包括Spring REST,也都默认支
在前面两篇文章中,我详细介绍了基本事件系统的实现,包括事件派发和订阅、通过事件处理器执行上下文来解决对象生命周期问题,以及一个基于RabbitMQ的事件总线的实现。接下来对于事件驱动型架构的讨论,就需要结合一个实际的架构案例来进行分析。在领域驱动设计的讨论范畴,CQRS架构本身就是事件驱动的,因此,
HAL,全称为Hypertext Application Language,它是一种简单的数据格式,它能以一种简单、统一的形式,在API中引入超链接特性,使得API的可发现性(discoverable)更强,并具有自描述的特点。使用了HAL的API会更容易地被第三方开源库所调用,并且使用起来也很方便
何时使用领域驱动设计?其实当你的应用程序架构设计是面向业务的时候,你已经开始使用领域驱动设计了。领域驱动设计既不是架构风格(Architecture Style),也不是架构模式(Architecture Pattern),它也不是一种软件开发方法论,所以,是否应该使用领域驱动设计,以及什么时候使用
《在ASP.NET Core中使用Apworks快速开发数据服务》一文中,我介绍了如何使用Apworks框架的数据服务来快速构建用于查询和管理数据模型的RESTful API,通过该文的介绍,你会看到,使用Apworks框架开发数据服务是何等简单快捷,提供的功能也非常多,比如对Hypermedia的
在上一讲中,我们已经完成了一个完整的案例,在这个案例中,我们可以通过Angular单页面应用(SPA)进行登录,然后通过后端的Ocelot API网关整合IdentityServer4完成身份认证。在本讲中,我们会讨论在当前这种架构的应用程序中,如何完成用户授权。 回顾 《Angular SPA基于
Keycloak是一个功能强大的开源身份和访问管理系统,提供了一整套解决方案,包括用户认证、单点登录(SSO)、身份联合、用户注册、用户管理、角色映射、多因素认证和访问控制等。它广泛应用于企业和云服务,可以简化和统一不同应用程序和服务的安全管理,支持自托管或云部署,适用于需要安全、灵活且易于扩展的用
3月7日,微软发布了Visual Studio 2017 RTM,与之一起发布的还有.NET Core Runtime 1.1.0以及.NET Core SDK 1.0.0,尽管这些并不是最新版,但也已经从preview版本升级到了正式版。所以,在安装Visual Studio 2017时如果启用了
在上文中,我介绍了如何在Ocelot中使用自定义的中间件来修改下游服务的response body。今天,我们再扩展一下设计,让我们自己设计的中间件变得更为通用,使其能够应用在不同的Route上。比如,我们可以设计一个通用的替换response body的中间件,然后将其应用在多个Route上。 O
不少关注我博客的朋友都知道我在2009年左右开发过一个名为Apworks的企业级应用程序开发框架,旨在为分布式企业系统软件开发提供面向领域驱动(DDD)的框架级别的解决方案,并对多种系统架构风格提供支持。这个框架的开发和维护我坚持了很久,一直到2015年,我都一直在不停地重构这个项目。目前这个项目在
好吧,这个题目我也想了很久,不知道如何用最简单的几个字来概括这篇文章,原本打算取名《Angular单页面应用基于Ocelot API网关与IdentityServer4ʺSP.NET Identity实现身份认证与授权》,然而如你所见,这样的名字实在是太长了。所以,我不得不缩写“单页面应用”几个字
在前面两篇文章中,我介绍了基于IdentityServer4的一个Identity Service的实现,并且实现了一个Weather API和基于Ocelot的API网关,然后实现了通过Ocelot API网关整合Identity Service做身份认证的API请求。今天,我们进入前端开发,设计
Ocelot是ASP.NET Core下的API网关的一种实现,在微服务架构领域发挥了非常重要的作用。本文不会从整个微服务架构的角度来介绍Ocelot,而是介绍一下最近在学习过程中遇到的一个问题,以及如何使用中间件(Middleware)来解决这样的问题。 问题描述 在上文中,我介绍了一种在Angu
在大数据处理和人工智能时代,数据工厂(Data Factory)无疑是一个非常重要的大数据处理平台。市面上也有成熟的相关产品,比如Azure Data Factory,不仅功能强大,而且依托微软的云计算平台Azure,为大数据处理提供了强大的计算能力,让大数据处理变得更为稳定高效。由于工作中我的项目
在上文中,我们讨论了事件处理器中对象生命周期的问题,在进入新的讨论之前,首先让我们总结一下,我们已经实现了哪些内容。下面的类图描述了我们已经实现的组件及其之间的关系,貌似系统已经变得越来越复杂了。其中绿色的部分就是上文中新实现的部分,包括一个简单的Event Store,一个事件处理器执行上下文的接
在之前《在ASP.NET Core中使用Apworks快速开发数据服务》一文的评论部分,.NET大神张善友为我提了个建议,可以使用Compile As a Service的Roslyn为语法解析提供支持。在此非常感激友哥给我的建议,也让我了解了一些Roslyn的知识。使用Roslyn的一个很大的好处
很长一段时间以来,我都在思考如何在ASP.NET Core的框架下,实现一套完整的事件驱动型架构。这个问题看上去有点大,其实主要目标是为了实现一个基于ASP.NET Core的微服务,它能够非常简单地订阅来自于某个渠道的事件消息,并对接收到的消息进行处理,于此同时,它还能够向该渠道发送事件消息,以便