具有动态依赖关系的细粒度构建?

如何解决具有动态依赖关系的细粒度构建?

我想了解 bazel 是否可以处理“两阶段构建”,其中依赖项是根据文件内容发现的并且依赖项必须在依赖它们的代码之前编译(与 C/ C++,其中依赖项主要是未单独编译的头文件)。具体来说,我正在构建类似于 Ocaml 的 Coq 语言。

我对创建构建计划的直觉是使用(现有的)工具(称为 coqdep)读取 .v 文件并返回其所有直接的列表依赖关系。这是我想到的算法:

  1. 在目标文件上调用 coqdep 并(传递地)在它的每个依赖文件上调用,
  2. 计算目标的传递依赖项后,添加规则以从包含传递依赖项的 .vo 构建 .v

理想情况下,对 coqdep 的调用(在步骤 1 中)将在构建之间缓存,因此只需要在文件更改时重新计算。并且依赖信息的传递闭包也会被缓存。

可以在 bazel 中实现这个吗?是否有任何指示可以为这样的语言设置构建?天真地,它似乎是一个两阶段的构建,我不确定这如何适合 bazel 的编译模型。当我查看 Ocaml 的规则时,它似乎依赖 ocamlbuild 来满足构建顺序和依赖项要求,而不是在 bazel 中“本机”进行。

感谢您的指点或见解。

解决方法

(还没有足够的代表发表评论,所以这是一个答案)

Toraxis' answer 中的 #2 可能是最规范的。

gazelle 是 Golang 的一个例子,它在同一条船上:Golang 文件的依赖关系是通过读取源文件的导入语句在 Bazel 上下文之外确定的。 Gazelle 是一个工具,它根据 Bazel 工作区的源文件中的导入在 BUILD 文件中写入/重写 Golang 规则。可以为遵循此模式的其他语言创建类似的工具。

但是生成的 BUILD 文件将在输出文件夹中,而不是在源文件夹中。因此,您还必须提供一个可执行文件,将文件复制回源文件夹。

请注意,通过 bazel run 运行的二进制文件将环境变量 BUILD_WORKSPACE_DIRECTORY 设置为 Bazel 工作区的根目录(请参阅 the docs),因此如果您的工具使用此环境变量,它可以编辑就地构建文件,而不是生成和复制回来。

(实际上,生成并复制回策略可能不可行,因为纯生成的文件将只包含 Coq 规则,而不包含任何其他类型的规则。要生成带有 Coq 规则的 BUILD 文件来自如果使用其他类型的规则,则必须将 BUILD 文件本身添加为依赖项 - 这会造成相当混乱!)

,

我正在研究类似的问题,因为我想用 Bazel 构建 ReasonML。

Bazel 根据您存储库中的 BUILD 文件计算 Bazel 目标之间的依赖关系,而无需访问您的源文件。在此分析阶段,您可以与文件系统进行的唯一交互是通过在规则调用中使用 glob 列出目录内容。

目前,我看到了四种使用 Bazel 进行细粒度增量构建的选项:

  1. 详细说明手写 BUILD 文件中的细粒度依赖项。
  2. 使用工具生成 BUILD 文件。您不能直接将该工具包装在 Bazel 规则中以使其在 bazel build 期间运行,因为生成的 BUILD 文件将位于输出文件夹中,而不是在源文件夹中。但是您可以在构建期间运行调用 coqdep 的规则,并提供一个可执行文件,根据 BUILD 调用的(可缓存)结果编辑源文件夹中的 coqdep 文件。由于您可以在构建期间读取源文件夹和输出文件夹,因此如果用户必须再次运行可执行文件,您甚至可以向用户打印一条消息。无论如何,完整的构建过程需要bazel run //tools/update-coq-build-files && bazel build才能达到固定点。
  3. BUILD 文件中具有粗粒度的依赖项,但具有持久性的工作程序以增量重建单个目标。
  4. BUILD 文件中具有粗粒度的依赖项,但为每个目标文件生成单独的操作,并使用 ctx.actions.rununused_inputs_list 参数与 Bazel 通信哪些依赖项实际上未使用。

不过,我不确定 3 和 4 是否真的有效,或者需要付出多少努力。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


依赖报错 idea导入项目后依赖报错,解决方案:https://blog.csdn.net/weixin_42420249/article/details/81191861 依赖版本报错:更换其他版本 无法下载依赖可参考:https://blog.csdn.net/weixin_42628809/a
错误1:代码生成器依赖和mybatis依赖冲突 启动项目时报错如下 2021-12-03 13:33:33.927 ERROR 7228 [ main] o.s.b.d.LoggingFailureAnalysisReporter : *************************** APPL
错误1:gradle项目控制台输出为乱码 # 解决方案:https://blog.csdn.net/weixin_43501566/article/details/112482302 # 在gradle-wrapper.properties 添加以下内容 org.gradle.jvmargs=-Df
错误还原:在查询的过程中,传入的workType为0时,该条件不起作用 <select id="xxx"> SELECT di.id, di.name, di.work_type, di.updated... <where> <if test=&qu
报错如下,gcc版本太低 ^ server.c:5346:31: 错误:‘struct redisServer’没有名为‘server_cpulist’的成员 redisSetCpuAffinity(server.server_cpulist); ^ server.c: 在函数‘hasActiveC
解决方案1 1、改项目中.idea/workspace.xml配置文件,增加dynamic.classpath参数 2、搜索PropertiesComponent,添加如下 <property name="dynamic.classpath" value="tru
删除根组件app.vue中的默认代码后报错:Module Error (from ./node_modules/eslint-loader/index.js): 解决方案:关闭ESlint代码检测,在项目根目录创建vue.config.js,在文件中添加 module.exports = { lin
查看spark默认的python版本 [root@master day27]# pyspark /home/software/spark-2.3.4-bin-hadoop2.7/conf/spark-env.sh: line 2: /usr/local/hadoop/bin/hadoop: No s
使用本地python环境可以成功执行 import pandas as pd import matplotlib.pyplot as plt # 设置字体 plt.rcParams['font.sans-serif'] = ['SimHei'] # 能正确显示负号 p
错误1:Request method ‘DELETE‘ not supported 错误还原:controller层有一个接口,访问该接口时报错:Request method ‘DELETE‘ not supported 错误原因:没有接收到前端传入的参数,修改为如下 参考 错误2:cannot r
错误1:启动docker镜像时报错:Error response from daemon: driver failed programming external connectivity on endpoint quirky_allen 解决方法:重启docker -> systemctl r
错误1:private field ‘xxx‘ is never assigned 按Altʾnter快捷键,选择第2项 参考:https://blog.csdn.net/shi_hong_fei_hei/article/details/88814070 错误2:启动时报错,不能找到主启动类 #
报错如下,通过源不能下载,最后警告pip需升级版本 Requirement already satisfied: pip in c:\users\ychen\appdata\local\programs\python\python310\lib\site-packages (22.0.4) Coll
错误1:maven打包报错 错误还原:使用maven打包项目时报错如下 [ERROR] Failed to execute goal org.apache.maven.plugins:maven-resources-plugin:3.2.0:resources (default-resources)
错误1:服务调用时报错 服务消费者模块assess通过openFeign调用服务提供者模块hires 如下为服务提供者模块hires的控制层接口 @RestController @RequestMapping("/hires") public class FeignControl
错误1:运行项目后报如下错误 解决方案 报错2:Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.8.1:compile (default-compile) on project sb 解决方案:在pom.
参考 错误原因 过滤器或拦截器在生效时,redisTemplate还没有注入 解决方案:在注入容器时就生效 @Component //项目运行时就注入Spring容器 public class RedisBean { @Resource private RedisTemplate<String
使用vite构建项目报错 C:\Users\ychen\work>npm init @vitejs/app @vitejs/create-app is deprecated, use npm init vite instead C:\Users\ychen\AppData\Local\npm-