在bazel中将protobuf与python命名空间包结合在一起

如何解决在bazel中将protobuf与python命名空间包结合在一起

我试图在一个现有项目中设置Bazel，该项目由Python和Groovy中的三个应用程序以及一个共享的protobuf IDL组成。

对于Python应用程序，我目前在setup.py中有一个自定义命令，该命令根据protobuf IDL生成一个Python模块。生成python模块时，我将其放置在应用程序包中，因此可以像在应用程序中的任何其他模块一样将其导入。

当试图将整个项目放在Bazel下时，我正在努力寻找如何处理生成的python模块的方法。 protoc将只生成一个文件。为了将文件放入包中，我需要创建目录结构并将文件移动到位。进行一些谷歌搜索使我找到了一个解决方案，该解决方案结合了一些pkg_tar规则以创建具有正确布局的tarball，但我不知道如何实现将其转变为python库的方法。

文件的布局如下：

.
├── BUILD
├── protobuf
│   └── messages.proto
└── python
    └── ibidem
        ├── __init__.py
        └── codetanks
            ├── __init__.py
            └── domain
                └── __init__.py

我希望将生成的模块放在ibidem/codetanks/domain中，以便可以与from ibidem.codetanks.domain import messages_pb2一起导入。

我当前的BUILD文件：

load("@build_stack_rules_proto//python:python_proto_library.bzl","python_proto_library")
load("@rules_pkg//:pkg.bzl","pkg_tar","pkg_deb")

proto_library(
    name = "messages_proto",srcs = ["protobuf/messages.proto"],)

python_proto_library(
    name = "messages_python_proto",deps = [":messages_proto"],)

pkg_tar(
    name = "python_messages_tarball",strip_prefix = "protobuf/",package_dir = "ibidem/codetanks/domain",srcs = [":messages_python_proto"],)

filegroup(
    name = "python_domain_files",srcs = glob([
        "python/**/*.py",]),)

pkg_tar(
    name = "python_domain_tarball",strip_prefix = "python/",srcs = [":python_domain_files"],)

# This fails because the tarballs doesn't have the `py` or `PyInfo` provider .
# If I use a `pkg_tar` rule here,the tarball has exactly the contents I'd want to have as a python library.
py_library(
    name = "python",deps = [
        ":python_domain_tarball",":python_messages_tarball",],)

我发现一些地方说可以通过将messages.proto文件放在目录结构中与我希望生成的文件结束的位置相同的位置来解决。考虑到该位置对于除Python之外的任何其他语言都没有任何意义，这听起来像是一个不好的解决方法。我还生成了一个Java程序包，将来计划也添加其他语言。

这仅仅是Bazel的限制，还是可以用我无法用谷歌搜索的方式以某种花哨的方式解决？

解决方法

借助Sjoerd Visscher提供的链接，我找到了一个似乎可以解决问题的解决方案。第一步是将其分为特定于语言的程序包。然后使用copy_file将生成的文件移动到子目录中。完成后，将帮助文件与生成的文件合并到py_library中就很简单了。

文件布局现在为：

.
├── protobuf
│   ├── BUILD
│   └── messages.proto
└── python
    ├── BUILD
    └── ibidem
        ├── __init__.py
        └── codetanks
            ├── __init__.py
            └── domain
                └── __init__.py

protobuf/BUILD的内容：

package(default_visibility=["//domain:__subpackages__"])

load("@build_stack_rules_proto//python:python_proto_library.bzl","python_proto_library")

proto_library(
    name = "messages_proto",srcs = ["messages.proto"],)

python_proto_library(
    name = "python_messages_proto",deps = [":messages_proto"],)

python/BUILD的内容：

load("@build_stack_rules_proto//python:python_proto_library.bzl","python_proto_library")
load("@rules_python//python:defs.bzl","py_library")
load("@bazel_skylib//rules:copy_file.bzl","copy_file")

copy_file(
    name="python_messages_file",src="//domain/protobuf:python_messages_proto",out="ibidem/codetanks/domain/messages_pb2.py",)

filegroup(
    name = "python_helper_files",srcs = glob([
        "ibidem/**/__init__.py",]),)

py_library(
    name = "messages",srcs = [
        ":python_helper_files",":python_messages_file",],visibility = ["//visibility:public"]
)