如何解决在databricks上,我无法从文件读取:/databricks/python/lib/python3.7/site-package/my_package
我有一些pyspark代码,我将它们打包为一个库,以便可以pip安装并在其他项目中使用。该代码加载了一个包含在我的库中的镶木地板文件。在大多数环境中,这种方法都能正常工作,但不适用于数据块。
在数据砖上安装pip之后,我可以在app:fabCustomSize = the same size as your layout_width
app:maxImageSize= about 10dp minus the size of your layout_width
上看到文件,但是装入镶木地板文件调用不起作用。
如果我让它尝试从file:/databricks/python/lib/python3.7/site-package/my_package/my_parquet_dir
加载,根本找不到目录。
如果我从/databricks/python/lib/python3.7/site-package/my_package/my_parquet_dir
加载,它会找到目录,但表现为目录为空。似乎镶木地板文件加载能够识别顶级目录(只要我在路径前添加“ file:”即可),但是随后的加载程序加载器失败,因为它没有在“ file”之前添加:“。
...我只是希望有人有从file:/databricks/python/lib/python3.7/site-package/my_package/my_parquet_dir
访问数据的经验,并且知道某种技巧。
解决方法
结果确实是最重要的“ file:”是关键,而我遇到的问题是我曾一度将其拼写为“ File:”
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。