如何解决我正在尝试直接连接到 abfss不安装到 DBFS并尝试在 databricks 中使用 open() 打开 json 文件
我正在尝试直接连接到 abfss(不安装到 DBFS)并尝试使用 databricks 中的 open() 方法打开 json 文件。
json_file = open("abfss://@.dfs.core.windows.net/test.json') databricks 无法打开 azure blob 容器中存在的文件并出现以下错误: FileNotFoundError: [Errno 2] 没有这样的文件或目录:'abfss://@.dfs.core.windows.net/test.json'
我已经使用服务主体完成了所有配置设置。请建议使用abfss直接路径打开文件的其他方式。
解决方法
open
方法仅适用于本地文件 - 它对 abfss
或其他云存储一无所知。您有以下选择:
- 使用
dbutils.fs.cp
将文件从ADLS复制到驱动程序节点的本地磁盘,然后使用它,例如:dbutils.fs.cp("abfss:/....","file:/tmp/my-copy")
- 使用 Azure SDK 将文件从 ADLS 复制到驱动程序节点
第一种方法比第二种方法更容易使用
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。