如何解决从PyCharm IDE执行databricks magic命令
使用databricks-connect,我们可以从许多IDE成功运行用Databricks或Databricks笔记本编写的代码。 Databricks还通过添加诸如<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.3.1/jquery.min.js"></script>
<div class="row" id="hbar">
</div>
<div class="card-footer" style="text-align:right;">
<button class="btn btn-secondary" id="btn-Newbar">New Bar</button>
<button class="btn btn-secondary" id="btn-HighlightUpdate">Update Changes</button>
</div>
或%sql
之类的命令,创建了许多魔术命令来支持其功能,以便在每个单元中运行多语言支持。我目前面临的一个问题是,当我尝试在Pycharm中执行Databricks笔记本时,如下所示:
-
如何从PyCharm执行Databricks特定的魔术命令。 例如。 使用此命令在Databricks中的“完成”中导入脚本或笔记本-
%md
与IDE %run
'./FILE_TO_IMPORT'
相同。
每次我下载Databricks笔记本时,它都会再次注释掉魔术命令,因此无法在Databricks环境之外的任何地方使用它。
每次我想进行任何开发时,转换所有数据块魔术命令的效率都非常低。
我可以设置任何配置来自动检测Databricks特定的魔术命令吗?
任何对此的解决方案将是有帮助的。在此先感谢!
解决方法
很遗憾,根据databricks-connect
版本6.2.0-
“我们不能直接在databricks环境之外使用magic命令。这将需要创建自定义函数,但同样只对Jupyter有用,而对PyCharm不起作用”
同样,由于导入py文件需要%run
魔术命令,因此这也成为主要问题。一种解决方案是将要导入的文件集转换为python包,然后通过Databricks UI将其添加到群集,然后在PyCharm中导入并使用它。但这是一个非常繁琐的过程。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。