如何解决如何检测您的代码是否在pyspark下运行
对于暂存和生产,我的代码将在PySpark上运行。但是,在我的本地开发环境中,我不会在PySpark上运行代码。
从日志记录的角度来看,这是一个问题。由于使用PySpark时,人们会通过Py4J使用Java库Log4J,因此不会将Log4J用于本地开发。
值得庆幸的是,Log4J的API和核心的Python日志记录模块是相同的:一旦获得了记录器对象,则使用任一模块,只需debug()
或info()
等。
因此,我希望检测我的代码是否正在PySpark或非PySpark环境中导入/运行:类似于:
class App:
def our_logger(self):
if self.running_under_spark():
sc = SparkContext(conf=conf)
log4jLogger = sc._jvm.org.apache.log4j
log = log4jLogger.LogManager.getLogger(__name__)
log.warn("Hello World!")
return log
else:
from loguru import logger
return logger
我应如何实施running_under_spark()
仅尝试导入pyspark
并查看其是否有效,这并不是一种防故障方法,因为我在开发环境中拥有pyspark
可以杀死代码中未导入模块的警告在我的IDE中。
解决方法
也许您可以在运行时检查的Spark环境中设置一些环境变量(在$ SPARK_HOME / conf / spark-env.sh中):
export SPARKY=spark
然后您检查SPARKY是否存在,以确定您是否处于火花环境中。
from os import environ
class App:
def our_logger(self):
if environ.get('SPARKY') is not None:
sc = SparkContext(conf=conf)
log4jLogger = sc._jvm.org.apache.log4j
log = log4jLogger.LogManager.getLogger(__name__)
log.warn("Hello World!")
return log
else:
from loguru import logger
return logger
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。