如何解决如何在Google Cloud Composer辅助节点上更新gcloud?
这里有一个类似的问题,但是从2018年开始,解决方案要求更改工人的基本形象。另一个建议是将ssh放入每个节点并在此处apt-get安装。这似乎没有用,因为当自动缩放生成新节点时,您需要一次又一次地进行操作。
无论如何,是否有合理的方法在2020年末升级基础gcloud?
解决方法
由于任务实例在共享执行环境中运行,因此通常不建议在Composer Airflow任务中使用gcloud CLI,以免发生状态或版本冲突。例如,如果您有多个用户使用同一个Cloud Composer环境,并且其中一个用户更改了gcloud使用的活动凭据,那么他们可能会在不知不觉中破坏其他用户的工作流程。
相反,请考虑使用Cloud SDK Python库以编程方式完成您需要做的事情,或使用airflow.providers.google.cloud
运算符(可能已经具备了所需的功能)。
如果您真的需要使用gcloud CLI并且不共享环境,则可以使用带有安装/升级脚本的library(shiny)
ui <- navbarPage("MyTitle",id="mainNavbarPage",tabPanel("Panel1",uiOutput("date_ui_1")),tabPanel("Panel2",uiOutput("date_ui_2")))
server <- function(input,output,session){
# Default starting value for date pickers
date_chosen <- reactiveVal(Sys.Date())
output$date_ui_1 <- renderUI({
dateInput("datePicker1","Run date:",value = date_chosen(),max = Sys.Date())
})
output$date_ui_2 <- renderUI({
dateInput("datePicker2",max = Sys.Date())
})
observeEvent(input$datePicker1,{
date_chosen(input$datePicker1)
})
observeEvent(input$datePicker2,{
date_chosen(input$datePicker2)
})
}
shinyApp(ui = ui,server = server)
来创建任何任务的前提条件需要使用CLI。或者,您可以构建安装了gcloud的自定义Docker映像,并使用BashOperator
或GKEPodOperator
运行Kubernetes pod来运行CLI命令。这将比每次验证依赖关系慢,但更可靠。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。