不等待 BigQuery 作业完成是否安全?如果在作业完成之前终止实例,我是否会面临丢失数据的风险?
任何有关此场景的见解或最佳实践将不胜感激。,不鼓励这种方法。请参阅以下文档:,函数只能在函数执行期间访问其分配的资源(内存和 CPU)。在执行周期之外运行的代码不保证执行,并且可以随时停止。因此,您应该始终正确地发出函数执行结束的信号,并避免运行超出函数执行范围的任何代码。,后台活动是指函数终止后发生的任何事情。一旦函数返回或以其他方式发出完成信号,函数调用就会完成,例如通过调用 Node.js 事件驱动函数中的
callback
参数。优雅终止后运行的任何代码都无法访问 CPU,也不会取得任何进展。,此外,当在同一环境中执行后续调用时,您的后台活动将恢复,从而干扰新的调用。这可能会导致难以诊断的意外行为和错误。函数终止后访问网络通常会导致连接被重置(ECONNRESET
错误代码)。,通过查找调用完成行之后记录的任何内容,通常可以在各个调用的日志中检测到后台活动。后台活动有时可能会埋藏在代码中更深处,尤其是当存在回调或计时器等异步操作时。检查您的代码以确保在终止函数之前完成所有异步操作。,另一种解决方案是将其实现为事件驱动函数(请参阅云函数的类型)。然后为此函数指定 Pub/Sub 触发器和 Pub/Sub 主题(请参阅 Pub /子触发器)。必须重写客户端才能将事件发布到该主题。,如果客户端无法重写,解决方法是同时保留 HTTP 函数和事件驱动函数,并通过向主题发布事件来使 HTTP 函数将工作卸载到事件驱动函数。根据事件的大小和 BigQuery 作业的执行时间,也许它不会让客户端等待更少的时间。而且我认为这种方法会显着增加成本。,