Airflow

Ésto fue lo que hice para implementar un backend de XCom para Apache Airflow que guarda los datos en un bucket de Google Cloud Storage. La implementación es flexible, de manera que podemos especificar el nombre del bucket en una variable de Airflow XCOM_BACKEND_DATA_GCS_NAME y así desplegar múltiples instancias de Airflow o de Cloud Composer, cada una con su bucket definido en sí misma. Como éste ejemplo se trata de una instancia de Airflow en GCP Cloud Composer, la conexión al bucket mediante IAM ya está definida por el propio Cloud Composer y por lo tanto no tenemos que hacer nada más que especificarla en el GCSHook: google_cloud_storage_default. Si estuviéramos ejecutando Airflow en algo que no fuera GCP, deberíamos arreglar ésto aparte y crear un usuario IAM para que Airflow pudiera acceder al bucket. ...