氣流xcom_pull鹹菜在幀結束之前耗盡

Question

我對http響應（作爲字典）執行xcom_pull，之前我xcom_push'ed 並且收到pickle exhausted before end of frame。

對於導致較短字典的http響應，我不會收到此錯誤。

這是對xcom_pull/push'ed的限制嗎？

Answer 1

我有這個問題或非常相似。我們正在使用一個用於Airflow的MySQL數據庫。它發生在xcom_pull（）之後並且曲線經過sqlalchemy。對數據庫的更深入的研究表明，pickle以blob的形式存儲在dag_pickle.pickle列中，其最大大小爲65,535字節。

對於我們來說，一對情侶表的調整解決了這一問題：

alter table dag_pickle modify pickle MEDIUMBLOB; 
alter table xcom modify value MEDIUMBLOB; 

都可能沒有必要。當表格由airflow/models.py創建時，更長期的修復可能涉及使用'length ='參數。