上週六感謝源來適你邀請我到社群線上分享 Airflow
好久沒有準備超過 10 分鐘的分享了 😱
上次上台還是帶著無敵星星在 PyCon APAC 2023 閃電講 的時候了
當時台下笑得還蠻開心的
這次不知道是因為線上，還是只是我太沒梗了嗚嗚嗚
內容已經不夠充實了，娛樂效果還不足 🥲
這次的分享主要介紹了 Airflow 的 component
透過 WebUI 觸發 DAG 後， worker, scheduler, metadata database 是怎麼互動？
deferrable operator 是如何在 worker 跟 triggerer 運作的
上次去勇哥的誰來午餐的時候，剛好有跟 TP 討論到就學了一課
記錄了最近用 Dataset 遇到的小雷
Dataset 目前還沒有辦法自動偵測 data 是否改變
只能作為其他 DAG 的 outlet
如果那個 DAG 被執行了，才去通知相依於 Dataset 的 DAG
雖然雷的可能是我沒有好好 read the **** documentation
去年聖誕節有被 Flyte 嘴了一下 Airflow 的 operator 語法不直覺
這次輪到我用 Taskflow 反駁一下
其實 Airflow 也是有跟 Python function 接近的語法啊！
除了介紹其他 astronomer 的開源專案外
還是得例行的工商 commitizen-tools 跟 PyCon Taiwan
還有讚揚了 PyCon Taiwan 的 Airflow 最初導師 - 博安老師
倒是 Q & A 還蠻熱烈、蠻有趣的
討論了不少職涯、公司的商業模式、技術問題
雖然我離公司很商業的部分有點距離，很多問題都只能窩不知道
簡單記錄一下這次的分享
不過最重要還是要宣傳暫定 3/16 Sat 10:00 a.m. 拍抗女神在源來適你的分享
請鎖定源來適你的 FB 粉專公告！
看到這的你各位，通通給我去捧場參加啊