[Python] luigiとSQLAlchemyでUpsert
luigiのタスクのoutputをDB登録とする時、前回までではSQLAlchemyとの連携を使用した。 その中でタスクのcomplete判定は以下のようになっている。 complete判定用にtable_updates… [Python] luigiとSQLAlchemyでUpsert の続きを読む
luigiのタスクのoutputをDB登録とする時、前回までではSQLAlchemyとの連携を使用した。 その中でタスクのcomplete判定は以下のようになっている。 complete判定用にtable_updates… [Python] luigiとSQLAlchemyでUpsert の続きを読む
前回までの記事のちゃぶ台返しです。 そもそも「依存先タスクのoutputを元に、依存元のoutputパスが決定する」という要件の場合、本来outputが存在するかどうかを判断して、requires(およびrun)を実行す… [Python] luigiで動的アウトプットはしない の続きを読む
前回の残課題 ArchiveはDB登録する処理だから、outputはMySqlTargetにしたほうがいい どうやってoutputをDB登録にするか、普段SQLAlchemyを使っているのでSQLAlchemyとの連携を… [Python] luigiで動的アウトプット(DB登録) の続きを読む