[Python] luigiのTask#outputをopenで書き込まない場合
ちょっとニッチな状況でハマったのでメモ runでファイルコピーするだけのタスクを作った時、ファイルコピーを以下のようにやってしまった。 import shutil from luigi import Task class… [Python] luigiのTask#outputをopenで書き込まない場合 の続きを読む
ちょっとニッチな状況でハマったのでメモ runでファイルコピーするだけのタスクを作った時、ファイルコピーを以下のようにやってしまった。 import shutil from luigi import Task class… [Python] luigiのTask#outputをopenで書き込まない場合 の続きを読む
luigiのタスクのoutputをDB登録とする時、前回までではSQLAlchemyとの連携を使用した。 その中でタスクのcomplete判定は以下のようになっている。 complete判定用にtable_updates… [Python] luigiとSQLAlchemyでUpsert の続きを読む
前回までの記事のちゃぶ台返しです。 そもそも「依存先タスクのoutputを元に、依存元のoutputパスが決定する」という要件の場合、本来outputが存在するかどうかを判断して、requires(およびrun)を実行す… [Python] luigiで動的アウトプットはしない の続きを読む
前回の残課題 ArchiveはDB登録する処理だから、outputはMySqlTargetにしたほうがいい どうやってoutputをDB登録にするか、普段SQLAlchemyを使っているのでSQLAlchemyとの連携を… [Python] luigiで動的アウトプット(DB登録) の続きを読む
最近luigiというワークフローフレームワークでPythonのバッチ処理を書いている。 このluigiの特徴として複数のタスクで依存関係を持たせることができ、以下のような流れで依存関係を解決する。 タスクは完了するとou… [Python] luigiで動的アウトプット の続きを読む
適当なキーワードでパッケージを探したら本当にあった Rubyにziplineというgemがある。ファイルのリストを渡すとzipに固めてストリーミングダウンロードしてくれるというRails向けのgemだ。今回同じことをPy… [Python] Bottleでzipをストリーミングダウンロード の続きを読む
突然デバッグの挙動が変わった VSCodeでPythonのデバッグをしようとした時、デバッグコンソールではなくターミナルにPython Debug Consoleが立ち上がってきた。デバッグ自体はいつも通りできるけど…な… [VSCode] Pythonデバッグの挙動 – 2018.3.0 (28 Mar 2018) の続きを読む