digdagを使っててハマった事メモ - Septeni Engineer's Blog
2018 - 05 - 18 digdagを使っててハマった事メモ S3にあるファイルを加工したり中間結果のファイルを保存したりTreasureDataに格納するような処理を書いていったときに発生したエラーメモ。 digdag version 0.9.24 github.com サーバーモードでdownload_fileオプションが使えない プロジェクト ディレクト リ内にダウンロードしたはずのフ...
girled digdag, ファイル, サーバー, ディレクト, オペレータ, sub, workflow, treasuredata, バッチ処理, データエンジニアリン いいナレッジまとめ。too many tasks は俺もハマってかなり悩んだので布教したい。(対応はデフォルトの1000は超えないように分割したが)