司祭はイワシ

備忘録として読んだ本や写真、思い付きを共有します。

CircleCI + DVC + Google Drive

目的

DVC+GoogleDriveをCircleCIで使用する。 CircleCIでgoogledriveにアップロードしたファイルをdvc pullしたい。

解決策

DVCでgoogle driveを初めて使用する時に、認証情報として.dvc/tmp/gdrive-user-credentials.jsonが作られている。

このファイルのJSONをcircleCIの環境変数としてGDRIVE_CREDENTIALS_DATAというkeyで登録しておくことで、circleCIでの認証をスキップできる。

jobs:
  build-and-test:
    docker:
      - image: cimg/python:3.7.7
    steps:
      - checkout
      - run: pip install --upgrade pip
      - python/install-packages:
          pkg-manager: pip
      - run:
          name: Fetch Reference Genome
          command: dvc pull

参考