最近仕事で Python 環境作成しまくってるのでメモ。 TODO pyenv で複数バージョンの Python をインストール pyenv-virtualenv で同一バージョンの複数環境を […]
続きを読む「Python」カテゴリーアーカイブ
Spark からADLS2 にアクセスする
Spark から Azure Data Lake Storage Gen2 のファイルを開きたかったのでメモ Pyspark 実行時に依存ライブラリを指定すればインストールしてくれる。 使ってる Spark […]
続きを読むSpark から S3 にアクセスする
Spark から S3 のファイルを開きたかったのでメモ ~/.profile に AWS Access Key と Secret を追加する。 下記の replace_here は正しいキーとシークレット […]
続きを読むSpark から Google Cloud Storage にアクセスする
Spark から GCS のファイルを開きたかったのでメモ gcs-connector-hadoop3-latest.jar をダウンロードして使う。 続いて .profile に GCP Service […]
続きを読むUbuntu 22.04: Minikube + docker で Nvidia GPU を使う
個人用に GPU が使える K8S 環境が欲しかったのでメモ。 Docker まずは docker のインストール それから、現在のユーザーでも docker を使えるようにする。 これで一旦 […]
続きを読むPython で CSV セル内の改行を除去
CSV の中に改行を含むセルがあってそれを除去したかったのでメモ。 改行を含むセルはダブルクオートで囲まれている。 Python3 でこうすれば OK.
続きを読む