すごいよく使うけどよく忘れるのでメモ TSVのインポート ※ヘッダあり・10行未満のエラーは無視 TSVでエクスポート ※ヘッダなし
続きを読む「Data Engineering」カテゴリーアーカイブ
Spark ScalaでsortByKeyを降順にする
SparkでreduceByKeyしたあとにsortByKeyで降順にソートしたかったのでメモ sortByKey()の引数にfalseを渡す。
続きを読むGoogle Spreadsheetの1枚目シートをBigQueryの外部テーブルにする
社内の同テンプレのスプレッドシートまとめるのこれでやると楽だったのでメモ。 データセットは先に作っておかないと怒られる。 しかしこの方法はシート1枚目しか対応してない仕様。 複数シートも扱うならAppsScriptでBQ […]
続きを読む