#### ポジションの詳細 データの処理・分析基盤の設計、開発、運用をしていただきます。 #### 【具体的な仕事内容】 - 外部とのデータ連携 - 取引先あるいは社内フロントメンバーとデータ仕様や処理のスキームについて要件を議論し決める。 - AWS S3, Google Cloud Storage, Google Drive と言った各種ストレージと BigQuery 間でのデータの転送処理を Cloud Functions と Airflow を用いて実装・管理する。 - IAM の発行・管理、データのアクセスコントロールを行う。 - データサイエンティストと意見交換しながら、データの取得や前処理、予測モデル・予測値生成、および抽出のバッチ化・運用を行う。 - データ処理に係るコストのモニタリング、最適化施策を行う。 - データ連携に係るプライバシーマークへの対応を行う。 #### 【Must なスキル・経験】 - 社内外と的確かつ迅速に物事を相談して進めるためのコミュニケーションスキル - データベース、処理スキームの設計、運用 - ビッグデータの処理スクリプト開発（大量ファイル・大容量データにおける文字コード変換、文字置換、一括解凍・圧縮等） - Python, Java, Go, Rのいずれかの言語による簡易なデータ分析スクリプト開発 #### 【Want なスキル・経験】 - クラウドサービス（特にGoogle Cloud, AWS）の利用経験 - Google Cloud : Cloud Storage | Cloud Functions | Dataflow | BigQuery | Compute Engine | AI Platform | Monitoring - AWS : S3 | Lambda | Data Pipeline | Redshift | E2 | SageMaker | Cost Explorer - Airflow を使ったバッチ処理の実行、運用 - REST API によるデータの GET|POST の経験 - 統計検定２級以上の知識 - 統計モデル・機械学習の構築経験 #### 【求めるエンジニア像】 - 扱うデータの内容および処理の仕様は様々であり、やっかいな場合がよくあります。それら泥臭さや面倒さを物ともせず的確な処理ができる頼れるエンジニアを探しています。 - 社内外にはデータに関する理解度や扱い方が異なる職種の方が多くいる中で、その前提を理解した上で適切にコミュニケーションを取って、迅速に物事を決めることが求められます。 - データの種類・ボリューム・活用方法は常に変動している中で、最適なソリューションを自発的かつ積極的に提案・実行して頂きたいです。 - Web系の開発エンジニアで、不具合調査や運用でMySQLのSQLを書いたことがあり、クラウドを利用した経験のある人なら、働きながらジョブチェンジが可能です。 - データアナリストやデータサイエンティストのご経験をお持ちでデータエンジニア領域に幅を広げたい方も大歓迎です。 #### 【動画】 Google Cloud Day: Digital ’21 〜 2021.5.26 「今」の混雑状況を可視化する、位置情報ビッグデータの超高速処理基盤の作り方」 https://www.unerry.co.jp/news/googleclouddaydigital21/