DMM.comの多種多様な40以上のサービスで発生するユーザーの行動ログや、業務データを収集、加工して、事業成長に還元するのがビッグデータ部です。その中でDRE(Data Reliability Engineering)チームでは、そのデータ収集、加工の中心となるビッグデータ基盤の開発を担いながら、データ活用で事業貢献することをミッションに日々取り組んでいます。今後さらなるデータ活用を推進するために、ビッグデータ基盤の改善を一緒に進めてくれる仲間を募集しています。
【業務内容】
会員数2,900万人超のDMM.comで運営する、各サービスの行動ログ等を集約するビッグデータ基盤の構築/改善および、そのデータを収集/提供するためのするアプリケーションの設計・開発・運用をご担当頂きます。
ー 開発技術 ー
・ミドルウェア
・Hadoop, Hive, Spark, YARN, Hue, Sqoop (CDH)
・Presto
・AWS (S3, Glue, Athena, Lamdba, etc…)
・Digdag, Fluentd, Embulk
・Kafka, RabbitMQ
・Redash, Apache Zeppelin, Jupyter, RStudio
・Docker (docker-engine, docker-compose, swarm-mode)
・MariaDB (MariaDB Galera Cluster), PostgreSQL (pgpool-II), Aerospike
・Nginx
・Ansible
・Jenkins
・開発言語
・Golang (Echo, gorm)
・Node.js (Express)
・Python
・Bash
・Erlang
・SQL (HiveQL, Presto)
・ツール
・GitHub Enterprise
・CircleCI
・Sider
・Bitbucket
・Atlassian(Confluence, Jira)
・Slack
【必須スキル・経験】
・Linux環境の構築、運用経験
・Hive, Presto等のSQL on Hadoopを利用した集計処理の開発経験
・Golang, Java, Ruby, Python等を用いた、Webアプリケーションの開発および運用経験
【歓迎スキル・経験】
・Hadoopクラスタの構築、運用経験(オンプレ、クラウド問わず)
・Hadoopディストリビューション(CDH または HDP) の構築、運用経験
・Hiveのクエリチューニングの経験
・リアルタイムストリーミング処理(Kafka, Storm等)に関する知識、運用経験
・大規模トラフィックを扱うシステムの開発、運用経験
・Docker等のコンテナ技術を用いた開発、運用経験
・プロジェクト・マネージメント もしくはリーダ経験
【求める人物像】
・「ビッグデータ活用を促進して、データ活用の文化を根付かせたい!」という気持ちをもっている方
・自身、チームの利益だけでなく、全体最適の観点で物事を捉えられる方
・当事者意識を持って業務に励み、変化に柔軟に対応できる方
・失敗を恐れずにチャレンジし、多くの失敗から学べる方
・日々の業務から、課題を発見し、自らその課題に対して動ける方
< 応募後のフロー >
▼応募
▼会社説明会へのご参加
※ご応募いただいた方に担当より説明会のご案内をさせて頂きます。
▼面接1~2回
▼内定