【10msecを極める】
ビッグデータを扱ううえで、10msecであろうとも、かなりシビアに意識しています。いかに大量のデータを処理し、素早くデリバーすることが価値になるからです。
大規模データは負荷分散アーキテクトを取り入れ、バッチ処理をするのが一般的なデータウェアハウスです。
しかし今はIoT時代。リアルタイムでデータを処理し、1秒以内でデリバーしてほしいというニーズが多くなってきました。

【Sparkで実現した新しい形】
弊社のデータプラットフォームはバッチ・リアルタイムのどちらの処理も実行できるよう、新しい形のデータプラットフォームを構築しました。バッチ・リアルタイム共にSparkを使用して構築しているのですが、悩む箇所は全く違います。
そんな悩み、一緒に解決してくれるエンジニアを募集しております!!

▼募集要項はこちら
SparkでIoT時代のデータウェアハウスを構築したいエンジニア募集!
https://www.wantedly.com/projects/76406

9f76facc 0ca4 455d 91ac 90c5c55181f7

Page top icon