研究開発の計算環境を、もっと扱いやすくするために|HatiLabが向き合う課題
Photo by Mohammad Rahmani on Unsplash
こんにちは。はなびAI株式会社 プロダクト担当です。
はなびAIでは、HPCやAI向けの統合計算ソフトウェアプラットフォーム「HatiLab」の開発に取り組んでいます。
これまでの記事では、HatiLabの概要や、当社が取り組む技術領域についてご紹介してきました。
今回はもう少し具体的に、研究開発の現場でどのような課題があり、HatiLabがどのような場面で役立つことを目指しているのかについてお話しします。
目次
研究開発の現場では、多くの計算タスクが動いている
課題は「計算機の性能」だけではない
HatiLabが目指す使いやすさ
チームで使うことを前提にする
AI開発とHPCの間にあるハードルを下げる
今後に向けて
研究開発の現場では、多くの計算タスクが動いている
大学、研究機関、企業のR&D部門では、日々さまざまな計算タスクが発生します。AIモデルの学習、シミュレーション、大規模データ処理、モデル評価、実験結果の比較など、研究開発の内容によって必要な計算は大きく異なります。一つひとつの計算は専門的な内容ですが、現場ではそれらを効率よく実行し、進捗を確認し、結果を整理していく必要があります。計算環境そのものが高度になるほど、それをどのように管理し、チームでどう使うかも重要になります。
課題は「計算機の性能」だけではない
HPCやAIの現場では、高性能な計算リソースが重要です。ただ、実際の運用では、計算機の性能だけでは解決できない課題もあります。たとえば、
- どのリソースが空いているのか分かりにくい。
- どのタスクが実行中なのか確認しづらい。
- ジョブが失敗したときに、どこを見ればよいのか分かりにくい。
- 実験結果やログが散らばってしまい、後から追いづらい。
こうした細かな負担が積み重なると、研究者や開発者が本来集中したい作業に時間を使いにくくなります。HatiLabでは、こうした運用面の課題を少しでも減らし、計算環境をより扱いやすくすることを目指しています。
HatiLabが目指す使いやすさ
HatiLabで大切にしているのは、計算リソースを単に管理するだけではありません。利用者がタスクを実行し、進捗を確認し、結果やログを見ながら次の作業に進めるようにすることです。研究開発では、同じような実験を条件を変えて何度も実行することがあります。その中で、どの条件で実行したのか、どの結果が得られたのか、どこで失敗したのかを把握できることはとても重要です。HatiLabでは、こうした日々の研究開発の流れに寄り添いながら、計算タスクを扱いやすくすることを目指しています。
チームで使うことを前提にする
研究開発は、一人だけで完結するとは限りません。複数の研究者やエンジニアが同じ計算環境を使う場合、リソースの利用状況やタスクの進捗をチームで把握することが必要になります。
- 誰がどのタスクを実行しているのか。
- どのリソースが使われているのか。
- どの結果を参照すればよいのか。
こうした情報が整理されていることで、チーム全体の作業も進めやすくなります。HatiLabでは、個人の作業だけでなく、チームでの研究開発や検証にも使いやすいプラットフォームを目指しています。
AI開発とHPCの間にあるハードルを下げる
AI開発では、学習、評価、データ処理など、多くの計算処理が発生します。一方で、HPC環境は専門性が高く、慣れていない人にとっては使い始めるまでにハードルを感じることもあります。HatiLabでは、AI開発に関わる人が、よりスムーズに計算環境を活用できるようにすることも大切にしています。高度な計算環境を、限られた人だけが使うものにするのではなく、研究開発に関わるより多くの人が扱いやすい形にしていくこと。
それが、HatiLabで取り組んでいきたいテーマの一つです。
今後に向けて
HatiLabは、まだ成長途中のプロダクトです。今後も、大学、研究機関、企業のR&D部門、AI開発チームなど、実際に計算環境を利用する方々の声を聞きながら、より使いやすい形へと改善していきたいと考えています。計算リソースの管理、タスク実行、ログ確認、結果整理、チームでの運用など、取り組むべきテーマは多くあります。研究開発の現場で本当に役立つプラットフォームをつくるために、これからも少しずつ改善を重ねていきます。
今後もWantedlyを通じて、HatiLabやはなびAIのプロダクト開発について発信していきます。