キラメックス株式会社 / 開発チーム
EC2基盤のインフラをコンテナ基盤環境へ刷新
# 概要 自社Webアプリケーションが稼働しているインフラをEC2ベースのインスタンスサーバーからECSベースのコンテナ環境へ移行させた 大きくは下記3つのサーバー群を移行した * Webリクエストを受けるアプリケーションサーバー * 非同期な処理を実行するJobサーバー * 定期実行のバッチを実行するバッチサーバー
400万人が利用する会社訪問アプリ
株式会社タスキ / 開発チーム
ログインユーザーのみに公開
「速さ」「正確さ」よりも 「美しさ」「味わい」が利益になる世界にしたい とふわっと考えている今日このごろです。 技術要素としては、LLMアプリケーション構築をやっていきたいです。
プロダクトの新規機能開発を担当しています。
# 背景 2023年1月に法務省から不動産登記所備付地図オープンデータが公開された。一方、中身に含まれる地図座標は、実在する地球空間にマッピングできる公共座標系とそれができない任意座標系の2種類含まれた状態で公開され、後者のデータは何がどこにあるかという位置情報を実質利用できないものとなっていた。 # 目的 社内データと、任意座標系のオープンデータに含まれる諸々の属性データを突き合わせ、任意座標系を公共座標系へ変換することを目指す # 活用フレームワーク、ツール等 QGISジオプロセシング, ruby on rails, GoogleスプレッドシートAPI
# 背景 不動産情報を記載した大量の紙あるいはスキャンデータを、自社不動産管理SaaSへインポートする際、一枚一枚、各項目を人力で登録する必要があった。 また、既存のOCRサービスにおいては、認識した文字列から目的のデータを特定することが、構造化され規定されたフォーマットでないと難しかった。(不動産会社ごとにフォーマットが異なる) # 関わり方 そこでchatgptを導入することで、非定形なOCRスキャンデータから目的の文字データを精度良く抽出できるようになるのではないかという考えから、主体的に部署内提案し、実際にプロジェクトとして進めていくことが決定した。 プロンプトの与え方がどのように抽出精度に影響を与えるかを検証し実用レベルで使えることを実証した後、処理サーバーのインフラ構築、実装、既存のSaaSアプリケーションとの処理連携実装を行った。また、事業部側と新機能のUIについて合意を取るために、初めてFigmaを使ってUIデザインに挑戦した。画面遷移のイメージをプロトタイプ作成を通してスムーズにチーム内で共有でき、実装後の認識ずれも防ぐことができた。 # 得たもの・教訓 もともとビジネスアイディアとしてはあったが、どう頑張っても技術力や人員工数的に無理なのではないかと社長含めチームの誰もが本当はやりたいけど諦めていたテーマだった。それに対して、本当にできないのか、少しでも可能性のある方法はないのかと休日も含めて常に考えることをやめずにいたときに、chatgptを使う案を思いついた。諦めずにいればたいていのことは成し遂げられるし、完璧ではないにせよ、何かしらやりようがあるという教訓を学んだ。 そして、誰もがやらないことに取り組むことこそ、自分は燃える性格であることに気づいた # 活用フレームワーク、ツール等 Microsoft OpenAI Service, Microsoft Azure Form Recognizer, make, AWS Amplify, AWS CDK, Figma # 今後の課題 ## プロンプト改善の仕組み プロンプト評価、A/Bテスト、LLMへのフィードバック ## 抽出項目ごとの抽出値信頼性 LLMが出力した抽出値の確からしさ(=信頼性)を出す方法の模索 → 信頼性が低いものはユーザーへ通知したり、非表示にしたりなどしたい ## より多様な資料フォーマットへの対応 1枚に複数の物件情報が記載のフォーマット
# 概要 指定場所周辺の用途地域などの建築規制情報を提供するAPIをフルスクラッチで開発し、バックエンド側の要件定義、インフラ構築、APIロジック実装を担当した。 # 活用フレームワーク、ツール等 インフラ構築はaws cdkを用い、APIアプリケーションはRuby on Railsで実装した。DBはPostGIS拡張させたPostgreSQLのRDSインスタンスで稼働させた。 また、GISで作成した地理空間データのファイルを安全にDBにインポートするための運用自動化ツールとしてAWS S3をSlackと連携させた Slack Botを AWS Lambda + Slack Boltの組み合わせで開発した。 # プロジェクトへの関わり方 GeoSpatialなデータを扱うのは初めてだったため、DBでのデータの取り扱いやGISソフト(QGIS) の操作方法を学習するところから始め、要件のヒアリングや全体の設計までを一人で担当した。 さらに、APIと既存サービスとの連携・つなぎこみの部分も関与し、rust 実装のクライアントに対して修正を実施したりなども行った。rustは初めて触る言語だったため苦労が多かったが、2週間ほどかけてつなぎこみのPRマージまでこぎつけた。 # 意識したこと 位置情報のレイヤデータを拡張していきやすいようなDBテーブル設計 非エンジニア(建築士)の方でもデータの登録を簡単にできるようSlack botを作成 # 現在の状況・システム運用 現在はすでにAPIの一部本番開放が始まり、現在のところ安定運用を継続している。 # 課題 - 速度改善 - (直接外部からリクエストを受けることを見越した)認証
程 宏輝さん
のプロフィールをすべて閲覧
過去の投稿を確認する
共通の知り合いを確認する
程 宏輝さんのプロフィールをすべて見る
キラメックス株式会社 / 開発チーム
# 概要 自社Webアプリケーションが稼働しているインフラをEC2ベースのインスタンスサーバーからECSベースのコンテナ環境へ移行させた 大きくは下記3つのサーバー群を移行した * Webリクエストを受けるアプリケーションサーバー * 非同期な処理を実行するJobサーバー * 定期実行のバッチを実行するバッチサーバー