会社名

JAPAN AI株式会社

会社概要

JAPAN AI株式会社は、2023年4月に設立されたAIスタートアップです。

グロース市場に上場している株式会社ジーニーのグループ会社として設立されました。
ジーニーは、プロダクト開発において積極的にAI技術を活用しており、自社プロダクトである「GENIEE SFA/CRM」や「GENIEE CHAT」において、ChatGPTを用いた議事録の自動要約やメールの自動作成など、お客様の業務効率化や生産性向上につながるAI関連機能を提供しています。

このような状況の中、ジーニーグループはAI技術に関わる導入コンサルティング、プロダクト提供、ならびに研究開発をさらに推進するために、2023年4月に戦略的子会社である「JAPAN AI株式会社」を設立いたしました。

当社は「AIで持続可能な未来の社会を創る」というPurposeを掲げ、日本企業の生産性向上や産業の活性化のための様々なAIプロダクトの開発と提供を行っています。高度なプロダクトを開発するために、ChatGPTをはじめとした各種大規模言語モデルやGenerative AIなどの分野の研究も進めています。

昨年2024年11月には、国内企業としても一早く「AIエージェント」をローンチし、多くの企業様に高評価を頂いており、国内市場を席捲しております。
当社はAI市場のトップランカーであると自負しております。

ポジション

【JAPAN AI】AI QA Specialist (LLM Evaluation) / Japanese

仕事内容

JAPAN AI株式会社について
JAPAN AI株式会社は、AI技術を駆使して働く人々の可能性を飛躍的に高めることを目指し、上場企業である株式会社ジーニーのグループ企業として2023年4月に設立されました。当社は最先端のAI技術を活用し、国内外での研究開発を推進しています。

私たちが目指しているのは、単なる AI チャットボットの提供ではありません。企業の全 SaaS を統合し、AI が自律的に業務を実行する「企業の脳」— 次世代の基幹システムを構築することです。「JAPAN AI STUDIO」を中核に、DB さえあればアプリ不要、AI が作業して結果だけを返す世界を実装しています。

私たちはAIの持つ変革力を通じて、新たな価値を創出し、社会全体の進歩に貢献することを目指しています。AIによるイノベーションをリードし、テクノロジーが人々をより多くのことを達成できるようにする未来を共に創造しましょう。

募集背景
AI エージェントの出力品質は企業の業務に直結します。「なんとなく動く」では許されません。

JAPAN AI STUDIO が「企業の脳」として稟議承認・リソース配置・見込み顧客探索などの業務を自律的に実行する世界では、AI の出力が間違えれば、承認すべきでない稟議が通り、誤った人員配置が行われ、不適切な顧客にアプローチしてしまいます。「企業の脳」が信頼されるためには、生成回答の正確性・安全性・一貫性を科学的に評価・保証する仕組みが不可欠です。

JAPAN AI では、200 社を超える顧客が本番環境で利用する AI エージェントの品質を科学的に保証するため、自動評価パイプライン・レッドチーミング・統計的実験計画に基づく品質保証体制を構築する AI QA Specialist を募集します。

ミッション
Agentの出力品質を科学的に評価・保証する

AI エージェントの出力品質を科学的手法で評価・保証し、自動評価・レッドチーミング・安全性検証・回帰検出の仕組みを構築する。約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保する。

期待する役割について
AI QA Specialist として、AI エージェントの品質評価基盤の設計・構築・運用をリードしていただきます。

評価メトリクスの選定・設計から、自動評価パイプラインの CI/CD 組込みまでをオーナーとして担う
レッドチーミングの計画・実施により、リリース前に安全性リスクを検出する
統計的実験計画に基づく A/B テスト分析で、品質改善の効果を定量的に検証する
評価シグナルを研究・開発チームにフィードバックし、モデル改善の複利ループを作る
約 200 社が本番利用するプロダクトの品質を「科学する」アプローチで担保する

業務内容
評価基盤の設計・構築
評価セット (合成データ + 実ログ) の設計・構築・メンテナンス
評価メトリクス選定・設計 (win rate、task success、factuality、harm detection)
自動評価パイプラインの構築と CI/CD への組込み
エージェント・ハーネスの設計 (マルチターン・ツール利用・ロングコンテキスト対応)
安全性・品質検証
レッドチーミング (adversarial testing) の計画・実施
安全性 / ポリシー準拠の検証フレームワーク構築
プロンプト / ツール回帰テストの設計・実行
ハルシネーション・バイアス・出力品質の課題分析と改善
統計分析・レポーティング
統計的実験計画 (A/B テスト、有意差検定) の設計・分析
品質レポート作成と改善提案
回帰検出・品質トレンドの可視化
評価シグナルの研究・開発チームへのフィードバック
業務シナリオ

※以下は想定される業務シナリオの例です

■ シナリオ 1: 新モデル導入時の品質ゲート
LLM プロバイダーが新モデルをリリース。既存の評価セットで回帰テストを実行し、factuality スコアが 3% 低下していることを検出。原因を分析し、プロンプト調整で品質を維持したまま新モデルへの移行を完了。

■ シナリオ 2: エンタープライズ顧客向けの安全性検証
金融機関向けに JAPAN AI AGENT を導入する際、業界固有のレッドチーミングシナリオ (機密情報漏洩、不適切な金融アドバイス等) を設計・実施。ポリシー準拠率 99% 以上を達成し、顧客のセキュリティ審査を通過。

■ シナリオ 3: A/B テストによるプロンプト最適化の効果検証
エージェントの回答品質改善のため、2 種類のプロンプト戦略を A/B テストで比較。統計的有意差検定により、新プロンプトが task success rate を 12% 向上させることを実証し、本番適用を決定。

成果責任 (KR/メトリクス)
評価カバレッジ率 (テストケース網羅率)
回帰検出率 (リリース前の品質劣化検出率 ≥ 95%)
評価パイプライン実行時間 (CI/CD内で完了)
False Positive / Negative 率
安全性インシデント発生率 (リリース後)

開発環境
言語 : Python (評価パイプライン・分析), TypeScript / React / Next.js (フロントエンド部) / NX
評価 / QA : pytest, LangSmith, Weights & Biases, custom eval frameworks
データ : BigQuery, Spark, Pandas
インフラ : GCP (コンテナ / K8s), Docker, Terraform
CI/CD : GitHub Actions
ツール : Slack, Confluence, Linear, Google Workspace, GitHub, Notion
AI 開発支援 : Claude Code MAX Plan, Cursor, ChatGPT, Devin
作業環境 : Mac (Apple Silicon), デュアルモニタ対応

従事すべき業務の変更の範囲
　会社の定める業務

求める経験・スキル

必須条件
コンピュータサイエンス、ソフトウェア工学、人工知能、機械学習、数学、物理、それらの関連分野における学士号または同等の実務経験
ソフトウェアエンジニアまたは QA エンジニアとしての実務経験 3 年以上
LLM / 生成 AI の評価手法に関する知識 (プロンプト評価、出力品質の定量測定、ハルシネーション検出 等)
統計学・実験計画法の基礎知識
Python での評価パイプライン構築経験
CI/CD パイプラインへのテスト組込み経験
プロンプト / ツール回帰テストの設計経験
言語レベル : いずれか必須
日本語 : Fluent (プロダクト開発において齟齬なく議論を行えるレベル)
英語 : ビジネスレベル

歓迎条件
NLP / ML の評価ベンチマーク設計経験
AI 安全性・Responsible AI に関する知識
レッドチーミング / ペネトレーションテストの経験
マルチエージェント・ワークフロー、ツール利用、ロングコンテキストの評価経験
大規模データ処理 (Spark / BigQuery 等) の経験
論文読解・再現実装の能力
英語での技術コミュニケーション能力