4つのコア研究領域でAIの限界に挑み、実世界への応用を加速します。
Transformer アーキテクチャの根本的改良から、RLHF・Constitutional AIを用いたアライメント技術まで。数兆パラメータ規模の効率的学習手法を独自開発。
主要テーマ
Neural Architecture Search（NAS）と Mixture-of-Experts（MoE）の融合により、同等の精度を10分の1のパラメータ数で実現する次世代アーキテクチャを研究。
主要テーマ
視覚・言語・音声を統合した次世代マルチモーダルモデルの研究。クロスモーダル表現学習と統合推論フレームワークで人間の知覚に迫る理解能力を実現。
主要テーマ
スマートフォン・IoTデバイス・カスタムASICへの大規模モデルのデプロイを可能にする量子化・プルーニング・知識蒸留技術。精度劣化なしに100倍の効率化を目標。
主要テーマ
従来のAttentionの計算複雑度O(n²)を、新しいスパースアテンション手法によりO(n log n)に削減。128Kトークンのコンテキスト処理を従来比8倍の速度で実現し、翻訳・要約・コーディング等のタスクで最高精度を達成。
著者: 高橋 研一, 田中 美咲, Zhang Wei, 松本 アイ, et al.
主な成果
キーワード
Neural Node Craft Research Labの主要発表論文。
知識と技術をコミュニティと共有し、AIエコシステムの発展に貢献します。
効率的スパースアテンション機構のPyTorch実装。プロダクション対応済みTRITONカーネル付き。
視覚・言語・音声の統合学習のためのモジュール型フレームワーク。HuggingFace互換。
モデルの量子化・プルーニング・デプロイを一貫して行う端末向けAI最適化ツール。
世界トップクラスの研究機関と共同研究プログラムを推進しています。
Neural Node Craft Research Labでは、学部生・大学院生を対象とした研究インターンシップを随時募集しています。世界クラスの研究者とともに、最先端のAI研究に取り組みましょう。