MiniMax-01：具有 456B 參數的進階語言模型
體驗具有混合注意力和 MoE 架構的強大語言模型，在推理、數學和程式設計任務中表現卓越，支援高達 4M token 的上下文長度
免費網站整合
使用簡單的 iframe 程式碼將我們的進階 AI 聊天界面整合到您的網站中。無需註冊。
主要特點
探索 MiniMax-01 的強大功能
混合架構
創新地結合 Lightning Attention、Softmax Attention 和 Mixture-of-Experts (MoE)，擁有 456B 總參數，每個 token 激活 45.9B 參數
- •80 層架構
- •64 個注意力頭
- •32 個專家網路
- •Top-2 路由策略
基準測試表現
在多項基準測試中取得優異成績，包括 MMLU (88.5%)、MMLU-Pro (75.7%) 和 GSM8K (94.8%)
- •強大的數學推理能力
- •進階程式設計能力
- •複雜問題解決
- •長上下文理解
長上下文處理
在推理時支援最多 400 萬個 token，在訓練時支援 100 萬個 token
- •擴展的上下文視窗
- •高效的 token 處理
- •文檔理解能力
- •大規模分析
進階注意力機制
每 7 層 Lightning Attention 後配置一層 Softmax Attention 的混合注意力機制
- •增強的上下文理解
- •高效的資訊處理
- •平衡的注意力分配
- •優化的性能表現
專家網路
32 個專門的專家網路，具有 9216 隱藏維度和高效的路由策略
- •專門處理能力
- •動態路由
- •任務優化
- •高效計算
模型架構
為實現最佳性能和效率而設計的最先進架構
- •隱藏維度：6144
- •詞彙量：200,064
- •RoPE 位置編碼
- •進階參數共享
多樣化應用
在數學、程式設計和推理等多個領域具有全面的能力
- •數學運算
- •程式碼生成
- •複雜推理
- •知識檢索
性能優化
使用先進技術對訓練和推理進行高度優化
- •高效的參數激活
- •平衡的負載分配
- •優化的記憶體使用
- •快速的推理速度
MiniMax-01 成就
在語言和視覺任務中的領先表現
基準測試卓越表現
MiniMax-01 在多項基準測試中取得優異成績，包括在 MMLU 上達到 88.5%、MMLU-Pro 上達到 75.7%、GSM8K 上達到 94.8%，展現出強大的推理和解決問題能力。
進階架構
擁有 456B 參數，每個 token 激活 45.9B 參數，MiniMax-01 結合了 Lightning Attention、Softmax Attention 和 MoE 以實現最佳性能。
長上下文處理
在推理時支援高達 4M token，在訓練時支援 1M token，能夠有效處理大型文檔和複雜任務。
視覺能力
MiniMax-VL-01 擴展了模型的視覺處理能力，支援從 336×336 到 2016×2016 的動態解析度，在視覺任務上取得優異表現。
基準測試表現
語言理解與推理
程式設計與開發
數學推理
技術規格
探索 MiniMax-01 的進階架構和功能
MiniMax-01 架構詳情
結合 Lightning Attention 和 MoE 的進階神經架構
MiniMax-01 研究
透過創新架構和技術推進人工智慧發展
混合架構
革命性地結合 Lightning Attention、Softmax Attention 和 Mixture-of-Experts (MoE) 架構，採用先進的並行策略
長上下文處理
透過創新技術如 LASP+ 和 varlen ring attention，在推理時支援高達 4M token 的擴展上下文能力
高效擴展
採用先進的並行策略，包括 Linear Attention Sequence Parallelism Plus (LASP+) 和 Expert Tensor Parallel (ETP)
關於 MiniMax
通過創新架構推進人工智慧發展
公司概覽
MiniMax 致力於通過創新架構和在注意力機制與專家系統領域的先進研究，開發最先進的人工智慧模型。
核心技術
我們的旗艦模型結合了 Lightning Attention、Softmax Attention 和 Mixture-of-Experts (MoE) 架構，在各種任務中實現卓越性能。
下載 MiniMax-01 模型
選擇 MiniMax-Text-01 和 MiniMax-VL-01 模型
MiniMax-01 部署選項
量化選項
支援 int8 量化，具有專門模組以實現最佳性能
- Int8 權重量化
- 選擇性模組轉換
- 優化記憶體使用
多 GPU 部署
使用先進的並行策略在多個 GPU 上進行高效分配
- 裝置映射配置
- 層級分配
- 負載平衡
模型載入
具有 bfloat16 支援和緩衝區管理的靈活載入選項
- Bfloat16 精度
- 緩衝區卸載
- 自定義裝置映射
生成設定
可配置的生成參數以實現最佳輸出控制
- 自定義 token 限制
- 快取管理
- 回應格式化
如何使用 MiniMax-01
多種方式存取和使用 MiniMax-01 的功能
選擇存取方式
選擇使用我們的線上聊天界面（Hailuo AI）、API 平台或透過 Hugging Face 直接存取模型
線上聊天
造訪 www.hailuo.ai 立即開始與 MiniMax-01 聊天 - 無需註冊
API 整合
前往 intl.minimaxi.com 存取我們的 API 平台，獲取開發者文件和整合指南
模型部署
從 Hugging Face 下載並部署模型，支援文字和視覺語言任務
常見問題
關於 MiniMax-01 的常見問題
MiniMax-01 的架構是什麼？
MiniMax-01 採用混合架構，結合了 Lightning Attention、Softmax Attention 和 Mixture-of-Experts (MoE)。它擁有 456B 總參數，每個 token 激活 45.9B 參數，80 層結構和 64 個注意力頭。
MiniMax-01 的上下文長度是多少？
MiniMax-01 在推理時支援最多 400 萬個 token，在訓練時支援 100 萬個 token，能夠有效處理長文檔和複雜任務。
MiniMax-01 在基準測試中的表現如何？
MiniMax-01 在各種基準測試中取得優異成績，包括在 MMLU 上達到 88.5%、MMLU-Pro 上達到 75.7%、GSM8K 上達到 94.8%，展現出出色的推理和解決問題能力。
什麼是 MiniMax-VL-01？
MiniMax-VL-01 是我們基於 MiniMax-Text-01 開發的視覺語言模型。它具有 303M 參數的視覺轉換器 (Vision Transformer, ViT)，支援從 336×336 到 2016×2016 的動態解析度。
如何使用 MiniMax-01？
您可以通過我們的線上聊天界面（Hailuo AI）、API 平台（intl.minimaxi.com）使用 MiniMax-01，或從 Hugging Face 下載模型。
有哪些部署選項？
MiniMax-01 支援多種部署選項，包括 int8 量化、多 GPU 分配，以及支援 bfloat16 的靈活載入方式。
硬體需求是什麼？
模型可以在多個 GPU 上部署，具有可自定義的裝置映射和負載平衡功能，以實現最佳性能。
是否提供 API？
是的，我們在 intl.minimaxi.com 提供完整的 API 平台，包含開發者文檔和整合指南。