Rakuten công bố "mô hình AI hiệu năng cao lớn nhất Nhật Bản", trong đó tệp cấu hình cho thấy nó dựa trên kiến ​​trúc DeepSeek V3.

Theo 1M AI News, Tập đoàn Rakuten đã phát hành mô hình mã nguồn mở Rakuten AI 3.0, gọi đây là "mô hình AI hiệu năng cao lớn nhất Nhật Bản". Mô hình này sử dụng kiến ​​trúc MoE, với tổng cộng 671 tỷ tham số, kích hoạt 37 tỷ tham số cho mỗi lần suy luận và cửa sổ ngữ cảnh 128K. Nó được tối ưu hóa cho các kịch bản ngôn ngữ Nhật Bản và vượt trội hơn GPT-40 trong nhiều bài kiểm tra chuẩn tiếng Nhật. Mô hình này là một trong những kết quả của dự án GENIAC do Bộ Kinh tế, Thương mại và Công nghiệp Nhật Bản và Tổ chức Phát triển Công nghệ Công nghiệp và Năng lượng Mới (NEDO) thúc đẩy, và nhận được một số hỗ trợ về sức mạnh tính toán. Rakuten không tiết lộ nguồn gốc của mô hình cơ bản, chỉ nói rằng nó được xây dựng dựa trên kết quả của cộng đồng mã nguồn mở. Cộng đồng đã phát hiện trong các tệp của mô hình HuggingFace rằng tệp config.json của nó chứa "deepseek_v3" và các trường kiến ​​trúc liên quan, và tỷ lệ tham số và cấu hình ngữ cảnh phù hợp với DeepSeek V3, cho thấy rằng mô hình có thể dựa trên DeepSeek V3 với việc tinh chỉnh cho tiếng Nhật.