Công ty AI của Elon Musk xAI phát hành cấu trúc và trọng lượng mô hình Grok-1

Theo PANews, công ty trí tuệ nhân tạo xAI của Elon Musk đã công bố công bố trọng lượng và cấu trúc của mô hình chuyên gia lai 314 tỷ tham số, Grok-1. Mô hình ngôn ngữ lớn được xAI đào tạo từ đầu bằng cách sử dụng kiến ​​trúc mô hình chuyên gia kết hợp, với 25% trọng số hoạt động trên một mã thông báo nhất định. Trọng lượng mô hình cơ sở và kiến ​​trúc mạng hiện có sẵn theo giấy phép Apache 2.0. Giai đoạn đào tạo trước của Grok-1 đã hoàn thành vào tháng 10 năm 2023 và phiên bản hiện được phát hành là điểm kiểm tra mô hình cơ sở ban đầu, chưa được tinh chỉnh cho bất kỳ ứng dụng cụ thể nào. Người dùng quan tâm đến việc sử dụng mô hình có thể làm theo hướng dẫn được cung cấp trên github.com/xai-org/grok.