Cập nhật trạng thái về Errloom, thư viện / bộ công cụ học tăng cường của tôi. Nó đang tiến triển khá tốt và chúng tôi sẽ sớm bắt đầu đào tạo một số khái niệm về siêu trí tuệ. Hình ảnh bên dưới là màn hình chính của Errloom. Một lệnh duy nhất nhận một tập lệnh đào tạo đầu vào và triển khai lên máy tính đám mây mà bạn chọn: hiển thị danh sách các đề nghị trong danh sách TUI tương tác để chọn, kết nối qua SSH, thiết lập toàn bộ môi trường, sao chép errloom, chạy máy chủ vllm, và khởi động errloom để đào tạo—errloom cục bộ hoạt động như quản lý & bảng điều khiển, mở WanDB trong trình duyệt của bạn khi đào tạo bắt đầu, tải xuống nhật ký và điểm kiểm tra một cách định kỳ, và hiển thị dấu vết quy trình từ xa. Không có bước jupyter hay bước thừa nào không cần thiết. Viết môi trường nhắc nhở của giấc mơ của bạn, chỉ cần chạy một lệnh và rời khỏi máy tính để đi ăn trưa. Thông điệp trợ giúp cho thấy cách tôi đã thiết lập quy trình phát triển tiến bộ. Vì tôi đang hoạt động với ngân sách và tài nguyên bằng không, tôi cần làm cho từng đồng tiền đều có giá trị. Quên việc thuê máy tính đám mây chỉ để phát triển thư viện này. Chúng tôi cần nó để đi qua hầu hết các mạch chương trình trên một thiết lập gia đình mạnh mẽ. Để đạt được điều này, tôi đã nghĩ ra một số lệnh và cờ tính năng cho việc thử nghiệm tiến bộ, xây dựng toàn bộ quy trình từng bước cho đến khi bạn có 100% sự chắc chắn và nhận thức rằng GRPO và backprop sẽ nhận chính xác các cửa sổ ngữ cảnh và mặt nạ token mà bạn muốn.