Обновление статуса по Errloom, моей библиотеке / инструментарию для обучения с подкреплением. Все идет довольно хорошо, и мы вскоре начнем обучение некоторым концепциям суперинтеллекта. На изображении ниже показан главный экран Errloom. Одна команда принимает входной скрипт для обучения и разворачивает его на облачных вычислениях по вашему выбору: отображает список предложений в интерактивном TUI-списке для выбора, подключается через SSH, настраивает всю среду, клонирует errloom, запускает сервер vllm и запускает errloom для обучения — локальный errloom выступает в роли менеджера и панели управления, открывает WanDB в вашем браузере, когда начинается обучение, периодически загружает логи и контрольные точки и отображает трассировку удаленного процесса. Никаких ненужных jupyter или других избыточных шагов. Напишите среду для запросов своей мечты, выполните одну команду и оставьте компьютер на обед. Сообщение помощника демонстрирует, как я настроил прогрессивный рабочий процесс разработки. Поскольку я работаю с нулевым бюджетом и ресурсами, мне нужно, чтобы каждая копейка имела значение. Забудьте о аренде облачных вычислений только для разработки этой библиотеки. Нам нужно, чтобы она проходила через большую часть программной цепи на мощной домашней установке. Чтобы достичь этого, я разработал ряд команд и флагов функций для прогрессивного тестирования, строя весь конвейер кирпич за кирпичом, пока у вас не появится полная уверенность и осведомленность о том, что GRPO и обратное распространение получат именно те контекстные окна и маски токенов, которые вы хотите.