Технический отчет Seedream 3.0

На уровне данных мы удвоили набор данных, используя парадигму обучения с учетом дефектов и структуру совместной выборки данных с двойной осью. Кроме того, на этапе предварительного обучения мы применили несколько эффективных техник, таких как обучение со смешанным разрешением, кросс-модальный RoPE, выравнивание представлений и временную выборку с учетом разрешения. На этапе пост-обучения мы использовали разнообразные эстетические подписи в SFT и модель вознаграждения на основе VLM с масштабированием, что позволило получить результаты, хорошо соответствующие человеческим предпочтениям. Кроме того, Seedream 3.0 является пионером новой парадигмы ускорения. Применяя согласованное ожидание шума и выборку временных шагов с учетом важности, мы достигли 4-8-кратного ускорения при сохранении качества изображения. Seedream 3.0 демонстрирует значительные улучшения по сравнению с Seedream 2.0: он повышает общие возможности, в частности для рендеринга текста со сложными китайскими иероглифами, что важно для профессиональной типографики. Кроме того, он обеспечивает изначально высокое разрешение (до 2K), позволяя генерировать изображения высокого визуального качества.