Четверг, 28 Марта 2024

Нужна платформа для сбора данных
Где я смогу загружать текст в формате маркдаун, картинки в формате png, а так же видео в формате mp4. Если сделать такую унификацию, то можно гораздо легче обучать нейросеть на унифицированных данных.

Идея такая:

• гит сервер. Можно создавать бранч. Бранч автоматом деплоится и можно смотреть как выглядит бранч. Деплоится не копия, а лишь измененные данные. Лод баланчер подменяет на мейн файлы которые не были изменены.
• есть мердж реквест. мерж реквест по сути это запрос на слияние, и создание эмбедингов измененных файлов мастера после слияния.
• на сайте можно создать аккаунт. У аккаунта есть воркспейсы - по сути гит репозитории. репозиторий можно скачать локально, можно редактировать на сайте.
• есть чат. по сути это натренерованная модель. можно чатиться с файлом, ворекспейсом, можно со всем аккаунтом
• юай документа. маркдаун, с пнг и мп4

сами вычисления по сути не большие, можно попробовать обойтись s3 и ecs, или даже лямбдами