MyPitbike Knowledge Base

Модернизировал старый тех. стек, сконвертировал MySQL в PostgreSQL, подключил BI инструмент и построил флоу трансформации вычленив самые ценные и популярные статьи, классифицировал по темам и создал технический промпт для перевода технических текстов на английский язык, подключил OpenAI API для пакетного перевода. Экспортировал и конвертировал статьи из базы (изначально в html разметке) в md файлы с сохранением форматирования (подзаголовки, списки и т.д.). С помощью python опредилил лист ссылок на иллюстрации и выкачал их локальные копии, подключил к Google Colab модель InvSR и пакетно проапскейлил все иллюстрации в плохом разрешении. Запустил Docusaurus, загрузил контент и настроил навигацию, определил стили, создал иллюстрации с помощью Recraft, подключил поиск Algolia, настроил crawler. Использовал библиотеку MinerU для конвертации PDF мануалов в md файлы. Создал репозиторий в GitHub и подключил CI/CD в Netlify для сборки проекта. Перевел управление name servers в Cloudflare и подключил домен к проекту. Далее использовал базу знаний как источник для RAG чатбота. Отпроцессил md файлы очистив от ссылок, иллюстраций и лишнего форматирования, создал векторную базу данных, установил LangChain, Ollama и локальную модель Mistral-7B, настроил параметры генерации, написал системные промпты, реализовал CLI интерфейс для взаимодействия вопрос-ответ. Подробные детали в репозиториях в GitHub. В планах запустить в облаке и подключить к Telegram.