Как и зачем я построил ETL для загрузки данных из текстовых файлов и обновления отчетов с помощью Loaded Files

Обо мне

Разработчик баз данных/хранилищ данных/SSIS

Проблема, которую я хотел решить

Проблема заключалась в том, что нам нужно загружать CSV-файлы из большого двоичного объекта Azure и на основе этих файлов обновлять определенные отчеты Power BI и Excel.

Что такое ETL для загрузки данных из текстовых файлов и обновления отчетов с использованием загруженных файлов?

Стек технологий

Для этого я создал Staging Db, а в Staging Db в одной таблице я поместил имена файлов, которые должны быть загружены в БД. Во второй таблице я помещаю имена отчетов и имя хранимой процедуры, которая должна быть выполнена, если ее триггеры (файлы, необходимые для обновления отчета) загружаются в БД. В третьей таблице я помещаю имена CSV-файлов напротив идентификатора отчета. (Каждый отчет имеет разные файлы триггеров.)

Процесс построения ETL для загрузки данных из текстовых файлов и обновления отчетов с помощью загруженных файлов

Я разработал ETL. ETL состоит из двух частей. Часть 1 предназначена для загрузки файлов в базу данных, а часть 2 — для выполнения хранимой процедуры отчета, если ее файлы загружены. Чтобы загрузить хранимую процедуру для выполнения, я создал представление и записал логин в этом представлении. (Какой отчет необходимо обновить)

Проблемы, с которыми я столкнулся

Разработка пакетной логики. (Какой отчет необходимо обновить)

Основные выводы

Изучил и стал экспертом в области конфигурации SSIS ETL

Советы и советы

Разработайте ETL, основанный на конфигурации, например, в том случае, если необходимо добавить новые файлы, просто добавьте файлы в таблицу базы данных, а если необходимо добавить новый отчет, просто добавьте его в таблицу отчетов.

Заключительные мысли и следующие шаги

Этот ETL теперь управляет большим складом и используется для отчетов.