- Регистрация
- 18 Май 2021
- Сообщения
- 18,969,136
- Баллы
- 156,113
[infostart]
Инструментарий для помощи программисту/аналитику для доступа и обработки данных (2023)
Инструментарий для помощи программисту/аналитику для доступа и обработки данных [infostart]
Набор обработок(методов) для выгрузки данных, обработки и подготовки их для дальнейшего использования во внешних программах, таких как excel, power bi и др.
1.Создание представлений (Views) таблиц в СУБД (MS SQL Server)
Внешняя обработка для создания или выполнения скрипта T-SQL, для формирования представления таблиц в СУБД.
Обработка создает представления таблиц СУБД, сопоставимые с именами объектов дерева метаданных конфигурации.
Далее, создание запросов на T-SQL становится удобным, читабельным.
2. Создание SQL-представлений объектов 1С версий 8.1-8.3
Обработка позволяет создавать представления объектов 1С в базе MS SQL, для возможности создания нативных запросов в предметном окружении.
С академической целью, несколько лет назад мной была создана обработка по созданию представлений (вьюшек) большинства объектов 1С в базе MS SQL. Создаются Справочники, Документы, Перечисления, РегистрыСведения, РегистрыНакопления. Это позволило делать выборки практически не отличающиеся от запросов в 1С, но с большими возможностями, которые предоставляет родной TSQL. Если включен intellisense, то появляются подсказки выбора объекта в схемах Справочника, Документа, Регистра, а далее и их реквизитов (на скриншотах).
Подредактировал Обработку, теперь она представлена для трех версий платформы: 8.1, 8.2, 8.3
При этом код программы открыт для самостоятельной доработки.
3. Практика доступа в базу 1С через протокол oData. Чтение данных
Для чего нужен доступ в базу 1С через REST-интерфейс по протокол oData? Как его организовать? Как не будучи гуру в JavaScript и .NET получить быстрый визуальный доступ к данным базы 1С? Попробую дать ответ на эти вопросы и прокомментирую некоторые нюансы, с которыми я столкнулся.
4. Карта метаданных 1С для редактора yED, для любых конфигураций
Обработка "Карта метаданных 1С для редактора yED". Для отображения метаданных любых конфигураций
Обработка "Карта метаданных 1С для редактора yED"
Предназначена для отображения метаданных любых конфигураций 1С в виде блок-схемы,
для редактора блок-схем yED:
В редакторе потом можно редактировать схему, изменять, добавлять, удалять, перемещать элементы.
Отображаются все виды объектов конфигурации, в зависимости от настроек в обработке,
а также стрелочками отображается из взаимозависимость
т.е. когда этот вид объекта метаданных используется в других объектах,
например Справочник.Номенклатура используется в документе РеализацияТоваровУслуг и др.
Порядок работы:
1. Заполните интересующие объекты в таблицы "Нужные объекты",
(это типа фильтра чтоб искать связи именно с этими объектами)
2. Отметьте галочки в группе "Настройки" для фильтра интересующих типов метаданных
3. Нажмите "Сформировать"
Текст XML сохранится в "Файл для сохранения" если он заполнен,
а также покажется в нижней части экрана чтоб можно было его скопировать.
4. Откройте полученный файл .xgml в редакторе yED,
нажмите Layout - Hirearchical для авторазмещения блоков на форме.
Вид отображения:
а) Группами - каждый объект отображается в ввиде группы в которой находится прямоугольник с именами реквизитов объекта
б) Прямоугольниками - прямоугольник с текстом внутри - Вид объекта и имена реквизитов объекта.
5. Обработка создания представлений (view) для BI, Tableau, QlikView и т.д.
Обработка создает view на все таблицы(почти) БД 1C в юзабельном виде, пригодном для работы с этими таблицами из BI систем.
Решение будет интересно для тех у кого стоит задача интеграции с BI системами, такими как: Tableau, QlikView итд.
Как вариант некоторые разработчики делают отдельные выгрузки под каждый отчет в эти системы, что весьма трудоемко.
Можно же создать и отдать в BI все таблицы сразу.
Преимущества: не надо делать выгрузки под каждый отчет, разработчик просто консультирует BI специалиста по структуре хранения, специалист BI сам формирует нужные ему выборки.
Недостатки: при существенном обновлении структуры данных - отчеты в BI могут слетать, как собственно может и ломаться выгрузка если интеграция сделана через выгрузку.
Разрабатывалась на 8.3.15.1656 и ERP 2.4.9. Соответственно под УФ.
Тестировалась так же на "рукописных" базах.
Формирует вьюшки на:
Инструкция:
В публикации описан очень простой и эффективный способ выгрузки из 1С в таблицу MS SQL SERVER.
В разработке описан метод выгрузки данных из 1С в таблицу MS SQL через использование COM-подключения.
План работ по настройке выгрузки:
В архиве 2 файла:
7. OData - регистрация состава стандартного интерфейса
Универсальная обработка для регистрации состава стандартного интерфейса OData.
При публикации базы для доступа к данным посредством интерфейса OData требуется регистрации перечня объектов, который будет доступен через интерфейс.
Данная обработка предоставляет удобный интерфейс с деревом значений объектов метаданных для удобного управления регистрацией и получения текущего состава зарегистрированных объектов.
Для доступа к базе по интерфейсу OData требуется выполнить публикацию
Тестировалось на 1С:Предприятие 8.3 (8.3.17.1549).
8. Выгрузка данных отчетов 1С в Power BI для аналитиков
Как я решил проблемы выгрузки данных в Power BI для нашего аналитика. Запрос был на то, чтобы грузить результат уже готовых отчетов 1С и меньше вычислительных действий производить на стороне Power BI. Некоторые из отчетов имели в себе результирующие данные в количестве от 300 000 до 500 000 строк за каждый месяц. Часть таблиц должна была выгружаться по регламенту каждый день, вторая часть выгружается только по потребности. Обработка в настоящее время безошибочно работает на 1С:Предприятие 8.3 (8.3.20.1838), конфигурация Управление торговлей, редакция 11.1 (11.1.4.14).
9. Модель запроса SQL
Следующее решение является развитием модели запроса 1С. В этой модели конструируется запрос на SQL с использованием таблиц БД на 1С и внешних источников. Можно использовать все типы запросов: выборка, изменение, удаление. В качестве источника данных можно указать таблицу значений. Работать с запросом SQL из 1С никогда еще не было так просто!
Продажник:
Инструментарий для помощи программисту/аналитику для доступа и обработки данных (2023)
Инструментарий для помощи программисту/аналитику для доступа и обработки данных [infostart]
Набор обработок(методов) для выгрузки данных, обработки и подготовки их для дальнейшего использования во внешних программах, таких как excel, power bi и др.
1.Создание представлений (Views) таблиц в СУБД (MS SQL Server)
Внешняя обработка для создания или выполнения скрипта T-SQL, для формирования представления таблиц в СУБД.
Обработка создает представления таблиц СУБД, сопоставимые с именами объектов дерева метаданных конфигурации.
Далее, создание запросов на T-SQL становится удобным, читабельным.
2. Создание SQL-представлений объектов 1С версий 8.1-8.3
Обработка позволяет создавать представления объектов 1С в базе MS SQL, для возможности создания нативных запросов в предметном окружении.
С академической целью, несколько лет назад мной была создана обработка по созданию представлений (вьюшек) большинства объектов 1С в базе MS SQL. Создаются Справочники, Документы, Перечисления, РегистрыСведения, РегистрыНакопления. Это позволило делать выборки практически не отличающиеся от запросов в 1С, но с большими возможностями, которые предоставляет родной TSQL. Если включен intellisense, то появляются подсказки выбора объекта в схемах Справочника, Документа, Регистра, а далее и их реквизитов (на скриншотах).
Подредактировал Обработку, теперь она представлена для трех версий платформы: 8.1, 8.2, 8.3
При этом код программы открыт для самостоятельной доработки.
3. Практика доступа в базу 1С через протокол oData. Чтение данных
Для чего нужен доступ в базу 1С через REST-интерфейс по протокол oData? Как его организовать? Как не будучи гуру в JavaScript и .NET получить быстрый визуальный доступ к данным базы 1С? Попробую дать ответ на эти вопросы и прокомментирую некоторые нюансы, с которыми я столкнулся.
4. Карта метаданных 1С для редактора yED, для любых конфигураций
Обработка "Карта метаданных 1С для редактора yED". Для отображения метаданных любых конфигураций
Обработка "Карта метаданных 1С для редактора yED"
Предназначена для отображения метаданных любых конфигураций 1С в виде блок-схемы,
для редактора блок-схем yED:
В редакторе потом можно редактировать схему, изменять, добавлять, удалять, перемещать элементы.
Отображаются все виды объектов конфигурации, в зависимости от настроек в обработке,
а также стрелочками отображается из взаимозависимость
т.е. когда этот вид объекта метаданных используется в других объектах,
например Справочник.Номенклатура используется в документе РеализацияТоваровУслуг и др.
Порядок работы:
1. Заполните интересующие объекты в таблицы "Нужные объекты",
(это типа фильтра чтоб искать связи именно с этими объектами)
2. Отметьте галочки в группе "Настройки" для фильтра интересующих типов метаданных
3. Нажмите "Сформировать"
Текст XML сохранится в "Файл для сохранения" если он заполнен,
а также покажется в нижней части экрана чтоб можно было его скопировать.
4. Откройте полученный файл .xgml в редакторе yED,
нажмите Layout - Hirearchical для авторазмещения блоков на форме.
Вид отображения:
а) Группами - каждый объект отображается в ввиде группы в которой находится прямоугольник с именами реквизитов объекта
б) Прямоугольниками - прямоугольник с текстом внутри - Вид объекта и имена реквизитов объекта.
5. Обработка создания представлений (view) для BI, Tableau, QlikView и т.д.
Обработка создает view на все таблицы(почти) БД 1C в юзабельном виде, пригодном для работы с этими таблицами из BI систем.
Решение будет интересно для тех у кого стоит задача интеграции с BI системами, такими как: Tableau, QlikView итд.
Как вариант некоторые разработчики делают отдельные выгрузки под каждый отчет в эти системы, что весьма трудоемко.
Можно же создать и отдать в BI все таблицы сразу.
Преимущества: не надо делать выгрузки под каждый отчет, разработчик просто консультирует BI специалиста по структуре хранения, специалист BI сам формирует нужные ему выборки.
Недостатки: при существенном обновлении структуры данных - отчеты в BI могут слетать, как собственно может и ломаться выгрузка если интеграция сделана через выгрузку.
Разрабатывалась на 8.3.15.1656 и ERP 2.4.9. Соответственно под УФ.
Тестировалась так же на "рукописных" базах.
Формирует вьюшки на:
- Документы
- Справочники
- Перечисления
- Планы видов характеристик
- Планы счетов
- Регистры накопления
- Регистры бухгалтерии
- Регистры сведений
Инструкция:
- Открыть обработку
- Выбрать необходимые метаданные
- Нажать "Сформировать текст"
- Открыть sql management studio
- Скопировать полученный текст запроса в management studio
- Нажать Execute
- Все. Должны появиться вью на выбранные метаданные.
В публикации описан очень простой и эффективный способ выгрузки из 1С в таблицу MS SQL SERVER.
В разработке описан метод выгрузки данных из 1С в таблицу MS SQL через использование COM-подключения.
План работ по настройке выгрузки:
- Создать хранимую процедуру-загрузчик в MS SQL SERVER для формата xml. Во вложении пример такой процедуры, легко адаптировать под свою таблицу: нужно подставить названия полей таблицы ms sql.
- Создать процедуру 1С по формированию текста XML из данных
- Создать процедуру подключения в SQL и вызову хранимой процедуры методом Execute, в качестве параметров передается текст XML из п.2
В архиве 2 файла:
- инструкция с описанием настройки;
- обработка 1С по подключению к MS SQL и примером выгрузки.
7. OData - регистрация состава стандартного интерфейса
Универсальная обработка для регистрации состава стандартного интерфейса OData.
При публикации базы для доступа к данным посредством интерфейса OData требуется регистрации перечня объектов, который будет доступен через интерфейс.
Данная обработка предоставляет удобный интерфейс с деревом значений объектов метаданных для удобного управления регистрацией и получения текущего состава зарегистрированных объектов.
Для доступа к базе по интерфейсу OData требуется выполнить публикацию
Тестировалось на 1С:Предприятие 8.3 (8.3.17.1549).
8. Выгрузка данных отчетов 1С в Power BI для аналитиков
Как я решил проблемы выгрузки данных в Power BI для нашего аналитика. Запрос был на то, чтобы грузить результат уже готовых отчетов 1С и меньше вычислительных действий производить на стороне Power BI. Некоторые из отчетов имели в себе результирующие данные в количестве от 300 000 до 500 000 строк за каждый месяц. Часть таблиц должна была выгружаться по регламенту каждый день, вторая часть выгружается только по потребности. Обработка в настоящее время безошибочно работает на 1С:Предприятие 8.3 (8.3.20.1838), конфигурация Управление торговлей, редакция 11.1 (11.1.4.14).
9. Модель запроса SQL
Следующее решение является развитием модели запроса 1С. В этой модели конструируется запрос на SQL с использованием таблиц БД на 1С и внешних источников. Можно использовать все типы запросов: выборка, изменение, удаление. В качестве источника данных можно указать таблицу значений. Работать с запросом SQL из 1С никогда еще не было так просто!
Продажник:
Скрытое содержимое. Вам нужно войти или зарегистрироваться.
Скачать:Скрытое содержимое. Вам нужно войти или зарегистрироваться.