Массовое удаление записей через CCADOConnection

[George Nordic]

Да просто давныыым-давно сталкивался именно с подобной проблемой. Например, при сводном планировании нужны InventSumLogTTS (много времени прошло, могу не помнить точно), а после - ну что с ними далать? а они расползались...

Короче, подобным способом и решили проблему. Или периодическую очистку делали?

С Уважением,
Георгий

[sukhanchik]

Цитата:

Сообщение от George Nordic

Да просто давныыым-давно сталкивался именно с подобной проблемой. Например, при сводном планировании нужны InventSumLogTTS (много времени прошло, могу не помнить точно), а после - ну что с ними далать? а они расползались...

Эээээ а команды типа TRUNCATE TABLE не пробовали? Быстро работают

Тут другая ситуация. Грузят данные. Они актуальны (например данные с магазинов). Потом (например, в течении дня) присылают откорректированные данные (кто-то ошибся). Старые данные еще не обрабатывали (они автоматически закачались, но их обработка будет к примеру на след. день). Соотв - старые данные нужно стереть, а новые закачать.

Я с подобной потребностью сталкивался при импорте строк выписки. Сотрудник заказывает предварительную (по операциям текущего дня) выписку и получает ее (включая автозагрузку в АХ). Банк кстати вполне может пойти навстречу по такой услуге, особенно если это свой банк . Затем (на след. день) выписка приходит уже окончательная. Соотв - предварительная выписка в АХ не обрабатывается в тот же день. Куда деть предварительную выписку? Стереть.

А теперь считаем, что фирма (холдинг) у нас состоит не из одного юрлица и не одного расчетного счета... Да и операций у нас много.... В общем - объемно получается

[George Nordic]

Да подожди ты таблицы резать

Надо сначала найти источник проблемы.
1. Понять какие данные нужны.
2. Когда они устаревают.
3. На что эти данные влияют? Не пригодяться ли удаленные данные впоследствии? Связи.
4. Можно ли это решить настройками. Или, например переносить в другой журнал и удалять.
5. Если нельзя программно, то сколько времени займет доработка.
6. Можно ли запускать данную процедуру на периодической основе.

А программистам сразу бы drop table


Георгий

[Shirmin Oleg]

Переделал на удаление через delete_from по частям (по 100000 записей)
Удаление 600000 записей - 1 час, удаление 1200000 записей - 2 часа
Удаление 600000 записей напрямую в SQL Server Management Studio - 16 минут.
Собственно, почему я не хотел использовать delete_from, надеялся, что будет работать быстрее, но, похоже, не судьба...

[mazzy]

Цитата:

Сообщение от Shirmin Oleg

Переделал на удаление через delete_from по частям (по 100000 записей)
Удаление 600000 записей - 1 час, удаление 1200000 записей - 2 часа
Удаление 600000 записей напрямую в SQL Server Management Studio - 16 минут.
Собственно, почему я не хотел использовать delete_from, надеялся, что будет работать быстрее, но, похоже, не судьба...

Такая разница во времени означает прежде всего, что в Аксапте операция удаления выполняет больше действий, чем в SQL Server Management Studio.

В Аксапте отрабатывается каскадное удаление (или запрет удаления) и так далее.
Вам Shirmin Oleg, неоднокрартно говорилось, а вы не слушаете. Что delete_from работает с точно такой же скоростью, что и команда из SQL Server Management Studio, если не нужно выполнять дополнительных действий и проверок.

Почитайте наконец http://msdn.microsoft.com/en-us/library/aa849875.aspx

И вместо того, чтобы "надеятся", просто разберитесь со своими настройками в Аксапте. Уберите лишние действия/настройки. И будет вам такая же скорость.

Если же некоторые настройки лишними не являются, то своей суперскоростной командой из SQL Server Management Studio вы просто нарушаете целостность данных.

[Shirmin Oleg]

Delete actions на данной таблице нет, метод delete не перекрыт, перед удалением есть след код:

          table.skipDatabaseLog(true);
          table.skipDeleteActions(true);
          table.skipDeleteMethod(true);

Хотя это в данном случае излишне.

Уважаемый Mazzy, подскажите, пожалуйста, с какими еще настройками я "должен разобраться"?

[S.Kuskov]

Цитата:

Сообщение от Shirmin Oleg

Переделал на удаление через delete_from по частям (по 100000 записей)

Каким образом реализовали удаление по частям? Индекс соответствующий условию выборки присутствует? Если не по частям а за один раз, то так же долго?

[Shirmin Oleg]

Цитата:

Каким образом реализовали удаление по частям?

В цикле проверяю наличие записей за нужный период, находу самый младший recid, запускаю delete_from с ограничением по периоду и от младшего recid, до += размер удаляемого блока записей (recid идут подряд, т.к. таблица заполняется в один прием), после этого опять проверяю наличие записей в таблице

Цитата:

Индекс соответствующий условию выборки присутствует?

Есть индекс по recid и (неуникальный) по периоду

Цитата:

Если не по частям а за один раз, то так же долго?

Если за один раз, то еще дольше (примерно раза в два)

[S.Kuskov]

Попробуйте посмотреть какой SQL запрос уходит в БД

И ещё пальцем в небо. RLS на удаляемой таблице не настроено?

[mazzy]

Цитата:

Сообщение от Shirmin Oleg

Delete actions на данной таблице нет, метод delete не перекрыт, перед удалением есть след код:

          table.skipDatabaseLog(true);
          table.skipDeleteActions(true);
          table.skipDeleteMethod(true);

Хотя это в данном случае излишне.

Уважаемый Mazzy, подскажите, пожалуйста, с какими еще настройками я "должен разобраться"?

таблица в map'ах присутствует?
таблица во view перечислена?
таблица входит в виртуальные компании?

вообще говоря, это офигенно странный способ задавать вопросы: типа, перчислите все что у меня может быть.

Блин, расскажите по-человечески что вы там делаете.
То, что вы делаете skip перед удалением вообще только сейчас всплыло.
Разбирайтесь.

Цитата:

Сообщение от mazzy

Почитайте наконец http://msdn.microsoft.com/en-us/library/aa849875.aspx

Цитата:

Сообщение от S.Kuskov

И ещё пальцем в небо. RLS на удаляемой таблице не настроено?

и это проверьте.

Барабашки нет!
Посмотрите какие запросы уходят из Аксапты в вашем случае.
Разберитесь почему так и из-за каких настроек.

ЕЩЕ РАЗ: вам было истинно сказано в самом начале:

Цитата:

Сообщение от lev

delete_from должно удалить данные одним запросом к базе, т.е. делает тоже самое, что Вы делает через CCADOConnection.

просто вы слушать не хотите.

[mazzy]

кроме того, первоначальный запрос

Цитата:

Сообщение от Shirmin Oleg

  sql = strfmt("delete from SALESTABLE_TONTRA40478 where SALESTABLE_TONTRA40478.month = '%1'", date2str(01\03\2010, 321, 2, 3, 2, 3, 4));

по-моему, удаляет данные изо всех компаний.
а delete_from только из текущей.

вы можете по человечески описать что делаете, с какими условиями, какие настройки, какие запросы уходят у вас на SQL в результате команды delete_from и т.п.

[Shirmin Oleg]

Цитата:

RLS на удаляемой таблице не настроено?

Нет, не настроено.
Таблицы в map'ах нет, во view тоже не используется, в вирт. комп. не входит

  table.skipDatabaseLog(true);
  table.skipDeleteActions(true);
  table.skipDeleteMethod(true);

  delete_from table where table.Month == _month;

После того, как отрабатывает удаление (delete_from), в лог все равно происходит вставка:

Трассировка SQL

DELETE FROM SALESTABLE_TELECOMPHONTRA40478 WHERE ((DATAAREAID=?) AND (MONTH=?))

INSERT INTO SYSDATABASELOG (DATA,USERNAME,DESCRIPTION,LOGTYPE,TABLE_,LOGRECID,CREATEDBY,CREATEDTRANSACTIONID,DATAAREAID,RECVERSION,RECID) VALUES (?,?,?,?,?,?,?,?,?,?,?);SELECT CREATEDDATETIME FROM SYSDATABASELOG WHERE RECID = ? AND DATAAREAID = ?

Естественно, при удалении через SQL Management этой вставки нет.

[George Nordic]

А тормоза при удалении или при вставке?

С Уважением,
Георгий

[lev]

Цитата:

Сообщение от Shirmin Oleg

Нет, не настроено.
Таблицы в map'ах нет, во view тоже не используется, в вирт. комп. не входит

  table.skipDatabaseLog(true);
...

После того, как отрабатывает удаление (delete_from), в лог все равно происходит вставка...

Очень странно... skipDatabaseLog(true) вызывается именно для того что бы исключить эту вставку... У меня Ахарта 3.0 SP3, и лог таким способом нормально отключается. Возможно это уже новшества в 4.0 и 2009, или что - то где то допилено, что бы эта вставка была в любом случае.

[Shirmin Oleg]

Трассировку проверял в 2009, никаких допиливаний для того, чтобы в SysDataBaseLog вставка была в любом случае нет.

[S.Kuskov]

Цитата:

Сообщение от Shirmin Oleg

После того, как отрабатывает удаление (delete_from), в лог все равно происходит вставка:

А в лог заносится запись именно об удалении строки из SALESTABLE_TELECOMPHONTRA40478?
Чему равны поля LOGTYPE и TABLE_?

[mazzy]

Цитата:

Сообщение от Shirmin Oleg

После того, как отрабатывает удаление (delete_from), в лог все равно происходит вставка:

Вы можете по-человечески и полностью показать код?

[Shirmin Oleg]

Цитата:

А в лог заносится запись именно об удалении строки из SALESTABLE_TELECOMPHONTRA40478?
Чему равны поля LOGTYPE и TABLE_?

В 4.0 в лог вообще ничего не пишется.
В 2009 в лог пишется после каждой отработки delete_from (один раз на один удаляемый блок). LogType = Delete, Table - 40478 (ид. SALESTABLE_TELECOMPHONTRA40478) Так что запись в лог не тормозит, тормозит сам delete_from.

  SALESTABLE_TELECOMPHONTRA40478 table;      
  int64                                    firstRecid, lastRecid;
  int                                      count2Del = 100000;
  ;
  select count(recid) from table where table.Month == _month;
  if(table.RecId > count2Del)
        {
          while (true)
            {
              if((select firstOnly TELECOMPHONTRA40478 where              TELECOMPHONTRA40478.month == _month).recid != 0)
                {
                  select minof(recid) from table where table.Month == _month;
                  firstRecid = table.RecId;
                  lastRecid = firstRecid + count2Del;
                  select maxof(recid) from table where table.month == _month;
                  if(table.RecId < lastRecid)
                    lastRecid = table.RecId;

                  table.skipDatabaseLog(true);
                  table.skipDeleteActions(true);
                  table.skipDeleteMethod(true);

                  delete_from table where table.Month == _month && table.RecId >= firstRecid && table.RecId <= lastRecid;
                }
              else
                break;
            }
        }
      else
        {
          table.skipDatabaseLog(true);
          table.skipDeleteActions(true);
          table.skipDeleteMethod(true);

          delete_from table where table.Month == _month;
        }

[SRF]

А сколько времени удаляются из AX 600000 записей (не по частям) ?

table.skipDatabaseLog(true);
delete_from table where table.Month == _month;

[S.Kuskov]

А если ради эксперимента отключить через Администрирование логирование удалений в этой таблице?

P.S. Mazzy, а вы говорили, что у меня код сложный
Массовое удаление записей через CCADOConnection