Количество строк в Query

[Владимир Максимов]

Существет ли какой-либо еще способ подсчитать количество строк в Query (несколько таблиц-источников), кроме тупого сканирования всех записей по while (qr.next)?

Дело в том, что это относительно медленный процесс. У меня получилось примерно 500 строк в секунду.

Если другого способа нет, то можно хотя бы ускорить процесс сканирования именно с целью подсчета количества строк?

PS: Объект SysQuery смотрел. Там подсчет именно через сканирование по while (qr.next)

[mazzy]

да, конечно.

SysQuery::countTotal(myQuery)

Спасибо за совет на этом форуме Евгению Глазову.

[Владимир Максимов]

Я же написал, что смотрел код объекта SysQuery. В частности SysQuery::CountPrim который собственно и выполняет расчет количества. Вот фрагмент его кода:

PHP код:

    ...
    while (countQueryRun.next())
    {
        common  = countQueryRun.get(countQuery.dataSourceNo(1).table());
        counter += common.recId;
        loops++;
    }

    return [counter,loops]; 


Т.е. это все тот же "тупой" перебор строк. Специально проверял время подсчета по SysQuery и явным циклом. Разницы не заметил Скорее даже прямой расчет предпочтительнее (меньше второстепенных операций)

[mazzy]

Цитата:

Изначально опубликовано Владимир Максимов
Т.е. это все тот же "тупой" перебор строк.

Нет не тупой. Посмотрите как программно модифицируется query.
по сути дела в query остаются только условия, а вместо полей ставляется sum(recID).

А перебор нужен, если в query были группировки.

В общем, оттрасируйте и посмотртите тексты запросов.

[Wamr]

Есть такое условие в CountPrim

PHP код:

    if (countQuery.dataSourceCount() == 1)
        qbds.addSelectionField(FieldNum(Common,recId),SelectionField::COUNT); 


Т.е. появляется интелект только когда в запросе 1 таблица

Могу предложить такой вариант:

PHP код:

static int prk_lineNumber2(FormDataSource fds, Common tmpTable = null)
{
    Query                   query;
    Query                   countQuery;
    QueryRun                queryRun;
    QueryBuildDataSource    qbds;
    QueryBuildFieldList     qbfl;
    int                     sourceNum;
    int                     i;
    ;

    if (fds.queryRun())
        query   = fds.queryRun().query();
    else
        query   = fds.query();

    countQuery  = new Query(query);
    sourceNum   = countQuery.dataSourceCount();
    for ( i = 1; i <= sourceNum; i++ )
    {
        qbds    = countQuery.dataSourceNo(i);
        qbfl    = qbds.fields();
        qbfl.clearFieldList();
        qbfl.addField(FieldName2Id(qbds.table(),"RecId"), SelectionField::COUNT);
    }
    queryRun    = new QueryRun(countQuery);

    select TmpTable;

    if (TmpTable)
        queryRun.setCursor(TmpTable);


    queryRun.next();

    return queryRun.getNo(1).RecId;
} 


[Maxim Gorbunov]

Да, Wamr совершенно прав, есть там такое место. Свои соображения по этому поводу изложил вот здесь: http://forum.mazzy.ru/index.php?show...indpost&p=1094 Не хочется заниматься копированием.

Wamr, Ваш метод также не лишен недостатка, связанного с тем, что в Query может быть GroupBy. Осмелюсь предположить, что он не работает (вернее, работает не совсем правильно), например, в форме InventOnhandItem (Запасы в наличии).

[Wamr]

Цитата:

Осмелюсь предположить, что он не работает (вернее, работает не совсем правильно), например, в форме InventOnhandItem (Запасы в наличии).

А он там и не используется

По поводу группировки
Осмелюсь предположить, что если в запросе есть Group by ItemId, то человека будет интересовать не количество записей попавших в группировку, а количество ItemId, т.е. записей после группировки. Вроде, ничего кроме перебора тут не поможет (countLoops).

[Maxim Gorbunov]

Ну, в общем-то так оно и есть. По ссылке я написал, как объединить countTotal и countLoops в один метод.

[Владимир Максимов]

Wamr
Большое спасибо. После адаптации кода нормально пошел. В моем случае Query не содержит группировок.

PS: Как же не хватает нормальной документации! Буквально на "ощупь" код пишу.

[mazzy]

maxim, wamr, спасибо за увлекательную дискуссию.
у меня просьба, как только выйдете на обоюдоприемлимый результат, давайте его в FAQ поместим?

[velk]

Может кто реализовал нормальный вариант подсчета количества???

[Владимир Максимов]

Цитата:

Изначально опубликовано velk
Может кто реализовал нормальный вариант подсчета количества???

Ну, так Wamr привел код "адаптации" штатного метода SysQuery::countTotal(myQuery).

Идея заключается в том, что перебираются ВСЕ DataSource (а не только первый, как в оргинале). И во всех устанавливается подсчет Count(*).

Отлично работает.

[Maxim Gorbunov]

См. обсуждение по ссылке на Forum.Mazzy.RU

[Владимир Максимов]

Точная ссылка

http://forum.mazzy.ru/index.php?showtopic=300

[propeller]

по ссылке
http://forum.mazzy.ru/index.php?showtopic=284&st=20
нашел код метода countPrim для 3.0
Он же подойдет для 4.0 ?

[Владимир Максимов]

Похоже, никто не взял на себя смелость намекнуть ребятам из Microsoft, что метод подсчета количества строк в Query, если количество источников данных больше одного "немного" не правильный .

В Ax2009 они наступили на те же "грабли" в методе SysQuery.countPrim(). На первый взгляд, решение для Ax3.0 приведенное по ссылке выше вполне подходит и для Ax2009.

[SHiSHok]

Немного пофиксил код для запросов с группировкой: не правильно возвращает loops если запрос с группировкой возвращает 1 строку (например query такого содержания: select ItemGroupId from inventTable group by ItemGroupId where ItemGroupId=='const')

private server static container countPrim(container _queryPack)
{
...
    Integer                 iGrp;
  ;
    countQueryRun   = new QueryRun(_queryPack);
    countQuery      = countQueryRun.query();
    for (k = 1; k <= countQuery.dataSourceCount();k++)
    {
        qbds = countQuery.dataSourceNo(k);
        qbds.update(false);
        iGrp +=(qbds.orderMode()==orderMode::GroupBy); // SHiSHok.fix
        //qbds.sortClear(); // Вот этот метод сильно мешал!
        qbfl = qbds.fields();
        qbfl.dynamic(false);
        qbfl.clearFieldList();
        qbfl.addField(FieldNum(Common,recId),SelectionField::COUNT);
    }

    countQueryRun   = new QueryRun(countQuery);
    while (countQueryRun.next())
    {
        common  = countQueryRun.getNo(1);
        counter += common.recId;
        loops++;
    }
//    return [counter,((loops > 1)? loops : counter)];
    return [counter,(iGrp ? loops : counter)]; // SHiSHok.fix
}

[IvanS]

Цитата:

Сообщение от SHiSHok

Немного пофиксил код для запросов с группировкой: не правильно возвращает loops если запрос с группировкой возвращает 1 строку (например query такого содержания: select ItemGroupId from inventTable group by ItemGroupId where ItemGroupId=='const')

private server static container countPrim(container _queryPack)
{
...
    Integer                 iGrp;
  ;
    countQueryRun   = new QueryRun(_queryPack);
    countQuery      = countQueryRun.query();
    for (k = 1; k <= countQuery.dataSourceCount();k++)
    {
        qbds = countQuery.dataSourceNo(k);
        qbds.update(false);
        iGrp +=(qbds.orderMode()==orderMode::GroupBy); // SHiSHok.fix
        //qbds.sortClear(); // Вот этот метод сильно мешал!
        qbfl = qbds.fields();
        qbfl.dynamic(false);
        qbfl.clearFieldList();
        qbfl.addField(FieldNum(Common,recId),SelectionField::COUNT);
    }

    countQueryRun   = new QueryRun(countQuery);
    while (countQueryRun.next())
    {
        common  = countQueryRun.getNo(1);
        counter += common.recId;
        loops++;
    }
//    return [counter,((loops > 1)? loops : counter)];
    return [counter,(iGrp ? loops : counter)]; // SHiSHok.fix
}

Правильно ли я понял, что убрав из условия зачистку Order будет все работать нормально, как в квери с группировкой, так и без неё?

[wojzeh]

private server static container ountPrim(container _queryPack)
{
    Query                   countQuery;
    QueryRun                countQueryRun;
    QueryBuildDataSource    qbds;
    QueryBuildFieldList     qbfl;
    Common                  common;
    Integer                 counter;
    Integer                 loops;
    
    Integer                 tmxGroupNumber;
    Integer                 tmxDataSourceNumber;
    ;
    countQueryRun   = new QueryRun(_queryPack);
    countQuery      = countQueryRun.query();
    tmxGroupNumber  = countQuery.groupByFieldCount(); //<-- this guarantees number of groupings

    for (tmxDataSourceNumber = 1; tmxDataSourceNumber <= countQuery.dataSourceCount(); tmxDataSourceNumber++)
    {
        qbds = countQuery.dataSourceNo(tmxDataSourceNumber);
         qbds.update(false);
        //qbds.sortClear();

        //tmxGroupNumber +=(qbds.orderMode()==orderMode::GroupBy); 
        qbfl = qbds.fields();
        qbfl.dynamic(false);
        qbfl.clearFieldList();
         qbds.addSelectionField(fieldNum(Common,RecId),SelectionField::Count);
    }
  
    countQueryRun   = new QueryRun(countQuery);

    while (countQueryRun.next())
    {
         common  = countQueryRun.getNo(1);
        counter += common.RecId;
        loops++;
    }
    //return [counter,loops];
    return [counter,(tmxGroupNumber ? loops : counter)];
 }

[IKA]

В Ax2012 R2 существует queryRun::getQueryRowCount(query, maxInt());
Кто-нибудь производительность проверял?