Странные "тормоза" АОСов

[svd-alex]

Коллеги, приветствую!

У нас практически каждый день происходят следующие непонятные вещи (AX 2012 R2, 3 рабочих АОСа) : в какой то момент пользователи жалуются что у них при работе всё дико тормозит (в основном менеджеры по продажам и тормоза в основном при работе с заказами на продажу). Мы перегружаем АОСы и после этого какое то время всё работает нормально и в какой-то момент повторяется.
Написали небольшой JOB, который просто в цикле получает товары из заказа и выдаёт время, потраченное на эту нехитрую операцию - обычно оно 1-2 сек. А в момент торможения на одном из АОСов это время может достигать 30-50 сек. При этом процессор, диск, сеть на этом АОСе абсолютно не загружены (загружены не больше чем обычно). На остальных АОСах по прежнему всё быстро работает. Перегружаем тормозящий АОС (сам сервис) и всё становится нормально.
Может быть есть идеи в чём может быть причина такого странного поведения?

[ice321i]

А что происходит на SQL сервере. Есть ли блокировки в тот момент когда появляются тормоза?

[svd-alex]

В том то и дело что на SQL сервере никаких блокировок, проблем с очередями к диску, памятью и т.д. Да и остальные АОСы в это же время чувствуют себя хорошо, т.е. скорее всего это не БД.

[Logger]

Есть ощущение что аос или sql уходит в своп. При перезагрузке/перестарте память высвобождается и поэтому работает быстро до следующего ухода.
В любом случае очень мало инфы предоставлено, чтобы можно было сделать выводы.

[svd-alex]

На БД смотрел - нет свопинга, на АОСе нет, но посмотрю в следующий раз. Понимаю что инфы маловато, но... что ещё можно посмотреть/подкрутить?

[Михаил Андреев]

Ещё вероятная причина - сеть. Но это маловероятно, если она выделенная. Как связаны между собой АОС и SQL? Отдельный выделенный канал?

[Ivanhoe]

Вы случайно не ведете разработку / меняете права доступа на боевой системе во время работы пользователей?

[svd-alex]

Цитата:

Сообщение от Ivanhoe

Вы случайно не ведете разработку / меняете права доступа на боевой системе во время работы пользователей?

Программисты грешат этим у нас. Не то что прямо разработку ведут, но какие то правки и отладку постоянно делают....

Цитата:

Сообщение от Михаил Андреев

Ещё вероятная причина - сеть. Но это маловероятно, если она выделенная. Как связаны между собой АОС и SQL? Отдельный выделенный канал?

Нет, через свич. Думаете есть смысл связать из напрямую (кол-во сетевых карт на серверах это позволяет)? Но судя по монитору загрузка сети даже в пики не более 10%

[Ivanhoe]

Если менять таблицы / меню-айтемы или права доступа по-горячему, то система начинает обновлять кеш прав доступа по каждому пользователю он-лайн. Каждое изменение инициирует обновление, они могут "наслаиваться" друг на друга, в итоге АОС кушает много памяти и начинает заниматься только этим вплоть до перезагрузки. Не ваш случай?

[Товарищ ♂uatr]

Цитата:

Сообщение от Ivanhoe

Если менять таблицы / меню-айтемы или права доступа по-горячему, то система начинает обновлять кеш прав доступа по каждому пользователю он-лайн.

Речь идёт о обновлении кэша в рамках того АОСа на котором были внесены изменения и откомпилирован код?

[gl00mie]

См. публикацию AX user sessions hanging following changes to security:

Цитата:

Security cache thrashing can cause a number of different performance issues. A common symptom of this problem is when multiple user sessions becoming unresponsive. This can then lead to high memory usage by the AOSs and increasing numbers of online user sessions, as affected users abandon their hanging session and try to initiate further sessions on the server. New user logons may eventually be blocked, making the system completely inaccessible.

Здесь АОСы упоминаются во множественном числе, так что изменение прав доступа "на лету", видимо, влияет не только на тот АОС, на котором было произведено изменение.

[svd-alex]

Цитата:

Сообщение от Ivanhoe

Если менять таблицы / меню-айтемы или права доступа по-горячему, то система начинает обновлять кеш прав доступа по каждому пользователю он-лайн. Каждое изменение инициирует обновление, они могут "наслаиваться" друг на друга, в итоге АОС кушает много памяти и начинает заниматься только этим вплоть до перезагрузки. Не ваш случай?

Даже если что то там АОС (или АОСы) и обновляют, то внешне (потребление памяти, ресурсов процессора или сети) это никак не проявляется

[Товарищ ♂uatr]

Есть предположение, что причиной снижения производительности (ну или белым экраном) при работе в Аксапте может быть CIL. А именно функционал блокирующий AppDomain приложения. Подскажите, сталкивался ли кто-либо с этим?