| | | 1 | | using System.Data.Common; |
| | | 2 | | using Microsoft.EntityFrameworkCore.Diagnostics; |
| | | 3 | | using Serilog; |
| | | 4 | | using Services.DataServices.TriggerSelfHealing; |
| | | 5 | | |
| | | 6 | | namespace OzonOrdersWeb.Observability; |
| | | 7 | | |
| | | 8 | | /// <summary> |
| | | 9 | | /// Ловит MariaDB 1711 («Unknown trigger has an error in its body») на командах EF и перезагружает |
| | | 10 | | /// триггеры пострадавшей таблицы через <see cref="TriggerBodyErrorHealer"/>. Сама команда всё равно |
| | | 11 | | /// падает — её повторяет MySqlRetryingExecutionStrategy (1711 добавлен в список ретраев), а после |
| | | 12 | | /// перезагрузки триггера повтор проходит. Log.Error — чтобы лог-вотчер завёл issue: это сигнал, |
| | | 13 | | /// что на сервере снова был lock-storm с KILL QUERY. |
| | | 14 | | /// </summary> |
| | 0 | 15 | | public sealed class TriggerBodyHealingInterceptor(TriggerBodyErrorHealer healer) : DbCommandInterceptor |
| | | 16 | | { |
| | | 17 | | public override void CommandFailed(DbCommand command, CommandErrorEventData eventData) |
| | | 18 | | { |
| | 0 | 19 | | if (TriggerBodyErrorHealer.IsTriggerBodyError(eventData.Exception)) |
| | 0 | 20 | | HealAsync(command, eventData).GetAwaiter().GetResult(); |
| | 0 | 21 | | } |
| | | 22 | | |
| | | 23 | | public override Task CommandFailedAsync( |
| | | 24 | | DbCommand command, |
| | | 25 | | CommandErrorEventData eventData, |
| | | 26 | | CancellationToken cancellationToken = default) |
| | | 27 | | { |
| | 0 | 28 | | return TriggerBodyErrorHealer.IsTriggerBodyError(eventData.Exception) |
| | 0 | 29 | | ? HealAsync(command, eventData) |
| | 0 | 30 | | : Task.CompletedTask; |
| | | 31 | | } |
| | | 32 | | |
| | | 33 | | private async Task HealAsync(DbCommand command, CommandErrorEventData eventData) |
| | | 34 | | { |
| | | 35 | | TriggerHealResult result; |
| | | 36 | | try |
| | | 37 | | { |
| | | 38 | | // Не завязываемся на отменённый токен упавшей команды: лечение должно дойти до конца. |
| | 0 | 39 | | result = await healer.TryHealAsync(eventData.Exception, command.CommandText, CancellationToken.None); |
| | 0 | 40 | | } |
| | 0 | 41 | | catch (Exception ex) |
| | | 42 | | { |
| | 0 | 43 | | Log.Error(ex, "Триггер сломан (MariaDB 1711), самолечение упало с исключением | context={Context}", |
| | 0 | 44 | | eventData.Context?.GetType().Name); |
| | 0 | 45 | | return; |
| | | 46 | | } |
| | | 47 | | |
| | 0 | 48 | | switch (result.Outcome) |
| | | 49 | | { |
| | | 50 | | case TriggerHealOutcome.Reloaded: |
| | 0 | 51 | | Log.Error( |
| | 0 | 52 | | "Триггер таблицы {Table} сломан (MariaDB 1711 'Query was empty'), перезагружено триггеров: {Count}. |
| | 0 | 53 | | result.Table, result.ReloadedTriggers, Truncate(command.CommandText)); |
| | 0 | 54 | | break; |
| | | 55 | | case TriggerHealOutcome.Failed: |
| | 0 | 56 | | Log.Error( |
| | 0 | 57 | | "Триггер таблицы {Table} сломан (MariaDB 1711), перезагрузка не удалась: {Error}", |
| | 0 | 58 | | result.Table, result.Error); |
| | 0 | 59 | | break; |
| | | 60 | | case TriggerHealOutcome.SkippedCooldown: |
| | 0 | 61 | | Log.Warning("Триггер таблицы {Table}: повторный 1711 в окне cooldown, перезагрузка уже была", result.Tab |
| | 0 | 62 | | break; |
| | | 63 | | case TriggerHealOutcome.UnknownTable: |
| | 0 | 64 | | Log.Error("MariaDB 1711 на команде без распознанной таблицы, лечение пропущено: {Command}", |
| | 0 | 65 | | Truncate(command.CommandText)); |
| | | 66 | | break; |
| | | 67 | | } |
| | 0 | 68 | | } |
| | | 69 | | |
| | 0 | 70 | | private static string Truncate(string text) => text.Length <= 300 ? text : text[..300] + "…"; |
| | | 71 | | } |