| | | 1 | | using System.Globalization; |
| | | 2 | | using System.Net; |
| | | 3 | | using System.Text.Json; |
| | | 4 | | using Microsoft.Extensions.Logging; |
| | | 5 | | |
| | | 6 | | namespace Services.ApiServices.ArmtekEtp; |
| | | 7 | | |
| | | 8 | | /// <summary> |
| | | 9 | | /// HTTP-клиент личного кабинета Armtek (etp.armtek.ru) без браузера: вход формой, затем те же AJAX-запросы, |
| | | 10 | | /// что делает сайт. Сессия (cookie) живёт в экземпляре, поэтому регистрируется как transient — один на запуск синка. |
| | | 11 | | /// Cookie ведутся вручную: у именованного клиента UseCookies=false, обработчик фабрики общий для всех. |
| | | 12 | | /// </summary> |
| | | 13 | | public class ArmtekEtpClient |
| | | 14 | | { |
| | | 15 | | private const int MaxAttempts = 3; |
| | | 16 | | private const string BrowserUserAgent = |
| | | 17 | | "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Safari/537.36 |
| | | 18 | | |
| | | 19 | | private readonly IHttpClientFactory _httpClientFactory; |
| | | 20 | | private readonly ArmtekEtpConfig _config; |
| | | 21 | | private readonly ILogger<ArmtekEtpClient> _logger; |
| | 20 | 22 | | private readonly CookieContainer _cookies = new(); |
| | | 23 | | private readonly Uri _baseUri; |
| | | 24 | | private bool _loggedIn; |
| | | 25 | | |
| | 20 | 26 | | public ArmtekEtpClient(IHttpClientFactory httpClientFactory, ArmtekEtpConfig config, ILogger<ArmtekEtpClient> logger |
| | | 27 | | { |
| | 20 | 28 | | _httpClientFactory = httpClientFactory; |
| | 20 | 29 | | _config = config; |
| | 20 | 30 | | _logger = logger; |
| | 20 | 31 | | _baseUri = new Uri(config.BaseUrl.TrimEnd('/') + "/"); |
| | 20 | 32 | | } |
| | | 33 | | |
| | | 34 | | public async Task LoginAsync(CancellationToken ct = default) |
| | | 35 | | { |
| | | 36 | | // Как в браузере: сбытовая организация задаётся cookie VKORG ещё до входа (иначе сайт берёт её по домену). |
| | 18 | 37 | | if (!string.IsNullOrWhiteSpace(_config.Vkorg)) |
| | 18 | 38 | | _cookies.Add(new Cookie("VKORG", _config.Vkorg.Trim(), "/", _baseUri.Host)); |
| | | 39 | | |
| | | 40 | | // Первый GET выдаёт сессионную cookie, без неё вход не принимается. |
| | 36 | 41 | | using (await SendAsync(HttpMethod.Get, "authorization", null, ct)) { } |
| | | 42 | | |
| | | 43 | | // Как браузер: KUNNR при входе пустой, клиент передаётся только при выборе из нескольких (clientChoice). |
| | 18 | 44 | | var resp = await PostAuthAsync(null, ct); |
| | 17 | 45 | | if (!resp.Status && resp.ClientChoice.Count > 0) |
| | | 46 | | { |
| | 0 | 47 | | var kunnr = _config.Kunnr; |
| | 0 | 48 | | if (string.IsNullOrWhiteSpace(kunnr) || !resp.ClientChoice.Contains(kunnr)) |
| | 0 | 49 | | kunnr = resp.ClientChoice[0]; |
| | 0 | 50 | | _logger.LogInformation("Armtek ETP: на логин заведено несколько клиентов ({Clients}), вход под {Kunnr}", |
| | 0 | 51 | | string.Join(", ", resp.ClientChoice), kunnr); |
| | 0 | 52 | | resp = await PostAuthAsync(kunnr, ct); |
| | | 53 | | } |
| | | 54 | | |
| | 17 | 55 | | if (resp.NeedCaptcha) |
| | 3 | 56 | | throw new ArmtekEtpException( |
| | 3 | 57 | | "Armtek ETP: для входа с адреса сервера сайт требует капчу (обычно после частых входов подряд). " + |
| | 3 | 58 | | "Автоматически её не пройти — подождите несколько часов до следующей загрузки или войдите в кабинет вруч |
| | 14 | 59 | | if (!resp.Status) |
| | 0 | 60 | | throw new ArmtekEtpException("Armtek ETP: вход не выполнен. " + resp.Message); |
| | | 61 | | // Сайт считает вход завершённым, только когда в ответе есть redirectUrl; иначе страница перезагружается |
| | | 62 | | // без входа. Без этой проверки сессия оставалась анонимной, и API отвечал «Нет доступа к функционалу». |
| | 14 | 63 | | if (string.IsNullOrWhiteSpace(resp.RedirectUrl)) |
| | 1 | 64 | | throw new ArmtekEtpException("Armtek ETP: сайт не завершил вход (нет перехода после входа). " + |
| | 1 | 65 | | (string.IsNullOrWhiteSpace(resp.Message) ? "Попробуйте позже или войдите в кабинет вручную." : resp.Mess |
| | | 66 | | |
| | | 67 | | // Браузер после входа переходит по redirectUrl: там сайт достраивает сессию (выбор клиента, cookie). |
| | | 68 | | // Без этого шага API отвечает 302 на страницу входа. |
| | 13 | 69 | | var landing = await FollowAsync(resp.RedirectUrl!, ct); |
| | 13 | 70 | | _logger.LogInformation("Armtek ETP: вход выполнен, переход {Redirect} → {Landing}, cookie: {Cookies}", |
| | 13 | 71 | | resp.RedirectUrl ?? "/", landing.AbsolutePath, CookieNames()); |
| | | 72 | | |
| | 13 | 73 | | await SelectClientAsync(ct); |
| | 12 | 74 | | _loggedIn = true; |
| | 12 | 75 | | } |
| | | 76 | | |
| | | 77 | | /// <summary> |
| | | 78 | | /// Выбор клиента (KUNNR_AG, только если на логине их несколько — /authorization/setag) и плательщика |
| | | 79 | | /// (KUNNR_RG — /authorization/setrg, как клик в списке плательщиков в шапке кабинета). После входа сайт берёт |
| | | 80 | | /// плательщика по умолчанию; если это, например, «Розница», API взаиморасчётов отвечает «Нет доступа к функционалу» |
| | | 81 | | /// </summary> |
| | | 82 | | private async Task SelectClientAsync(CancellationToken ct) |
| | | 83 | | { |
| | 13 | 84 | | if (!string.IsNullOrWhiteSpace(_config.Kunnr)) |
| | 2 | 85 | | await SetAsync("authorization/setag", _config.Kunnr.Trim(), ct); |
| | 12 | 86 | | if (!string.IsNullOrWhiteSpace(_config.KunnrRg)) |
| | 6 | 87 | | await SetAsync("authorization/setrg", _config.KunnrRg.Trim(), ct); |
| | 12 | 88 | | if (!string.IsNullOrWhiteSpace(_config.Kunnr) || !string.IsNullOrWhiteSpace(_config.KunnrRg)) |
| | 6 | 89 | | _logger.LogInformation("Armtek ETP: выбран клиент {Kunnr}, плательщик {KunnrRg}, cookie: {Cookies}", |
| | 6 | 90 | | string.IsNullOrWhiteSpace(_config.Kunnr) ? "—" : _config.Kunnr, |
| | 6 | 91 | | string.IsNullOrWhiteSpace(_config.KunnrRg) ? "—" : _config.KunnrRg, CookieNames()); |
| | 12 | 92 | | } |
| | | 93 | | |
| | | 94 | | /// <summary> |
| | | 95 | | /// setag/setrg так, как их шлёт сайт: AJAX со страницы кабинета (Referer — взаиморасчёты) и со случайным |
| | | 96 | | /// параметром в адресе (getApiAjax добавляет «?Math.random()»). Редирект — не ошибка: сайт после выбора |
| | | 97 | | /// уводит на главную; его проходим, а принятие выбора проверит следующий запрос API. |
| | | 98 | | /// </summary> |
| | | 99 | | private async Task SetAsync(string path, string kunnr, CancellationToken ct) |
| | | 100 | | { |
| | 8 | 101 | | var form = new Dictionary<string, string> { ["KUNNR"] = kunnr, ["FORMAT"] = "json", ["LANG"] = "ru" }; |
| | 8 | 102 | | var url = path + "?" + Random.Shared.NextDouble().ToString(CultureInfo.InvariantCulture); |
| | 8 | 103 | | var (json, redirect) = await PostFormAsync(url, form, ct, referer: "settlements"); |
| | 8 | 104 | | if (json == null) |
| | | 105 | | { |
| | 1 | 106 | | _logger.LogWarning("Armtek ETP: {Path} ({Kunnr}) ответил переходом на {Redirect}, прохожу его", path, kunnr, |
| | 1 | 107 | | if (redirect != null) |
| | 1 | 108 | | await FollowAsync(redirect.ToString(), ct); |
| | 1 | 109 | | return; |
| | | 110 | | } |
| | | 111 | | |
| | 7 | 112 | | var root = ParseRoot(json); |
| | 7 | 113 | | if (root.ValueKind == JsonValueKind.Object && root.TryGetProperty("status", out var status) && status.ValueKind |
| | 1 | 114 | | throw new ArmtekEtpException($"Armtek ETP: не удалось выбрать клиента {kunnr} ({path}). " + ArmtekEtpParser. |
| | 7 | 115 | | } |
| | | 116 | | |
| | | 117 | | /// <summary>GET с ручным проходом редиректов (до 5): cookie каждого шага сохраняются. Возвращает конечный адрес.</s |
| | | 118 | | private async Task<Uri> FollowAsync(string path, CancellationToken ct) |
| | | 119 | | { |
| | 14 | 120 | | var uri = new Uri(_baseUri, path); |
| | 30 | 121 | | for (var hop = 0; hop < 5; hop++) |
| | | 122 | | { |
| | 15 | 123 | | using var response = await SendAsync(HttpMethod.Get, uri.ToString(), null, ct); |
| | 15 | 124 | | if ((int)response.StatusCode is < 300 or >= 400 || response.Headers.Location == null) |
| | 14 | 125 | | return uri; |
| | 1 | 126 | | uri = new Uri(uri, response.Headers.Location); |
| | | 127 | | } |
| | 0 | 128 | | return uri; |
| | 14 | 129 | | } |
| | | 130 | | |
| | | 131 | | private string CookieNames() => |
| | 51 | 132 | | string.Join(", ", _cookies.GetAllCookies().Select(c => c.Name + "@" + c.Domain).Distinct()); |
| | | 133 | | |
| | | 134 | | /// <summary>Строки «Взаиморасчётов» за период как есть (элементы массива data).</summary> |
| | | 135 | | public async Task<IReadOnlyList<JsonElement>> GetSettlementsAsync(DateOnly from, DateOnly to, CancellationToken ct = |
| | | 136 | | { |
| | 6 | 137 | | var form = new Dictionary<string, string> |
| | 6 | 138 | | { |
| | 6 | 139 | | ["SDATE"] = from.ToString("dd.MM.yyyy", CultureInfo.InvariantCulture), |
| | 6 | 140 | | ["EDATE"] = to.ToString("dd.MM.yyyy", CultureInfo.InvariantCulture), |
| | 6 | 141 | | ["FORMAT"] = "json", |
| | 6 | 142 | | ["LANG"] = "ru" |
| | 6 | 143 | | }; |
| | 6 | 144 | | if (!string.IsNullOrWhiteSpace(_config.KunnrRg)) |
| | 3 | 145 | | form["KUNNR_RG"] = _config.KunnrRg; |
| | | 146 | | |
| | 6 | 147 | | var json = await PostApiWithReloginAsync("settlements/settlements_search", form, ct); |
| | 5 | 148 | | return ArmtekEtpParser.ParseSettlements(json); |
| | 5 | 149 | | } |
| | | 150 | | |
| | | 151 | | /// <summary>HTML страницы фактуры /invoice/index/{kunnr}/{vbeln}.</summary> |
| | | 152 | | public async Task<string> GetInvoicePageAsync(string kunnr, string vbeln, CancellationToken ct = default) |
| | | 153 | | { |
| | 0 | 154 | | var path = $"invoice/index/{Uri.EscapeDataString(kunnr)}/{Uri.EscapeDataString(vbeln)}"; |
| | 0 | 155 | | var html = await GetStringAsync(path, ct); |
| | 0 | 156 | | if (!ArmtekEtpParser.LooksLikeLoginPage(html)) |
| | 0 | 157 | | return html; |
| | | 158 | | |
| | 0 | 159 | | await LoginAsync(ct); |
| | 0 | 160 | | html = await GetStringAsync(path, ct); |
| | 0 | 161 | | if (ArmtekEtpParser.LooksLikeLoginPage(html)) |
| | 0 | 162 | | throw new ArmtekEtpException($"Armtek ETP: фактура {vbeln} недоступна — сессия не принимается"); |
| | 0 | 163 | | return html; |
| | 0 | 164 | | } |
| | | 165 | | |
| | | 166 | | private async Task<AuthResult> PostAuthAsync(string? kunnr, CancellationToken ct) |
| | | 167 | | { |
| | 18 | 168 | | var form = new Dictionary<string, string> |
| | 18 | 169 | | { |
| | 18 | 170 | | ["LOGIN"] = _config.Login.TrimStart('+'), |
| | 18 | 171 | | ["PASSWORD"] = _config.Password, |
| | 18 | 172 | | ["CAPTCHA"] = string.Empty, |
| | 18 | 173 | | ["KUNNR"] = kunnr ?? string.Empty, |
| | 18 | 174 | | ["CAPTCHA_HASH"] = string.Empty |
| | 18 | 175 | | }; |
| | 18 | 176 | | var (json, redirect) = await PostFormAsync("authorization/auth/", form, ct); |
| | 17 | 177 | | if (json == null) |
| | 0 | 178 | | throw new ArmtekEtpException($"Armtek ETP: вход перенаправлен на {redirect} — форма входа изменилась"); |
| | 17 | 179 | | return ParseAuth(json); |
| | 17 | 180 | | } |
| | | 181 | | |
| | | 182 | | private async Task<string> PostApiWithReloginAsync(string path, Dictionary<string, string> form, CancellationToken c |
| | | 183 | | { |
| | 6 | 184 | | if (!_loggedIn) |
| | 3 | 185 | | await LoginAsync(ct); |
| | | 186 | | |
| | 6 | 187 | | var (json, _) = await PostFormAsync(path, form, ct); |
| | 6 | 188 | | if (json != null && !ArmtekEtpParser.IsSessionLost(json)) |
| | 4 | 189 | | return json; |
| | 2 | 190 | | if (json != null) |
| | 1 | 191 | | _logger.LogWarning("Armtek ETP: {Path} — сайт завершил сессию: {Messages}", path, ArmtekEtpParser.ReadMessag |
| | | 192 | | |
| | 2 | 193 | | _logger.LogWarning("Armtek ETP: {Path} — сессия не принята, повторный вход (cookie: {Cookies})", path, CookieNam |
| | 2 | 194 | | await LoginAsync(ct); |
| | 2 | 195 | | var (retry, redirect) = await PostFormAsync(path, form, ct); |
| | 2 | 196 | | if (retry == null) |
| | 1 | 197 | | throw new ArmtekEtpException($"Armtek ETP: после входа {path} перенаправляет на {redirect} — сайт не принима |
| | 1 | 198 | | return retry; |
| | 5 | 199 | | } |
| | | 200 | | |
| | | 201 | | /// <summary>POST формы. Редирект (сессия не принята — сайт отправляет на вход) возвращается как (null, адрес).</sum |
| | | 202 | | private async Task<(string? Body, Uri? Redirect)> PostFormAsync(string path, Dictionary<string, string> form, Cancel |
| | | 203 | | string? referer = null) |
| | | 204 | | { |
| | 34 | 205 | | using var response = await SendAsync(HttpMethod.Post, path, form, ct, referer); |
| | 34 | 206 | | if ((int)response.StatusCode is >= 300 and < 400) |
| | 3 | 207 | | return (null, response.Headers.Location == null ? null : new Uri(new Uri(_baseUri, path), response.Headers.L |
| | 31 | 208 | | EnsureSuccess(response); |
| | 30 | 209 | | return (await response.Content.ReadAsStringAsync(ct), null); |
| | 33 | 210 | | } |
| | | 211 | | |
| | | 212 | | private async Task<string> GetStringAsync(string path, CancellationToken ct) |
| | | 213 | | { |
| | 0 | 214 | | if (!_loggedIn) |
| | 0 | 215 | | await LoginAsync(ct); |
| | | 216 | | |
| | 0 | 217 | | using var response = await SendAsync(HttpMethod.Get, path, null, ct); |
| | | 218 | | // Неавторизованный запрос редиректит на вход — отдаём тело как есть, вызывающий распознает страницу входа. |
| | 0 | 219 | | if ((int)response.StatusCode is >= 300 and < 400) |
| | 0 | 220 | | return string.Empty; |
| | 0 | 221 | | EnsureSuccess(response); |
| | 0 | 222 | | return await response.Content.ReadAsStringAsync(ct); |
| | 0 | 223 | | } |
| | | 224 | | |
| | | 225 | | /// <summary> |
| | | 226 | | /// Запрос «как браузер»: без User-Agent браузера защита сайта отвечает 403. Обрыв соединения или TLS |
| | | 227 | | /// (защита периодически сбрасывает рукопожатие) повторяется до <see cref="MaxAttempts"/> раз с паузой. |
| | | 228 | | /// </summary> |
| | | 229 | | private async Task<HttpResponseMessage> SendAsync(HttpMethod method, string path, Dictionary<string, string>? form, |
| | | 230 | | string? referer = null) |
| | | 231 | | { |
| | 67 | 232 | | var uri = new Uri(_baseUri, path); |
| | 68 | 233 | | for (var attempt = 1; ; attempt++) |
| | | 234 | | { |
| | 68 | 235 | | using var request = new HttpRequestMessage(method, uri) { Content = form == null ? null : new FormUrlEncoded |
| | 68 | 236 | | request.Headers.TryAddWithoutValidation("User-Agent", BrowserUserAgent); |
| | 68 | 237 | | request.Headers.TryAddWithoutValidation("Accept", form == null |
| | 68 | 238 | | ? "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8" |
| | 68 | 239 | | : "application/json, text/javascript, */*; q=0.01"); |
| | 68 | 240 | | request.Headers.TryAddWithoutValidation("Accept-Language", "ru-RU,ru;q=0.9"); |
| | 68 | 241 | | if (form != null) |
| | | 242 | | { |
| | 34 | 243 | | request.Headers.TryAddWithoutValidation("X-Requested-With", "XMLHttpRequest"); |
| | 34 | 244 | | request.Headers.TryAddWithoutValidation("Origin", _baseUri.GetLeftPart(UriPartial.Authority)); |
| | | 245 | | // Referer — страница, с которой сайт сам шлёт этот AJAX: authorization/auth → /authorization, settlemen |
| | 34 | 246 | | request.Headers.TryAddWithoutValidation("Referer", new Uri(_baseUri, referer ?? path.Split('/')[0]).ToSt |
| | | 247 | | } |
| | 68 | 248 | | var cookieHeader = _cookies.GetCookieHeader(uri); |
| | 68 | 249 | | if (!string.IsNullOrEmpty(cookieHeader)) |
| | 68 | 250 | | request.Headers.TryAddWithoutValidation("Cookie", cookieHeader); |
| | | 251 | | |
| | | 252 | | HttpResponseMessage response; |
| | | 253 | | try |
| | | 254 | | { |
| | 68 | 255 | | var client = _httpClientFactory.CreateClient(ArmtekEtpConfig.HttpClientName); |
| | 68 | 256 | | response = await client.SendAsync(request, ct); |
| | 67 | 257 | | } |
| | 1 | 258 | | catch (HttpRequestException ex) when (attempt < MaxAttempts && !ct.IsCancellationRequested) |
| | | 259 | | { |
| | 1 | 260 | | _logger.LogWarning("Armtek ETP: {Method} {Path} — сбой соединения ({Error}), попытка {Attempt}/{Max}", |
| | 1 | 261 | | method, path, ex.GetBaseException().Message, attempt, MaxAttempts); |
| | 1 | 262 | | await Task.Delay(TimeSpan.FromSeconds(3 * attempt), ct); |
| | 1 | 263 | | continue; |
| | | 264 | | } |
| | | 265 | | |
| | 67 | 266 | | if (response.Headers.TryGetValues("Set-Cookie", out var setCookies)) |
| | | 267 | | { |
| | 28 | 268 | | foreach (var setCookie in setCookies) |
| | | 269 | | { |
| | 14 | 270 | | try { _cookies.SetCookies(uri, setCookie); } |
| | 0 | 271 | | catch (CookieException ex) { _logger.LogDebug(ex, "Armtek ETP: cookie не разобрана"); } |
| | | 272 | | } |
| | | 273 | | } |
| | 67 | 274 | | return response; |
| | | 275 | | } |
| | 67 | 276 | | } |
| | | 277 | | |
| | | 278 | | private static JsonElement ParseRoot(string json) |
| | | 279 | | { |
| | 13 | 280 | | try { using var doc = JsonDocument.Parse(json); return doc.RootElement.Clone(); } |
| | 6 | 281 | | catch (JsonException) { return default; } |
| | 8 | 282 | | } |
| | | 283 | | |
| | | 284 | | private static void EnsureSuccess(HttpResponseMessage response) |
| | | 285 | | { |
| | 31 | 286 | | if (response.StatusCode == HttpStatusCode.Forbidden) |
| | 1 | 287 | | throw new ArmtekEtpException("Armtek ETP: доступ запрещён (403) — защита сайта не пропустила запрос сервера" |
| | 30 | 288 | | response.EnsureSuccessStatusCode(); |
| | 30 | 289 | | } |
| | | 290 | | |
| | | 291 | | internal static AuthResult ParseAuth(string json) |
| | | 292 | | { |
| | 19 | 293 | | using var doc = JsonDocument.Parse(json); |
| | 19 | 294 | | var root = doc.RootElement; |
| | 19 | 295 | | var status = root.TryGetProperty("status", out var s) && s.ValueKind == JsonValueKind.True; |
| | 19 | 296 | | var clients = new List<string>(); |
| | 19 | 297 | | var needCaptcha = false; |
| | 19 | 298 | | if (root.TryGetProperty("data", out var data) && data.ValueKind == JsonValueKind.Object) |
| | | 299 | | { |
| | 19 | 300 | | if (data.TryGetProperty("clientChoice", out var choice) && choice.ValueKind == JsonValueKind.Array) |
| | | 301 | | { |
| | 6 | 302 | | foreach (var c in choice.EnumerateArray()) |
| | | 303 | | { |
| | 2 | 304 | | if (c.TryGetProperty("KUNNR", out var k) && ArmtekEtpParser.AsString(k) is { Length: > 0 } kunnr) |
| | 2 | 305 | | clients.Add(kunnr); |
| | | 306 | | } |
| | | 307 | | } |
| | | 308 | | // Капча: явный not_valid_captcha или status=true с captchaHash (сайт показывает картинку вместо входа). |
| | 19 | 309 | | needCaptcha = (data.TryGetProperty("status", out var ds) && ds.ValueKind == JsonValueKind.String |
| | 19 | 310 | | && ds.GetString() == "not_valid_captcha") |
| | 19 | 311 | | || (data.TryGetProperty("captchaHash", out var ch) && ch.ValueKind == JsonValueKind.String && ch.GetStri |
| | | 312 | | } |
| | 19 | 313 | | string? redirectUrl = null; |
| | 19 | 314 | | if (root.TryGetProperty("data", out var d2) && d2.ValueKind == JsonValueKind.Object |
| | 19 | 315 | | && d2.TryGetProperty("redirectUrl", out var r) && r.ValueKind == JsonValueKind.String) |
| | 13 | 316 | | redirectUrl = r.GetString(); |
| | 19 | 317 | | return new AuthResult(status, clients, needCaptcha, ArmtekEtpParser.ReadMessages(root), redirectUrl); |
| | 19 | 318 | | } |
| | | 319 | | |
| | 111 | 320 | | internal sealed record AuthResult(bool Status, List<string> ClientChoice, bool NeedCaptcha, string Message, string? |
| | | 321 | | } |
| | | 322 | | |
| | | 323 | | public sealed class ArmtekEtpException : Exception |
| | | 324 | | { |
| | | 325 | | public ArmtekEtpException(string message) : base(message) { } |
| | | 326 | | } |