Compare commits
No commits in common. "149ebc0cf1ebbf2a0642f3027d2705a0e82bc06a" and "a80096d72b2061eff23cba504290d0201545e371" have entirely different histories.
149ebc0cf1
...
a80096d72b
@ -1,131 +0,0 @@
|
||||
using ManagerService.Controllers;
|
||||
using ManagerService.Tests.Infrastructure;
|
||||
using Microsoft.Extensions.Configuration;
|
||||
using MongoDB.Driver;
|
||||
using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Net;
|
||||
using System.Net.Http;
|
||||
using System.Threading;
|
||||
using System.Threading.Tasks;
|
||||
using Xunit;
|
||||
using Xunit.Abstractions;
|
||||
|
||||
namespace ManagerService.Tests.Controllers
|
||||
{
|
||||
/// <summary>
|
||||
/// Dry run de la bascule Mongo → Postgres, et comparaison des comptages par entité.
|
||||
/// C'est la seule preuve que les écarts (b), (c) et (e) sont fermés : la lecture de
|
||||
/// code ne dit pas ce qui arrive vraiment dans la base.
|
||||
///
|
||||
/// Se saute si aucun Mongo n'écoute sur MIGRATION_TEST_MONGO (défaut
|
||||
/// mongodb://localhost:27018) — la suite reste donc verte sans dépendance.
|
||||
/// Pour l'exécuter : importer `migration-data/` dans un Mongo jetable, cf. STATUS.md §1quinquies.
|
||||
/// </summary>
|
||||
public class MigrationDryRunTests
|
||||
{
|
||||
private readonly ITestOutputHelper _output;
|
||||
|
||||
public MigrationDryRunTests(ITestOutputHelper output) => _output = output;
|
||||
|
||||
private static string MongoUri =>
|
||||
Environment.GetEnvironmentVariable("MIGRATION_TEST_MONGO") ?? "mongodb://localhost:27018";
|
||||
|
||||
private static bool MongoIsReachable(out Dictionary<string, long> counts)
|
||||
{
|
||||
counts = new Dictionary<string, long>();
|
||||
try
|
||||
{
|
||||
var settings = MongoClientSettings.FromConnectionString(MongoUri);
|
||||
settings.ServerSelectionTimeout = TimeSpan.FromSeconds(2);
|
||||
var db = new MongoClient(settings).GetDatabase("TabletDb");
|
||||
|
||||
foreach (var name in new[] { "Instances", "Users", "Configurations", "Resources", "Sections", "Devices" })
|
||||
counts[name] = db.GetCollection<MongoDB.Bson.BsonDocument>(name)
|
||||
.CountDocuments(MongoDB.Bson.BsonDocument.Parse("{}"));
|
||||
|
||||
return counts["Instances"] > 0;
|
||||
}
|
||||
catch
|
||||
{
|
||||
return false;
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Les tailles de fichier passent par un HEAD sur chaque URL. Sur 2374 ressources
|
||||
/// cela interrogerait Firebase pendant plusieurs minutes, pour une information que
|
||||
/// ce test ne vérifie pas : il compare des comptages. On coupe court.
|
||||
/// </summary>
|
||||
private sealed class UnreachableHttpClientFactory : IHttpClientFactory
|
||||
{
|
||||
private sealed class Handler : HttpMessageHandler
|
||||
{
|
||||
protected override Task<HttpResponseMessage> SendAsync(HttpRequestMessage request, CancellationToken ct) =>
|
||||
Task.FromResult(new HttpResponseMessage(HttpStatusCode.NotFound));
|
||||
}
|
||||
|
||||
public HttpClient CreateClient(string name) => new HttpClient(new Handler());
|
||||
}
|
||||
|
||||
[Fact]
|
||||
public async Task DryRun_MatchesMongoCounts()
|
||||
{
|
||||
if (!MongoIsReachable(out var mongo))
|
||||
{
|
||||
_output.WriteLine($"Mongo injoignable sur {MongoUri} — test sauté.");
|
||||
return;
|
||||
}
|
||||
|
||||
var config = new ConfigurationBuilder()
|
||||
.AddInMemoryCollection(new Dictionary<string, string> { ["ConnectionStrings:TabletDb"] = MongoUri })
|
||||
.Build();
|
||||
|
||||
using var db = DbContextFactory.Create();
|
||||
var controller = new MigrationController(
|
||||
db,
|
||||
new Manager.Services.InstanceDatabaseService(config),
|
||||
new Manager.Services.ConfigurationDatabaseService(config),
|
||||
new Manager.Services.SectionDatabaseService(config),
|
||||
new Manager.Services.ResourceDatabaseService(config),
|
||||
new Manager.Services.UserDatabaseService(config),
|
||||
new Manager.Services.DeviceDatabaseService(config),
|
||||
new UnreachableHttpClientFactory());
|
||||
|
||||
var result = await controller.Run(dryRun: true);
|
||||
var report = Assert.IsType<MigrationReportDTO>(result.Value);
|
||||
|
||||
_output.WriteLine($"FatalError : {report.FatalError ?? "(aucun)"}");
|
||||
_output.WriteLine($"Erreurs : {report.Errors.Count}");
|
||||
foreach (var e in report.Errors.Take(15)) _output.WriteLine(" " + e);
|
||||
_output.WriteLine("");
|
||||
_output.WriteLine($"{"Entité",-18}{"Mongo",8}{"Migré",8}");
|
||||
_output.WriteLine($"{"Instances",-18}{mongo["Instances"],8}{report.Migrated.Instances,8}");
|
||||
_output.WriteLine($"{"Users",-18}{mongo["Users"],8}{report.Migrated.Users,8}");
|
||||
_output.WriteLine($"{"Configurations",-18}{mongo["Configurations"],8}{report.Migrated.Configurations,8}");
|
||||
_output.WriteLine($"{"Resources",-18}{mongo["Resources"],8}{report.Migrated.Resources,8}");
|
||||
_output.WriteLine($"{"Sections",-18}{mongo["Sections"],8}{report.Migrated.Sections,8}");
|
||||
_output.WriteLine($"{"Devices",-18}{mongo["Devices"],8}{report.Migrated.Devices,8}");
|
||||
_output.WriteLine($"{"ApplicationInstances",-18}{"—",8}{report.Migrated.ApplicationInstances,8}");
|
||||
_output.WriteLine($"{"AppConfigLinks",-18}{"—",8}{report.Migrated.AppConfigurationLinks,8}");
|
||||
|
||||
Assert.Null(report.FatalError);
|
||||
|
||||
// Une entité migrée sur deux, c'est une bascule qui se déclare réussie en
|
||||
// ayant perdu la moitié du contenu. C'est exactement ce que le dry run doit
|
||||
// attraper avant le jour J.
|
||||
Assert.Equal(mongo["Instances"], report.Migrated.Instances);
|
||||
Assert.Equal(mongo["Users"], report.Migrated.Users);
|
||||
Assert.Equal(mongo["Configurations"], report.Migrated.Configurations);
|
||||
// Les sections dont la configuration a été supprimée dans Mongo ne peuvent pas
|
||||
// être migrées, mais elles doivent être **signalées**. L'invariant qui compte
|
||||
// n'est donc pas « tout est migré » : c'est « rien ne disparaît en silence ».
|
||||
var skippedSections = report.Skipped.Count(s => s.StartsWith("Section "));
|
||||
_output.WriteLine($"{" dont orphelines",-18}{"",8}{skippedSections,8}");
|
||||
Assert.Equal(mongo["Sections"], report.Migrated.Sections + skippedSections);
|
||||
Assert.Equal(mongo["Devices"], report.Migrated.Devices);
|
||||
Assert.Equal(mongo["Resources"], report.Migrated.Resources);
|
||||
}
|
||||
}
|
||||
}
|
||||
@ -3,7 +3,6 @@ using Manager.Services;
|
||||
using ManagerService.Data;
|
||||
using ManagerService.Data.SubSection;
|
||||
using ManagerService.DTOs;
|
||||
using ManagerService.Helpers;
|
||||
using Microsoft.AspNetCore.Authorization;
|
||||
using Microsoft.AspNetCore.Mvc;
|
||||
using Microsoft.EntityFrameworkCore;
|
||||
@ -13,7 +12,6 @@ using System;
|
||||
using System.Collections.Generic;
|
||||
using System.Linq;
|
||||
using System.Net.Http;
|
||||
using System.Security.Cryptography;
|
||||
using System.Text.Json;
|
||||
using System.Threading.Tasks;
|
||||
|
||||
@ -67,13 +65,6 @@ namespace ManagerService.Controllers
|
||||
{
|
||||
var report = new MigrationReportDTO { DryRun = dryRun };
|
||||
|
||||
// Écart (h). Neuf étapes, un SaveChanges chacune : un échec au milieu
|
||||
// laissait la base à moitié remplie — des sections sans configuration, des
|
||||
// configurations sans instance. Une transaction unique rend l'échec propre :
|
||||
// soit tout est là, soit rien ne l'est, et on relance après correction.
|
||||
// En dryRun rien n'est écrit, donc pas de transaction à ouvrir.
|
||||
var transaction = dryRun ? null : await _db.Database.BeginTransactionAsync();
|
||||
|
||||
try
|
||||
{
|
||||
await MigrateInstancesAsync(report, dryRun, instanceId);
|
||||
@ -85,26 +76,10 @@ namespace ManagerService.Controllers
|
||||
await MigrateDevicesAsync(report, dryRun, instanceId);
|
||||
await LinkMenuSectionsAsync(report, dryRun);
|
||||
await EnrichPdfResourcesAsync(report, dryRun);
|
||||
|
||||
if (transaction != null)
|
||||
await transaction.CommitAsync();
|
||||
}
|
||||
catch (Exception ex)
|
||||
{
|
||||
if (transaction != null)
|
||||
await transaction.RollbackAsync();
|
||||
|
||||
report.FatalError = ex.Message;
|
||||
|
||||
// Renvoyer 200 OK sur un échec fatal était le piège : un script de
|
||||
// bascule qui teste le code HTTP concluait que tout s'était bien passé,
|
||||
// l'erreur n'étant que dans le corps de la réponse.
|
||||
return new ObjectResult(report) { StatusCode = 500 };
|
||||
}
|
||||
finally
|
||||
{
|
||||
if (transaction != null)
|
||||
await transaction.DisposeAsync();
|
||||
}
|
||||
|
||||
return new OkObjectResult(report);
|
||||
@ -128,36 +103,14 @@ namespace ManagerService.Controllers
|
||||
continue;
|
||||
}
|
||||
|
||||
// Mongo ne contient que ces 4 champs — vérifié dans l'export : les ~31
|
||||
// autres colonnes sont nées avec Postgres v3. Il n'y a donc rien à
|
||||
// mapper de plus, il faut générer, dériver et affecter. Sans ça
|
||||
// l'instance arrive muette : PublicApiKey nul = les apps visiteur ne
|
||||
// s'authentifient plus, plan nul = quotas à 0 = rien ne s'indexe.
|
||||
var entity = new Instance
|
||||
{
|
||||
Id = old.Id,
|
||||
Name = old.Name,
|
||||
DateCreation = old.DateCreation,
|
||||
PinCode = old.PinCode?.ToString(),
|
||||
WebSlug = SlugHelper.GenerateUniqueSlug(_db, old.Name),
|
||||
PublicApiKey = GeneratePublicApiKey(),
|
||||
SubscriptionPlanId = PlanForInstance(old.Name),
|
||||
IsActive = true,
|
||||
};
|
||||
|
||||
// Les drapeaux de plateforme se déduisent des configurations, comme le
|
||||
// fait déjà MigrateApplicationInstancesAsync pour créer les app
|
||||
// instances. IsWeb reste faux : le canal web n'existait pas avant la
|
||||
// bascule, c'est un réglage d'après.
|
||||
var configs = _configSvc.GetAll(old.Id);
|
||||
entity.IsTablet = configs.Any(c => c.IsTablet);
|
||||
entity.IsMobile = configs.Any(c => c.IsMobile);
|
||||
|
||||
ApplyPlanQuotas(entity);
|
||||
// L'assistant ne s'allume que si le plan lui donne des jetons —
|
||||
// sinon le client verrait une entrée de menu qui ne répond jamais.
|
||||
entity.IsAssistant = entity.AiTokensPerMonth > 0;
|
||||
|
||||
if (!dryRun)
|
||||
_db.Instances.Add(entity);
|
||||
|
||||
@ -173,50 +126,6 @@ namespace ManagerService.Controllers
|
||||
if (!dryRun) await _db.SaveChangesAsync();
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Même schéma que l'inscription self-service (`OnboardingController`) : préfixe
|
||||
/// `ap_`, 32 octets aléatoires cryptographiques, encodés en base64 URL-safe.
|
||||
/// </summary>
|
||||
private static string GeneratePublicApiKey() =>
|
||||
"ap_" + Convert.ToBase64String(RandomNumberGenerator.GetBytes(32))
|
||||
.Replace("+", "-").Replace("/", "_").TrimEnd('=');
|
||||
|
||||
/// <summary>
|
||||
/// Affectation décidée le 2026-08-11 pour les 4 clients existants — aucun n'est
|
||||
/// sur Essentiel. Le rapprochement se fait par nom parce que c'est la seule
|
||||
/// donnée lisible de l'export Mongo ; un id inconnu retombe sur Pro, le plan
|
||||
/// des clients avec app mobile, jamais sur un plan qui offrirait l'IA.
|
||||
/// ⚠️ Pro n'inclut pas l'assistant : MDLF et le Fort n'auront pas d'IA. Pour les
|
||||
/// tests, soit les passer en Premium, soit leur poser un quota à la main.
|
||||
/// </summary>
|
||||
private static string PlanForInstance(string name)
|
||||
{
|
||||
if (name == null) return "plan-pro";
|
||||
if (name.Contains("MyInfoMate", StringComparison.OrdinalIgnoreCase)) return "plan-premium";
|
||||
if (name.Contains("VisitNamur", StringComparison.OrdinalIgnoreCase)) return "plan-premium";
|
||||
return "plan-pro";
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Recopie les quotas du plan sur l'instance. Duplique volontairement la logique
|
||||
/// d'`InstanceController.ApplyPlanQuotas` plutôt que d'en dépendre : la migration
|
||||
/// ne doit pas casser si ce contrôleur change de forme. Les deux doivent rester
|
||||
/// alignées — voir l'écart (c) du §1quinquies.
|
||||
/// </summary>
|
||||
private void ApplyPlanQuotas(Instance instance)
|
||||
{
|
||||
if (instance.SubscriptionPlanId == null) return;
|
||||
|
||||
var plan = _db.SubscriptionPlans.FirstOrDefault(p => p.Id == instance.SubscriptionPlanId);
|
||||
if (plan == null) return;
|
||||
|
||||
instance.StorageQuotaBytes = plan.StorageQuotaBytes;
|
||||
instance.AiTokensPerMonth = plan.AiTokensPerMonth;
|
||||
instance.HasStats = plan.HasStats;
|
||||
instance.StatsHistoryDays = plan.StatsHistoryDays;
|
||||
instance.HasAdvancedStats = plan.HasAdvancedStats;
|
||||
}
|
||||
|
||||
// ─── Resources ────────────────────────────────────────────────────────
|
||||
|
||||
private async Task MigrateResourcesAsync(MigrationReportDTO report, bool dryRun, string filterInstanceId)
|
||||
@ -231,7 +140,6 @@ namespace ManagerService.Controllers
|
||||
httpClient.Timeout = TimeSpan.FromSeconds(10);
|
||||
|
||||
var sizemap = new System.Collections.Concurrent.ConcurrentDictionary<string, long>();
|
||||
var unsized = new System.Collections.Concurrent.ConcurrentDictionary<string, bool>();
|
||||
var urlSource = source.Where(r => !string.IsNullOrEmpty(r.Url)).ToList();
|
||||
|
||||
const int batchSize = 30;
|
||||
@ -247,13 +155,7 @@ namespace ManagerService.Controllers
|
||||
if (resp.Content.Headers.ContentLength.HasValue)
|
||||
sizemap[r.Id] = resp.Content.Headers.ContentLength.Value;
|
||||
}
|
||||
catch
|
||||
{
|
||||
// L'échec était avalé sans laisser de trace : la ressource
|
||||
// arrivait à 0 octet et le quota de stockage la comptait pour
|
||||
// rien, sans que personne puisse savoir lesquelles. On le note.
|
||||
unsized[r.Id] = true;
|
||||
}
|
||||
catch { /* URL inaccessible ou expirée → SizeBytes restera 0 */ }
|
||||
}));
|
||||
}
|
||||
|
||||
@ -275,20 +177,12 @@ namespace ManagerService.Controllers
|
||||
DateCreation = old.DateCreation,
|
||||
InstanceId = old.InstanceId,
|
||||
Url = old.Url,
|
||||
SizeBytes = sizemap.TryGetValue(old.Id, out var size) ? size : 0,
|
||||
};
|
||||
|
||||
// Écart (e) : StoragePath n'était pas renseigné du tout, et SizeBytes
|
||||
// l'était à la main. Les deux passent par le même calculateur que la
|
||||
// création et le backfill (lien L5) — sinon les trois divergent sur
|
||||
// les types URL, qui n'ont ni blob ni poids à compter dans le quota.
|
||||
ResourceStorage.Apply(entity, sizemap.TryGetValue(old.Id, out var size) ? size : 0);
|
||||
|
||||
if (!dryRun)
|
||||
_db.Resources.Add(entity);
|
||||
|
||||
if (unsized.ContainsKey(old.Id) && ResourceStorage.HasBlob(entity.Type))
|
||||
report.Errors.Add($"Resource {old.Id} ({old.Label}) : taille inconnue (HEAD en échec), SizeBytes à 0 — le quota de stockage la comptera pour rien");
|
||||
|
||||
report.Migrated.Resources++;
|
||||
}
|
||||
catch (Exception ex)
|
||||
@ -328,15 +222,7 @@ namespace ManagerService.Controllers
|
||||
Token = old.Token,
|
||||
DateCreation = old.DateCreation,
|
||||
InstanceId = old.InstanceId,
|
||||
// Mongo n'a pas de champ Role : le rôle est une notion née avec
|
||||
// Postgres v3. Tous les utilisateurs y avaient donc un accès
|
||||
// complet. `ContentEditor` était un choix par défaut qui les
|
||||
// dégradait tous en silence — plus personne n'aurait pu gérer les
|
||||
// utilisateurs de son instance après la bascule.
|
||||
// `InstanceAdmin` préserve ce qu'ils pouvaient faire hier, et
|
||||
// c'est aussi le rôle que l'inscription self-service donne au
|
||||
// premier utilisateur d'une instance.
|
||||
Role = UserRole.InstanceAdmin,
|
||||
Role = UserRole.ContentEditor,
|
||||
};
|
||||
|
||||
if (!dryRun)
|
||||
@ -514,28 +400,6 @@ namespace ManagerService.Controllers
|
||||
.GroupBy(s => s.Id).Select(g => g.First())
|
||||
.ToList();
|
||||
|
||||
// Les sections sont collectées configuration par configuration : celles dont
|
||||
// la configuration a été supprimée dans Mongo ne sont jamais énumérées, donc
|
||||
// ne partaient ni dans Migrated, ni dans Skipped, ni dans Errors. Le rapport
|
||||
// affichait un compte inférieur à Mongo sans dire pourquoi — mesuré au dry
|
||||
// run du 2026-08-11 : 327 sections en base, 307 reprises, 20 muettes.
|
||||
// Elles ne peuvent pas être migrées (la FK ConfigurationId les refuserait),
|
||||
// mais leur disparition doit être un constat, pas une surprise du jour J.
|
||||
var knownConfigIds = configIds.ToHashSet();
|
||||
var orphans = instanceIds
|
||||
.SelectMany(id => _sectionSvc.GetAll(id))
|
||||
.GroupBy(s => s.Id).Select(g => g.First())
|
||||
.Where(s => !knownConfigIds.Contains(s.ConfigurationId))
|
||||
.ToList();
|
||||
|
||||
foreach (var orphan in orphans)
|
||||
report.Skipped.Add(
|
||||
$"Section {orphan.Id} ({orphan.Label}) — configuration {orphan.ConfigurationId} introuvable, section orpheline dans Mongo");
|
||||
|
||||
if (orphans.Count > 0)
|
||||
report.Details.Add(
|
||||
$"{orphans.Count} section(s) orpheline(s) non migrée(s) : leur configuration n'existe plus dans Mongo");
|
||||
|
||||
var opts = new JsonSerializerOptions { PropertyNameCaseInsensitive = true };
|
||||
|
||||
foreach (var old in source)
|
||||
@ -659,13 +523,7 @@ namespace ManagerService.Controllers
|
||||
var dto = ParseData<OldQuizzDTO>(old, opts, report);
|
||||
var s = new SectionQuiz
|
||||
{
|
||||
// Écart (b). `new List<QuizQuestion>()` jetait les questions :
|
||||
// mesuré sur l'export, 5 sections quiz en portent **41**. Un quiz
|
||||
// arrivait donc sans une seule question, et rien ne le signalait.
|
||||
// Les agendas, eux, n'ont pas d'événements dans Mongo et les
|
||||
// parcours guidés n'y existent pas : leurs collections filles
|
||||
// vides sont correctes, celle-ci ne l'était pas.
|
||||
QuizQuestions = BuildQuizQuestions(dto?.questions),
|
||||
QuizQuestions = new List<QuizQuestion>(),
|
||||
QuizBadLevel = dto?.bad_level?.label ?? new List<TranslationAndResourceDTO>(),
|
||||
QuizMediumLevel = dto?.medium_level?.label ?? new List<TranslationAndResourceDTO>(),
|
||||
QuizGoodLevel = dto?.good_level?.label ?? new List<TranslationAndResourceDTO>(),
|
||||
@ -755,39 +613,6 @@ namespace ManagerService.Controllers
|
||||
}
|
||||
}
|
||||
|
||||
/// <summary>
|
||||
/// Écart (b) : les questions de quiz de Mongo, jusqu'ici perdues. Le type de
|
||||
/// validation n'existait pas dans l'ancien modèle — toutes les questions y étaient
|
||||
/// à choix multiples — d'où `MultipleChoice`, qui préserve le comportement d'hier
|
||||
/// plutôt que de retomber sur le défaut `Simple` du modèle.
|
||||
/// </summary>
|
||||
private static List<QuizQuestion> BuildQuizQuestions(List<OldQuestionDTO> old)
|
||||
{
|
||||
var questions = new List<QuizQuestion>();
|
||||
if (old == null) return questions;
|
||||
|
||||
foreach (var q in old)
|
||||
{
|
||||
questions.Add(new QuizQuestion
|
||||
{
|
||||
Label = q.label ?? new List<TranslationAndResourceDTO>(),
|
||||
ResourceId = q.imageBackgroundResourceId,
|
||||
Order = q.order,
|
||||
ValidationQuestionType = QuestionType.MultipleChoice,
|
||||
Responses = (q.responses ?? new List<OldResponseDTO>())
|
||||
.Select(r => new ResponseDTO
|
||||
{
|
||||
label = r.label ?? new List<TranslationAndResourceDTO>(),
|
||||
isGood = r.isGood,
|
||||
order = r.order,
|
||||
})
|
||||
.ToList(),
|
||||
});
|
||||
}
|
||||
|
||||
return questions;
|
||||
}
|
||||
|
||||
private GeoPoint BuildGeoPoint(OldGeoPointDTO p, string sectionMapId)
|
||||
{
|
||||
Geometry geometry = null;
|
||||
|
||||
Loading…
x
Reference in New Issue
Block a user