C2 — POST /api/Resource/backfill-storage, SuperAdmin, dryRun à true par
défaut : la migration se joue sur une base vide, ce backfill sur des lignes
de production. StoragePath par ResourceStorage.PathFor, SizeBytes par HEAD.
La méthode annoncée au plan — « SizeBytes par listing du bucket Firebase » —
était inapplicable : le serveur n'avait aucun client de stockage. Le sondage
passe donc par HEAD sur l'URL publique, comme le fait déjà la migration, et
le sondeur est extrait plutôt que recopié (Helpers/ResourceSizeProbe,
consommé par MigrationController et par le backfill). Même raisonnement que
pour ResourceStorage : deux copies auraient divergé sur ce qui compte, le
sort réservé aux échecs.
L'extraction a bouché un trou que personne ne cherchait. L'original ne notait
l'échec que dans son catch, or un HEAD sur un blob absent ne lève pas : il
répond 404, sans Content-Length. Ces ressources arrivaient à 0 octet sans
figurer dans le rapport — invisibles au quota et invisibles au diagnostic,
exactement ce que le commentaire d'origine voulait empêcher.
Le « 37 lignes sur 45 » du plan n'étant pas vérifiable, le backfill rend son
propre inventaire : Orphans (aucune URL, blob peut-être jamais téléversé) et
Unsized (URL présente, bucket muet) restent séparés, ce sont deux causes
distinctes.
C3 — pré-vol du quota sur les deux chemins de création, suppression du blob
à Delete, angle mort d'Update tranché.
Deux défauts trouvés en câblant, qui n'étaient documentés nulle part :
- Le pré-vol existait déjà à moitié. Upload (multipart) contrôlait et
renvoyait 413, Create (JSON) ne contrôlait rien — or c'est le chemin
qu'emprunte manager-app, qui crée la ligne puis téléverse.
- Les deux lectures du quota divergeaient. Upload lisait le quota du plan,
GetQuota celui de l'instance avec le plan en repli. Une instance à quota
surchargé — le mécanisme même de l'add-on — affichait un chiffre à l'écran
et se faisait bloquer sur un autre. Helpers/StorageQuota devient la seule
source de vérité pour les deux.
Delete supprime le blob AVANT la ligne et renvoie 502 en conservant la ligne
si le bucket échoue. manager-app faisait l'inverse en avalant l'échec dans un
print : la ligne disparaissait, le blob restait, et n'ayant plus de ligne il
devenait invisible au quota tout en restant facturé. Une ressource encore
listée se rattrape ; un blob que plus aucune ligne ne désigne, non.
L'angle mort laissé ouvert par C1 était une fausse crainte : PathFor ne
construit qu'un pictures/{instanceId}/{resourceId}, le type n'entre pas dans
le chemin, il décide seulement s'il y en a un. Recalculer ne peut donc pas
pointer ailleurs, et Update rejoue Apply.
Aucun secret nouveau : FirebaseAdmin était déjà référencé pour les
notifications push et Startup charge déjà un service account, donc
Google.Cloud.Storage.V1 réutilise le même GoogleCredential. Seule s'ajoute la
clé Firebase:StorageBucket, vide par défaut — à renseigner en prod (I9),
sans quoi Delete ne supprime rien et ne prétend pas le contraire.
dotnet build vert, dotnet test 163/163 (148 au départ, +7 pour C2, +8 pour C3).
Contient aussi le correctif d'indexation préparé en parallèle : un job
Hangfire par section dans BackfillInstanceAsync au lieu d'une boucle, et un
backoff sur 429/503 dans GoogleEmbeddingService.
Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
99 lines
3.7 KiB
C#
99 lines
3.7 KiB
C#
using System;
|
|
using System.Threading.Tasks;
|
|
using Google.Apis.Auth.OAuth2;
|
|
using Google.Cloud.Storage.V1;
|
|
using Microsoft.Extensions.Configuration;
|
|
using Microsoft.Extensions.Logging;
|
|
|
|
namespace ManagerService.Services
|
|
{
|
|
public enum BlobDeleteOutcome
|
|
{
|
|
/// <summary>Objet supprimé.</summary>
|
|
Deleted,
|
|
|
|
/// <summary>
|
|
/// Rien à supprimer : blob jamais téléversé, ou déjà supprimé. Ce n'est pas un
|
|
/// échec — c'est même l'état recherché, donc l'appelant peut continuer.
|
|
/// </summary>
|
|
AlreadyAbsent,
|
|
|
|
/// <summary>
|
|
/// Le bucket n'est pas configuré. La suppression est alors sautée, jamais
|
|
/// silencieusement réussie : un environnement mal configuré ne doit pas
|
|
/// ressembler à un environnement qui nettoie.
|
|
/// </summary>
|
|
NotConfigured,
|
|
|
|
/// <summary>Le bucket a répondu autre chose. L'appelant ne doit pas supprimer la ligne.</summary>
|
|
Failed
|
|
}
|
|
|
|
public interface IResourceBlobService
|
|
{
|
|
bool IsConfigured { get; }
|
|
Task<BlobDeleteOutcome> DeleteAsync(string storagePath);
|
|
}
|
|
|
|
/// <summary>
|
|
/// Suppression d'un blob dans le bucket, côté serveur.
|
|
///
|
|
/// Jusqu'ici seul manager-app supprimait, après avoir supprimé la ligne et en
|
|
/// avalant l'échec dans un print : un échec laissait un orphelin définitif, et
|
|
/// comme sa ligne n'existait plus, le quota ne le comptait pas — il occupait des
|
|
/// octets facturés que personne ne voyait.
|
|
///
|
|
/// Aucun secret nouveau : le credential est celui que Startup charge déjà pour les
|
|
/// notifications push (Firebase:CredentialsPath). Seul le nom du bucket s'ajoute.
|
|
/// </summary>
|
|
public class ResourceBlobService : IResourceBlobService
|
|
{
|
|
private readonly ILogger<ResourceBlobService> _logger;
|
|
private readonly string _bucket;
|
|
private readonly Lazy<StorageClient> _client;
|
|
|
|
public ResourceBlobService(IConfiguration configuration, ILogger<ResourceBlobService> logger)
|
|
{
|
|
_logger = logger;
|
|
_bucket = configuration["Firebase:StorageBucket"];
|
|
var credentialsPath = configuration["Firebase:CredentialsPath"];
|
|
|
|
// Lazy : ne pas lire le fichier de credentials au démarrage pour un service
|
|
// dont la plupart des requêtes n'ont pas besoin, et ne pas faire échouer le
|
|
// boot d'un environnement de développement qui n'a pas le fichier.
|
|
_client = new Lazy<StorageClient>(() =>
|
|
StorageClient.Create(GoogleCredential.FromFile(credentialsPath)));
|
|
|
|
IsConfigured = !string.IsNullOrEmpty(_bucket)
|
|
&& !string.IsNullOrEmpty(credentialsPath)
|
|
&& System.IO.File.Exists(credentialsPath);
|
|
}
|
|
|
|
public bool IsConfigured { get; }
|
|
|
|
public async Task<BlobDeleteOutcome> DeleteAsync(string storagePath)
|
|
{
|
|
if (string.IsNullOrEmpty(storagePath))
|
|
return BlobDeleteOutcome.AlreadyAbsent;
|
|
|
|
if (!IsConfigured)
|
|
return BlobDeleteOutcome.NotConfigured;
|
|
|
|
try
|
|
{
|
|
await _client.Value.DeleteObjectAsync(_bucket, storagePath);
|
|
return BlobDeleteOutcome.Deleted;
|
|
}
|
|
catch (Google.GoogleApiException ex) when (ex.HttpStatusCode == System.Net.HttpStatusCode.NotFound)
|
|
{
|
|
return BlobDeleteOutcome.AlreadyAbsent;
|
|
}
|
|
catch (Exception ex)
|
|
{
|
|
_logger.LogError(ex, "Suppression du blob {StoragePath} en échec sur le bucket {Bucket}", storagePath, _bucket);
|
|
return BlobDeleteOutcome.Failed;
|
|
}
|
|
}
|
|
}
|
|
}
|