La Continuité des Activités grâce aux Systèmes de Données Chromatographiques d'Entreprise
Comment assurer la continuité de mes activités de chromatographie en cas de défaillance de l’infrastructure du système de données chromatographiques ?
Written by Robin Frey, Piotr Kuchta and Lukas Graubner
Introduction
Aujourd'hui, les méthodes d'analyse en laboratoire telles que la chromatographie sont contrôlées par CDS dans un large éventail de secteurs et sont soumises à des directives et réglementations strictes. Il est essentiel pour la plupart des entreprises de maintenir leurs activités d'analyse dans des circonstances exceptionnelles tout en respectant toutes les exigences légales.
Définition du problème
Ces systèmes dits de données chromatographiques (CDS) sont exploités par des entreprises, en particulier dans l’industrie pharmaceutique, à l’échelle de l’entreprise. Ils permettent d’assurer une validation adéquate, une gestion des changements conforme ainsi que la documentation associée. Ces systèmes reposent généralement sur une infrastructure centralisée, voire basée sur le cloud, et sur des clients dédiés situés à proximité des instruments pour l’acquisition des données (architecture client-serveur).
En cas d’interruption de communication (coupure de la connexion réseau) entre le client et le serveur dans une telle infrastructure, la continuité des activités analytiques doit être garantie (continuité d’activité). D’une part, les analyses en cours doivent être menées à terme (sans interruption de l’acquisition des données) et pouvoir être évaluées. D’autre part, il doit être possible de créer, lancer et évaluer de nouvelles analyses en conséquence.
Exigences
D'un point de vue réglementaire, les principes d'intégrité des données selon ALCOA+ doivent être respectés et la traçabilité complète des données doit être garantie même dans une telle situation exceptionnelle.
En outre, les interruptions ou défaillances de l’acquisition et du traitement des données doivent être évitées afin que les processus de production restent largement non perturbés.
Scénario d’exemple réaliste
Lors de travaux de rénovation dans le bâtiment du laboratoire, un incident majeur se produit et, entre autres, le câblage primaire et secondaire du réseau dans le puits de câbles vertical du bâtiment est endommagé. Par conséquent, le laboratoire de chromatographie n'a plus de connexion au réseau de l'entreprise. L'infrastructure du serveur du système de données chromatographiques n'étant pas située dans le même bâtiment, l'accès au stockage central des données n'est plus possible non plus. La réparation du câblage dans le puits de câbles vertical prendra certainement trois à cinq jours de travail. En revanche, les salles de production ne sont pas touchées. La production de plusieurs produits d'une valeur de plusieurs millions d'euros est prévue pendant la période d'arrêt. Si la libération dans le laboratoire de chromatographie ne peut avoir lieu, les produits manufacturés ne peuvent être libérés et la production s'arrête, ce qui entraîne un énorme préjudice économique.
Description générale des solutions
Les trois systèmes de données chromatographiques les plus utilisés reposent tous sur des ordinateurs clients locaux auxquels les instruments de chromatographie sont directement connectés. Selon le fabricant, ces clients portent des appellations différentes : Waters : LAC/E ; Agilent : Agilent Instrument Controller (AIC) ; Thermo Scientific : Instrument Controller (IC) ou IPC. Ces ordinateurs locaux ont pour rôle principal de mettre en mémoire tampon les données acquises avant leur stockage final sur le serveur. En cas de défaillance du réseau, ce mécanisme de mise en tampon est essentiel pour assurer la continuité des analyses chromatographiques en cours. Les clients locaux peuvent également servir de postes clients logiciels pour les systèmes de données chromatographiques lorsqu’un écran, un clavier et une souris y sont connectés.
Questions à traiter
Cela conduit aux questions suivantes, qui doivent être examinées en cas exceptionnel d’interruption du réseau :
-
- Les licences logicielles et la gestion des utilisateurs restent-elles disponibles en cas de défaillance du réseau ?
-
- Les séries de mesures en cours se poursuivent-elles sans interruption ?
-
- Est-il possible d’ajouter des mesures à une série de mesures en cours, démarrée avant l’interruption ?
-
- Les données d’une série de mesures en cours, démarrée avant l’interruption, peuvent-elles également être évaluées pendant l’interruption ?
-
- Est-il possible de démarrer une nouvelle série de mesures ?
-
- Les méthodes existantes (validées) et les modèles de rapports peuvent-ils toujours être utilisés ?
-
- Les nouvelles séries de mesures peuvent-elles être évaluées et approuvées pendant l’interruption ?
-
- Les données mesurées pendant l’interruption sont-elles entièrement synchronisées avec le serveur ?
-
- Toutes les actions effectuées pendant la panne réseau sont-elles entièrement traçables sans documentation manuelle ?
Fonctionnalités disponibles dans les versions actuelles des trois systèmes de données chromatographiques les plus utilisés
(par ordre alphabétique du fabricant)
Dans les trois sections suivantes, l’approche de solution propre à chacun des trois fabricants sélectionnés est décrite en détail. La section suivante présentera une synthèse et une analyse de la manière dont les questions ci-dessus peuvent être traitées pour chacun des systèmes.
Agilent OpenLab CDS 2.8
Agilent calls the solution for bridging network failures between the server infrastructure and the AIC the Acquisition Failover Mode. The failover mode is triggered as soon as the connection between the AIC and the server infrastructure is interrupted. Any connection of a remote client is also informed about the loss of the connection and that it is possible to use failover mode.
To operate a device in failover mode, you must identify the corresponding AIC that belongs to the device and log on locally to the operating system of this computer, either locally with screen, keyboard and mouse, or if parts of the network are still working, via a remote desktop connection (RDP).
Open the OpenLab Control Panel on the AIC, which then suggests the failover mode option:
If you now use failover mode, all actions within the software are executed in the context of the OpenLab system user instead of the authenticated user. A corresponding note can be seen in the footer of the OpenLab client.
All methods, sequences and report templates that were used on an AIC in normal operation are saved in the cache and can be used in failover mode to create new individual injections or sequences. New methods can also be created and used. However, newly created methods are not automatically synchronized to the server when the connection to the server infrastructure is re-established.
Projects and project groups are synchronized to the AIC cache every 30 minutes during normal operation. All synchronized projects can also be used in failover mode.
In failover mode, only the device that is directly connected to the AIC can be accessed.
It is not possible to create new projects, configure new devices or reconfigure existing devices in failover mode. System settings cannot be changed either.
Data recording and evaluation is basically identical to normal operation, but with full system rights rather than the normally assigned user and access rights. Due to the failover mode, however, the following restrictions apply:
- Injections and sequences that were started or measured during normal operation cannot be edited or viewed in failover mode
- Snapshots (intermediate results) of sequences that were started during normal operation cannot be created
- Activity log entries that were generated during failover mode are synchronized back to the server after the connection is re-established and marked accordingly with failover mode. However, the corresponding name of the AIC is entered as the username, as no user administration is available in failover mode.
- Sequences and results that were created during failover mode are marked accordingly.
Les données (fichiers de résultats) générées pendant le mode de basculement restent dans le cache sur l'AIC. Une fois la connexion au serveur rétablie, l'utilisateur doit les synchroniser manuellement avec le serveur à l'aide de l'outil « Failover Results Uploader » (Téléchargeur de résultats de basculement). Une fois les données synchronisées avec le serveur, elles sont supprimées du cache local.
Every user who can log on to an AIC also has the option of using failover mode. All actions performed in failover mode are assigned to the system user, as no user authentication is required to start failover mode.
Even if new methods are created during failover mode, these are assigned to the system user in the audit trail.
As soon as the network connection is re-established after a failover mode, all sequences and samples recorded during the failover mode are marked accordingly in the activity logs and audit trails. In the instrument activity log, the system user is also replaced by the name of the AIC.
Agilent Technologies repeatedly points out that separate procedures must be developed on the customer side for the exceptional case in order to document the failover mode accordingly.
Thermo Scientific Chromeleon 7.3.2 MUd
Thermo Fisher calls its solution for ensuring business continuity during the scenario described Network Failure Protection (NFP). This is a standard feature of Chromeleon and does not require additional licensing. All system information is constantly synchronized on each local PC. The license is kept in the cache for 7 days. The required parts of the user administration are also synchronized and cached locally on the IPC.
Each measurement series started in Chromeleon, called a sequence in Chromeleon, is completely moved/copied to a specific data vault on the IPC, the so-called XVault. During the measurement and constantly synchronized with the server.
En cas de défaillance du réseau, une copie complète des données est disponible dans le XVault sur l'IPC. La séquence se poursuit sans interruption.
After some time, the DataVault server is no longer accessible from the IPC and the client displays a yellow warning that the license will expire in 6 days. This is because the central license is cached for 7 days on each computer of the Chromeleon Enterprise system.
The data stored in the XVault can be accessed in a Chromeleon client session on the IPC indirectly via the device's queue. Chromeleon constantly attempts to synchronize the data with the server (Uploading).
Une fois la séquence terminée, elle est annulée après un délai d'attente des tentatives de téléchargement et marquée comme « Échec du téléchargement ».
In this state, it is possible to open the sequence and edit it without restriction, according to the privileges that the logged-in user has. If the report template is available as a copy in the sequence, an electronic report can even be created and electronically signed. If the report is linked to the sequence and is therefore on the server, no electronic report can be created unless another local report is used.
It is also possible to attach further samples to the existing sequence and measure them, but it is also possible to create new sequences (also as a copy of the sequences in the queue, provided that all objects are available locally). However, these must be assigned to the corresponding connected instrument during creation:
A message then appears stating that this sequence is only available from the current IPC.
Malheureusement, ce message n'est pas correct dans Chromeleon 7.3.2 car la séquence n'est pas automatiquement ajoutée à la file d'attente. La séquence doit être ajoutée manuellement à la file d'attente.
Les séquences ainsi créées sont stockées dans le XVault et restent dans la file d'attente de l'instrument, ce qui est clairement indiqué dans le nom du chemin de séquence.
These sequences can be opened and edited from the queue of the respective instrument.
Cela peut désormais être effectué pendant les sept jours de validité de la licence.
Une autre solution possible pour travailler pendant la période NFP serait de synchroniser les modèles de séquence et de méthode à l'aide du planificateur dans les coffres-forts de données locaux prévus à cet effet, puis de les utiliser dans une telle situation. Malheureusement, le XVault ne peut pas être officiellement utilisé à cette fin, car le planificateur ne permet pas la synchronisation avec celui-ci. (* voir dans ce chapitre)
Si la connexion réseau est maintenant rétablie, les séquences créées pendant la panne peuvent être supprimées de la file d'attente. Cela doit être fait manuellement. Lors de la suppression, l'utilisateur est invité à indiquer où ces séquences doivent être enregistrées sur le serveur.
A sequence measured during the NFP cannot be removed from the queue without synchronizing it with the server. All operations can be fully traced back to the individual user, even during a network failure (full traceability). In addition, there is a corresponding note in the preconditions of the instrument audit trail for each injection that this data was recorded during an NFP.
Waters Empower 3.9.0
Pour pallier les interruptions de réseau de courte durée, un Empower LAC/E Waters (voir glossaire ) peut mettre en mémoire tampon les séries de mesures en cours, appelées Empower Sample Sets (voir glossaire) (Buffering Mode).
Waters propose le BC LAC/E (voir glossaire) moyennant un supplément d'environ 700 à 900 € par rapport au prix de vente d'un LAC/E normal. Cette option permet de passer au mode BC LAC/E, dans lequel le LAC/E devient un poste de travail local (environnement séparé) qui peut être utilisé sans infrastructure de serveur. Toutefois, certains éléments tels que les informations sur les utilisateurs et les modèles peuvent être synchronisés avec la base de données locale à l'aide de l'outil supplémentaire appelé Waters SecureSync.
According to the configuration of Waters SecureSync, defined data such as users, user types, user groups, projects and systems are synchronized from the central server infrastructure to the local database of the BC LAC/E (no RAW data). The synchronization can be traced in the audit trail and log files and a corresponding entry is also documented in the Message Center.
Which projects are synchronized to which BC LAC/E can be managed by assigning access groups.
Il en va de même pour les utilisateurs. Seules les personnes appartenant à un groupe d'utilisateurs défini sont également synchronisées dans la base de données BC LAC/E.
The information is synchronized separately once a week on each BC LAC/E and must also be configured accordingly on each BC LAC/E via a dedicated XML configuration file (X:Program Files (x86)WatersSecureSyncSecureSyncService.exe.config).
The SecureSync service must then be started and a corresponding synchronization takes place at weekly intervals.
If a network failure occurs, the first thing to do is to wait until all ongoing measurements have been completed. These can only be restored and evaluated once the network is operational again.
Pour utiliser BC LAC/E en mode continuité des activités, tous les appareils et BC LAC/E lui-même doivent être redémarrés. Les services WatersService et SecureSync Service doivent être arrêtés et désactivés.
Vous pouvez désormais vous connecter à Waters Empower à l'aide de la base de données « Local ».
Waters Empower can then be used as usual, using the local database, although there is a limit to the devices connected to the BC LAC/E and the synchronized users and projects.
Une fois la connexion réseau rétablie, il faut veiller à ce que toutes les mesures soient effectuées en mode de continuité des activités. Une sauvegarde manuelle de tous les projets doit alors être créée sur une source externe, à partir de laquelle ils peuvent être importés manuellement dans le système Enterprise. Les projets locaux doivent être supprimés manuellement du BC LAC/E. Tous les systèmes et le BC LAC/E doivent être redémarrés. Les services WatersService et SecureSync arrêtés doivent être activés et redémarrés. Il faut vérifier si les données qui étaient encore enregistrées lors de la panne de réseau ont été synchronisées correctement (recovery log).
Normal operation can then be resumed.
Conclusion
This results in the following evaluation of the responses from Chapter 6:
| Les licences logicielles et la gestion des utilisateurs restent-elles disponibles en cas de défaillance du réseau ? | |||
| Les séries de mesures en cours se poursuivent-elles sans interruption ? | |||
| Est-il possible d’ajouter des mesures à une série de mesures en cours, démarrée avant l’interruption ? | |||
| Les données d’une série de mesures en cours, démarrée avant l’interruption, peuvent-elles également être évaluées pendant l’interruption ? | |||
| Est-il possible de démarrer une nouvelle série de mesures ? | |||
| Les méthodes existantes (validées) et les modèles de rapports peuvent-ils toujours être utilisés ? | |||
| Les nouvelles séries de mesures peuvent-elles être évaluées et approuvées pendant l’interruption ? | |||
| Is data measured during the interruption fully synchronized back to the server | |||
| Are all actions performed during the network outage fully traceable (without manual documentation)? |
Résumé
All three manufacturers have a solution to continue operation during a network failure.
Cette fonction est intégrée par défaut dans Agilent OpenLab 2.8. Cependant, des procédures manuelles doivent être ajoutées dans de nombreux domaines pour assurer une traçabilité complète, car toutes les actions pendant l'arrêt ont lieu sans gestion des utilisateurs (utilisateur du système avec tous les privilèges). En outre, les mesures commencées avant la panne ne peuvent pas être traitées pendant la panne. Après avoir discuté avec Agilent, il a été confirmé que les améliorations correspondantes sont déjà sur la feuille de route.
Thermo Chromeleon 7.3.2 MUd contient en fait tout ce dont vous avez besoin. Cependant, les fonctionnalités ne sont pas évidentes pour l'utilisateur final et ne sont pas documentées. Sans une connaissance approfondie de Chromeleon ou une formation appropriée, il est pratiquement impossible de poursuivre l'exploitation. Il serait également très utile d'utiliser l'ordonnanceur pour synchroniser les modèles dans XVault afin qu'ils puissent être utilisés dans le PNR. (* voir aussi ce chapitre)
At Waters, a surcharge must be paid for the BC LAC/E solution so that the users and templates can be synchronized with SecureSync and receive a local license to be able to measure in exceptional cases. Nevertheless, it is not possible to process measurements that were started before the outage during the outage. Restoring the data to the server and removing data from the LAC/E that was generated during the outage is a completely manual process that involves exporting and importing the data. In addition, services must be stopped and started on the BC LAC/E, which requires increased privileges at the operating system level, which in turn represents a risk during normal operation.
Auteurs
Robin Frey
Robin is a consultant, chromatography data system (CDS) specialist and laboratory information management system (LIMS) expert with extensive experience in the analysis, service and maintenance of laboratory instruments such as GC, MS and HPLC. He brings years of expertise in analytical laboratory and method development as well as the digitization of laboratory processes and specializes in the automation of reporting and processes in chromatography environments. Robin has also trained countless users in chromatography data systems and mass spectrometry as a certified trainer and provides first class support to customers. He is particularly proficient in the use of Thermo Fisher Scientific products such as Chromeleon 6, Chromeleon 7, Xcalibur and Tracefinder as well as the use of HPLC, GC, MS, MSMS and high resolution mass spectrometry.
Piotr Kuchta
Piotr is an experienced Laboratory Systems Administrator and CSV Consultant with a Master's degree in Chemical Technology and a postgraduate degree in Computer Network Management and Design. He has been working in the regulated pharmaceutical industry for over ten years, specializing in the administration and support of laboratory information systems such as Empower, LabX and other systems. He also has experience in analytical instrument qualification and hands-on experience of small molecule analysis in analytical development. Thanks to his combination of technical know-how, analytical thinking and deep understanding of regulatory requirements, Piotr supports laboratory environments in many different aspects.
Lukas Graubner
Lukas is a Senior Consultant and trained chemical laboratory technician with extensive expertise as an Enterprise Chromatography Data System (CDS) specialist. For many years he has been involved in the installation, design, qualification and support of Enterprise Chromatography Data System solutions - from system architecture to the training of users and administrators. He also has extensive practical experience in the support and qualification of HPLC, IC and MS systems. With his deep understanding of GxP, data integrity and 21 CFR Part 11, Lukas ensures compliant, stable and future-proof laboratory IT solutions - especially in the environment of Thermo Fisher Scientific Chromeleon 6 and 7.
wega is a vendor-neutral service provider that supports laboratories in the selection and implementation of suitable software solutions. With experienced, trained employees, wega offers a comprehensive service package for the systems compared in this article - Agilent OpenLab CDS, Waters Empower and Thermo Scientific Chromeleon. The services range from strategic IT consulting and process analysis to the conduct of tenders through to system provision and configuration. In addition, wega provides support with computer system validation, project management and organizational change in the course of digitalization. The range of services is supplemented by method and report development, support contracts (SLA), interface integration and customized training for users - always with the aim of ensuring stable, efficient and compliant laboratory processes.
Dans le cadre d'un tel service, *wega peut également configurer la synchronisation des méthodes et des modèles de séquence dans XVault (voir ce chapitre).
Glossaire
| Activity Log | Activity Log | Data and system audit trail from Agilent OpenLab |
| AIC | Agilent Instrument Controller | Client computers to which the chromatography instruments are directly connected within Agilent OpenLab CDS 2 |
| BC LAC/E | Business Continuity Laboratory Acquisition Control Environment | Is a product with a surcharge to the normal LAC/E to use it as a standalone client in exceptional cases |
| Data Vault | Daten Container (Tresor) | Nom de marque de Thermo Fisher pour le niveau supérieur de la structure de données qui consiste en une base de données et des fichiers RAW associés. |
| IPC ou IC | Instrument Controller PC | Nom donné par Thermo Fisher au PC qui contrôle l'instrument |
| LAC/E | Laboratory Acquisition Control Environment | Is a brand name of Waters for the standardized instrument controller PC distributed by Waters |
| NFP | Network Failure Protection | Thermo Fisher's solution for business continuity in the event of network or server failures in Chromeleon |
| Sample Set | Measurement series or sequence | Waters naming for the composition of a measurement series |
| Scheduler | Thermo Chromeleon Scheduler | A scheduler service in Chromeleon which enables the execution of time-controlled actions, such as replicating templates |
| Sequence | Measurement series or Sample Set | Agilent and Thermo naming for the compilation of a measurement series |
| XVault | Hidden Data Container (Vault) | Thermo brand name for the hidden Data Vault which caches the data during recording |
Références
Agilent:
- Agilent OpenLab CDS - Acquisition Failover Users Guide (Edition: 02/2025)
Thermo:
- Thermo Scientific Product Spotlight - Ensure Business Continuity No 73781 (2020)
Waters:
:
- Empower Business Continuity LAC/E SecureSync - Installation and Configuration Guide (Doc No. 715008070 Version 01, Feb 2023)
- Empower Business Continuity LAC/E SecureSync 2.1.0 - Release Notes (Doc No. 715008381 Version 00, Dec 2022)
- Webinar - Informatics series 04 - Business Continuity & the BC LACE of 24. May 2023 held by Carsten Fischer
Marques déposées
Empower™, LAC/E™, SecureSync™, Waters™ sont des marques commerciales de Waters Corporation.
OpenLab CDS™ is a trademark of Agilent Technologies
Chromeleon™ is a trademark of Thermo Fisher Scientific Inc