Recursive subspace identification in a Hilbert Space framework
Since the introduction of model-based methods for control or monitoring of industrial plants, e.g., chemical processes or rolling mills, more and more emphasis is placed on modeling of these processes. In this context, the experimental modeling, i.e., system identification, provides and easier way to achieve this goal than theoretical modeling, i.e., modeling based on first principles. Although the plants are essentially of non-linear nature, they are often operated over long periods of time in one operating point, which exhibits a nearly linear behavior in its proximity. Hence, comparing effort versus reward, it is more rewarding to identify a linear time-invariant model and adapt this model during the change of the operating point, i.e., using a recursive identification scheme, than trying to identify a genuine non-linear model, e.g., a linear parameter-varying model. From this line of thought, the following problems arise if subspace identification is considered:
Existing methods for recursive subspace identification approach the problem from the numerical point of view and hence do not take the underlying theoretical framework into consideration and, hence, provide purpose-build methods.
Although there are various methods, which were suitable for the identification of industrial plants, the respective numerical implementations of these methods lack the performance for this intended application.
Based on these problems, this thesis is concerned with the derivation of a new methodological approach to recursive subspace identification and the derivation of related algorithms of base methods. The following results are achieved:
In terms of open-loop identification, i.e., if the plant is not controlled and there is no feedback or dependency between the output and the input, an algorithm is proposed which combines the approach of the orthogonal decomposition of the system output with the core algorithm of the method based on the canonical correlation analysis. This new algorithm is able to retrieve the model of the plant's process under influences of process disturbances much better than existing algorithms.
In terms of closed-loop identification, i.e., if the plant is controlled and there is a feedback or dependency between the output and input, an algorithm for the predictor-based subspace identification method is described, which follows exactly the method's theoretical derivation. This algorithm thus avoids the involved least-squares approaches or identifications of intermediate models of previous algorithms.
In terms of recursive subspace identification, a methodological approach is proposed, which is based on the underlying coordinate-free framework originating from stochastic realization theory. This approach describes the recursion based on the model-equivalent predictor space by using its properties with respect to its progression with time and data compression capabilities. In addition to achieving the highest possible compression of past data, the approach can be implemented in terms of every existing subspace identification method and makes the derivation of purpose-build methods unnecessary.
The proposed algorithm for open-loop identification draws its strength from the fact that the good identification performance of the canonical correlation analysis is applied to data which is free from influences of disturbances. This in turn follows from the integration of the approach of orthogonal decomposition, which decomposes the output data of the system into the deterministic component, i.e., the system-driven data component, and the stochastic component, i.e., the disturbance-driven data component. Identification studies using both academic examples and the Tennessee Eastman Process model show the accuracy of the proposed algorithm. In terms of the academic examples, the quality of the results is equal or slightly better when compared to existing methods. This holds in both cases when system is of autoregressive moving-average structure with exogenous input (dynamics of stochastic and deterministic subsystems are the same) or of Box-Jenkins structure (dynamics of stochastic and deterministic subsystems are disjoint). In terms of the Tennessee Eastman Process model, the algorithm yields results with improved quality in a disturbance-free scenario and outperforms existing methods when disturbances are present. As the Tennessee Eastman Process is a first-principle model of an existing chemical plant, the results achieved on this model are representative for the identifications of such processes.
For reasons of the underlying theoretical relations, it is not possible to merge the orthogonal decomposition approach with the predictor-based subspace identification method. Hence, the proposed algorithm yields a joint stochastic-deterministic model of the system. By rearranging the data before entering the processing stages of the identification algorithm, the proposes algorithm is able to directly follow the theoretical derivations of the predictor-based subspace identification method. The results of this algorithm are equal to the previously proposed algorithms, where the existing algorithms hold a minimal advantage. Unfortunately, examples using systems with either autoregressive moving-average structure with exogenous input, autoregressive structure with exogenous input, or Box-Jenkins structure under closed-loop conditions resulted in erroneous identifications. Although these very examples have been used in the literature to illustrate the functionality of the respective methods, this problem does not only concern the proposed algorithm but all implementations of methods for the direct approach to closed-loop identification. A solution of this issue is not pursued in this thesis as the main focus is on the derivation of an approach to recursive subspace identification.
The new approach to recursive subspace identification is based on the properties of the minimal predictor space. Firstly, it compresses all past information necessary for the prediction of the future development of the system, and, secondly, any future minimal predictor space is a subspace of the joint space of an arbitrary past minimal predictor space and the respective intermediate data. While retaining the compression property, the exact relation between a future minimal predictor space and a past minimal predictor space is derived by exploiting the property describing the progression with time. Thus, the sought-after recursive methodology is established. This results in an approach which can be implemented in terms of every standard subspace method. Numerical simulations show the proper functioning of the approach in terms of a academic examples. In addition to the theoretical derivation, two practical issues and its possible solutions are addressed.
Although there are various methods, which were suitable for the identification of industrial plants, the respective numerical implementations of these methods lack the performance for this intended application.
Based on these problems, this thesis is concerned with the derivation of a new methodological approach to recursive subspace identification and the derivation of related algorithms of base methods. The following results are achieved:
In terms of open-loop identification, i.e., if the plant is not controlled and there is no feedback or dependency between the output and the input, an algorithm is proposed which combines the approach of the orthogonal decomposition of the system output with the core algorithm of the method based on the canonical correlation analysis. This new algorithm is able to retrieve the model of the plant's process under influences of process disturbances much better than existing algorithms.
In terms of closed-loop identification, i.e., if the plant is controlled and there is a feedback or dependency between the output and input, an algorithm for the predictor-based subspace identification method is described, which follows exactly the method's theoretical derivation. This algorithm thus avoids the involved least-squares approaches or identifications of intermediate models of previous algorithms.
In terms of recursive subspace identification, a methodological approach is proposed, which is based on the underlying coordinate-free framework originating from stochastic realization theory. This approach describes the recursion based on the model-equivalent predictor space by using its properties with respect to its progression with time and data compression capabilities. In addition to achieving the highest possible compression of past data, the approach can be implemented in terms of every existing subspace identification method and makes the derivation of purpose-build methods unnecessary.
The proposed algorithm for open-loop identification draws its strength from the fact that the good identification performance of the canonical correlation analysis is applied to data which is free from influences of disturbances. This in turn follows from the integration of the approach of orthogonal decomposition, which decomposes the output data of the system into the deterministic component, i.e., the system-driven data component, and the stochastic component, i.e., the disturbance-driven data component. Identification studies using both academic examples and the Tennessee Eastman Process model show the accuracy of the proposed algorithm. In terms of the academic examples, the quality of the results is equal or slightly better when compared to existing methods. This holds in both cases when system is of autoregressive moving-average structure with exogenous input (dynamics of stochastic and deterministic subsystems are the same) or of Box-Jenkins structure (dynamics of stochastic and deterministic subsystems are disjoint). In terms of the Tennessee Eastman Process model, the algorithm yields results with improved quality in a disturbance-free scenario and outperforms existing methods when disturbances are present. As the Tennessee Eastman Process is a first-principle model of an existing chemical plant, the results achieved on this model are representative for the identifications of such processes.
For reasons of the underlying theoretical relations, it is not possible to merge the orthogonal decomposition approach with the predictor-based subspace identification method. Hence, the proposed algorithm yields a joint stochastic-deterministic model of the system. By rearranging the data before entering the processing stages of the identification algorithm, the proposes algorithm is able to directly follow the theoretical derivations of the predictor-based subspace identification method. The results of this algorithm are equal to the previously proposed algorithms, where the existing algorithms hold a minimal advantage. Unfortunately, examples using systems with either autoregressive moving-average structure with exogenous input, autoregressive structure with exogenous input, or Box-Jenkins structure under closed-loop conditions resulted in erroneous identifications. Although these very examples have been used in the literature to illustrate the functionality of the respective methods, this problem does not only concern the proposed algorithm but all implementations of methods for the direct approach to closed-loop identification. A solution of this issue is not pursued in this thesis as the main focus is on the derivation of an approach to recursive subspace identification.
The new approach to recursive subspace identification is based on the properties of the minimal predictor space. Firstly, it compresses all past information necessary for the prediction of the future development of the system, and, secondly, any future minimal predictor space is a subspace of the joint space of an arbitrary past minimal predictor space and the respective intermediate data. While retaining the compression property, the exact relation between a future minimal predictor space and a past minimal predictor space is derived by exploiting the property describing the progression with time. Thus, the sought-after recursive methodology is established. This results in an approach which can be implemented in terms of every standard subspace method. Numerical simulations show the proper functioning of the approach in terms of a academic examples. In addition to the theoretical derivation, two practical issues and its possible solutions are addressed.
Seit dem Aufkommen modellgestützter Methoden in der Automatisierungstechnik für die Regelung oder Überwachung industrieller Großanlagen, wie z. B. verfahrenstechnische Anlagen oder Walzwerke in der Stahlindustrie, ist die Modellbildung dieser Anlagen wesentlich für die Nutzung solcher Methoden. Hierbei ist im Vergleich zur theoretischen Modellbildung die experimentelle Modellbildung mittels Systemidentifikation ein einfacherer Weg, um an eine mathematische Beschreibung einer Anlage zu gelangen. Obwohl das Anlagenverhalten grundsätzlich nicht-linearer Natur ist, verweilt die Anlage dennoch meist über längere Zeit in einem Arbeitspunkt.</br>
Somit ist die Identifikation eines linear parameter-varianten Modelles zur Beschreibung des Gesamtverhaltens eher ungerechtfertigt, wenn der dafür benötigte Aufwand ins Verhältnis zum Nutzen gestellt wird. Es ist einfacher, ein lineares zeit-invariantes Modell für die Beschreibung eines Arbeitspunktes adaptiv anzupassen, d. h. rekursiv zu identifizieren, wenn die Anlage in einen neuen Arbeitspunkt überführt wird. Bezüglich dieser Anforderung bestanden hinsichtlich der Subspace Identifikation folgende Probleme:</br>
Bestehende Ansätze für die rekursive Subspace Identifikation setzen an der numerischen Implementierung der Methoden an, nutzen damit nicht das grundlegende theoretische Gerüst der Subspace Identifikation und führen letztlich zu speziellen Methoden. </br>
Trotz der vorhandenen verschiedenen methodischen Ansätze, welche sich für die Identifikation von industriellen Großanlagen eignen, sind deren numerischen Implementierungen eher ungeeignet für einen Einsatz im Rahmen solcher Anlagen. </br>
Ausgehend von dieser Problemstellung befasst sich diese Dissertation mit der Beschreibung eines neuen Ansatzes für die rekursive Subspace Identifikation und der Herleitung zugehöriger Basisalgorithmen für die Identifikationen. Dabei wurden folgende Ergebnisse erzielt:
Für die Identifikation im offenen Kreis, d. h. im Falle einer ungeregelten Anlage, bei der die Eingänge unabhängig von den Ausgängen sind, wurde durch die Verbindung des Ansatzes der orthogonalen Zerlegung des Anlagenausganges mit der auf der Canonical Correlation Analysis aufsetzenden Identifikationsmethode ein Algorithmus hergeleitet, der wesentlich besser als bisherige Algorithmen das Prozessmodell industrieller Großanlagen auch unter Störeinflüssen bestimmen kann.</br>
Für die Identifikation im geschlossenen Kreis, d. h. im Falle einer geregelten Anlage, bei der die Eingänge abhängig von den Ausgängen sind, wurde für die Prediktor-basierende Subspace Identifikationsmethode ein Algorithmus hergeleitet, der deren theoretische Beschreibung direkt implementiert und somit bisherige aufwendige Least-squares Verfahren oder eine Identifikation eines Zwischenmodelles unnötig macht.</br>
Für die rekursive Subspace Identifikation wurde basierend auf dem aus der stochastischen Realisierungstheorie stammenden Coordinate-free Framework eine grundlegende Beschreibung des rekursiven Verhaltens des zu einem Modell äquivalenten Predictor Space hergeleitet. Während dieser Ansatz aufgrund der Eigenschaft des Predictor Spaces die höchstmögliche Kompression von Informationen der Vergangenheit erzielt, ist er darüber hinaus vor allem allgemeingültig. Damit kann er auf jede beliebige bestehende Subspace Methode angewendet werden und macht Spezialmethoden unnötig.</br>
Der neue Algorithmus für den offenen Kreis erhält seine Leistungsfähigkeit durch die Kombination des allgemein guten Identifikationsverhaltens der Methode auf Basis der Canonical Correlation Analysis mit der sich aus der orthogonalen Zerlegung des Ausganges ergebenden Unterdrückung von Prozessstörungen. Identifikationsstudien, die sowohl auf rein akademischen Beispielen als auch auf dem Tennessee Eastman Process Modell aufsetzen, weisen die Güte des Algorithmus simulativ nach. Wenn Systeme mit entweder autoregressiver moving-average Struktur und exogenem Eingang (deterministisches und stochastisches Subsystem besitzen gleiche Eigenwerte) oder Box-Jenkins Struktur (deterministisches und stochastisches Subsystem besitzen unterschiedliche Eigenwerte) identifiziert werden, sind die durch den Algorithmus erzielten Ergebnisse gleich den Ergebnissen oder minimal besser als die Ergebnisse bekannter Methoden. Hinsichtlich des realistischen Tennessee Eastman Process Modells ist der hier eingeführte Algorithmus bei ungestörtem Prozessausgang besser als vorhandene Identifikationsalgorithmen und bei einer Beeinflussung der Prozessausgänge durch Störungen der einzige Algorithmus, der in Lage ist, das korrekte deterministische Prozessmodell zu bestimmen. Da es sich beim Tennessee Eastman Process um ein Modell handelt, welches entsprechend (nicht-linearer) physikalischer und chemischer Grundprinzipien eine existierende verfahrenstechnische Anlage nachbildet, sind die am Tennessee Eastman Process erzielten Ergebnisse repräsentativ für die Identifikationen solcher Anlagentypen.</br>
Aufgrund des theoretischen Hintergrundes des Ansatzes der orthogonalen Zerlegung kann dieser Ansatz für die Identifikation im geschlossenen Kreis nicht verwendet und folglich auch nicht in den neue Algorithmus für die Prediktor-basierende Subspace Identifikationsmethode integriert werden. Somit beschreibt das ermittelte Modell sowohl das deterministische als auch das stochastische Verhalten des Prozess. Durch die Neuordnung der Daten vor der Berechnung können eine direkte Implementierung der Methode erfolgen und komplexe Least-Squares Ansätze oder eine vorherige Schätzung eine Zwischenmodells vermieden werden. Die Identifikationsergebnisse dieses Algorithmus sind mit minimalen Minderungen gleich denen der bestehenden Algorithmen der Methode. Ein größeres Beispiel unter Nutzung von Modellen, die in der Literatur zur Illustration der Funktionstüchtigkeit der Methoden für die direkte Identifikation im geschlossenen Kreis genutzt wurden, zeigte allerdings, dass die Identifikation der meisten Systemstrukturen im geschlossenen Kreis fehlschlägt. Das betrifft nicht nur den hier eingeführten Algorithmus, sondern alle Methoden für die direkte Identifikation, welche für dieses Beispiel implementiert wurden. Die Klärung dieses Problems ist nicht Bestandteil dieser Arbeit, da deren Schwerpunkt auf der Herleitung des Ansatzes zur rekursiven Subsapce Identifikation liegt.</br>
Der neue Ansatz für die Rekursion beruht auf den Eigenschaften des minimalen Predictor Space. Einerseits verdichtet der minimale Predictor Space alle notwendigen Informationen für die Vorhersage der zukünftigen Entwicklung des Systems, andererseits ist jeder zukünftige minimale Predictor Space ein Unterraum des Raumes, der durch einen beliebigen vergangenen minimalen Predictor Space und die dazwischen liegenden Ein- und Ausgangsdaten aufgespannt wird. Aus der Eigenschaft des zeitlichen Voranschreitens lassen sich unter Beibehaltung der Kompressionseigenschaft die exakte Verbindung eines beliebigen vergangenen minimalen Predictor Space mit einem beliebigen zukünftigen minimalen Predictor Space herstellen und somit eine rekursive Methodik beschreiben, die sich auf beliebige Standardmethoden der Subspace Identifikation anwenden lässt. Simulationen auf Basis akademischer Beispiele veranschaulichen die Funktionsfähigkeit dieses neuen Ansatzes. Außerdem werden zwei Problemstellungen, die sich aus der Implementierung dieser Methodik ergeben, und entsprechende Lösungsvorschläge erläutert.