ABSTRACT
A Transformer model to predict the remaining useful life of a fuel cell, which has demonstrated superior performance in analyzing time series data. The dataset was created from long-term performance evaluation experiments conducted in rated power mode, with measurements taken every 10 hours. We preprocessed the raw data using a moving average, allocating 70% for training and 30% for evaluation. The model's performance, evaluated through MAE, MSE, and MAPE, was excellent. The fuel cell's critical voltage, defined as 94.5% of its initial voltage, was measured at 0.719 V. During the experimental run, the actual critical time was 106.6 hours, while the model predicted 106.8 hours, resulting in a 0.19% error. Since the predictions were based on data collected up to 93 hours, the estimated remaining life was 13.8 hours.
-
KEYWORDS: Polymer electrolyte membrane fuel cell, Remaining useful lifetime, Prediction, Transformer model, Self-attention
-
KEYWORDS: 고분자 전해질막 연료전지, 잔여 수명, 예측, 트랜스포머 모델, 자기-어텐션
1. 서론
기후 변화와 탄소 중립 정책으로 인해 재생 가능 에너지원의 중요성이 강조되고 있다. 여러 연료전지들 중 고분자 전해질막 연료전지(Polymer Electrolyte Membrane Fuel Cell, PEMFC)는 저온에서 작동하며 높은 효율을 보이는 장점이 있다[
1]. 따라서 PEMFC의 상용화는 화석 연료 기반의 에너지원 대체를 위해 매우 중요하다. 최근 사용화를 위한 잔여수명(Remaining Useful, RUL) 예측 연구가 활발히 이루어지고 있다. 일반적으로 PEMFC는 초기 운전 단계에서 불순물 제거 및 활성화 과정으로 인해 성능이 일시적으로 향상된 후, 장기 운전 운전 구간에서 선형적인 성능 저하가 진행되며, EOL (End of Life)에 근접할수록 급격한 전압 강하가 발생하는 특징이 있다[
2]. 비선형 적인 열화 거동 특성 때문에 일반적인 머신 러닝(Machine Learning) 기법을 사용하여 잔여 수명을 예측하는 것은 어려움이 있다. 따라서 PEMFC 열화 패턴을 학습하고 예측하기 머신 러닝과 Model-based 방법을 합친 방법을 사용하거나 딥러닝 기반 모델을 사용하는 것이 효과적이다[
3-
7].
특히 시계열 데이터를 입력으로 받아 미래의 값을 예측하는 데 특화된 모델들이 있다. 대표적인 모델들은 GRU (Gated Recurrent Unit), LSTM (Long Short-Term Memory), Transformer Model이 있다. GRU와 LSTM은 모두 RNN (Recurrent Neural Network) 계열 모델이며, 시계열 또는 순차적인 데이터를 처리하기 위해 설계된 모델이다[
8-
9]. Transformer Model은 어텐션 메커니즘(Attention Mechanism)을 기반으로 하는 모델이다. 해당 모델들은 모두 시계열 데이터를 직접 적용하여 데이터의 특징을 학습하는 능력이 우수하며, 예측에 있어 높은 정확도와 신뢰도를 가진다[
10].
2. 연구 방법
2.1 Transformer Model
LSTM은 시퀀스의 각 시점을 순차적으로 처리해야 하므로, 병렬 연산이 불가능해 학습 속도가 느리다. 또한 장기 의존성의 한계로 인해 긴 시퀀스에 걸친 의존성을 학습하는데 한계가 있다[
9].
Fig. 1은 Transformer Model의 구조를 나타낸다. Transformer Model은 자기-어텐션(Self-attention) 메커니즘을 기반으로 한 특징 추출 네트워크 구조로 LSTM의 한계점을 극복하였다. 이 모델은 멀티-헤드 어텐션(Multi-head Attention)을 통해 병렬 연산을 수행하는 것이 가능 해졌으며, 장기적인 의미 표현을 더 정확하게 수행할 수 있다. Transformer Model은 N개의 층으로 이루어져 있으며, 각 층은 멀티 헤드 어텐션 모듈과 피드포워드(Feedforward) 모듈을 포함하고 있다. 각 모듈에는 정규화(Normalization) 층이 사용된다[
5].
2.2 데이터 수집
본 연구에서는 연료전지의 잔여 수명을 예측하기 위해 내구성 평가를 진행하였다. 내구성 평가는 정격 출력 모드에서 진행했으며, 시간에 따른 전압의 변화를 측정하였다. 정격 출력 모드 10시간에 한 번씩 j-V-P 곡선을 측정하여 PEMFC의 열화로 인한 장기적인 성능 변화를 관찰하였다[
11].
2.2.1 PEMFC Setup
본 연구에 사용한 Fuel Cell Test Station (CNL Energy, Korea)의 공정배관계장도(Piping and Instrumentation Drawing, PNID)를
Fig. 2에 나타낸다. PEMFC의 전기화학특성을 평가하기 위해 연료극 측에는 수소를 0.5 LPM, 1 bar로 공급하였고, 공기극측에는 가습한 공기를 1.7 LPM, 3 bar로 공급하였다. 가습은 버블러를 사용하였다.
PEMFC 구성품 중 막 전극 접합체(Membrane Electrolyte Assemble, MEA)는 CNL Energy 사에서 제작한 CNL MEA C Type을 사용하였다. Nafion211을 사용하였으며, 총 활성화 면적(Active Area)는 25cm2 이다. MEA의 연료극과 공기극 Pt Loading은 모두 0.4 mg/cm2이다.
가스확산층(Gas Diffusion Layer, GDL)은 CNL Energy 사에서 제작한 SGL GDL 39 BB를 사용하였다. GDL의 활성화 면적은 25 cm2이다.
분리판은 상용 그라파이트 분리판을 사용하였으며, 4개의 유로로 구성된 사형(Serpentine Type) 유로이다. 폭은 1.0 mm, 깊이는 0.8 mm이다.
PEMFC의 전기화학적 특성 분석은 Biologic (France) 사의 HCP-803을 사용하여 j-V-P(전류밀도-전압-출력밀도) 곡선과 정격 출력 모드(Constant Power)를 측정하였다. j-V-P 곡선은 개회 로전압(Open Circuit Voltage, OCV)에서 0.3 V까지 측정하였다.
2.3 데이터 전처리
측정된 전압의 노이즈를 제거하고, 열화 추세를 안정적으로 반영하기 위하여 이동 평균(Moving Average, MA) 기반의 신호 평활화 기법을 적용하였다. 리커버리(Recovery)가 발생하게 되면 사이클 초기에 OCV까지 일시적으로 상승한 후 다시 하강하는 패턴이 나타난다. 이러한 구간은 실제 열화 거동과 무관한 일시적 회복 구간으로, 윈도우 크기 15의 중심 이동 평균(Centered Moving Average)을 계산하여 보정하였다[
12]. 이 과정을 통해 단기적인 전압 회복 구간이 제거된 값을 Transformer Model의 입력으로 사용하여 학습의 안정성과 일반화 성능을 향상시키는데 기여하였다. 이러한 전처리 과정은
Fig. 3에 나타나 있다.
모델의 성능의 정량적인 평가는 예측 모델의 신뢰성을 검증하는 데 필수적인 요소이다. 본 연구에서는 문헌에서 널리 사용되는 방법인 평균 절대 오차(Mean Absolute Error, MAE), 평균 제곱 오차(Mean Squared Error, MSE), 평균 절대 백분율 오차(Mean Absolute Percentage Error, MAPE)를 사용하였다[
13]. MAE는 예측값과 실제값에 대하여 평균적으로 얼마나 벗어난 값인지 직관적으로 알 수 있다. MSE는 큰 오차에 대해 페널티가 더 크기 때문에, 이상치(Outlier)에 민감하다. MAPE는 예측 오차가 실제값 대비 몇 퍼센트인지 보여준다. MAE, MSE, MAPE 모두 값이 작을수록 모델 성능이 우수하다고 본다.
3. 결과 및 고찰
3.1 데이터 해석 방법
본 연구에서 구성된 Transformer Model의 파라미터(Parameter)는 다음과 같으며,
Table 1에 나타나 있다. 입력 시퀀스는 길이 T = 60의 윈도우로 구성되며, 각 시점마다 6개의 피처(Feature)가 포함된다. 예측 시퀀스 길이는 100이며, 100개의 시점에 해당하는 전압값을 예측한다. 옵티마이저(Optimizer)는 아담(Adam)을 사용하였다. 멀티 헤드 개수는 4개이며, 윈도우 사이즈(Window Size)는 60, 배치 사이즈(Batch Size)는 64이다.학습 데이터 70%와 시험 데이터 30%로 학습 및 시험을 실행하였으며, 잔여 수명 예측에 대한 정확도 결과를 평가하였다.
Fig. 3에 전압 시계열 데이터를 이동 전처리하여 Transformer Model로 학습하기 위한 해석 과정을 나타내었다.
Fig. 3에 로우 데이터(Raw Data)를 보면 1 사이클을 기준으로 전압이 상승했다가 감소하는 반복적인 패턴을 보이는 것을 확인할 수 있다. 이는 10시간에 한 번씩 성능 평가를 진행하는 과정에서 리커버리(Recovery)가 발생하여 데이터 패턴에 특징이 생겼다고 볼 수 있다[
14]. 따라서 열화 패턴과 무관한 데이터의 특성을 완화시키기 위해 이동 평균을 이용해 전처리를 진행하였다. 또한 Transformer Model의 Multi-head Attention을 통해 시퀀스 내의 멀리 떨어진 시간 간의 전압 관계를 동시에 고려하였고, 각 헤드(Head)가 서로 다른 시점 간의 상관관계를 병렬로 학습하여 10시간 주기의 피크(Peak)를 포착하였다[
14]. 이는
Fig. 4에 나타나 있다.
PEMFC에서 전압이 고장 임계점(Failure Threshold)에 도달했다고 보는 지점은 초기 전압의 96.5%-94.5%로 본다[
15-
16]. 본 연구에서는 초기 전압의 94.5% 지점을 임계점으로 하여 예측을 진행하였다. 예측 시작점부터 고장 임계점에 도달하는데 걸리는 시간을 PEMFC의 잔여 수명으로 본다[
3]. 실험 데이터가 임계값과 만나는 시점과 예측값이 임계점과 만나는 시점을 구하여 두 값의 오차인 에러(Error)값을 구하였다.
Fig. 5는 실제 실험 데이터와 예측된 데이터를 비교한 그래프이다. 예측된 데이터를 보면 실제 실험 데이터의 10시간 주기 피크를 학습하여 높은 정확도로 예측된 것을 확인할 수 있다. 그러나 마지막 사이클의 경우 초기 일부 구간만 포함되어 있어, 이 부분에서는 전압 감소 패턴을 잘 따라가지 못하는 것을 볼 수 있다. 일부 구간을 제외한 전반적인 구간에서 시아클 별로 전압이 감소되는 패턴을 잘 학습한 것으로 볼 때, Transformer Model이 해당 실험 데이터의 열화 패턴을 높은 정확도로 예측한다고 본다.
Fig. 6는 임계점과 실험데이터가 만나는 지점과 예측 데이터가 만나는 지점을 나타내고, RUL을 표시한 그래프이다. 임계값은 실험 결과 초기 전압의 94.5%인 0.719V이며, 해당 시점은 106.6시간이다. Transformer Model로 학습 후 예측을 진행한 결과, 임계값과 만나는 지점은 106.8시간으로 실제 시간과 0.19%의 오차를 보였다. 예측 시작점이 93시간이며, 임계점 예측 결과는 106.8시간으로 잔여 수명은 13.8시간이다. 이는
Table 2에 나타나 있다.
본 연구에서 제안된 모델을 통해 RUL을 예측하였을 때, 실제 수명과 유사한 것을 확인할 수 있었다. GRU, LSTM과 같은 모델은 모두 순차적 처리 구조를 가지기 때문에 장기 의존성 문제가 있다. 따라서 본 연구에 사용한 실험 데이터와 같은 주기적 특성이 있는 데이터를 GRU, LSTM과 같은 모델로 예측을 진행하면 Transformer Model에 비해 성능이 떨어진다[
3,
17]. 반면
Table 2에서Transformer Model로 학습 후 검증을 진행한 결과를 보면 MAE는 0.000668, MSE는 0.000002, MAPE는 0.09%로 모두 우수한 성능을 보였다. 이 결과는 PEMFC의 반복적인 패턴의 열화 거동 예측에 있어 Transformer Model이 우수한 성능을 보임을 보여준다.
4. 결론
본 연구에서는 시계열 예측 모델인 Transformer Model을 사용하여 PEMFC의 잔여 수명을 예측하는 연구를 진행하였다. PEMFC 장기 성능 평가를 통해 시간에 따른 전압 열화를 나타내는 시계열 데이터를 수집하였다. 실험 결과 10시간에 한 번씩 리커버리(Recovery)가 발생하여 피크 지점이 발생하였지만, PEMFC의 성능이 선형적으로 감소하는 것을 확인할 수 있다.
Transformer Model의 Self-attention을 통해 실험 데이터의 패턴 특징을 학습시켰다. 예측 결과 학습된 모델이 실험 데이터의 열화 패턴을 잘 따라가는 경향을 보였으며, MAE, MSE, MAPE와 같은 평가 지표에서 LSTM과 GRU 대비 우수한 성능을 보인다.
또한 GRU, LSTM과 같은 순차적 처리 구조를 가진 모델 대비 Transformer Model이 장기 의존성이 강한 PEMFC 열화 예측 문제에 효과적임을 확인하였다.
예측 결과 임계점과 만나는 시점은 106.8시간이며, 예측 시작점이 93시간이므로 잔여 수명은 13.8시간이다. PEMFC 시스템의 상용화를 위해 잔여 수명에 대한 연구가 대두되고 있으며, 본 연구 결과로 PEMFC의 수명을 예측하는 연구에 딥러닝 기반 Transformer Model이 PEMFC 수명 예측에 있어 높은 정확도를 달성할 수 있음을 확인하였다.
FOOTNOTES
-
ACKNOWLEDGEMENT
이 논문은 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원을 받아 수행된 연구임(No. RS-2023-00213741). 본 논문은 경기도 기술개발사업의 연구개발지원(No. H2409002)에 의해 수행되었음.
Fig. 1Transformer model architecture
Fig. 2
Fig. 3Schematic workflow of the RUL prediction process
Fig. 4
Fig. 5Prognostic results of training data
Fig. 6
Table 1Parameters of the transformer model
Table 1
|
Model |
Parameters |
Value |
|
Transformer model |
Multi head |
4 |
|
Optimizer |
Adam |
|
Window size |
60 |
|
Batch size |
64 |
Table 2Evaluation metrics and RUL estimation results
Table 2
|
Model |
MAE |
MSE |
MAPE |
|
Transformer |
0.000668 |
0.000002 |
0.09% |
|
LSTM |
0.000996 |
0.000002 |
0.14% |
|
GRU |
0.001688 |
0.0000037 |
0.23% |
|
Transformer |
True RUL |
Pred. RUL |
Error |
|
13.6 |
13.8 |
0.19% |
REFERENCES
- 1. O'hayre, R., Cha, S.-W., Colella, W., Prinz, F. B., (2016), Fuel cell fundamentals, 3rd edition, John Wiley & Sons.
- 2. Bae, S. J., Kim, S.-J., Lee, J.-H., Song, I., Kim, N.-I., Seo, Y., Kim, K. B., Lee, N., Park, J.-Y., (2014), Degradation pattern prediction of a polymer electrolyte membrane fuel cell stack with series reliability structure via durability data of single cells, Applied Energy, 131, 48-55.
- 3. Gürsoy, M. İ., (2025), Short and long-term prognostics of the remaining useful life of a proton exchange membrane fuel cell using deep learning and transformer model, International Journal of Hydrogen Energy, 143, 1120-1132.
- 4. Meng, X., Mei, J., Tang, X., Jiang, J., Sun, C., Song, K., (2024), The degradation prediction of proton exchange membrane fuel cell performance based on a transformer model, Energies, 17(12), 3050.
- 5. Ke, C., Han, K., Wang, Y., (2025), A hybrid method combining degradation mechanisms and deep learning for lifetime prediction of proton exchange membrane fuel cells under dynamic load cycle conditions, Journal of Power Sources, 633, 236464.
- 6. Sun, Z., Zhu, Z., Chen, Z., (2025), PEMFC performance prediction based on degradation mechanism and machine learning, IEEE Transactions on Transportation Electrification, 11(3), 8065-8076.
- 7. Zhang, F., Ni, M., Tai, S., Zu, B., Xi, F., Shen, Y., Wang, B., Qin, Z., Wang, R., Guo, T., (2025), Machine learning assisted health status analysis and degradation prediction of aging proton exchange membrane fuel cells, Applied Energy, 384, 125483.
- 8. Dey, R., Salem, F. M., (2017), Gate-variants of gated recurrent unit (GRU) neural networks, Proceedings of the IEEE 60th International Midwest Symposium on Circuits and Systems, 1597-1600.
- 9. Graves, A., (2012), Long short-term memory, Supervised Sequence Labelling with Recurrent Neural Networks, 37-45.
- 10. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., Polosukhin, I., (2017), Attention is all you need, Advances in Neural Information Processing Systems, 30, 5998-6008.
- 11. Pei, P., Chang, Q., Tang, T., (2008), A quick evaluating method for automotive fuel cell lifetime, International Journal of Hydrogen Energy, 33(14), 3829-3836.
- 12. Gu, G.-F., Zhou, W.-X., (2010), Detrending moving average algorithm for multifractals, Physical Review E—Statistical, Nonlinear, and Soft Matter Physics, 82(1), 011136.
- 13. Wang, T., Zhou, H., Zhu, C., (2022), A short-term and long-term prognostic method for PEM fuel cells based on gaussian process regression, Energies, 15(13), 4844.
- 14. Mitzel, J., Zhang, Q., Gazdzicki, P., Friedrich, K. A., (2021), Review on mechanisms and recovery procedures for reversible performance losses in polymer electrolyte membrane fuel cells, Journal of Power Sources, 488, 229375.
- 15. Lv, J., Yu, Z., Zhang, H., Sun, G., Muhl, P., Liu, J., (2023), Transformer based long-term prognostics for dynamic operating PEM fuel cells, IEEE Transactions on Transportation Electrification, 10(1), 1747-1757.
- 16. Liu, J., Li, Q., Chen, W., Yan, Y., Qiu, Y., Cao, T., (2019), Remaining useful life prediction of PEMFC based on long short-term memory recurrent neural networks, International Journal of Hydrogen Energy, 44(11), 5470-5480.
- 17. Zhou, N., Cui, B., Zhou, J., (2022), Transformer-based prediction of the RUL of PEMFC, Proceedings of the International Conference on Information Science, Parallel and Distributed Systems, 345-348.
Biography
- Da Hye Geum
M.S. candidate in the Department of Mechanical Engineering, Dankook Univer-sity. Her research interests are fuel cells, thin film processes, data analysis, and artificial intelligence applications.
- Hyeon Do Han
M.S. candidate in the Department of Mechanical Engineering, Dankook Univer-sity. His research interests are fuel cells, thin film processes, data analysis, and artificial intelligence applications.
- Hyunjun Yang
Ph.D. candidate in the Department of Mechanical Engineering, Seoul National University. His research interests include energy management, reinforcement learning, supervisory control of vehicle and fuel cells.
- Heejun Shin
Ph.D. student in the Department of Mechanical Engineering, Seoul National University. His research interests include energy management, reinforcement learning, supervisory control of vehicle and fuel cells.
- Suk Won Cha
Professor in the Department of Mechanical Engineering, Seoul National University. His research interests are fuel cells and simulation of energy systems.
- Gu Young Cho
Assistant professor in the Department of Mechanical Engineering, Dankook University. He received his Ph.D. in Mechanical and Aerospace Engineering from Seoul National University. His research interest is fuel cells, thin films, and semiconducting process.
