<input id="0qass"><u id="0qass"></u></input>
  • <input id="0qass"><u id="0qass"></u></input>
  • <menu id="0qass"><u id="0qass"></u></menu>

    原理+論文+實戰:60篇由淺入深的時間序列預測/分類教程匯總

    前言

    ?最一段時間都在學習時間序列預測和時間序列分類相關的知識,一開始拿到任務感覺無從下手,論文看不懂,代碼不會寫。經過近三個月的摸索,也算是入門的小白了,這篇博文算是個人經過踩坑,去粗取精之后的經驗總結。通過4篇博客、9篇論文、32篇實戰教程,梳理出了一套系統化的時間序列預測和時間序列分類任務的入門指南。文中提及的博客論文和教程全部內容字數大約在50萬字到100萬字之間。既是對這段時間所學知識的梳理總結,也希望給有需要的同學提供幫助。水平有限,如有問題歡迎指出,謝謝。


    🎯【適合人群】:

    • 沒有時間序列預測/分類相關的經驗的小白。

    ?【代碼環境】:

    • python 3.7.6
    • tensorflow 2.1.0

    🔊【注意事項】:

    • 因為tensorflow 2.0版本開始集成了keras,成為了 tensorflow.keras API,因此不用額外安裝,并且無需 import keras。

    • 本文提及文章的神經網絡編寫部分使用Keras深度學習框架。

    • 本文提及文章的所有代碼均在Jupyter Notebook中編寫,并測試通過。

    • 本文提及的所有文章中,參考資料均在每篇文章的文末給出。


    📽【行文順序】:

    • 原理篇:邏輯順序

    • 論文篇:時間順序

    • 實戰篇:邏輯順序+時間順序

    • 注:本文提及的網絡架構、論文、教程都是按照由淺入深介紹的,教程部分(三、實戰篇)有些教程是有相互關聯的。


    📖【主要內容】:時間序列任務分為時間序列預測時間序列分類兩種類型,本文主要內容如下:

    • LSTM 及其不同的網絡架構處理時間序列預測/分類任務;
    • CNN 及其不同的網絡架構處理時間序列預測/分類任務;
    • CNN-LSTM 網絡處理時間序列預測/分類任務;
    • ConvLSTM 網絡處理時間序列預測/分類任務;
    • DeepConvLSTM 網絡處理時間序列分類任務;
    • LSTM-FCN 網絡處理時間序列分類任務;
    • Multivariate LSTM-FCNs 網絡處理時間序列分類任務


    一、原理篇

    本部分所有標題都設置了對應文章超鏈接,直接點擊傳送。

    如果對下文提及的原理比較熟悉,可以直接跳過。


    1.1 CNN

    1. 零基礎入門深度學習(4) - 卷積神經網絡

    • 文章日期:2017/08/28
    • 內容梗概:CNN算法原理+數學推導+代碼實現

    1.2 RNN

    2. 零基礎入門深度學習(5) - 循環神經網絡

    • 文章日期:2017/08/28
    • 內容梗概:RNN算法原理+數學推導+代碼實現

    1.3 LSTM

    3. Understanding LSTM Networks

    • 文章日期:2015/08/27
    • 適合人群:了解LSTM的基本原理。

    相信大家看過的很多介紹LSTM原理的文章都用到了這篇文章的配圖。比如:
    在這里插入圖片描述


    4. 零基礎入門深度學習(6) - 長短時記憶網絡(LSTM)

    • 文章日期:2017/08/28
    • 內容梗概:LSTM算法原理+數學推導+代碼實現

    這三篇文章(本篇+之前同系列兩篇)應該是我目前遇到的講解得最詳細最全面思路最清晰的文章,由淺入深,原理+推導+代碼,墻裂推薦。


    二、論文篇

    本部分主要內容:

    • 時間序列分類任務數據集構建(人類活動識別)
    • CNN-LSTM 網絡
    • ConvLSTM 網絡
    • DeepConvLSTM 網絡
    • LSTM-FCN 網絡

    本部分可以先跳過,直接看實戰篇,如果對其中的網絡架構有疑問或者有些內容看不懂,再閱讀這些論文也可以。


    2.1 WISDM 實驗室論文

    1. Activity Recognition using Cell Phone Accelerometers

    • 論文被引:2034
    • 論文年份:2010

    WISDM實驗室應該是最早開始做基于手機傳感器的人類活動識別的實驗室,手機的數據只有3個特征(3軸傳感器數據)。這篇論文是該實驗室的第一篇論文,主要介紹了關于數據集的構建與處理。


    2. Cell Phone-Based Biometric Identification

    • 論文被引:262
    • 論文年份:2010

    這篇論文是該實驗室的第二篇論文,主要介紹了 數據收集以及將時間序列數據轉換為樣本的過程,值得借鑒。

    該實驗室還有3篇論文,個人感覺參考意義不大,可以先不看。


    2.2 UCI-HAR 數據集論文

    1. Human Activity Recognition on Smartphones using a Multiclass Hardware-Friendly SVM

    • 論文被引:619
    • 論文年份:2012

    這篇論文是創建該數據集的實驗室發表的有關人類活動識別的第一篇論文,主要介紹了使用監督機器學習方法通過手機傳感器信號來識別人類活動(6類,分別是站立,行走,放置,行走,上樓和在下樓)進行分類。使用9個特征(6軸傳感器+3個分離信號(身體重力加速度))。


    2. A Public Domain Dataset for Human Activity Recognition Using Smartphones

    • 論文被引:763
    • 論文年份:2013

    這篇論文介紹了 UCI-HAR Dataset數據集是如何創建的,很有借鑒意義,如果做時間序列分類任務的話,是必讀論文。


    2.3 CNN-LSTM 論文

    1. Long-term Recurrent Convolutional Networks for Visual Recognition and Description

    • 論文被引:3634
    • 論文年份:2015

    該論文提出的網絡架構最初被稱為長期循環卷積網絡(LRCN),現在使用“CNN LSTM”來指代使用CNN作為前端的LSTM。該網絡架構最初用于生成圖像的文本描述的任務。關鍵是CNN,該CNN在圖像分類任務上進行了預訓練,使得可以用作字幕生成的特征提取器。


    2. Show and Tell: A Neural Image Caption Generator

    • 論文被引:3378
    • 論文年份:2015

    該論文提出的網絡架構用于語音識別和自然語言處理問題,其中CNN用作音頻和文本輸入數據上的特征提取器,之后輸入到LSTM進行進一步處理。

    這兩篇論文是CNN-LSTM網絡家族的開篇之作,是必讀論文。


    2.4 ConvLSTM 論文

    1. Convolutional LSTM Network: A Machine Learning Approach for Precipitation Nowcasting

    • 論文被引:1787
    • 論文年份:2015

    這篇論文是最先提出 ConvLSTM 網絡架構的論文,該論文是用于預測相對短時間內某個地區未來的降雨強度,屬于必讀論文。


    2.5 DeepConvLSTM 論文

    1. Deep Convolutional Neural Networks On Multichannel Time Series For Human Activity Recognition

    • 論文被引:541
    • 論文年份:2015

    在基準數據集上對所提方法與現有方法的比較進行了廣泛的研究。結果表明,該方法是一種很有競爭力的HAR問題求解算法。該論文還研究了CNN的效率,并得出結論:CNN對于在線人類活動識別是足夠快的。


    2. Deep Convolutional and LSTM RNN for Multimodal Wearable Activity Recognition

    • 論文被引:836
    • 論文年份:2016

    該論文提出了DeepConvLSTM網絡架構:由卷積層和LSTM循環層組成的深度學習框架,它能夠自動學習特征表示并對它們的激活之間的時間依賴性進行建模。通過業內的標準的人類活動識別數據集(OPPORTUNITY和Skoda)進行實驗,證明此框架適用于可??穿戴傳感器數據的活動識別。屬于必讀論文。


    2.6 LSTM-FCN 論文

    1. LSTM Fully Convolutional Networks for Time Series Classification

    • 論文被引:211
    • 論文年份:2017

    該論文提出的模型在顯著地提高全卷積網絡性能的同時保證模型大小只有很少的增加,并且幾乎不需要對數據集進行預處理。提出的長短期記憶-全卷積網絡 (LSTM-FCN) 與其他網絡相比,具有最新的性能。利用注意力-長短期記憶-全卷積網絡 (ALSTM-FCN),探討了注意力機制在時間序列分類中的應用。利用注意力機制可以可視化LSTM細胞的決策過程。此外,還提出了微調的方法來提高訓練模型的性能。對模型的性能進行了全面的分析,并與其他技術進行了比較。


    2. Multivariate LSTM-FCNs for Time Series Classification

    • 論文被引:70
    • 論文年份:2018

    該論文提出將現有的單變量時間序列分類模型長短期記憶-全卷積網絡(LSTM-FCN)和注意力-長短期記憶-全卷積網絡(ALSTM-FCN)通過在全卷積塊上增加一個壓縮和激勵塊來進一步提高分類精度,從而轉化為多變量時間序列分類模型。提出的模型在少量預處理的情況下優于大多數最新模型。所提出的模型能有效地處理各種復雜的多元時間序列分類任務,如活動識別或動作識別。此外,所提出的模型在滿足實時要求(小,快),可以部署在內存受限的系統上。


    三、實戰篇

    3.1 時間序列任務 入門篇

    本部分不涉及具體的數據集,使用構造的數字序列;目的是通過程序了解網絡架構和定義方法。



    3.2 時間序列預測 基礎篇


    3.3 時間序列預測 進階篇



    3.3 時間序列分類 基礎篇


    3.4 時間序列分類 進階篇 (? 更新中···)


    四. 調參篇


    五. 相關論文(? 更新中···)

    1. Energy consumption prediction using machine learning a review
    2. Electric Energy Consumption Prediction by Deep Learning with State Explainable Autoencoder
    3. Diffusion Convolutional Recurrent Neural Network: Data-Driven Traffic Forecasting
    4. 【CMU & AWS 2020】Forecasting Big Time Series: Theory and Practice(Part I)
    5. 【CMU & AWS 2020】Forecasting Big Time Series: Theory and Practice(Part II)
    6. A review of data-driven building energy consumption prediction studies
    7. A Comparative Study of Time Series Forecasting Methods for Short T erm Electric Energy Consumption Prediction in Smart Buildings

    六. 注意力機制(2020/10/29更新)

    1. Attention Is All You Need(Transformer)
    2. 【Attention】注意力機制簡介
    3. 【Attention】注意力機制的直觀理解
    4. 【Attention】圖解 Attention
    5. 【Attention】注意力機制概述
    6. 【Transformer】How Transformers Work
    7. 【Transformer】圖解 Transformer

    以上是三個多月以來對時間序列預測和分類任務的總結,僅供參考。如果給你帶來了幫助,請動動手指點個贊;如果對文中內容存疑,歡迎指出交流,謝謝各位人才。

    剛開始的時候,無從下手,走了很多彎路。經過這段時間的試錯和摸索,算是總結出了一些經驗。上文提到的論文,是個人認為幫助比較大的論文,如果在做時間序列預測或分類任務的話最好看一下,理解其中的建模思路和網絡架構的優缺點,以便快速上手。

    實戰篇的代碼主要參考澳大利亞博主Jason Brownlee的博客文章,在此表示感謝。博客地址:傳送門。


    已標記關鍵詞 清除標記
    ??2020 CSDN 皮膚主題: Age of Ai 設計師:meimeiellie 返回首頁
    多乐彩