基于LSTM網絡的中文文本分詞

基于LSTM網絡的中文文本分詞(中文5300字,英文PDF)
摘要
目前大多數最先進的中文分詞方法都是基于監督學習，其特點主要是從局部文本中提取出來的。這些方法不能利用對分詞也至關重要的長距離信息。本文提出了一種新的基于神經網絡的中文分詞模型，該模型采用長短期記憶模型 (LSTM)在內存單元中保留先前的重要信息，避免了局部上下文窗口大小的限制。在 PKU 、MSRA 和 CTB6 基準數據集上的實驗表明，我們的模型優于以前的神經網絡模型以及其他最先進的方法。