python语言转换库snowballstemmer

python语言转换库snowballstemmer

安装

pip install snowballstemmer

这是一款非常瘦小的语言转换库，支持15种语言。

    'danish': 丹麦语,
    'dutch': 荷兰语,
    'english': 英语,
    'finnish': 芬兰语,
    'french':  法语,
    'german': 德语,
    'hungarian': 匈牙利语,
    'italian': 意大利语,
    'norwegian': 挪威语,
    'porter': 波特语,
    'portuguese': 葡萄牙语,
    'romanian': 罗马尼亚语,
    'russian': 俄语,
    'spanish': 西班牙语,
    'swedish': 瑞典语,
    'turkish': 土耳其语,

snowballstemmer模块有两个功能

snowballstemmer.algorithms函数报道查看一个可用的算法名称“字符串列表。

import snowballstemmer
>>> snowballstemmer.algorithms()
['danish', 'dutch', 'english', 'finnish', 'french', 'german', 'hungarian', 'italian', 'norwegian', 'porter', 'portuguese', 'romanian', 'russian', 'spanish', 'swedish', 'turkish']

该snowballstemmer.stemmer函数接受算法名称并报道查看Stemmer对象。

Stemmer有对象Stemmer.stemWord(word)方法状语从句：Stemmer.stemWords(word[])方法。

import snowballstemmer

stemmer = snowballstemmer.stemmer('english');
print(stemmer.stemWords("We are the world".split()));
['We', 'are', 'the', 'world']

from snowballstemmer import EnglishStemmer, SpanishStemmer
EnglishStemmer().stemWord("Gregory")
# Gregori
SpanishStemmer().stemWord("amarillo")
# amaril

参考：https://pypi.org/project/snowballstemmer/

https://github.com/shibukawa/snowball_py