为什么scikit不能正确地学习tokenizer来标记utf-8(葡萄牙语)文本?

这是一些文本,只有两个字符串:

titles
>>> array(['"a onda": como a psicologia social pode explicar a ação dos grupos?',
       '"beba menos mas beba melhor": entenda o lema da cerveja artesanal'],
      dtype=object)

我想是Sklearn的矢量器 CountVectorizer 为了正确地拆分单词,但似乎没有(注意,它未能标记“a_¨o”一词,它删除了无法理解的字符):

cv=CountVectorizer()
cv.fit(titles)

tokenizer = cv.build_tokenizer()
[tokenizer(s) for s in titles]

[['onda',
  'como',
  'psicologia',
  'social',
  'pode',
  'explicar',
  'ac', ## <<<< sklearn failed to identify the word "ação"
  'dos',
  'grupos'],
 ['beba',
  'menos',
  'mas',
  'beba',
  'melhor',
  'entenda',
  'lema',
  'da',
  'cerveja',
  'artesanal']]

我在用sklearn版本 0.21.2条 和python版本 3.6.7条 是的。