怎么不用 ruby 原生的 CJK 检测呀

[marguerite]

    str =~ /\p{Han}|\p{Katakana}|\p{Hiragana}|\p{Hangul}/)

另外，那个 USERNAME_ROUTE_FORMAT 看起来像是可以 override 的，它写了 unless defined?

就是不知道玲奈的 plugin 是在它之前还是之后运行...

[zh99998]

因为还有 js 也需要用这个，那套巨长无比的正则总归还是要有的，单把ruby的部分拿出来意义也不大

当然，你如果对这个有执念的话可以发个pr...

此外，我不是太熟悉discourse的插件机制，按理说我用 sed 修改的部分，直接用插件提供的接口应该是也能实现的，从而可以避免破坏文件。但是我并不知道该怎样做，因为这个一直能用就没折腾了.... 如果你会改的话也可以发个pr...

---

啊啊啊啊啊啊啊原来是苏姐姐！我去改！

[zh99998]

目前研究情况：

1. USERNAME_ROUTE_FORMAT 确实可以 override 的，测试成功。

2. locales 可以直接用放一个文件的办法来改

3. es6 怎么改还是没搞定，之前听 @fantasticfears 说可以通路径放一个文件的办法来覆盖，但是测试没成功。。。

4. 关于原生CJK检测，如何查到这几组分别对应哪些字符范围？

关于前面三点尝试做的改动放到了测试分支 test 中

[marguerite]

es6 我也不熟悉了...

那个对应字符目前我也不知道，不过可以把你那个长串的 start 和 end 分别扔 irb 里面试一下嘛：

    irb -E UTF-8
    p /上面那一堆/.match(unicode string)

这是官方的 Regexp 类的实现，我只知道用了它肯定能更容易让 discourse 上游接受...

https://ruby-doc.org/core-2.1.1/Regexp.html

[marguerite]

找到了：http://www.unicode.org/Public/UNIDATA/Scripts.txt

好像有人研究过这个：http://qiita.com/ymrl/items/b34c5493c9383633330b

[zh99998]

刚才通过match，发现这个表跟我之前的是不一致的，然后这个表是更【正确】的，我之前是按照代码区指定的，而这个能精确到字符

例如说

1B000、1B001是在的，而往后直到 1B0FF 都不在。
我之前的表，是 1B000-1B0FF 都在。
实际分配来说，1B000、1B001是两个字符，而往后是已经分配给 CJK 代码区的、但是尚未分配的字符

............... 然而到了 js 那边 ................................

[zh99998]

想到一个办法，跑穷举所有unicode。

[marguerite]

@zh99998 所以我更厉害一些 233

ember js 的我找到了这个：

https://meta.discourse.org/t/how-to-override-an-existing-handlebars-template-from-plugin-part-ii/12245

上面那个文章的内容我看不懂（不懂 JS），不过看到里面有在讲 override javascript 什么的，然后有人提到了这个项目：

https://github.com/discoursehosting/discourse-adsense

里面应该是有 override 的代码吧，摊手

[marguerite]

ruby regexp 的实现是用了一个 C 的引擎...https://github.com/k-takata/Onigmo

所以肯定要比单 regex 好一些。

[zh99998]

写了个穷举unicode的脚本，性能还不错，几秒钟就能跑完，于是大概可以真的用进install脚本里去。。

#encoding: UTF-8

inrange = false
result = []

0x110000.times do |codepoint|
    begin
        char = codepoint.chr Encoding::UTF_8
    rescue Encoding::CompatibilityError, Encoding::InvalidByteSequenceError, RangeError
        next
    end
    if inrange ^ /\p{Han}|\p{Katakana}|\p{Hiragana}|\p{Hangul}/.match(char)
        if inrange
            result.push codepoint - 1
        else
            result.push codepoint
        end
        inrange = !inrange
    end
end
result.each_with_index do |codepoint, index|
    print "\\u{#{codepoint.to_s(16).upcase}}"
    if index % 2 == 0 # range begin
        print '-'
    end
end

跑出来的结果是

\u{1100}-\u{11FF}\u{2E80}-\u{2E99}\u{2E9B}-\u{2EF3}\u{2F00}-\u{2FD5}\u{3005}-\u{3005}\u{3007}-\u{3007}\u{3021}-\u{3029}\u{302E}-\u{302F}\u{3038}-\u{303B}\u{3041}-\u{3096}\u{309D}-\u{309F}\u{30A1}-\u{30FA}\u{30FD}-\u{30FF}\u{3131}-\u{318E}\u{31F0}-\u{321E}\u{3260}-\u{327E}\u{32D0}-\u{32FE}\u{3300}-\u{3357}\u{3400}-\u{4DB5}\u{4E00}-\u{9FD5}\u{A960}-\u{A97C}\u{AC00}-\u{D7A3}\u{D7B0}-\u{D7C6}\u{D7CB}-\u{D7FB}\u{F900}-\u{FA6D}\u{FA70}-\u{FAD9}\u{FF66}-\u{FF6F}\u{FF71}-\u{FF9D}\u{FFA0}-\u{FFBE}\u{FFC2}-\u{FFC7}\u{FFCA}-\u{FFCF}\u{FFD2}-\u{FFD7}\u{FFDA}-\u{FFDC}\u{1B000}-\u{1B001}\u{1F200}-\u{1F200}\u{20000}-\u{2A6D6}\u{2A700}-\u{2B734}\u{2B740}-\u{2B81D}\u{2B820}-\u{2CEA1}\u{2F800}-\u{2FA1D}

验证中....

[erickguan]

@marguerite 好久不见苏姐了！Discourse 官方不只担心 Unicode CJK 的字符，倒是更担心和 IDN homograph attack 一样的问题，就是怎么排除看起来相似的字符。

[marguerite]

看起来相似但毕竟不是同一个啊。难道同一个论坛里有人冒充管理员你还发现不了么，我觉得用户名跟这个没关系，再说这个问题英文又不是没有，大些的 I 和小写的 L 就可以，我觉得官方肯定自己都没有写过这种排除代码

[marguerite]

https://github.com/discourse/discourse-solved/blob/master/assets/javascripts/discourse/pre-initializers/extend-category-for-solved.js.es6

好像这个确定是扩展已有的 es6 的...不知道能不能用来替换用户名

[marguerite]

https://meta.discourse.org/t/brand-new-plugin-interface 快来看看这个，真的可以复写单个函数哎

[cxgreat2014]

......貌似开启这个插件之后。。。嗯。。准确的说还是discourse国际化的锅，貌似不知道是常发还是偶发忘记密码重置邮件链接点击无法重置密码，以及站点的/discobot/certificate.svg?date=Jun+11+2017&user_id=+user_id那幅图片无法显示。。。

[marguerite]

@zh99998 快出来！我们社区的郭云鹤改了 es6 版本的，目前 hashtag 他不知道是做什么的就还没改，你快告诉他是做什么的：https://github.com/openSUSE-zh/discourse-username-localization