Use charlock_holmes instead of nkf at FetchLinkCardService (#4080)

* Specs for language detection * Use CharlockHolmes instead of NKF * Correct mistakes * Correct style * Set hint_enc instead of falling back and strip_tags * Improve specs * Add dependencies
author: nullkal <nullkal@users.noreply.github.com> 2017-07-09 05:44:31 +0900
committer: Eugen Rochko <eugen@zeonfederated.com> 2017-07-08 22:44:31 +0200
commit: 007ab330e6ffb1e07995d4e306473d457043e2eb (patch)
tree: baf206a3c7ae9f626a679fb3c7b650e694d8d480 /spec/fixtures
parent: 794781d1219112482e4abbc0a98683a17d170e2b (diff)
3 files changed, 42 insertions, 2 deletions
diff --git a/spec/fixtures/requests/koi8-r.txt b/spec/fixtures/requests/koi8-r.txt
new file mode 100644
index 000000000..d4242af01
--- /dev/null
+++ b/spec/fixtures/requests/koi8-r.txt
@@ -0,0 +1,20 @@
+HTTP/1.1 200 OK
+Server: nginx/1.11.10
+Date: Tue, 04 Jul 2017 16:43:39 GMT
+Content-Type: text/html
+Content-Length: 273
+Connection: keep-alive
+Last-Modified: Tue, 04 Jul 2017 16:41:34 GMT
+Accept-Ranges: bytes
+
+<HTML>
+<HEAD>
+  <META NAME="GENERATOR" CONTENT="Adobe PageMill 3.0J Mac">
+  <META HTTP-EQUIV="Content-Type" CONTENT="text/html;CHARSET=koi8-r">
+  <TITLE>榘ﾓﾋﾏﾗﾑ ﾎﾁﾞﾉﾎﾁﾅﾔﾟ ﾔﾏﾌﾘﾋﾏ ﾗﾟ XVI ﾓﾔ. ﾐﾒﾉﾗﾌﾅﾋﾁﾔﾘ ﾗﾎﾉﾍﾁﾎﾅ ﾉﾎﾏﾓﾔﾒﾁﾎﾃﾅﾗﾟ.</TITLE>
+</HEAD>
+<BODY>
+<P><CENTER><B><FONT SIZE="+2">榘ﾓﾋﾏﾗﾑ ﾎﾁﾞﾉﾎﾁﾅﾔﾟ ﾔﾏﾌﾘﾋﾏ ﾗﾟ XVI ﾓﾔ. ﾐﾒﾉﾗﾌﾅﾋﾁﾔﾘ ﾗﾎﾉﾍﾁﾎﾅ ﾉﾎﾏﾓﾔﾒﾁﾎﾃﾅﾗﾟ.</FONT></B><BR>
+<HR><BR>
+</BODY>
+</HTML>
diff --git a/spec/fixtures/requests/sjis.txt b/spec/fixtures/requests/sjis.txt
index 9041aa25d..faf18d35c 100644
--- a/spec/fixtures/requests/sjis.txt
+++ b/spec/fixtures/requests/sjis.txt
@@ -11,10 +11,10 @@ Accept-Ranges: bytes
 <HEAD>
   <META NAME="GENERATOR" CONTENT="Adobe PageMill 3.0J Mac">
   <META HTTP-EQUIV="Content-Type" CONTENT="text/html;CHARSET=x-sjis">
-  <TITLE>JSISのページ</TITLE>
+  <TITLE>SJISのページ</TITLE>
 </HEAD>
 <BODY>
-<P><CENTER><B><FONT SIZE="+2">SJISのページ</FONT></B><BR>
+<P><CENTER><B><FONT SIZE="+2">私も同年ましていわゆる記念人ってものの時でしありです。もし時間に意味者は正しくどんな発会ませだまでが申し上げがいらっしゃるたには参考帰るたいだから、少しにもやっあっましなた。金からいうないのはどうも九月をできるだけたたくた。けっして岡田さんに反抗幸少し徴に云おでしょ金力こうした権力あなたか指図がというお出入りなくだろなありて、その昔は私か金力陰を怒らから、久原さんのものをがたのいつがしかるにご希望と向いばそれmanにご矛盾へ参りように同時にご演説がしでならので、多分もし表裏に変ったてくれです事で考えたた。しかも例えばごがたがとどまらものも実際むやみとありですて、この自分では申しんてとして世間に並べのに行かなかっな。</FONT></B><BR>
 <HR><BR>
 </BODY>
 </HTML>
diff --git a/spec/fixtures/requests/sjis_with_wrong_charset.txt b/spec/fixtures/requests/sjis_with_wrong_charset.txt
new file mode 100644
index 000000000..456750c6b
--- /dev/null
+++ b/spec/fixtures/requests/sjis_with_wrong_charset.txt
@@ -0,0 +1,20 @@
+HTTP/1.1 200 OK
+Server: nginx/1.11.10
+Date: Tue, 04 Jul 2017 16:43:39 GMT
+Content-Type: text/html; charset=utf-8
+Content-Length: 273
+Connection: keep-alive
+Last-Modified: Tue, 04 Jul 2017 16:41:34 GMT
+Accept-Ranges: bytes
+
+<HTML>
+<HEAD>
+  <META NAME="GENERATOR" CONTENT="Adobe PageMill 3.0J Mac">
+  <META HTTP-EQUIV="Content-Type" CONTENT="text/html;CHARSET=x-sjis">
+  <TITLE>SJISのページ</TITLE>
+</HEAD>
+<BODY>
+<P><CENTER><B><FONT SIZE="+2">私も同年ましていわゆる記念人ってものの時でしありです。もし時間に意味者は正しくどんな発会ませだまでが申し上げがいらっしゃるたには参考帰るたいだから、少しにもやっあっましなた。金からいうないのはどうも九月をできるだけたたくた。けっして岡田さんに反抗幸少し徴に云おでしょ金力こうした権力あなたか指図がというお出入りなくだろなありて、その昔は私か金力陰を怒らから、久原さんのものをがたのいつがしかるにご希望と向いばそれmanにご矛盾へ参りように同時にご演説がしでならので、多分もし表裏に変ったてくれです事で考えたた。しかも例えばごがたがとどまらものも実際むやみとありですて、この自分では申しんてとして世間に並べのに行かなかっな。</FONT></B><BR>
+<HR><BR>
+</BODY>
+</HTML>
author	nullkal <nullkal@users.noreply.github.com>	2017-07-09 05:44:31 +0900
committer	Eugen Rochko <eugen@zeonfederated.com>	2017-07-08 22:44:31 +0200
commit	007ab330e6ffb1e07995d4e306473d457043e2eb (patch)
tree	baf206a3c7ae9f626a679fb3c7b650e694d8d480 /spec/fixtures
parent	794781d1219112482e4abbc0a98683a17d170e2b (diff)