FTP Server/Client 在 UTF-8 下的解決方案

woff

前幾天 "不小心" 把自己家裡的主機內的檔案名, 都改成 UTF-8 來處理, 在 samba 上頭是可以很正常的處理, 不過.... 發現在使用 ftp 時, 問題就不小了.

如果是支援 UTF-8 的 ftp client, 是可以正常運作, 如 gftp, smartftp....

不過, 在用了一天的 smartftp 之後, 實在發現和之前用 filezilla 的習慣大不相同, 用起來實在不習慣.

原本打算動手改 filezilla 的程式碼.... 只是, 在 windows 下頭, 似乎沒有 iconv 可以用... 又懶的去找 win32 可以用的函式... 所以, 就直接改 server 上的 vsftpd 來配合非 UTF-8 的 ftp client.

修改的構想主要來自 proftpd 的 iconv patch:
http://home.h01.itscom.net/para/software/misc/proftpd-iconv/index-e.html

我是修改 Debian 的 vsftpd 2.0.1 的版本.
patch 如下:

1. 
   
2. 
   
3. diff -Nur vsftpd-2.0.1/features.c vsftpd-2.0.1.patched/features.c
   
4. --- vsftpd-2.0.1/features.c 2004-07-02 19:22:45.000000000 +0800
   
5. +++ vsftpd-2.0.1.patched/features.c 2005-02-22 12:21:56.000000000 +0800
   
6. @@ -25,6 +25,7 @@
   
7.    vsf_cmdio_write_raw(p_sess, " EPSV\r\n");
   
8.    vsf_cmdio_write_raw(p_sess, " MDTM\r\n");
   
9.    vsf_cmdio_write_raw(p_sess, " PASV\r\n");
   
10. +  vsf_cmdio_write_raw(p_sess, " ICNV\r\n");
    
11.    if (tunable_ssl_enable)
    
12.    {
    
13.      vsf_cmdio_write_raw(p_sess, " PBSZ\r\n");
    
14. diff -Nur vsftpd-2.0.1/ftpcmdio.c vsftpd-2.0.1.patched/ftpcmdio.c
    
15. --- vsftpd-2.0.1/ftpcmdio.c 2004-07-02 19:23:02.000000000 +0800
    
16. +++ vsftpd-2.0.1.patched/ftpcmdio.c 2005-02-22 11:48:44.000000000 +0800
    
17. @@ -7,6 +7,9 @@
    
18.   * Routines applicable to reading and writing the FTP command stream.
    
19.   */
    
20. 
    
21. +#include <stdlib.h>
    
22. +#include <string.h>
    
23. +#include "utility.h"
    
24. #include "ftpcmdio.h"
    
25. #include "ftpcodes.h"
    
26. #include "str.h"
    
27. @@ -170,6 +173,16 @@
    
28.    control_getline(p_cmd_str, p_sess);
    
29.    str_split_char(p_cmd_str, p_arg_str, ' ');
    
30.    str_upper(p_cmd_str);
    
31. +  if (!str_isempty(p_arg_str)) {
    
32. +      char *tmp_str;
    
33. +
    
34. +      tmp_str = remote2local(str_getbuf(p_arg_str));
    
35. +      if (tmp_str != NULL) {
    
36. +  str_empty(p_arg_str);
    
37. +          str_append_text(p_arg_str, tmp_str);
    
38. +  vsf_sysutil_free(tmp_str);
    
39. +      }
    
40. +  }
    
41.    if (tunable_log_ftp_protocol)
    
42.    {
    
43.      static struct mystr s_log_str;
    
44. diff -Nur vsftpd-2.0.1/ls.c vsftpd-2.0.1.patched/ls.c
    
45. --- vsftpd-2.0.1/ls.c 2004-07-02 19:23:34.000000000 +0800
    
46. +++ vsftpd-2.0.1.patched/ls.c 2005-02-22 11:48:56.000000000 +0800
    
47. @@ -7,6 +7,9 @@
    
48.   * Would you believe, code to handle directory listing.
    
49.   */
    
50. 
    
51. +#include <stdlib.h>
    
52. +#include <string.h>
    
53. +#include "utility.h"
    
54. #include "ls.h"
    
55. #include "access.h"
    
56. #include "str.h"
    
57. @@ -363,6 +366,7 @@
    
58.                 const struct vsf_sysutil_statbuf* p_stat)
    
59. {
    
60.    static struct mystr s_tmp_str;
    
61. +  char *tmp_filename;
    
62.    filesize_t size = vsf_sysutil_statbuf_get_size(p_stat);
    
63.    /* Permissions */
    
64.    str_alloc_text(p_str, vsf_sysutil_statbuf_get_perms(p_stat));
    
65. @@ -432,7 +436,13 @@
    
66.                                                        tunable_use_localtime));
    
67.    str_append_char(p_str, ' ');
    
68.    /* Filename */
    
69. -  str_append_str(p_str, p_filename_str);
    
70. +  tmp_filename = local2remote(str_getbuf(p_filename_str));
    
71. +  if (tmp_filename == NULL)
    
72. +    str_append_str(p_str, p_filename_str);
    
73. +  else {
    
74. +    str_append_text(p_str, tmp_filename);
    
75. +    vsf_sysutil_free(tmp_filename);
    
76. +  }
    
77.    str_append_text(p_str, "\r\n");
    
78. }
    
79. 
    
80. diff -Nur vsftpd-2.0.1/parseconf.c vsftpd-2.0.1.patched/parseconf.c
    
81. --- vsftpd-2.0.1/parseconf.c 2004-07-02 19:23:56.000000000 +0800
    
82. +++ vsftpd-2.0.1.patched/parseconf.c 2005-02-22 11:49:12.000000000 +0800
    
83. @@ -94,6 +94,7 @@
    
84.    { "ssl_sslv3", &tunable_sslv3 },
    
85.    { "ssl_tlsv1", &tunable_tlsv1 },
    
86.    { "tilde_user_enable", &tunable_tilde_user_enable },
    
87. +  { "enable_iconv", &tunable_enable_iconv },
    
88.    { 0, 0 }
    
89. };
    
90. 
    
91. @@ -158,6 +159,8 @@
    
92.    { "rsa_cert_file", &tunable_rsa_cert_file },
    
93.    { "dsa_cert_file", &tunable_dsa_cert_file },
    
94.    { "ssl_ciphers", &tunable_ssl_ciphers },
    
95. +  { "local_charset", &tunable_local_charset },
    
96. +  { "remote_charset", &tunable_remote_charset },
    
97.    { 0, 0 }
    
98. };
    
99. 
    
100. diff -Nur vsftpd-2.0.1/postlogin.c vsftpd-2.0.1.patched/postlogin.c
     
101. --- vsftpd-2.0.1/postlogin.c 2004-07-02 19:24:01.000000000 +0800
     
102. +++ vsftpd-2.0.1.patched/postlogin.c 2005-02-22 15:54:14.000000000 +0800
     
103. @@ -5,6 +5,9 @@
     
104.   * postlogin.c
     
105.   */
     
106. 
     
107. +#include <stdlib.h>
     
108. +#include <string.h>
     
109. +#include "utility.h"
     
110. #include "postlogin.h"
     
111. #include "session.h"
     
112. #include "oneprocess.h"
     
113. @@ -157,6 +160,29 @@
     
114.      {
     
115.        handle_pwd(p_sess);
     
116.      }
     
117. +    else if (str_equal_text(&p_sess->ftp_cmd_str, "ICNV"))
     
118. +    {
     
119. +      str_upper(&p_sess->ftp_arg_str);
     
120. +      if (str_equal_text(&p_sess->ftp_arg_str, "ON"))
     
121. +      {
     
122. +        tunable_enable_iconv = 1;
     
123. +        vsf_cmdio_write(p_sess, FTP_CWDOK, "enable iconv().");
     
124. +      }
     
125. +      else if (str_equal_text(&p_sess->ftp_arg_str, "OFF"))
     
126. +      {
     
127. +        tunable_enable_iconv = 0;
     
128. +        vsf_cmdio_write(p_sess, FTP_CWDOK, "disable iconv().");
     
129. +      }
     
130. +      else {
     
131. +        if (tunable_enable_iconv) {
     
132. +          vsf_cmdio_write(p_sess, FTP_CWDOK, "iconv() enabled.");
     
133. +        }
     
134. +        else
     
135. +        {
     
136. +          vsf_cmdio_write(p_sess, FTP_CWDOK, "iconv() disabled.");
     
137. +        }
     
138. +      }
     
139. +    }
     
140.      else if (str_equal_text(&p_sess->ftp_cmd_str, "CWD") ||
     
141.               str_equal_text(&p_sess->ftp_cmd_str, "XCWD"))
     
142.      {
     
143. @@ -404,6 +430,7 @@
     
144. static void
     
145. handle_pwd(struct vsf_session* p_sess)
     
146. {
     
147. +  char *tmp_str;
     
148.    static struct mystr s_cwd_buf_mangle_str;
     
149.    static struct mystr s_pwd_res_str;
     
150.    str_getcwd(&s_cwd_buf_mangle_str);
     
151. @@ -411,7 +438,13 @@
     
152.    str_replace_text(&s_cwd_buf_mangle_str, "\"", "\"\"");
     
153.    /* Enclose pathname in quotes */
     
154.    str_alloc_text(&s_pwd_res_str, "\"");
     
155. -  str_append_str(&s_pwd_res_str, &s_cwd_buf_mangle_str);
     
156. +  tmp_str = local2remote(str_getbuf(&s_cwd_buf_mangle_str));
     
157. +  if (tmp_str == NULL)
     
158. +    str_append_str(&s_pwd_res_str, &s_cwd_buf_mangle_str);
     
159. +  else {
     
160. +    str_append_text(&s_pwd_res_str, tmp_str);
     
161. +    vsf_sysutil_free(tmp_str);
     
162. 
     
163. +  }
     
164.    str_append_text(&s_pwd_res_str, "\"");
     
165.    vsf_cmdio_write_str(p_sess, FTP_PWDOK, &s_pwd_res_str);
     
166. }
     
167. @@ -435,6 +468,24 @@
     
168.    }
     
169.    else
     
170.    {
     
171. +    if (tunable_enable_iconv) {
     
172. +      char *tmp_str;
     
173. +
     
174. +      tmp_str = local2remote(str_getbuf(&p_sess->ftp_arg_str));
     
175. +      if (tmp_str != NULL) {
     
176. +        str_empty(&p_sess->ftp_arg_str);
     
177. +        str_append_text(&p_sess->ftp_arg_str, tmp_str);
     
178. +        vsf_sysutil_free(tmp_str);
     
179. +        retval = str_chdir(&p_sess->ftp_arg_str);
     
180. +        if (retval == 0)
     
181. +        {
     
182. +          /* Handle any messages */
     
183. +          vsf_banner_dir_changed(p_sess, FTP_CWDOK);
     
184. +          vsf_cmdio_write(p_sess, FTP_CWDOK, "Directory successfully changed.");
     
185. +  return;
     
186. +        }
     
187. +      }
     
188. +    }
     
189.      vsf_cmdio_write(p_sess, FTP_FILEFAIL, "Failed to change directory.");
     
190.    }
     
191. }
     
192. @@ -640,8 +691,29 @@
     
193.    opened_file = str_open(&p_sess->ftp_arg_str, kVSFSysStrOpenReadOnly);
     
194.    if (vsf_sysutil_retval_is_error(opened_file))
     
195.    {
     
196. -    vsf_cmdio_write(p_sess, FTP_FILEFAIL, "Failed to open file.");
     
197. -    return;
     
198. +    if (tunable_enable_iconv) {
     
199. +      char *tmp_str;
     
200. +
     
201. +      tmp_str = local2remote(str_getbuf(&p_sess->ftp_arg_str));
     
202. +      if (tmp_str != NULL) {
     
203. + str_empty(&p_sess->ftp_arg_str);
     
204. + str_append_text(&p_sess->ftp_arg_str, tmp_str);
     
205. + vsf_sysutil_free(tmp_str);
     
206. + opened_file = str_open(&p_sess->ftp_arg_str, kVSFSysStrOpenReadOnly);
     
207. + if (vsf_sysutil_retval_is_error(opened_file)) {
     
208. +          vsf_cmdio_write(p_sess, FTP_FILEFAIL, "Failed to open file.");
     
209. +          return;
     
210. + }
     
211. +      }
     
212. +      else {
     
213. +        vsf_cmdio_write(p_sess, FTP_FILEFAIL, "Failed to open file.");
     
214. +        return;
     
215. +      }
     
216. +    }
     
217. +    else {
     
218. +      vsf_cmdio_write(p_sess, FTP_FILEFAIL, "Failed to open file.");
     
219. +      return;
     
220. +    }
     
221.    }
     
222.    vsf_sysutil_fstat(opened_file, &s_p_statbuf);
     
223.    /* No games please */
     
224. @@ -1623,7 +1695,7 @@
     
225.    vsf_cmdio_write_raw(p_sess,
     
226. " RNTO SITE SIZE SMNT STAT STOR STOU STRU SYST TYPE USER XCUP XCWD XMKD\r\n");
     
227.    vsf_cmdio_write_raw(p_sess,
     
228. -" XPWD XRMD\r\n");
     
229. +" XPWD XRMD ICNV\r\n");
     
230.    vsf_cmdio_write(p_sess, FTP_HELP, "Help OK.");
     
231. }
     
232. 
     
233. diff -Nur vsftpd-2.0.1/tunables.c vsftpd-2.0.1.patched/tunables.c
     
234. --- vsftpd-2.0.1/tunables.c 2004-07-02 19:26:17.000000000 +0800
     
235. +++ vsftpd-2.0.1.patched/tunables.c 2005-02-22 12:17:52.000000000 +0800
     
236. @@ -66,6 +66,7 @@
     
237. int tunable_sslv3 = 0;
     
238. int tunable_tlsv1 = 1;
     
239. int tunable_tilde_user_enable = 0;
     
240. +int tunable_enable_iconv = 0;
     
241. 
     
242. unsigned int tunable_accept_timeout = 60;
     
243. unsigned int tunable_connect_timeout = 60;
     
244. @@ -115,4 +116,7 @@
     
245. const char* tunable_rsa_cert_file = "/usr/share/ssl/certs/vsftpd.pem";
     
246. const char* tunable_dsa_cert_file = 0;
     
247. const char* tunable_ssl_ciphers = "DES-CBC3-SHA";
     
248. +const char* tunable_local_charset = "UTF-8";
     
249. +const char* tunable_remote_charset = "BIG5";
     
250. +
     
251. 
     
252. diff -Nur vsftpd-2.0.1/tunables.h vsftpd-2.0.1.patched/tunables.h
     
253. --- vsftpd-2.0.1/tunables.h 2004-06-29 07:08:31.000000000 +0800
     
254. +++ vsftpd-2.0.1.patched/tunables.h 2005-02-22 11:50:27.000000000 +0800
     
255. @@ -62,6 +62,7 @@
     
256. extern int tunable_sslv3;                     /* Allow SSLv3 */
     
257. extern int tunable_tlsv1;                     /* Allow TLSv1 */
     
258. extern int tunable_tilde_user_enable;         /* Support e.g. ~chris */
     
259. +extern int tunable_enable_iconv;      /* Convert filename use iconv */
     
260. 
     
261. /* Integer/numeric defines */
     
262. extern unsigned int tunable_accept_timeout;
     
263. @@ -110,6 +111,8 @@
     
264. extern const char* tunable_rsa_cert_file;
     
265. extern const char* tunable_dsa_cert_file;
     
266. extern const char* tunable_ssl_ciphers;
     
267. +extern const char* tunable_local_charset;
     
268. +extern const char* tunable_remote_charset;
     
269. 
     
270. #endif /* VSF_TUNABLES_H */
     
271. 
     
272. diff -Nur vsftpd-2.0.1/utility.c vsftpd-2.0.1.patched/utility.c
     
273. --- vsftpd-2.0.1/utility.c 2004-07-02 19:26:30.000000000 +0800
     
274. +++ vsftpd-2.0.1.patched/utility.c 2005-02-22 14:05:46.000000000 +0800
     
275. @@ -5,6 +5,13 @@
     
276. 
     
277.   * utility.c
     
278.   */
     
279. 
     
280. +#include <stdarg.h>
     
281. +#include <iconv.h>
     
282. +#include <stdlib.h>
     
283. +#include <stdio.h>
     
284. +#include <unistd.h>
     
285. +#include <string.h>
     
286. +#include "tunables.h"
     
287. #include "utility.h"
     
288. #include "sysutil.h"
     
289. #include "str.h"
     
290. @@ -50,3 +57,71 @@
     
291.    vsf_sysutil_exit(0);
     
292. }
     
293. 
     
294. +char *
     
295. +local2remote(const char *buf)
     
296. +{
     
297. +  char *in_ptr;
     
298. +  char *out_ptr;
     
299. +  size_t inbytesleft, outbytesleft;
     
300. +  char *p;
     
301. +  iconv_t ic;
     
302. +
     
303. +  if (tunable_enable_iconv == 0) return NULL;
     
304. +  ic = iconv_open(tunable_remote_charset, tunable_local_charset);
     
305. +  if (ic == (iconv_t)(-1)) return NULL;
     
306. +  iconv(ic, NULL, NULL, NULL, NULL);
     
307. +
     
308. +  inbytesleft = strlen(buf);
     
309. +  outbytesleft = inbytesleft * 6;
     
310. +  p = vsf_sysutil_malloc(outbytesleft+1);
     
311. +
     
312. +  in_ptr = buf;
     
313. +  out_ptr = p;
     
314. +  while (inbytesleft) {
     
315. +    if (iconv(ic, &in_ptr, &inbytesleft, &out_ptr, &outbytesleft) == (size_t)(-1)) {
     
316. +      iconv_close(ic);
     
317. +      vsf_sysutil_free(p);
     
318. +      return NULL;
     
319. +    }
     
320. +  }
     
321. +
     
322. +  *out_ptr = 0;
     
323. +
     
324. +  iconv_close(ic);
     
325. +  return p;
     
326. +}
     
327. +
     
328. +char *
     
329. +remote2local(const char *buf)
     
330. +{
     
331. +  char *in_ptr;
     
332. +  char *out_ptr;
     
333. +  size_t inbytesleft, outbytesleft;
     
334. +  char *p;
     
335. +  iconv_t ic;
     
336. +
     
337. +  if (tunable_enable_iconv == 0) return NULL;
     
338. +  ic = iconv_open(tunable_local_charset, tunable_remote_charset);
     
339. +  if (ic == (iconv_t)(-1)) return NULL;
     
340. +  iconv(ic, NULL, NULL, NULL, NULL);
     
341. +
     
342. +  inbytesleft = strlen(buf);
     
343. +  outbytesleft = inbytesleft * 6;
     
344. +  p = vsf_sysutil_malloc(outbytesleft+1);
     
345. +
     
346. +  in_ptr = buf;
     
347. +  out_ptr = p;
     
348. +  while (inbytesleft) {
     
349. +    if (iconv(ic, &in_ptr, &inbytesleft, &out_ptr, &outbytesleft) == (size_t)(-1)) {
     
350. +      iconv_close(ic);
     
351. +      vsf_sysutil_free(p);
     
352. +      return NULL;
     
353. +    }
     
354. +  }
     
355. +
     
356. +  *out_ptr = 0;
     
357. +
     
358. +  iconv_close(ic);
     
359. +  return p;
     
360. +}
     
361. +
     
362. diff -Nur vsftpd-2.0.1/utility.h vsftpd-2.0.1.patched/utility.h
     
363. --- vsftpd-2.0.1/utility.h 2004-04-16 06:46:29.000000000 +0800
     
364. +++ vsftpd-2.0.1.patched/utility.h 2005-02-22 11:47:51.000000000 +0800
     
365. @@ -40,5 +40,7 @@
     
366.   */
     
367. void vsf_exit(const char* p_text);
     
368. 
     
369. +char *local2remote(const char *buf);
     
370. +char *remote2local(const char *buf);
     
371. #endif
     
372. 
     

複製代碼

可以到這兒抓
http://www.teatime.com.tw/~tommy/linux/vsftpd_iconv.patch

如果是使用 Debian Sarge, 也可以直接用這個:
http://www.teatime.com.tw/~tommy/debian/vsftpd_2.0.1-11_i386.deb

在使用這個 patch 之後, 你可以在 vsftpd.conf 中指定下面三個參數

1. enable_iconv=YES
   
2. local_charset=UTF-8
   
3. remote_charset=BIG5

複製代碼

local_charset 是主機檔案名稱使用的編碼. 內定為 UTF-8.
remote_charset 是 ftp client 的編碼. 內定為 BIG5.
enable_iconv 預設是關閉的, 也就是所有的動作應該都與沒加上這個 patch 時一樣. 如果設為 true/yes 時, 就會使用 iconv 來轉換檔名.

動作如下:
1. 所有的 client 送來的指令, 參數, 檔案或路徑名稱, 會使用 iconv 由 remote_charset 轉成 local_charset. 所以, 實際存取是使用 local_charset 的編碼.
2. 在 ls 指令時, 要送出檔名之前, 會用 iconv 由 local_charset 轉成 remote_charset 再送出.
3. 如果轉碼的動作是失敗的, 就不做轉碼的動作.
4. 加上一個 icnv on/off 指令 (非 ftp 標準), 可以讓 client 決定是否打開這個功能.
5. 主機上頭的檔案存取, 如果在轉成 local_charset 時, 存取失敗的話, 就假設該檔案或路徑為 remote_charset 的編碼格式, 再試一次.

以上述主機使用 UTF-8, client 使用 Big5 的情形下, 不管主機上頭的檔案路徑名稱是用 UTF-8 或 Big5, 都會轉成 Big5 送到 client 上頭, 所以當我們使用像 filezilla 之類不支援 UTF-8 的程式時, 所收到的都會是 Big5 編碼的資料.
如果我們使用支援 UTF-8 的 client 時, 如 gftp, 會發現, 反而原本在 UTF-8 的檔名, 在轉成 Big5 之後, 反而看不到正確的名稱. 此時, 可以使用上述的 icnv off 指令 (gftp 使用 site icnv off, 其他程式可能用 quote icnv off) 把轉碼的動作關閉, 就可以正常看到 UTF-8 編碼的檔案.

而在檔案抓取或更換目錄時, 會先用 UTF-8 試一次, 如果失敗, 再用 Big5 試一次. 以確定主機上頭的檔名無論是 Big5 或 UTF-8 都可以被存取.
而在檔案儲存或建立目錄時, 主機上只會使用 UTF-8 來編碼.

o09553577

樓主福如東海，萬壽無疆！