如何解决是否可以将文本文件设置为UTF-16?
我的文本编写代码适用于ANSI字符,但是当我尝试编写日语字符时,它们不会出现。我需要使用UTF-16编码吗?如果是这样,我将如何在代码上做到这一点?
std::wstring filename;
std::wstring text;
filename = "path";
wofstream myfile;
myfile.open(filename,ios::app);
getline(wcin,text);
myfile << text << endl;
wcin.get();
myfile.close();
解决方法
从注释中看,您的控制台似乎可以正确理解Unicode,而问题仅在于文件输出。
这是在UTF-16LE中编写文本文件的方法。刚刚在MSVC 2019中进行了测试,并且可以正常工作。
#include <string>
#include <fstream>
#include <iostream>
#include <codecvt>
#include <locale>
int main() {
std::wstring text = L"test тест 試験.";
std::wofstream myfile("test.txt",std::ios::binary);
std::locale loc(std::locale::classic(),new std::codecvt_utf16<wchar_t,0x10ffff,std::little_endian>);
myfile.imbue(loc);
myfile << wchar_t(0xFEFF) /* UCS2-LE BOM */;
myfile << text << "\n";
myfile.close();
}
您必须在Windows下使用std::ios::binary
模式进行输出,否则\n
将通过扩展为\r\n
来破坏它,最终发出3个字节而不是2个字节
您不必一开始就编写BOM,但是拥有一个BOM可以大大简化在文本编辑器中使用正确编码打开文件的过程。
不幸的是,std::codecvt_utf16
自C ++ 17起已被弃用,没有替代品(是的,C ++中的Unicode支持那很糟糕)。
扩展我对last question的回答,这是用于编写文件的C库解决方案。我将源代码保存为UTF-8,并使用Microsoft“ cl / EHsc / W4 / utf-8 test.cpp”进行编译。
#include <fcntl.h>
#include <io.h>
#include <string>
#include <iostream>
using namespace std;
int main()
{
// Declare console I/O that works with Unicode.
_setmode(_fileno(stdout),_O_U16TEXT);
_setmode(_fileno(stdin),_O_WTEXT);
// Send a string to the console to verify stdout works with wide strings.
wstring s = L"こんにちは,世界!\nHello,World!";
wcout << s << endl;
// Read an input string. I used an IME to enter Chinese.
// Verify the stdin works...
wstring test;
getline(wcin,test);
// Write it back out to stdout...
wcout << test << endl;
// Write it to a file as UTF-16.
FILE *dest = fopen("out.txt","w,ccs=UTF-16LE");
fwprintf(dest,L"%s",test.c_str());
return 0;
}
输出(控制台):
C:\>test
こんにちは,世界!
Hello,World!
你好,马克!
你好,马克!
C:\>type out.txt
你好,马克!
文件内容的十六进制转储,显示带有BOM编码的UTF-16LE:
ff fe 60 4f 7d 59 0c ff 6c 9a 4b 51 01 ff
,
用标准C ++不好地处理编码不是很方便。
在Posix系统上,单字节流效果更好,在Windows wchar_t
流上更方便。
要处理文件编码,您需要使用std::locale在流上设置imbue。
请注意,boost扩展了语言环境功能,因此可能会发现您必须使用它才能使其工作。
通常建议使用系统区域设置:
// set global locale so wcin is able to read data properly
std::locale::global(std::locale{""});
std::wstring filename;
std::wstring text;
filename = "path";
wofstream myfile;
// if you need some specific text encoding check which one your system supports
// it may be something like "C.UTF-16"
myfile.imbue(std::locale{""});
myfile.open(filename,ios::app);
getline(wcin,text);
myfile << text << endl;
wcin.get();
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。