TeX memo - upTeX
upTeX, upLaTeX − 内部Unicode版 pTeX, pLaTeX の実装実験 2008年09月04日更新 [ English ] 概要 ASCII pTeXの内部コードをUnicodeにする実験をしています。 pTeX, pLaTeXのUnicode版: `upTeX', `upLaTeX' と名付けました。 入出力のエンコーディングをUTF-8とし、U+FFFFまでの範囲は漢字/仮名/和文記号/ハングルとして、さらに、Unicodeの最大値U+10FFFFまでの範囲は漢字として扱うことが出来ます。 また\kcatcodeの設定切替えで欧文LaTeXの\inputenc{utf8}やBabelが障害なく利用でき、和文や中韓の言語と共存もできます。 ASCII pTeXのほぼ上位互換となっており、従来のEUCやSJISの動作に切替えることも可能です。 土村さんの pt
VOYAGE GROUP エンジニアブログ : あなたにも今日こそPerlの文字化けが理解できるたった一つの原則
2010年05月27日15:36 カテゴリprogramming あなたにも今日こそPerlの文字化けが理解できるたった一つの原則 こんにちは。ECナビラボの須藤(@ajiyoshi)と申します。 唐突です が、Perl(5.8以降)で文字化けに悩んだことはありませんか？私はあります。 そして、よくわからないまま"Perl 文字化け"などで検索すると、次のような単語が洪水のごとく溢れていて、なんだかよく分からなかったりしないでしょうか。 'flagged UTF8'Encode::decodeEncode::decode_utf8Encode::encodeEncode::encode_utf8'Wide character in print at hoge.pl line xx.'use utf8open my $fh, '<:encoding(utf8)', $filebinmode「
Perl 5.8.xのUTF8フラグ | 俺のメモ
最近５年ぶりに本格的にperlを書いてるんだけど、ほんと楽しい。 webアプリ作るのはPHPが一番簡単＆早いと思うけど、perlは、”There’s more than one way to do it”と言われる通り色んなやり方があって完成するまでのプロセスが楽しめる言語だと思う。 ただ、他の言語でもよくある問題だけど、perlのUTF8は扱いにくい。 よくわからず書いていると必ず出くわす以下のエラー。 Wide character in print at scraper.pl line 12. 久々にperlを書いてるとUTF8フラグとるのは、Encode::encode? Encode::decode?って時があるのでまとめとく。 他にも色々やり方はあるけど、一つだけです。 perlのデフォルトでは以下は6となります。 print length("モダン"); lengthはバイト数
Unicode正規化
正しい並び替えでは、表示は(A)のままですが、間違った並び替えでは、正規結合クラスが互いに等しいMACRONとACUTEを並び替えたため、表示は(B)のように、eの上のアクセント記号の位置が入れ替わってしまいます。 正規分解・互換分解 ある文字列の正規分解 (Canonical Decomposition) を得るには、まず、それぞれの文字を正規マッピングによって再帰的に、可能な限り、分解します。すなわち、1回分解した後に現れた文字がなおも分解可能であればさらに分解しま��。分解マッピングがその文字自身である場合は、分解不可能なので、そのままです。 しかし、分解しただけでは必ずしも正しい結果が得られません。つまり、結合文字の順序の一意性を保証するため、分解後の文字列に対して正規順序アルゴリズムを適用しなければなりません。このように、正規マッピングによる再帰的分解と、正規順序アルゴリズムによ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
