UnicodeからShift-JISへの変換、どうする?

なし崩し的にDelphi Advent Calendar 2012に記事を書く羽目になった件について。(ぉぃ
まぁ、実業務でのちょっとした覚え書きな件もあるので、いい機会だし久しぶりに更新してみる。

ここ数年でプログラミング環境はUnicodeを意識せざるを得なくなった。DBのエンコーディングUTF-8であることなんて良くあること。コードを書く側としてはエンコーディング変換とかはフレームワークの類いがよろしくやってくれるから余り気にする必要は無いはず。
それに、C++11でUnicodeリテラルが導入されたから、こんな感じで、いろいろアレなことが出来る。

#include <vcl.h>
#include <stdio.h>
#pragma hdrstop

#include <tchar.h>

#pragma argsused
int _tmain(int argc, _TCHAR* argv[])
{
    UnicodeString str(U"\u264aジェミニ\u264aの黄金聖闘士ご来席!\u264aジェミニ\u264aの黄金聖闘士ご来席!");
    ShowMessage(str);
    return 0;
}

こいつを実行するとこんな感じで、しっかりと星座記号が出力される。

アプリケーションの内部はUnicodeだけど、それを加工してCSVに吐き出す場合、お客さんはUTF-8UTF-16なんてことは、わけわかめな世界であることが多々あることなので、要件定義として「CSVファイルのエンコーディングはShiftーJISとすること」ってのが追加されているはず。

VCLUnicodeからShiftーJISに変換する場合、素直にUnicodeStringからAnsiStringにキャストするのが定番と言えば定番。
以下のコードを追加して、Shift-JISに無い文字を出力するとどうなるか?

    AnsiString sjStr(str);
    printf("%s",  sjStr.c_str());

こんな感じで、コンソールに「?」マークとして出力される。

結果をodでダンプすると、こんな感じ。

0x3fなので、文字としてはShift-JISに存在しない文字は「?」に変換される。

でも、お客さんは「?」じゃ気に入らない。他の文字にしてくれとなるとどうするか?例えば、「_」(アンダースコア)にしてくれとか。
「s/?/_/g」じゃ駄目だよね?元々あった「?」までも置換されてしまう。

そんな場合は仕方ないので、WideCharToMultiByte APIを直呼びをする。

int _tmain(int argc, _TCHAR* argv[])
{
    UnicodeString str(U"\u264aジェミニ\u264aの黄金聖闘士ご来席!\u264aジェミニ\u264aの黄金聖闘士ご来席!");
    ShowMessage(str);

    // 変換出来無かった場合のデフォルトの文字(スペースに変換)
    const char* DefStr = " ";

    // バッファのサイズを取得
    int BufferSize = ::WideCharToMultiByte(932, 0, str.c_str(), -1, NULL, 0, DefStr, NULL);
    std::unique_ptr<char[]> szBuffer(new char[BufferSize]);

    // 文字列の変換
    int ret = ::WideCharToMultiByte(932, WC_NO_BEST_FIT_CHARS, str.c_str(), -1, szBuffer.get(), BufferSize, DefStr, NULL);

    printf("%s",  szBuffer.get());
}

でも、こいつには罠があって、変換できなかった文字に下駄文字(「〓」)のような全角文字は指定できない模様。その場合はどうしよう…。1文字単位でWideCharToMultiByteを呼び出してlpUsedDefaultCharの値をチェックするしか無いかも。

追記:
Delphiのコードが無い。ん〜!? なんのことかな フフフ…

clang 3.1をWindowsで使ってみた

次期C++BuilderのC++コンパイラがLLVM/clangになる*1というので、早速いじってみた。

まずはインストール。現時点でWindows上でclangを動かすにはmingwが必要とのことで、まずはmingwのインストール。

  1. http://sourceforge.net/projects/mingw/files/Installer/mingw-get/catalogue/からDownload mingw-get-inst-20120426.exeをクリック。
  2. ダウンロードしたインストーラーを実行してmingwをインストール。

続いて、LLVMのインストール。LLVMのダウンロードページからWindows用のバイナリをダウンロード。
ダウンロードしたアーカイブを解凍して、mingwのインストール先に上書き。
以上で、Windows上でclangがインストールされる。

コンパイルは以下の感じ。ネタはC++11でサポートされたラムダ式を使ってFizzBuzz問題を解いてみる。

#include <tchar.h>
#include <stdlib.h>
#include <algorithm>
#include <iostream>
#include <vector>
#include <iterator>

class CFizzBazz {

private:
  class Incl {
  public:
    Incl() : m_cnt(1) {
    }
    int operator() () {
      return m_cnt++;
    }
  private:
    int m_cnt;
  };

public:
  CFizzBazz(int max) {
    std::vector<int> v;
    std::generate_n(std::back_inserter(v), max, Incl());
    std::for_each(v.begin(), v.end(), [](int num) {
      if (num % 3 == 0 && num % 5 == 0) {
        std::cout << "FizzBazz";
      } else if (num % 3 == 0) {
        std::cout << "Fizz";
      } else if (num % 5 == 0) {
        std::cout << "Bazz";
      } else {
        std::cout << num;
      }
      std::cout << std::endl;
    });
  }
};

int _tmain(int argc, _TCHAR* argv[])
{
  CFizzBazz fizzBazz(_ttoi(argv[1]));
  return 0;
}

スタートメニューから[MinGW|MinGW Shell]を選択してコマンドラインシェルを起動。
コマンドラインから以下を入力。

$ clang -std=c++11 fizzbuzz.cpp -o fizzbuzz.exe -lstdc++

clangの最大の特徴として、エラーメッセージが非常に見やすいってのがある。C++の欠点としてテンプレートとか使うとエラーメッセージがわけわかめになるのがあるけど、それが解消されている。C++11の準拠度もかなり高い感じだし、古いコンパイラを捨てて、clangに移行するのはいい決断ではないかと。

*1:もしかして、DelphiのバックエンドもLLVMになるとか?

第21回エンバカデロデベロッパーキャンプに行ってきた

ある意味、ネタ満載の楽しい「キャンプ」でした。まとめるのが面倒なので、箇条書き。

  • C++Builder使いにとっては、今年は俺のターン!!
  • お、俺はデモの神にそそのかされて無理矢理失敗させられたんだって感じで、最高のタイミングでデモの神が降臨するなwwwwwwww まぁ、おいらも何度も経験しているし。
  • FastReportはかなり使える。帳票の類いを自前で書いていた身としては、このツールあればそんなに苦労しなくて済んだのに。
  • Firemonkeyが楽しすぎる件についてwww
  • うん、IP eachableな環境を整えないと…。Wifi Pocketに寄生させていただきました。ありがとうございます。<(_ _)>
  • 今朝は「地獄のミサワ」状態wwwwww
  • えーと、ぼく、でるふぁいぜんぜんわからないから、ごうかくてんみまんでもいいよね。
  • ええ、そうですか。Mac MiniをIYHしないといけないのか。オゼゼが全くないのに。orz

追記:
おいらの愛機たるHPのDV7-6100だと、デフォの状態ではFiremonkeyが動かない。orz
どうもGPU切り替え機能が悪さをしている模様。
対応策としてBIOSGPUを常時有効状態にするか、デフォでGPUを使用するアプリにRAD StudioそのものとFiremonkey使用の自作アプリを追加すればOK。
さらには、HP製のPCに環境変数"PLATFORM"が定義されているので環境変数絡みの問題を解決しないと、ビルドが出来ないので要注意。

Ubuntu 11.10カスタマイズ関連の覚え書き

Ubuntu 11.10をインストールしたのだけど、気に入らないところがあったのでカスタマイズしてみた。

GUIシェルをgnome-shellにする。

個人的にUnityは好きになれないので、従来のgnome-shellにする。
端末を開いて以下のコマンドを実行。まず、apt-get update/upgradeで最新の状態にする。

sudo apt-get update
sudo apt-get upgrade
sudo apt-get install gnome-tweak-tool

ubuntu-tweakをインストールすれば、芋づる式にgnomeまでインストールされる。
一旦ログアウトし、ログイン画面で歯車のアイコンをクリックすると一覧に"gnome"があるので選択。ログインすればUnityに変わってgnomeがシェルになる。

デフォルトのテキストエディタvimにする。

ドットファイルをダブルクリックするとgeditが立ち上がるのが気に入らないので、これをgvimにする。
端末を開いて以下のコマンドを実行。

sudo apt-get install vim-gnome
sudo gvim /usr/share/applications/defaults.list 

vimで開いたファイルのtext/plain行の値をgvimにする。

text/plain=gvim.desktop

一旦ログアウトして、再度ログインすれば設定が反映される。
~/.local/share/applications/mimeapps.listがユーザーごとの設定ファイルみたいだけどうまくいかなかった。全体に影響がある部分を修正したくなかったけど、自分用の仮想マシンだから気にしない。

Webセミナー「アンドキュメンテッド(?) VCL 〜逆引きVCL新機能〜」自己フォロー

QAで指摘があった件を試してみました。

TListViewのグルーピングがうまくいかなかった件

本当は、こんな感じに表示されるはずでした。
テストは、64bit版のWindows 7でテーマ有効。実機はWindows 7の32bit版。この辺の差異かな…。

TDirectory.GetFilesでファイル属性を取得する

TDirectory.GetFilesはファイル名だけかと思いきや、無名メソッドを使用するバージョンで属性とか取れるという指摘があったので試してみました。
結果をフィルタリングするために使われる TFilterPredicate オプションがあって、そこで属性を取得。
Delphiのサンプルはこんな感じ。

procedure TForm1.Button1Click(Sender: TObject);
var
  Dir : String;
  Root: WideString;
  Files: TStringDynArray;
  FilterPredicate: TDirectory.TFilterPredicate;
begin
  Dir := GetMyDocumentsPath(CSIDL_PERSONAL);
  if SelectDirectory('フォルダを選択してください。', Root, Dir, [sdNewUI]) then
    Edit1.Text := Dir;

  with Memo1 do begin
    Clear;
    Lines.BeginUpdate;
    // ファイルを検索
    Files := TDirectory.GetFiles(Edit1.Text, '*.pas', TSearchOption.soAllDirectories,
        function(const Path: string; const SearchRec: TSearchRec): Boolean
        begin
            Lines.Add(Format('Path = %s Size = %d', [Path + SearchRec.Name, SearchRec.Size]));
            Result := true;
        end
    );
    Lines.EndUpdate;
  end;
end;

引数に無名メソッドを渡し、その中でファイルの属性を取得する。

C++Builderの場合は無名メソッドコンパイラがサポートしていないので、TCppInterfacedObjectを継承したクラスで判定する。(参考:http://www.gesource.jp/weblog/?p=4509

class Filter : public TCppInterfacedObject<TDirectory::TFilterPredicate>
{
public:
  bool __fastcall Invoke(const System::UnicodeString Path, const Sysutils::TSearchRec &SearchRec)
  {
    UnicodeString s = Format("Path = %s Size = %d", ARRAYOFCONST((Path + SearchRec.Name, SearchRec.Size)));
    Form1->Memo1->Lines->Append(s);
    return true;
  }
};

//---------------------------------------------------------------------------
void __fastcall TForm1::Button1Click(TObject *Sender)
{
  wchar_t DirPath[MAX_PATH];
  ::SecureZeroMemory(DirPath, sizeof(DirPath));
  ::SHGetFolderPath(0, CSIDL_PERSONAL, 0, 0, DirPath);
  UnicodeString Dir(DirPath);

  if (::SelectDirectory(L"フォルダを選択してください。", "//", Dir, TSelectDirExtOpts() << sdNewUI)) {
    Edit1->Text = Dir;
    Memo1->Clear();
    Memo1->Lines->BeginUpdate();
    // ファイルを検索
    Filter* filter = new Filter();
    TDirectory::GetFiles(Edit1->Text, "*.cpp", TSearchOption::soAllDirectories, filter);
    // delete filter; // deleteは不要
    Memo1->Lines->EndUpdate();
  }
}

フィルタリングを行うクラスのインスタンスはnewで初期化する必要があるが、明示的にdeleteする必要が無い。

ちなみに、C++11のラムダ式*1C++Builderに実装されたら、こんな感じになるのかな…。

    TDirectory::GetFiles(Edit1->Text, "*.cpp", TSearchOption::soAllDirectories, 
      [this](const System::UnicodeString Path, const Sysutils::TSearchRec &SearchRec)
      {
        UnicodeString s = Format("Path = %s Size = %d", ARRAYOFCONST((Path + SearchRec.Name, SearchRec.Size)));
        Memo1->Lines->Append(s);
        return true;
      });

ああ、滅茶苦茶便利。

*1:C++Builder XE3(?)でC++11のラムダ式サポートまだぁ?(AA略

第20回エンバカデロ デベロッパーキャンプで喋れなくなりました。

明日のセッションA4「アンドキュメンテッド(?) VCL 〜逆引きVCL新機能〜」は自分の諸事情により急遽講演中止となりました。
セッションを申し込まれた方、大変申し訳ありません。

明日の分は、後日Webセミナーとして実施する予定です。

RAD Studio XEとF-Secure Internet Security 2011の相性問題

メインマシンのセキュリティソフトをウイルスバスターからエフセキュア インターネット セキュリティ 2011に乗り換えたのだけど、RAD Studio XEを起動すると「使用許諾コードが不正」と判断されてRAD Studioが起動しなかった
これは、エフセキュア インターネット セキュリティのディープガードに由来するもので、以下の手順でBDS.EXEをディープガードの検索対象から外せばOK。

  1. F-Secure Internet Security 2011を開く
  2. [コンピュータ|ウイルスとスパイウェア スキャン]を選択
  3. [除外したオブジェクトを表示]をクリック
  4. [オブジェクト]タブを選択
  5. [追加]をクリックして、"C:\Program Files (x86)\Embarcadero\RAD Studio\8.0\bin\bds.exe"を選択
  6. [OK]をクリック
  7. [OK]をクリック
  8. [閉じる]をクリック

以上でRAD Studioが検索対象から外れるので、RAD Studioが問題なく実行される。