年別アーカイブ 2010

投稿者:

Miner3D 販売分析ソリューション

Miner3Dの販売分析ソリューションのページを追加しました.
販売分析ソリューション
Miner3Dは,ビジュアルOLAP製品であり,視覚的なインタフェースを用いて,データベースから自由自在にデータを抽出し,グラフ表示できる優れた製品です.
データマイニング用の分析データをデータベースから抽出するステップを迅速化するだけでなく,いわゆるBI(ビジネス・インテリジェンス)のレベルの分析をカバーします.BIシステムへの高額な投資をなくすことができます.

投稿者:

時系列分析

XLSTAT日本語マニュアルに時系列分析を追加しました.
記述分析
MANN-KENDALL検定
均質性検定
時系列変換
スムージング(平滑化)
ARIMA
スペクトル分析
フーリエ変換
ダウンロード

投稿者:

弁証法的アプローチ

流行りの「地頭力」「フェルミ推定」と「データマイニング」の共通性について書こうしたのですが,丁寧に説明しようとする,かなり長い話になってしまうので挫折しました.結局,早い話が「弁証法」の一言で終わるのですが,たぶん「弁証法」がわからない人はかなり多いと思います.
フェルミ推定というのは,一種の弁証法なわけです.
で,過去に自分が雑誌に書いた説明の仕方を思い出して言えば,つまり,幾何学の問題を解くときに,有用な「補助線」に気づけるかどうかが勝負だということと同じです.ちなみにデッサンが探求力を鍛えるというのは,デッサンは幾何学そのものだからです.
弁証法とは,トポス(論拠)を発見して,そこから自前の論理を構築していく方法です.「ディベート」という現代語は似たようなニュアンスがあると思います.ソクラテスにとっては,弁証法は口論に打ち勝つための技だっただろうと想像します.
もっとも口論というのは,「ああいえば,こういう」式の言い逃れとその矛盾点を弁証法的に論破するという戦いをお互いがやり合うので,たいてい最後には両者とも「自分が勝った」と思い込んで終わるもので,真理に到達するようなものではありません.どんなに正しいことを言っても,相手がそれを素直に受け入れるかどうかは,別問題ですね.真理はいつも人間と関係ないところに横たわっています.
似たようなところでは,ビジネスにおけるプレゼンテーションや話術の類も同じで,まさに方便の世界です.世の中には口の達者な人がうようよしているので,まがい物がはびこります.騙しのテクニックを駆使してでもビジネスを円滑に進めるのがよいのか,そんなことしたらわかる人にはわかるので,それが恥ずかしくてできないのが人の道なのか,よく悩みます.年齢を重ねるほど後者になっていってしまうので,まあ,どんどん棲みにくい世の中になっていきます.
それはそれとして,弁証法の重要性がどこにあるかというのは,「思考の経済性」にあります.弁証法的なアプローチの大局にあるのが,物事を隅から隅まで1つの漏れもなく,すべてをスキャンする方法です.悉皆調査とか総あたり法とかがそれです.
たぶん,将棋や碁の達人も(私には想像の世界ですが)同じようなことをやっているはずです.コンピュータは,何手か先までのあらゆる可能性をスキャンして,最も良い手を選ぶわけですが,人間はコンピュータには敵いません.もっとも達人は普通の人よりも大きなメモリ空間を持っていて,ある程度は緻密な論理で分析しているのだろうと思いますが,100%完全な論理で手を選んでいるのではないのだろうと想像します.
ハーバート・A・サイモンが「システムの科学」(The Sciene of Artificial,1969)で,完全合理性と限定合理性という言葉を使って説明したことが,ずっとコンピュータ・サイエンスの分野では重要な課題として研究され続けています.そういう研究の系譜での成果として結実したのが,自己組織化マップやベイジアンネットワークなのであります.まあ,もっとも,それでもまだまだ人間の思考にはほど遠いのですが,かなりいい線まで行っています.
弁証法的思考に関係すると思われるキーワードのみを並べておきます.いちいち説明するとブログではなく,本になってしまうのでやめておきます:
ディベート,フェルミ推定,仮説思考,幾何学の補助線,限定合理性,ソフト・コンピューティング,データマイニング,KJ法(ただし,権威化・形骸化とは無関係な本質の部分),グラウンデッド・セオリー,オートポイエーシス…
まだ,たくさんあると思いますので,思い出したら,あとで「こそっ」と追加しておきます.
データマイニングにおける弁証法的アプローチは,計算に用いるアルゴリズムの中にもあるのですが,それよりも,データマイニング・プロジェクトを推進する方法の中にも存在します.これができるか,できないかでプロジェクトの効率がまったく違ってきます.
筋のよいデータマイニングは,世間で知られているのよりも,ずっとスマートで効率がよいのですが,それが理解されないことが,世の中の効率を悪くしていて本当に残念です.

投稿者:

XLSTAT 2010.6

AddinsoftはXLSTATの2010.6 バージョンをリリースしました.このバージョンでは,以下の新機能が追加されています:
– XLSTAT-Proで,表から素早くデータをフィルタ・イン/アウトできるツールを追加.
– XLSTAT-TimeのARIMAモデルで,モデルに説明変数を追加できるようになった.
– XLSTAT-Powerで,線形回帰,ANOVA, ANCOVA,ロジスティック回帰,Coxモデルでの標本サイズまたは検出力を計算することが可能になった.

投稿者:

「データマイニング」が死語となる日

データマイニングがブームになって11年が経ちました.昔からそうですが,産業界では次から次へとブームが巻き起こり,いろんな人たちがブームに便乗してひと儲けしようとするので,どうしてもまがい物がはびこります.そして,ブームになっているそのテーマそのものの言葉の定義があいまいになり,無意味化してブームが終息していきます.
たとえば「マルチメディア」というのもそうでした.マルチメディアは,コンピュータが計算機からメディアに変貌する第一歩でした.コンピュータが数字や文字だけじゃなく,音や映像を取り扱えるようになったことで,新しいコンピュータの使い方に展望が開けたことを意味する言葉でした.しかし,当時は,音や映像に関係する旧メディアもこぞって「マルチメディア」を標榜したものでした.たくさんのマルチメディアのプロジェクトが失敗に終わり,ブームは去り,「マルチメディア」は死語となっていきました.しかし,現在使っているインターネット,携帯電話,ディジタルテレビは,結局,マルチメディアを具現化した完成形として残っています.
データマイニングもこの11年混乱に混乱を重ねてきました.マルチメディアと旧メディアが混同されたのと同じように,データマイニングも統計解析と混同されました.
データマイニングと統計解析の関係をより正確に言うとすれば,「データマイニングは統計解析を含むが,従来の統計解析では扱わなかった領域に拡大したもの」というべきかと思います.その新しい領域とは,
– 知識(仮説)の発見
– 大規模データベースの使用(ギガバイト〜テラバイト級)
– 非線形モデリング

といったところです.物理学に例えるなら,ニュートンとアインシュタインの関係です.パラダイム転換です.データマイニングは統計学と矛盾してはなりません.
こういう意味からして,世間で取り上げられた「データマイニング」のほとんどは偽物でした.
たくさんの本が出版されて「データマイニングとは何か?」がさっぱりわからなくなるような混乱がありました.たとえば,上田太一郎氏の一連の書籍は,「データマイニング」という言葉を世に広める上でかなりの貢献をしましたが,同時に「データマイニング」の定義をあいまいにさせた側面もありました.つまり,彼の本に書かれている内容の大部分は,データマイニングではなく,従来の統計解析でした.功罪両面あったわけです.
統計ソフト・ベンダー各社もブームに便乗して,データマイニング・システムを売り出しました.それらは,アソシエーション・ルールやディシジョン・ツリー,ニューラルネットなどを総花的に搭載したものでした.私はこの11年繰り返し言ってきたわけですが,それらは旧式のツールの寄せ集めでしかありません.
私は,自己組織化マップとベイジアンネットワークこそが本命のデータマイニング技術であると見定めて,この11年ビジネスをやってきました.とくに自己組織化マップ(SOM)の重要性を説いて参りました.データマイニングをやるなら,一にも二にも,まず,SOMから始めることをお薦めします.
ところがSOMに関しても,本当にうんざりするほど嘘情報が蔓延してしまいました.もうしょうがないので,はっきり言いますが,早稲田大学の豊田秀樹先生がご著書に中で書かれているSOMの解説は,まったくデータマイニングの説明にはなっていません.はっきりと断言しますが間違いです.(もうちょっと遠まわしな言い方をするなら,あれは約30年前なら最先端の知識でした.)
より詳細は,データマイニング用SOMをご参照ください.
SOMでポジショニング・マップを作成することはできますが,それしかできないというのは大嘘です.「SOMはポジショニング・マップを描くツール」というのはあまり正しい教え方ではありません.あんな小規模なアプリケーションを「データマイニング」だと学生に教えることは,「データマイニング」と「SOM」のイメージを大きく貶めています.それは産業界にとってマイナスですし,我々にとっては営業妨害です.
諸外国と比較して,日本のデータマイニング導入は遅れています.この遅れを挽回しないと,国際的な日本の地位は失墜します.
本物のSOMテクノロジーは,上にあげた3つの要件を満たしていて,市販の本に書かれているようなチャチなものではありません.
無用なものが排除され,本命だけが生き残るとき,ブームのキーワードは消滅します.「マルチメディア」という言葉が消えて,インターネットや携帯電話が残ったように,「データマイニング」という言葉が消えたときに,いったい世の中では何が使われているのでしょうか.

投稿者:

官能データ分析のための実験計画法

XLSTAT日本語ユーザー・マニュアルに官能データ分析のための実験計画法を追加しました.
ダウンロード
日本語マニュアルは正規ユーザーのみにご利用頂けます.
無償の評価用ダウンロードをご利用の方は,Web上のチュートリアルをご利用ください.(ただしマニュアルの内容はまた別の内容です.)

投稿者:

科学の文法


カール・ピアソンの”The Grammar of Science”を入手しました.印刷は2010年9月・米国ですが,新刊でも何でもありません.1892年に初版(1911年に第3版)が発行された科学思想書です.ペーパバックで1,800円ほどで買えました.邦訳の古書だと2万円ぐらいするようですが,英語圏だとこういう古典的な名著が簡単に手に入るんですね.日本でも相当たくさんの本が出版されているような気がするんですが,こういうのを実感すると,日本の書店にある本がゴミの山に見えてきます.
で,ピアソンの主張は,「統計学は科学の文法だ」ということだったようですが,考えてみれば,これは弊社の「マインドウェア」のコンセプトにぴったりです.
「マインドウェア」という言葉は,誰でもが思いつく言葉のようでして,「自分こそが『マインドウエア』の提唱者だと名乗っている人が何人もいるようなので,人によって「マインドウェア」の定義はさまざまですが,弊社での定義は,「優れた知性によるのと同等な結果が得られる製品やサービス」のことです.
もともとの議論は,80年代のニューメディア開発にさかのぼるわけでして,弊社の社名は,当初,とくに統計やデータマイニングを想定したものではなかったのですが,結果的には,統計解析は「科学的方法のマインドウエア」であり,データマイニング,とくに自己組織化マップは「仮説創造のマインドウエア」と位置付けることができます.
実際,統計解析は,今日,多くの学術分野で活用されていて,「科学者の量産」に貢献しているわけです.データを集めて統計ソフトでデータ解析して論文を書けば学位が取れる,というパターンができあがっているような分野がたくさんあります.
これはこれで大変結構なことなのですが,70年代に活躍された技術評論家の星野芳郎先生の「科学技術はその内部から革新性を失うことになるだろう」という言葉をときどき思い出してしまうわけです.
実際,統計手法を使うことによって,あらかじめ「研究のパターン」があって,それに当てはまるように研究テーマを設定して,あとは手順どおりに作業をやっていくだけ,という「研究のパターン化」が進んでいるような気がしてならないわけです.
データマイニングは「仮説の発見」にこそ,その意義があるのですが,あまり多くの人には,そこのところが理解されていないようでして,多くの人が「仮説」とくれば「検証」というふうに何も考えずに条件反射してしまいます.
現代統計学を切り拓いたパイオニアの精神に少しでも近づくことができたら,データマイニングの新しい時代を切り拓くためのヒントなり力なりを貰えるのではないか,と淡い期待を持つのでした.

投稿者:

官能データ分析

XLSTAT日本語ユーザー・マニュアルにPRFMAPに続き,以下の説明を追加しました.
一般化プロクラステス分析(GPA)
ペナルティ分析
SDチャート
製品評価
ダウンロード
一般プロクラステス分析(GPA)
複数の専門家が何段階かのスケールで製品を評価する場合,専門家によってスケールの使い方が異なるのを修正する手法です.
ペナルティ分析
5水準の評価スケールで,真ん中のレベル3が「ちょうどよい」(JAR:Just About Rigt)となっているスケールを使って商品を評価し,製品の潜在的な改良の方向性を発見するための分析です.XLSTATのダイアログに一部誤訳が発見されていますので,近日中に修正します.
SDチャート
複数の審査員が複数の項目について製品にスコアをつけた状態をグラフで可視化する手法です.国内で「意味微分チャート」と訳されることが多いのですが,微分とはまったく関係がないので「意味差チャート」と訳すのが妥当と思われます.しかし,誤訳の方が一般化しているので,XLSTATのマニュアルでも「意味微分」を使用しました.
製品評価
分散分析(ANOVA)に基づいて,製品の差別化要素を識別する手法です.

投稿者:

PREFMAP

XLSTAT日本語ユーザー・マニュアルにプリファレンス・マップ(選好マップ)を追加しました.XLSTAT-MXに含まれる機能です.
ダウンロード
プリファレンス・マップは,商品企画・マーケティング分析・官能評価分析のための統計的手法です.競合する複数の商品についての消費者の受容性の評点データと,それらの複数の商品について,その特性(たとえば味,香り,食感など)を複数の専門家が評価したデータをもとに以下のようなことを分析する手法です.
– 製品が競合製品に対してどのようにポジショニングされるか?
– ある製品に対して最も近い競合製品はどれか?
– どのようなタイプの消費者がその製品を好むのか?
– どうして特定の製品が好まれているのか?
– コア・ターゲットにより好まれるように,製品をどのように再ポジショニングできるか?
– どのような新製品を開発すると意義があるか?
最終的に主成分分析をベースにしたマップが得られます.
Web上のチュートリアルは,こちらにあります.
XLSTAT内では消費者をグループ分けするために,従来の凝集型クラスタ分析(通常よく使うのはWard法)を用いますが,このへんをより一歩高度化させるためには,自己組織化マップ(Viscovery)を用いることも有効です.
日本の企業は海外と較べて,この種の分析がほとんどと言ってよいぐらいできていません.XLSTATによってぐっと簡単になっていますので,今後はぜひ活用して欲しい手法の1つです.

投稿者:

11月11日11時 XLSTAT-Pro 2010 日本語マニュアル完成

XLSTAT-Pro 2010 日本語マニュアルをアップしました.
ダウンロード
ダウンロードにはパスワードが必要ですので,お気軽にマインドウエア総研にお問い合わせください.