BigData Solutions

ヴァングルではIoT/AIの技術導入におけるビッグデータの扱い、および可視化ツール化をソリューションとしてご提供致します。

BigDataを扱うと言うこと

BigDataという言葉がこのIT業界で使われるようになってから数年の月日が経ちました。

当初独り歩きをした感のあるこの言葉は、現在では有効な使い方の研究が進み多くの企業で活用が進んでいます。

しかしこの使用用途はまだ限定的なケースが多いようです。

RDBではデータの構成を考え論理設計・物理設計を行い、その後アプリケーションがデータベースへのアクセス処理をコーディングしていくと言うアプローチが一般的ではないかと思います。

BigDataのソリューションの多くはNoSQLの製品によって構成します。

NoSQLと言われるデータベースではどう使うかを先に設計し、その使い方に合わせてデータ構成を定義します。

ところがこのNoSQLデータベースの使い勝手がRDBに比較すると小回りが効かず、このことよりBigDataの活用を単純処理での活用に限定している企業が多いように感じております。

でも同じデータでも異なるアクセスパスで使用する場合、用途に合わせ複数のテーブルを構成させたりすることで小回りの効かないこのデータを扱えるようにする方法はあります。

ただし大量データであるがゆえに、何をするにも時間を要し、またデータにアタッチしようにもRDBのようにすぐアクセスできると言うものでもありません。

Sparkを用いたBigData処理

BigDataに対するバッチ処理としてSparkを用いることが多いかと思います。

Sparkには構成するクラスタの物理サーバを台数を増やし、分散設定を最適にすることで高速処理を実現することができます。

BigDataを構成するクラスタにそのままSparkを導入したり、Sparkのクラスタを独立させ、Bigdataにリモートアクセスさせたりとやり方がいくつかあり、実行環境や処理データ量等に合わせ組み合わせを設定します。

ただSparkバッチは稼働が多くなる運用ではCPUコアやメモリの使用率の監視が重要になります。

BigDataには必要不可欠なSparkですが、運用には少し手間を必要とするのです。

BigDataの解析結果をどう見せるのか

BigDataとしてデータストアができ、そのアクセスバッチとしてSpark処理が行えるようになるといよいよデータ解析を実行し、その結果をどう見せるのかという課題に入っていきます。

当社では可視化ツール化としてグラフを用いることにしております。

BigDataの解析情報を、グラフ画面に最適化されたスキーマの全文検索エンジンに格納し、ここから条件に沿ったグラフ表示処理を構築していきます。

もちろん通知系のアラート処理にも対応しますが、どうやって見える形にするかについて注力しております。

画面として視認性が高く、高速にクエリを実行し、グラフを描画していくことに価値を見出せるよう、各対応に取り組んでおります。