マルチメディアデザイン

sponsored link

基本用語

・スループット = 処理の速さ。

・通信プライオリティ = 各ノードで順位付けを行い、送信権を得たノードが順に送信。

※ノードとは、コンピュータを構成する一つ一つの要素のこと。

・トークンリング = 各ノードを環状に接続して、巡回させたフレームから送信権を得たノードが送信。

・フィルターバブル = 自分の情報にはレコメンド機能などで多数のフィルタがかかっている。

・フラクタル図形 = 自己相似形を持つ図形。自然界にも多く存在。

・プロトコル = 通信をする上での約束事。

・ミューチップ = 超小型RFIDチップ。無線電源供給。書き込み不可。

・ムーアの法則 = 半導体の集積密度は1年か2年で倍増する。

※1965〜2005年まで適応された。

・無線LAN = ケーブル無しでネットワークに接続する技術。

・ユビキタスコンピューティング = コンピュータが当たり前のように存在すること。

Ex)Microsoftや東大が作った複数のカメラで場所を特定する部屋(目線を検知してスマホ画面を壁に投影したりできる)

※ユビキタス=広くあまねく存在する。

・レジスタ = CPU計算時に使う記憶装置。

・CSCW(Computer Supported Cooperative Work) = 電子会議システム。

Ex)Zoom、teams、WebEx。

・CSMA/CD = 各ノードが使用中かを調べタイミングをみて送信を行う。衝突検知時にはランダム時間経過後に再送する。衝突の頻度が増すと通信が遅くなる。

※スルーレートの良さ「CSMA/CD > 待時CSMA > 即時型CSMA > スロットALOHA > ALOHA」

・DLNA(Digital Living Network Alliance) = LANを通じてデータを扱うためのガイドライン。

・DX(Digital Transformation) = デジタル技術が人々の生活をより豊かにすること。

・Echonet lite = スマートハウスを実現するための通信上の約束事。

・IEEE 802.11 = 無線LANを広めた国際標準規格。これを統一させたことで世界中で通信できるようになった。

※現在は「IEEE 802.11n」「IEEE 802.11ac」など周波数帯や通信速度の異なる規格も利用されている。

・LoRa/LoRaWAN = スループットを著しく落とし、長距離通信に特化させた規格。

・NFC(Near Field Communication) = 端末をかざすだけで通信できる技術。

Ex)Suica、PASUMO。

・RBS(Reference Broadcast Synchronization) = サーバーが時刻同期信号を配信。

・RFID(Radio Frequency Identification) = 電波を用いてICタグを読み書きするシステム。

Ex)無人コンビニ、万引き防止ゲート。Suica。

・RSSI(Received Signal Strength Indicator) = ルーターの信号をデバイスがどれくらい受信できるか示した指標。環境の影響を受けやすく不安定な指標。

・TDMA(Time Division Multiple Access) = タイムスロットが割り当てられたノードのみ通信を行う。

・Wi-Fi = Wi-Fi Allianceという団体に認定された相互接続の規格。

・Wi-Fi6 = 2.4Gと5Gの相互連携運用。高スループット/多接続/低消費電力を実現。

・5G = 「容量10倍(10G)」「遅延1/10(1ms)」「端末数100倍(1M/km^2)」これら全てを同時に実現するわけではなく、使用用途に合わせて適宜選択していく。トレードオフの関係。

センサネットワーク(用語)

センサネットワークとは、多数のセンサを接続した「実世界の情報(場所・時間など)」を扱うネットワークのこと。広範囲で多種多様なデータを収集できることが特徴で、異常検知システムによく使われる。

有線では「LON、I2C、1-wire」などがあり、無線では「UWB、ZigBee、Bluetooth」などがある。

Body Area Network→「Apple Watch」「Nikeの靴に搭載された圧力センサ」

人体通信→「握手すると情報交換」「プライバシー問題あり」

・エナジーハーベスティング = 周囲の環境から微小なエネルギー(光・熱など)を収集して電力に変換する技術。低電力センサ/CPUなどが求められる。

・ゲートウェイ = 通信手順が異なるネットワークのやり取りで中継機の役割を担うもの。

Ex)無線LAN。ブロードバンドルーター。

・スケーラビリティ = 処理を増やした時にも遅延しない能力。

・フォールトトレランス = 部分的に障害が発生しても全体として正常に動作するシステム特性。

・ラストワンマイル = 通信業者からユーザーに引き込まれる最後の部分の回線。

・特定小電力無線 = 免許や資格や利用料金が不要。小型の携帯トランシーバーに使われる。

・ARM = 現在主流となっている汎用性の高いプロセッサ。

※8bit/16bitのレジスタ、数MHz〜数百MHzの組込CPUが使われる。

・Bluetooth = 2.4GHz帯を使用し、1つのマスタと7つのスレーブからなるスター型ネットワーク。モバイルや周辺機器との接続といった近距離の無線通信として利用されている。

※BLE(Bluetooth Low Energy)が、特定小電力やZigBeeに代わって使われている。

・DSRC(Dedicated Short Range Communication) = 5.8GHz帯を使用する近距離無線方式。ETCで利用されている。

・LPWA(Low Power Wide Area) = 低消費電力で広範囲をカバーできる無線技術。複数のセンサネットワークに最適。

・UWB(Ultra Wide Band) = 広い周波数帯にデータを拡散する高速無線方式。近距離の映像や音楽配信に利用。低周波数なので他のシステムとも共存可能。

・ZigBee = 低消費電力で低速の通信を行いセンサネットワークに最適。下位層にIEEE 802.15.4を使用する無線方式。Bluetoothよりもスリープ時の消費電力が小さく復帰時間も短い。約65000台の同時接続が可能。

Ex)TVのリモコン

センサネットワーク(応用例)

・医療/健康:どこでも健康管理。異常時にGPSで場所を病院に通知。

・防犯/セキュリティ:異常検知時にブザーやカメラなどを作動。メールで自動通知。

・防災:災害時の緊急ネットワーク構築。被害状況をモニタリング。安全な場所への誘導。

・環境:NOx、Soxなど有害物質をモニタリング。

・農作物の生産過程:育成環境をモニタリングし最適な収穫時期や農薬量を提案。流通と融合させ生産性向上。

→Webサーバ内蔵。無線LAN(3km以内)。土壌水分やCO2も計測可能。

→高価な赤外線センサを使うのではなく、安価な赤外線アレイセンサを使う。

・流通管理:物品の異常があった時に通知。トレーサビリティの向上。(=追跡可能)

・構造物劣化監視:振動、ゆるみ、ひずみなどを検出し補強を促す。

・その他:ビル内の整備。渋滞緩和。環境改善。緊急車両優先。

センサネットワーク(要件)

どこでも設置(コンセント/通信環境不要、雨風/氷雪でも問題なし)

・低消費電力で環境エネルギーを使った自己発電バッテリー

※TDMAを使ったスケジューリング。クラスタ化による効率運用。

・物体の影響を受けない電波通信技術

・特定の用途に特化した信頼性の高いネットワーク

・パッケージング技術(密閉技術、温度保証技術など)

誰でも利用(情報リテラシー不要)

・ネットワークに関わる情報設定を全て排除

・位置/時刻同期技術

・自動動作確認、故障検出、継続動作

アドホックネットワーク(一時的なネットワーク)

・環境の変化に合わせて適用

・経路制御プロトコル

※通常のプロトコル(RIP、OSPF、BGP、ISIS)とは異なる。

システム連携

・IPネットワークの連携

・センサ同士の自律的な連携

・ゲートウェイ技術

※利用範囲を広げるとセキュリティが甘くなるので注意が必要。

・仮想化技術

※既存の複数センサをあたかも一つの大きなセンサのように扱う。

既存のネットワークよりも高い要求

・省電力に対する高いハードル

・独特なネットワークの管理

・高速な処理は求められていない。

センサネットワーク(距離・位置・時間)

=== 距離 ===

高周波」ほど距離の測定誤差は小さくなるが、伝搬距離が短くなる。

Ex)確実にカップインするゴルフボールの開発。

※転送速度「高速UWB > 無線LAN > 低速UWB > Bluetooth」

※消費電力「高速UWB > 無線LAN = Bluetooth > 低速UWB」

※測定精度「GPS > アクティブRFID > 無線LAN > パッシブRFID > UWB > 超音波」

※測定範囲「GPS > 無線LAN > UWB > アクティブRFID > 超音波 > パッシブRFID」

 

=== 位置 ===

基地局」を利用した測定が最も一般的。GPSで用いられている。

・レンジベース手法:各ノード間の距離を計算。

Ex)建物の特定場所にノードを設置。

・音波の遅延による測定:伝搬遅延で距離を計算。

・レンジフリー:距離を求めず電波が届いたかどうかで制御。

・超音波による測定:数cmの精度で測定。

より正確な位置を把握するには「RSSIにより実際の距離を測定」「複数の方法を融合」「周波数位相差を使った測定」などがある。

 

=== 時間 ===

・RBS:最も一般的。サーバーが時刻同期信号を送信。

より正確な時間を把握するには「往復時間を考慮」「信号の受け取り回数を増やす」「クライアント間のローカルな時間を共有する」などがある。

センサネットワーク(データの格納)

・外部ストレージ方式:外部ノードへデータを送信。外部への伝送コストは必要だが、クエリに対するコストは小さい。

・ローカルストレージ方式:センサのデータを直接ノード自身が保持。クエリが少ない場合にはコストは低いが、ストレージ量に限界がある。

・データセントリックストレージ方式:センサネットワーク内の関連するノードが情報を保持。ノードの位置関係がうまく行けばかなりコスパが良い。

OSIモデル(第1層〜第7層)

第7層 -「アプリケーション層」応用別機能

第6層 -「プレゼンテーション層」情報表示/表現

第5層 -「セッション層」会話制御

第4層 -「トランスポート層」通信者間のデータ転送

第3層 -「ネットワーク層」通信網内中継

第2層 -「データリンク層」隣接システム間データ転送

第1層 -「物理層」物理層

※LANアーキテクチャではLANにOSIモデルを取り込むため、データリンク層→「物理リンク制御 / 媒体アクセス制御」、物理層→「物理信号 / 物理媒体取り付け端子」に分割。

画像処理

・標本化処理:画素の粒度による差。

・量子化処理:画素の明度の段階による差。

※パレットに従えば、24bitフルカラーでなくても4bit16パレット程度で十分綺麗に見える。

・鮮鋭化処理:濃度勾配を画素値に加え、明るさや色相の差を強調。

・ラベリング処理:つながっている領域に番号をつける。

・コントラスト強調:濃度の変化幅(ダイナミックレンジ)を広げ、濃度ヒストグラムを平坦化。

・疑似カラー表示:濃度変化を異なる色で表現。

Ex)台風や天気予報で雲や海の色をカラー表示。

・減色:例えば(R, G, B)=(101010, 111100, 000111)→(101, 111, 000)のように、単純に下3bitを省略したりする。

・パレット:フルカラーを256色のみを用いて表現。

・クロマキー合成:特定の色を削除して別の画像と合成。主に背景に青や緑の色が使われる。

画像圧縮

・ランレングス法:同じ色が連続する長さを符号化。モノクロ画像に有効。

※8bit(1byte)のデータが[255][255][255][255][255][100][100][100]で存在したとき、これを圧縮すると「255, 5, 100, 3」となり、結果的に4byteの数値で圧縮され「圧縮率50%」となる。

・PICフォーマット:日本で編み出された手法。基本的にはランレングス法と同じで、縦にも拡張できるのが特徴。色の変化点(白⇄黒)をチェック。自然画では逆に容量が増えてしまうが、人工的で単調なイラストであればかなり効率よく圧縮できる。

・ハーフトーニング:単純2値化手法。ちょうど中間を閾値として色を分類。

・誤差拡散法:2値化の際の誤差を近隣ピクセルに拡散。様々な手法があり、不自然な文様が発生することも。

・組織的ディザ法:画面全体で同じ閾値を設定せずに、ピクセル毎に異なる閾値を用いて2値化。

・差分符号化(DPCM):画像を差分値で表現し、予測値で符号化。

・離散コサイン変換(DCT):離散信号をcosの周波数領域に変換すること。

・2次元DWT:画像の垂直方向に対してハイパス/ローパスフィルタをかけ、周波数の高い/低い領域に分ける。

・Wavelet変換:ブロックノイズの抑制に特化した変換。

・ハフマン符号:出現頻度の高い情報順に並べ、情報を圧縮していく。

画像認識

■文字認識の手順

前処理(2値化、ノイズ除去)→特徴抽出(必要量/数値を抽出)→識別処理(特徴から文字を特定)→知識処理(他のデータと合わせて認識率を向上)

■特徴抽出

・メッシュ特徴(画像をメッシュに分けて画素比を特徴値とする)

・ペリフェラル特徴(縦/横に走査して移動量を計測)

・周辺分布特徴(文字領域周辺を縦/横方向にカウント)

■電子透かし

・見た目では分からない情報を特殊なソフトを使って取り出す。

動画像圧縮

複数のフレーム(画像の集まり)により構成

直前と現在のフレームの差分を抽出して符号化

・フレーム間予測(静止領域が多い画像で効率的)。

画面内で動く物体の動きを予測

・周囲のブロックを見て、予測誤差が最小のものを選択。

・予測した画像を先のコマに並び替える。

音声圧縮

・元の周波数の2倍以上の周波数を用いる(サンプリング定理)。

・量子化雑音を減らすために、サンプリングビット数を増やす。

・人間の耳の特性を利用して、削除できる情報を削る。

※大きな音が聞こえた際に、その前後の周波数域の音が聞こえなくなる(マスキング効果)

・mp3:音声データの圧縮方法の1つ。

音声合成・認識

・波形編集合成 = 波形を並び替えて合成。自然発生は連続音声なため、不自然になる。

・分析合成 = 周波数を記録し、前後の波形が滑らかになるように接続。不自然さは減るが品質は良くない。

・ホルトマント分析 = 周波数の共振特性を利用して母音を解析。

・単純マッチング = 辞書のパターンと単純に照らし合わせる。認識率は低い。

・DPマッチング = 音節ごとに長さを調節して照合。

・HMM = 周波数分解して最適な係数比を選択。

・MIDI = 音符を記録する昔の機器。現在はUSBが使われている。

JPEG・QRコード

■JPEG

・人間の目の特性をうまく利用した圧縮。

※人間は輝度変化より色変化を認知する能力が低いので「色差情報」を間引いても問題ない。

・欠点は「高圧縮時のひづみ」「マス目のつなぎめが不連続」「アルゴリズムに一貫性がない」こと。

■JPEG2000 = 圧縮率が高くノイズが発生しにくい。カメラのメモリがMaxになった時にも、画像の一部をカットすることで、追加撮影用の余裕を作れる。

■QRコード

・コーナーにある3つの大きな四角で読み込み範囲を特定

・約700の英数字(約480bite)を記入できる。

・多少の傷があっても、そのエラーを訂正できる。

CG・3D

CGは「点」「線分」「ポリゴン(多角形)」で構成され、非現実的なものを物理的演算などで表現すること。

・隠面処理 = 隠れた面を非表示。

・レンダリング = 光を考慮に入れ立体的に描画。

・レイトレーシング = 光源の方向と距離から物体の反射光を再現。

・シェーディング = 点や面の法線ベクトルと光源の位置から物体の影を求める。

・グローシェーディング = 荒いポリゴン表面に滑らかな照明効果を施す。計算時間を抑制。

・フォンシェーディング = ポリゴン群をまたいだ法線ベクトルの間でピクセルの色を推測。計算量は大きい。

・レイトレーシング = ドット単位で光線を逆計算。計算量が大きい。

Ex)電波の到達追跡技術。

・ダブルバッファ = 計算用と表示用の2つの画面を切り替えることでアニメーションを再現。メモリは2倍必要。

・モーフィング = 2つの特徴を補完するような途中情報を生成して連続的に変化させる。

・テクスチャマッピング = 立体表面に画像を貼り付ける。

Ex)地球儀のグラフィック。

・デジタルツイン = IoTなどを活用しサイバー空間上に現実世界の情報を全て再現。

※別名:CPS(Cyber Physical System)

・AR(Augmented Reality) = 現実世界にCGなどで作った仮想現実を反映させる技術。

Ex)ポケモンGO、SNOW。

・MR(Mixed Reality) = 仮想世界に現実世界の情報を反映させる。

・VR(Virtual Reality) = コンピュータ上で現実に似せた仮想世界を作る技術。

Ex)VRゴーグルをつけてスポーツ観戦など。

・VRML(Virtual Reality Modeling Language) = 3D/CGのテキスト表現。

※ブラウザ表示の主流はVRMLからX3Dへと移行しつつある。

フィルタ(ノイズの除去)

・平均化:回数を重ねるとぼやける。計算コストは小さい。

・メディアンフィルタ:回数を重ねても劣化しにくい。計算コストは大きい。

Ex)3×3のマスの画素の照度を並び替え、真ん中(5番目)の照度を採用する。

・移動平均フィルタ:単純に平均化。

・ガウシアンフィルタ:より近いマスの影響を大きくして計算。

 

=== Processing ===

・filter(THRESHOLD, 0.3):自動二値化。

・filter(GRAY):グレースケール。

記録媒体

・磁気記録 = 磁性体を磁気化して記録。ヘッドを走査し、電磁誘導の原理や磁気抵抗効果(MR)を用いる。ヒステリシス特性(現在の状態が過去の状態に依存する)のおかげで、磁界をかけなくても磁場が残っている。

・光ディスクの原理 = ピットにレーザーを当て光の回折や干渉を利用して読み取る。

・光磁気ディスク(記憶) = 強磁性体に熱を加えて磁化方向を変える。冷えれば安定した磁場を保持。

・光磁気ディスク(読み出し) = 磁化された物質に偏光を当てることで偏光面を回転させそれを読み出す。

・CD = 音楽の記録に特化。容量は650〜700MB。歴史が古く単価も安い。

・DVD = 画像や動画など容量の多いデータを記録。

・BD(Blu-ray Disk) = DVDよりもはるかに容量が大きい。最新。高価。

・フラッシュメモリ = 書き換え可能で電源がなくてもデータが消えない半導体メモリ。

Processing(基本関数)

・setup() = 初期化。最初に呼び出される。

・draw() = 描画。

・background(R, G, B) = RGB値で背景色を指定。

・drawgrid() = グリッドと四角を描く。

・ellipse(中心のx座標, 中心のy座標, 横直径, 縦直径) = 円・楕円。

・fill(R, G, B) = RGB値で塗りつぶし。

・rect(左上のx座標, 左上のy座標, 幅, 高さ) = 四角。

・rotate(radians(30)) = 30度右に回転。

・scale(100) = 100倍に拡大。

・point(x座標, y座標) = 点。

Processing(コードと結果)