9.DB - YukaKoshiba/MyknowledgeDocs GitHub Wiki

DB @Japanese Version
Create Date：2025/3/31
Last Update Date：2025/4/23

DB：

用語　 DB操作： CRUD

DBの種類： Relational Databases(RDB)　 NoSQL　 Flat-File Database

DBMS： DBMSの機能 ( トランザクション管理　 index(索引)　 シノニム )

RDBMS　 オプティマイザ
SQLite )

データベースファイル

データソース：　 IMDb

情報を提供するためのデータの集合体

• DBサーバ：DBとDBMSの動作をするコンピュータのこと
• Query(クエリ)
  問い合わせという意味で、データベースに対して特定の情報を要求する命令のこと
  最も一般的なクエリは、SQLを用いて記述されるデータベースへの問い合わせで、
  SQLで記述されたクエリは、SQクエリと呼ぶ
• レースコンディション
  複数の処理が同時に同じデータにアクセスし、変更しようとする際に発生する問題
  処理の実行順序によって結果が異なり、データの整合性が失われる可能性がある
• スキーマ(Schema)
  データベースオブジェクト(テーブル,ビュー,インデックスなど)の構造や定義の集まり
  より具体的には、以下のような情報を含む
  ・テーブルの構成(カラム名,データ型,制約など)
  ・ビューの定義
  ・インデックスの定義
  ・ストアドプロシージャや関数などの定義
  スキーマは、DBMSオブジェクトを論理的にグループ化し、管理するための名前空間としても機能する
  DBMSによっては、スキーマはユーザーやアプリケーションごとに作成され、それぞれが独立した名前空間を持つことができる
  ※DBの構造を3つのレベルに分けて考える概念である三層スキーマとは別の概念
• 名前空間(Namespace)
  識別子(オブジェクト名など)の一意性を保証するための仕組み
  DBにおいて、テーブル名やビュー名などが重複しないように、名前空間によって管理されている
  例えば、同じDB内に"customer"という同じテーブル名があったとしても、
  開発環境に存在するdevスキーマと本番環境のprodスキーマが混在しない様に管理されている

CRUDは、データベースにおける基本的な4つの操作であるCreate(生成),Read(読み取り),Update(更新),Delete(削除)の頭文字をとったもの

Create(生成)：新しいデータを作成する操作
Read(読取り)：既存のデータを参照する操作
Update(更新)：既存のデータを変更する操作
Delete(削除)：既存のデータを削除する操作

Tableと呼ばれる構造の行と列にデータを格納する
RDBにおける標準的な操作言語は、ANSIによりSQL(構造化照会言語)が標準化されており、ほとんどのRDBMSでSQLが採用されている
ACID特性を持ち、データの整合性を保つための厳格なルールを持つ
多くの企業などで、大量のデータを効率的に管理するために、この方法を採用している

RDBにおける理論的な基礎(概念)は、関係代数に基づいており、データの操作方法を抽象的に定義されている
関係代数の3つの概念を基に、実際にRDBを操作する言語としてSQLが開発されている
＝SQLは関係代数で定義された演算を、具体的な構文で表現するための言語

関係代数：RDBの概念と紐づくSQL

関係代数	操作	SQL句
射影(Projection)	列の取り出し	SELECT
選択(Selection)	行の取り出し	WHERE
>結合(Join)	1つの表にする	JOIN

ビッグデータの基盤技術として利用され、様々な形式のデータを一つのキーに対応付けて管理するキーバリュー型データベース
柔軟なデータ構造を持ち、大量の非構造化データや半構造化データを効率的に処理できる

データを単一のファイルに格納するシンプルなデータベース形式
従来のデータベースシステムとは異なり、複数のテーブルや複雑な関係性を持たず、データを単純な構造で管理する

データは通常、テキストファイル(CSV、TSVなど)に格納され、行と列で構成されるテーブル形式で表現される
各行が1つのレコードを表し、各列がフィールドを表す

メリット： ・データベース管理システム(DBMS)のような複雑なソフトウェアが不要で、簡単に扱える
・テキストファイルとしてデータを保存するため、異なるプラットフォームやアプリケーション間でデータを容易に共有できる
・データベース管理システムに比べてメモリやディスク容量の消費量が少ないため、軽量なシステムに適している
・テキストファイルとしてデータを保存するため、人間が直接データを読み書きできる

デメリット： ・データ量が増加すると、検索や更新などの処理に時間がかかる場合がある
・データベース管理システムのような高度なセキュリティ機能がないため、セキュリティ対策を別途行う必要がある
・複数のテーブルを扱うことや、複雑なデータ同士の関係性を扱うことは難しい

用途： ・小規模なデータ管理：個人用のアドレス帳や設定ファイルなど
・大量のテキストデータの保存：アプリケーションのログファイルなど
・異なるアプリケーション間でデータを交換形式

ファイル形式例： ・CSVファイル：カンマ区切りのテキストファイルで、表形式のデータを保存する
・TSVファイル：タブ区切りのテキストファイルで、表形式のデータを保存する
・設定ファイル：アプリケーションの設定情報を保存するために使用される

データベースを効率的に一元管理するためのソフトウェア
データの保存、検索、更新、削除などの操作を効率的に行い、データの整合性やセキュリティを保つ役割を担う

DBMSの特徴：
DBMSはデータが常に安全な状態に保たれ、許可された人だけでアクセス出来ることを保証する必要があり、以下5つの特徴を持つ

• データの供給：DBMSに対し、複数のアプリケーションから同時に問い合わせを行うことが出来る
• アクセス制御：アクセスに認証を求める(パスワードが必要)
• データ矛盾の排除：並行処理が行われた場合、優先度を定めて1つずつ処理を事項する
  →ロック、排他制御(他のユーザが該当データを操作できない)
• データのアプリケーションからの独立：DBMSはDBの管理のみ行い、アプリケーションはSQL文で問い合わせを行うのみ
• データ安全性の確保：障害が発生しても復旧する機能(バックアップ)

DBMSの種類：

• RDBMS：RDBを管理するためのソフトウェア
  

効率的な処理のためのデータ保存方法：
トランザクションとは、一連のDB操作を1つのまとまりとして扱う仕組みおよび単位のこと
SQL処理の最小単位、回復の単位(Unit of Re-cover)とも言える

以下のように処理することで、効率的な処理とデータの整合性を両立させている：
1.トランザクションによるデータの更新は、まずメモリ上のバッファに一時的に書き込まれる
→ディスクへの書き込みよりもメモリへの書き込みの方が高速であるため、処理の効率化を図れる
2.メモリ上のバッファに書き込まれた更新データをディスク上のログファイルへ順次記録する
→メモリ上のデータは、停電やシステム障害などが発生した場合に失われてしまう可能性がある
　ログファイルは、更新処理の履歴を時系列順に記録したもので、システムの復旧時にデータの整合性を復元するために使用される
　DBMSはバッファに書き込まれた更新データをディスク上のログファイルにも順次記録し、障害発生時のデータ破損を防ぐ

トランザクションのACID特性
トランザクションは、本来、ACID特性を満たす一連の処理の単位を指すが、
現実には、すべてのデータベースシステムが厳密にACID特性を実装しているわけではない
トランザクションの概念は、もともとリレーショナルデータベース(RDB)を中心に発展してきた
RDBは、データの整合性を厳密に保つ必要があり、ACID特性が重要視される(＝ACID特性は、厳密な一貫性が要求される)
しかし、ビックデータを高速に処理するために利用されるNoSQLデータベースなど、性能や可用性を重視するシステムでは、結果的に一貫性が保たれれば良いという"結果整合性"の考え方をしており、
ACID特性の一部(特に一貫性や独立性)を緩和している場合がある
したがって、DBがトランザクション単位で処理を行っていたとしても、必ずしもACID特性を持つとはいえない

ACID特性：DBのトランザクション処理を行う上で必要不可欠とされる4つの性質

名称	特徴
Atomicity 原子性	トランザクションでは、全ての処理が完了する(All)か、全く実行されない(Nothing) どちらかであること →CommitとRollbackで実現できる
Consistency 一貫性	トランザクションの処理によってデータベース内のデータに矛盾が生じないこと ＝常に整合性がある状態に保たれること
Isolation 独立性/隔離性	複数トランザクションを同時実行時と、順番に実行した場合の結果が等しいことを保証する データにロックをかけてダーティリードされても直列実行シた結果と同じになる ※ダーティリード：コミットされていないデータを読み込んでしまうこと
Durability 耐久性	正常に終了したトランザクションの更新結果は、障害が発生してもデータベースから消失しないこと

データベース内のデータを効率的に検索するための仕組み
＝書籍の目次のようなもので、目次があることで目的のページを素早く見つけられる
インデックスは、特定の列(カラム)の値をキーに、その値に対応するデータの場所(ポインタ)を記録したデータ構造で
DBは、インデックスを参照することで、目的のデータが格納されている場所を特定し、直接アクセスできるようになる

インデックスの種類：
DBMSによってさまざまな種類のインデックスが提供されている
代表的なもは、以下の通り

種類	説明
B-tree(B+木)	木構造を使ってデータを管理する方式で、多くのDBMSで最も一般的なインデックス 節ごとにキー値の範囲とその子要素へのポインタを保持しており、範囲検索をスムーズに行える アクセス回数のオーダーは"log2X" 木構造の深さが一定の為、どのようなキー値であっても探索コストが大きく変わらない →大量のデータに対する操作であっても、ある程度の速度が期待できる インデックスノードはソートされた状態になっているので整列処理が高速に行える
ハッシュ	ハッシュ関数を使用してキー値とレコードの格納位置を直接関連付ける方式 キー値をもとにレコードの格納位置を一意に特定でき、B+木インデックスより高速なアクセスが可能 範囲検索やキー値を順番に読み込んで処理を行う用途には使用できない 一部のDBMSでのみサポート
全文	テキストデータ内のキーワード検索に特化

一般的に検索対象となるデータ項目にインデックスを付与することで、アクセス速度が向上する
なるべく重複のない大量のデータをランダムに検索するときに最も効果を発揮するが
少量のデータからの検索、重複の多いデータからの検索などは速度が上がらず、逆に低下する可能性がある
デメリット：
・記憶領域の消費：インデックスは、元のデータとは別に記憶領域を消費する
・データ更新時のオーバーヘッド：データの追加/更新/削除時に、インデックスの更新も必要になるため、処理速度が低下する場合がある
・インデックスの適切な設計が必要：適切なインデックスを設計しないと、逆にパフォーマンスが低下する可能性がある

インデックスを付与するコツ：
1.アクセス頻度の高い項目に付与する
2.更新頻度の多い項目には設定しない
3.レコード数が少ない表では効果を発揮しない為、レコード数を考慮する

データベースオブジェクト(テーブル,ビュー,シーケンスなど)に対する別名を付与する機能
元のオブジェクトへの参照を簡略化したり、アクセス権限を制御したりするために使用される
データベースシステムによっては、シノニムの機能が提供されていない場合がある

メリット：
・長いテーブル名を短いシノニムで置き換えることで、SQLクエリを簡潔に記述できる
・システムにログインするユーザやオブジェクトの所有者の違いなど、スキーマを意識する必要がなくなる
　＝テーブル名は同じでも異なるスキーマ(名前空間)に属していた場合、スキーマを意識する必要がない 　例えば、開発環境：DEVスキーマのTable　本番環境：PRODスキーマのTable<があった場合、
　スキーマがない場合：以下の2行をそれぞれ書かなければ、レコードへアクセスができない<
　SELECT * FROM DEV.Table<;/code>
　SELECT * FROM PROD.Table;
　スキーマがある場合：以下の1行のみで、レコードへアクセスができる<
　SELECT * FROM SYN_Table;

RDBMSの中核的な機能で、SQLクエリの実行計画を最適化する役割を担う
SQL文が実行された際、ユーザーから与えられたSQLクエリを解析し、対象となるレコードの取得時間を最小とするようにアクセスパスを最適化する

オプティマイザの機能：
・SQLクエリの解析：SQL文を解析し、必要なデータや処理の特定
・実行計画の生成：複数の実行計画を生成し、それぞれのコストの見積
・最適な実行計画の選択：コストが最も低い実行計画を選択
・実行計画の実行：選択された実行計画に従って、データを取得/処理

オプティマイザの種類：実行計画のコストを見積もる方法によって、大きく以下の2つのアクセスパス選択基準に分類される
・コストベースオプティマイザ：
　DBMSに蓄積された表やインデックスの統計情報をもとにコストを見積り、その結果に基づいて最も効率的な実行計画を作成する方法
・ルールベースオプティマイザ：
　予め決めておいたルール(アクセスパスの優先順位など)に、実行しようとするSQL構文と表やインデックスの定義情報を当てはめて実行計画を作成する方法

RDBMSの主要製品

製品名	会社
Oracle Database	Oracle
Microsoft SQL Server	Microsoft
DB2	IBM
MySQL	オープンソース
PostgreSQL	オープンソース
SQLite	オープンソース

軽量で高速なオープンソースのデータベース管理システム(RDBMS)
他のデータベースシステムとは異なり、サーバープロセスを必要とせず、単一のファイルにデータベース全体を格納する
そのため、組み込みシステムやモバイルアプリケーションなど、リソースが限られた環境での利用に適している

特徴：
・軽量/コンパクト:非常に小さなフットプリントで動作し、メモリやディスク容量の消費を抑える
・サーバーレス：サーバープロセスを必要とせず、アプリケーションに直接組み込んで利用できる
・ファイルベース：データベース全体が単一のファイルに格納され、データの受け渡しやバックアップが容易
・トランザクション対応：ACID特性(Atomicity,Consistency,Isolation,Durability)をサポートし、データの整合性を確保する
・SQL準拠：標準的なSQL構文をサポートしており、多くのデータベースアプリケーションと互換性がある
・クロスプラットフォーム：Windows,macOS,Linux,Android,iOSなど、様々なオペレーティングシステムで動作する

利用例： 組み込みシステム：家電製品、自動車、医療機器など、リソースが限られた組み込みシステム
モバイルアプリケーション：スマートフォンやタブレット端末のアプリケーションで、ローカルデータの保存
デスクトップアプリケーション：小規模なデスクトップアプリケーションで、設定ファイルやデータの保存
Webブラウザ：Webブラウザのキャッシュや履歴の保存
テスト環境：アプリケーションのテスト環境で、軽量なデータベースとして利用

他のデータベースとの違い： SQLiteは、大規模なWebアプリケーションやエンタープライズシステムで利用されるMySQLやPostgreSQLなどのデータベースシステムとは異なり、
小規模なアプリケーションや組み込みシステムでの利用を想定している

SQLiteの利点:

利点：・設定や管理が容易　・高速なデータアクセス　・高い移植性

注意点：
・大規模な同時アクセスには不向き ・ネットワーク経由でのアクセスには対応していない

5つのデータ型を持つ

データ型	説明
BLOB	1と0のグループであるバイナリラージオブジェクト
INTEGER	整数
NUMERIC	日付のような特殊な書式の数値
REAL	浮動小数点数のようなもの
TEXT	文字列など

コンピュータ上で構造化されたデータを格納するためのファイル
従来のCSVファイルなど、ファイルシステムによるデータ管理と比較して、効率的なデータの検索、更新、管理を可能にする
DBMSによってデータベースファイルの拡張子は異なる
異なるDBMSでも、データベースファイルの拡張子が同じ場合もある為、データベースファイルの内容を確認する際は、DBMSの種類を特定する必要がある

データベースファイルの内容を確認したい時、コマンドプロンプトやプログラミング言語で確認することも可能だが、
DBクライアントツールを使用すると、GUIでデータを絞り込みながら簡単に内容を確認できる
内容を閲覧できるだけでなく、SQLを勝手に記述してくれたり、自分が記述したSQLを実行出来るため、テスト用/開発用として非常に重宝する

DBMS	データベースファイル拡張子	DBクライアントツール
SQLite	.db	DB Browser for SQLite
MySQL	.sql	SQL Server Management Studio
PostgreSQL	.sql
Oracle Database	.ora
Microsoft Access	.accdb .mdb

　

IMDb(Internet Movie Database)は、映画、テレビ番組、ビデオゲームなど、映像作品に関する世界最大級のオンラインデータベース

特徴： ・膨大な情報量：映画、テレビ番組、俳優、監督など、幅広い情報が網羅されている
・ユーザー参加型：ユーザーが作品の評価やレビューを投稿できる
・多言語対応：世界中の映画ファンが利用できるよう、多言語に対応している
・現在はアマゾンの子会社で、Amazonのサービスと連携している