AIF-C01#66(fundamentals-generative-ai)
大規模言語モデル（LLM）における「ベクトル埋め込み（vector embeddings）」の目的は何ですか？
正解：C
正解の根拠
ベクトル埋め込みは語句や文を高次元の数値ベクトルに変換し、コサイン類似度や内積などの数学的演算で意味の近さを比較できるようにする仕組みです。これにより RAG での類似ドキュメント検索、クラスタリング、分類など多様な NLP タスクが可能となります。Titan Embeddings や Cohere Embed、OpenSearch ベクトル検索が代表的な実装基盤です。
NLP 前処理ステップの比較
| 処理 | 役割 |
|---|---|
| Embedding | 意味をベクトル化し数学的比較 |
| Chunking | 長文を扱いやすい単位に分割 |
| Tokenization | テキストをトークンに分解 |
| BoW | 単語出現回数のカウント |
不正解の理由
- A: テキスト分割はチャンキングの役割で、埋め込みはチャンク後のベクトル化に該当します。
- B: 文字列のグループ化はトークン化の説明で、埋め込みの主目的とは異なります。
- D: 単語カウントは Bag-of-Words 等の単純な統計表現で、意味の数値表現を提供する埋め込みとは別概念です。
コメント