第3章：自然言語処理（NLP）の深化

単語の並びを統計的に処理する時代から、文脈や意味を深く理解し、高度な推論を行う時代へと進化しています。

1. 分散表現の高度化：Word2VecからBERTへ

コンピュータが言葉の「意味」を扱えるようになった経緯を理解しましょう。

• 分散表現（Word Embedding）: 単語を数百次元のベクトル（数値の羅列）で表す技術です。「王」-「男」+「女」=「女王」といった意味の計算が可能になりました。

• BERT（Bidirectional Encoder Representations from Transformers）: 2018年に登場した革命的なモデルです。文章を「双方向（文頭からと文末から）」から同時に読み込むことで、同じ「はし」という言葉でも「橋」なのか「箸」なのかを文脈から判断できるようになりました。

• 発展モデル: BERTを改良したRoBERTaや、文章生成に強いT5などが、特定のタスク（分類、要約、翻訳など）で活用されています。

2. 大規模言語モデル（LLM）の実装と活用

ChatGPT（GPT-4など）に代表されるLLMを、エンジニアとしてどう使いこなすかが重要です。

• プロンプトエンジニアリング: モデルに与える指示文を工夫し、精度を引き出す技術です。**Chain-of-Thought（思考の連鎖）**など、段階的に考えさせる手法が代表的です。

• RAG（Retrieval-Augmented Generation / 検索拡張生成）: LLMが知らない最新情報や社内ドキュメントを外部データベースから検索し、その内容を元に回答させる仕組みです。「ハルシネーション（もっともらしい嘘）」を抑制する実務的な解決策として注目されています。

3. LangChainを用いたエージェント開発

LLMを単独で使うのではなく、外部ツールや他のプログラムと連携させる開発手法です。

• LangChain: LLMを用いたアプリケーション開発を効率化するフレームワークです。

  • Chains: 複数の処理（検索 → 要約 → 翻訳など）を数珠つなぎにする機能。

  • Agents: LLM自身に「次にどのツール（Google検索、計算機など）を使うべきか」を判断させ、複雑なタスクを実行させる仕組み。