Ｐｙｔｈｏｎと大規模言語モデルで作るリアルタイムマルチモーダル対話システム

石黒浩 氏（大阪大学基礎工学研究科教授・ATR石黒浩特別研究所客員所長）よりコメントを頂きました！
『対話システムによって人間の生活はより豊かになる』
『大規模言語モデルを用いて人間らしい対話システムを実現する方法を教えてくれる本』

本書は，人間のようにスムーズなやり取りを行う対話システムを実現するための書籍です．具体的には，Remdisというツールキットの説明を通して，リアルタイムな応答の実現方法やマルチモーダル情報の表出方法を説明します．本書を用いることで「自分のシステムはなんだかもっさりしている」「もっと表現豊かな対話システムが作りたい！」「ChatGPT を組み込んだだけではなんだか物足りない」という悩みを解消できるはずです．

本書の対象者は，対話システムに未来を感じている学生やエンジニアです．サイエンスフィクションなどで登場する，人間と対話をするコンピュータを実現したい，と考えている方にうってつけです．

第1章では，対話システムという分野の概要について説明するとともに，リアルタイムマルチモーダル対話システムのアーキテクチャについて説明した後，ツールキットのインストール手順とプログラムの起動の仕方について説明しています．
第2章では，大規模言語モデルとそれに基づくテキスト対話システムをRemdis のコードを参照しながら説明します．また，リアルタイムに大規模言語モデルの理論と実装について説明します．
第3章では，音声対話システムについて説明します．音声認識の理論，音声合成の理論，そして，ターンテイキング（話者の交替）の理論について述べるとともに，これらをどのようにリアルタイムに動作するように実装するかをRemdis のコードとともに説明します．
第4章では，マルチモーダル対話システムについて説明します．マルチモーダル対話システムの理論について述べたあと，マルチモーダルエージェントのためのツールキットであるMMDAgent-EX の説明を通して，マルチモーダル対話システムの実装について説明します．Remdis との連携方法についても具体的に説明します．
第5章では，今後の展望として，これからの対話システムがどのように進化するかについて著者らが考えていることを述べます．