前置きが長くなりましたが、まず自然言語という言葉の説明からです。自然言語と聞くと不自然に聞こえるかもしれませんが、近年C言語とかPythonのようなプログラミング言語が登場したので、日本語や英語などの言語と区別するためにできた言葉です。そして自然言語処理（Natural Language Processing・NLP）とは、この自然言語をコンピュータで扱うための分野というか手法となります。ここで難しいことは、コンピュータは計算機なので原理的に数値しか扱えないことです
コンピュータは昔からUnicodeのような文字コードで、全ての文字にコードを割り当てて処理してますよ
※図版・著者作成
文字コードは、すべての文字に数値を割り当てただけです。初期は1文字7bitだったので、アルファベットと数字、記号しか入らず、日本語はカタカナしか割り当てできませんでした。このため1980年代に開催された晴海のデーターショーで、日本語が扱える初めてのコンピュータとして大々的に宣伝されていたオフコンが、カタカナしか表示できなかったので笑ってしまいました
オフコンとはなんですか？というか、そんな時代から展示会に行っているなら先生は高齢者ですか？
オフコンとはオフィスコンピュータ、つまり事務用の小型コンピュータのことです。知識が豊富なので、昔のことを知っているだけです。 話を戻すと、日本語での自然言語処理では、単語や助詞、形容詞などで構成された文章を扱う必要がありますが、1文字単位では意味にたどり着けません。どうしますか？
文字を組み合わせた言葉すべてにコードを割り当てれば、辞書引きも可能なので、文章の意味も扱えるのではないでしょうか
日本語の文字種だけでも数万あるので、その組み合わせである言葉の種類となると数千万を超えるかもしれません
その程度なら、コード割り当てはできるはずです
そうですが、現実には毎年のように多数の新語が登場するので現実的ではないですね。しかも1つの言葉に異なる意味が含まれる多義語、例えば”首”には”頭の下にある部位”と”解雇する”、という２つの意味があるように、どの意味で用いられたのかは言葉だけでは不明です
では、どうしているのですか？
自然言語処理の初期のころは、図のように文章を単語に分解して、文の構造を解析する、つまり文法を理解すれば、文章の意味にたどり着けると考えられていました
昔、中学校で英語を習った時のやり方ですね
そうです。今は小学校から英語の授業があるので、日本では学校でおよそ1000時間ほど英語を習っているはずです。ゴリくんは英語が話せるようになりましたか？
いや～英語の筆記試験なら解けましたが、英会話となると苦手で外国人とはほとんど話せません
なぜですか？
英語を聞き取れないし、習った英文法どおりに話してくれるアメリカ人に会ったたこともないですね
そうなのです。文法で解釈しようとするルールベースの方法では、あまりに例外が多い自然言語に長年対処できませんでした
※図版・著者作成
自然言語処理研究の歴史は、機械翻訳研究の歴史と言ってもよいのですが、機械翻訳は1950年代から研究が行われているので、かなり古くから研究されていました
え？そんな昔から自然言語処理の研究が始まっていたのですか？
1960年代の米ソ冷戦時には、ロシア語を読めるアメリカ人が少ないため、ソ連の情報を解析することが困難でした。そこでアメリカ政府は最先端のコンピュータを利用して、ロシア語を英語に翻訳できないかと機械翻訳が研究されたのです。しかし実用性が乏しく途中で断念しています。日本でも同じころにアメリカの科学技術を取り入れようとして、英語の用例を日本語の対訳に変換する独自のシステムが研究されました。しかし対訳集の作成コストが問題で実用化には至りませんでした
でも10年ほど前でしたか、下手でも機械翻訳はありましたね
それまでのルールベースでは実用化できないとなり、アメリカで統計的言語モデルという手法が発達したのです。この方法は従来と大きく異なり、あるフレーズが対訳集のデータで最も出現確率の高いフレーズを選び、文章を生成する方法です
なんだか分かりませんが
要するに、英語が全く話せない人でも英語圏で長く暮らすことで、周囲の人と無理やりにでも会話を続けることで、耳が慣れて会話が通じるようになるようなものです。文法を知らなくても、ネイティブの人が数多く話している言葉を覚えていくことで、次第に英語を話せるようになるようなものです
習うより慣れろ、ですか。関東の人が大阪に住むと、無意識に大阪弁が出てしまうようなものですね
ごく単純に言うと統計的言語モデルとは、ある場面で使用頻度の高いフレーズをコンピュータで選択する、というモデルです。 現在は図の３番目のニューラル言語モデルが主流なのですが、このモデルが実用化されたのは2019年前後なので、ほんの数年前のことです
だからネット上では古い手法の説明ばかりなのですね
この講義では、ニューラル言語モデルの概要だけ解説します
※図版・著者作成
その前に、日本語で自然言語処理を行う場合には、必ずしなければならないことがあります。それが形態素解析です。日本語の文章には、英語のスペースのような単語の区切りが無いので、図にあるように意味のある最小単位、これを形態素といいますが、文章を形態素に分割する必要があります
※GIFアニメ 著者作成
では、図を見てください
あれ？突然、問題ですね。なんですか、スモモがどうしたとか、意味分かりませんが
私が子供の頃よくあった言葉遊びです。聞いたこともないのですか。今の若者は
ボクは若者ではないですが知らないです。いつの時代の話ですか。あ！答えが表示されましたが、なるほど。コンピュータは、こんな文章でも単語に切り出さなければならないとしたら、大変ですね
※図版：著者作成
形態素解析の方法は、長年様々な手法が考えられました。しかし今では、形態素解析ツールという機械学習を駆使した高性能のOSSがあるので、これで前処理すれば大きな問題はありません。このツールの仕組みについては省きます。アルゴリズムは公開されているので、興味があれば調べてみてください。 次回は、いよいよニューラル言語モデルを紹介します
2023年3月15日に、ChatGPTと私は「ChatGPTには意識があるか」について長々と議論した。その内容は割愛するが、常にクレバーな回答をしてきている。以下にChatGPTの最後の回答だけを紹介する。
確かに、人間は完全に自律的に意思決定ができるわけではなく、意識的・無意識的な様々な要因によって行動が左右されることがあります。しかし、意志ある行動という概念は、純粋な自動的処理にはない、ある種の意識的な主体性や意図性を依然として含意しています。
人間の行動と機械の行動の両方を表現するために、比喩的な意味で「意志的」という言葉を使うことがありますが、人間の脳とコンピュータ・プログラムが情報を処理し、意思決定を行う方法には根本的な違いがあることを認識することが重要です。人間の脳は、主観的な経験や感情、意識を生み出すことができる複雑な生物学的システムであるのに対し、コンピュータ・プログラムは、デジタルハードウェアを使って人間が設計し実行する命令セットです。
したがって、ChatGPTプログラムによる自動処理を比喩的な意味で「意志がある」と定義することはできても、意識がある人間と同じ意味でプログラムに真の意志や主体性があると言うことは正確ではないでしょう。結局のところ、ChatGPTプログラムの動作は、制作者によってプログラムされたコードによって決定され、人間に特徴的な主観的経験、感情、意識の能力を欠いているのです。
図版・著者：谷田部卓
AIセミナー講師、著述業、CGイラストレーターなど、主な著書に、MdN社「アフターコロナのITソリューション」「これからのAIビジネス」、日経メディカル「医療AI概論」他、美術展の入賞実績もある。
（TEXT：谷田部卓 編集：藤冨啓之）
メルマガ登録をしていただくと、記事やイベントなどの最新情報をお届けいたします。
30秒で理解！インフォグラフィックや動画で解説！フォローして『1日1記事』インプットしよう！
データのじかんをもっと詳しく データのじかんフィーチャーズ 
データで越境するあなたへおすすめの 『ブックレビュー』 
BIツールユーザーによる、BIツールユーザーのための、BIツールのトリセツ 
CIOの履歴書 by 一般社団法人CIOシェアリング協議会 
なぜ、日本企業のIT化が進まないのか――日本のSI構造から考える 
日本ビジネスの血流である帳票のトレンドを徹底解説 
データを武器にした課題解決家「柏木吉基」のあなたの組織がデータを活かせていないワケ 
BI（ビジネスインテリジェンス）のトリセツ 
入社1年目に知っておきたい 差が付くKPIマネジメント 
CIOLounge矢島氏が紐解く トップランナーたちのDXの“ホンネ” 
データのじかん Resources 越境者のためのお役立ち資料集 AI実装の現在地点-トップITベンダーの捉え方 
データでビジネス、ライフを変える、 面白くするDATA LOVERS 
データマネジメント・ラジオ by データ横丁 データのじかんNews 
データ・情報は生もの！ 『DX Namamono information』 ちょびっとラビット耳よりラピッドニュース 
AI事務員宮西さん（データ組織立ち上げ編） 藤谷先生と一緒に学ぶ、DXリーダーのための危機管理入門 
生情報取材班AI時代に逆行？ヒトが体感した「生情報」のみをお届け！ 
データはともだち 〜怖くないよ！by UpdataTV Original 
データ飯店〜データに携わるモノたちの2.5thプレイス by UpdataTV〜 
インサイトーク〜データで世界を覗いてみたら〜by WingArc1st + IDEATECH 
それでは、自然言語処理入門講座を始めます。私が講師の『知久卓泉（ちくたくみ）』です。よろしくお願いします。わからないことがあったら、遠慮なく質問してください。ここはメタバース空間なので手を上げればわかりますので。 大勢の受講生がいると聞いていたのですが、リアルタイムで受講しているのは五里さんだけのようですね。今見えているのはダミーのアバターばかりですか。後から動画を聴講するようですが、リアルタイムでないと質問できないので、次回からはぜひリアルタイムで聴講してください
受講生の五里雷太（ごりらいた）です。アバター名はゴリで表示されていますので、よろしくお願いします。しかし先生、この講座は“AIがおしゃべりできる秘密”じゃないのですか？
そのタイトルは、集客用にキャッチーにしただけで、講義内容は自然言語処理入門を、大流行の大規模言語モデルAIまで拡張したものです。心配しないでください。それにしてもゴリくん、名前に合わせてずいぶんマッチョなアバターにしていますね。人はアバターを選ぶとき、自分が憧れている姿を選ぶ人が多いという説があります。もしかしてゴリくんは女性ですか？
このVR空間内では性別を詮索しないことがマナーですよ。しかし先生はアバター名がチクタクで、アニメ調の眼鏡っ娘キャラなのですね。先生の説によると・・・止めておきます
ご配慮ありがとう、では自己紹介はここまでとします。さっそく講義を始めましょう。この講座は全３回の予定です。ただ、最初に注意しておきますが、AI技術の進化はあまりに激しく、特にこの自然言語処理の分野は、ほとんどお祭り騒ぎ状態で、毎週のように画期的AIが発表されています。したがって、この自然言語処理の講義の内容は現時点で私が把握している情報で、来週になったら陳腐化しているかもしれませんので、ご注意ください
え？本当ですか？ずいぶんとオーバーな表現ですね
いえ、これでも控えめな表現なのです。新しいAI技術が登場するだけではなく、実はAI研究者でさえ想像していなかったような能力まで、最新のAIは発揮しだしています。この話は３回目の講義の時に、その時点で最新の情報を交えて説明する予定です
そうですか。でも世間では、自然言語処理という言葉すら聞いたことがない人が多いと思いますが……
一般には自然言語処理という言葉は使われていませんが、画像生成AIとかChatGPTなら聞いたことがあるはずです。この講座の最後に、私とChatGPTとの議論の一部を載せています。現時点での人工知能のレベルが分かると思いますので参考にしてください
確かに簡単にイラストを作ってくれる画像生成AI やChatGPTでしたら、TVにも取り上げられているので知っています。でも画像生成技術なら、言語処理ではなく画像処理分野ではなのですか？
ところがそれほど単純な話ではありません。自然言語処理の応用として画像生成AIが登場したのですが、ここは、後ほど説明します。ところで、この原理を説明するには、書籍で数冊分の情報が必要です。申し訳ないですが、今回の講義は短いので概要しか述べられません。まだ専門書も書かれていない状況なので、詳細は公開されている論文を読むしかありません
でもネットで自然言語処理入門を検索すると、それほど長い説明は見当たりませんが
ネットにある自然言語処理の説明のほとんどは、かなり古典的な説明しか書いていないようです。自然言語処理の仕組みとして、形態素解析→構文解析→意味解析→文脈解析などと書いてある手法は、５～６年前までは主流でしたが、ここ数年で廃れています。注意してください
そうでしたか。どうりで、ググった記事などの解説を読んでも、どうしてAIでチャットができるのか、全く理解できなかったわけですね