LLMに創造性はあるのか？

Alignment 2023年10月13日

3つの要点
✔️ LLMに創造性はあるのかを，Margaret Bodenの３つの基準に従って考察
✔️ 機械の創造的プロセスにおける現状の課題を整理
✔️ 創造的なタスクに対するLLMの応用における課題を整理

On the Creativity of Large Language Models
written by Giorgio Franceschelli, Mirco Musolesi
(Submitted on 27 Mar 2023 (v1), last revised 9 Jul 2023 (this version, v3))
Comments: Published on arxiv.
Subjects: Artificial Intelligence (cs.AI); Computation and Language (cs.CL); Computers and Society (cs.CY)

code：

本記事で使用している画像は論文中のもの、紹介スライドのもの、またはそれを参考に作成したものを使用しております。

はじめに

昨今の大規模言語モデル（LLM）の発展は目覚ましいものがあります．テキストベースの推論能力などは顕著なものの一つです．一方で，現在のLLMには，創造的な思考力はどれほど備わっているのでしょうか？

今回，ご紹介する論文では，創造性理論に基づいて，LLMの創造性を捉え，今後の課題を整理してくれています．

導入

過去１０年間で，自然言語処理の分野は大幅に発展してきました．Transformerというモデル構造の提案とともに，大規模なデータセットや計算処理能力の向上もその発展の一助を担ってきました．その帰結として，最近主流の大規模言語モデル（LLM）は，数多くのユーザを魅了し，ユーザたちは，様々な創造的な活用方法を見出しています．例えば，料理のレシピを書いたり，詩や物語を作るなどの事例も存在します．

一方で，LLM自体が，真に創造的かどうかは明らかになっていません．

今回紹介する論文では，Margaret Bodenという研究者の提唱した３つの基準に基づいて，この問いに向き合っています．

Ada Lovelaceから基盤モデルまで

1843年のこと，Ada Lovelace（エイダ・ラヴレス）という人が，Charles Babbageが提唱した計算機Analytical Engineに対して，計算機は何か新しいものを発明しようという気はなく，ただ我々が命令して実行できることをするだけだ，と批判しました．Alan TuringはこれをLovelaceの反論と呼び，Turing自身も，機械は決して我々の意表をつくことはできないと主張しました．

この時から，人間の創造性とは何か，機械の創造性とは何かという哲学的な議論が巻き起こることになります．

コンピュータ科学者は，文章を書くことによって創造的に自己表現ができるような機械を作ろうとしてきました．パーソナルコンピュータの登場，プランニングや進化戦略によるテクニックの考案など，様々な要素技術を取り込んで，文章生成を行うシステムが提案されてきました．

そして，近年登場したニューラルネットワークシステムによって，大きな質的変化を見ることができるようになりました．その要素技術としては，再帰的構造を持ったリカレントニューラルネットワークから，最近主流のTransformer構造があります．

後者のTransformerベースのモデルは大規模なモデルサイズと訓練データが必要になりますが，応用可能性が広く，最近の研究では，学習された大規模モデル（基盤モデル）をどう活用するかに注目が集まっています．

Margaret Bodenの創造性の定義

Margaret Boden（マーガレット・ボーデン）は，創造性を“the ability to come up with ideas or artifacts that are new, surprising and valuable”（新規であり，驚きをもたらし，価値のあるアイデアやものを生み出す能力）と定義しました．この３つの観点（新しさ，驚き，価値）が創造性の判断の基準ということになります．

この３つの項目について詳細に見ていきましょう．

価値

まず，価値についてですが，これは実用性，性能，魅力，さらには出力の質，社会からの受容度のことをさしています．

LLMはその高品質な出力ゆえに社会に対する影響度も高く，この観点からはLLMの生み出すものは価値があるということができるでしょう．

新しさ

新しさは，生成されたものと他の事例との非類似性，それ以前に存在しなかったという性質のことを指しています．

（「それ以前」の範囲として，その個人の中での新しさはP-creativity（心理学的創造性），人類全体の歴史の中での新しさはH-creativity（歴史的創造性）と呼ばれ，２種類の新しさがあります．）

LLMは，確率的にあり得そうな出力を返すという動作設計であるため，原理上，非類似性は低くなっています．

仮に新規性の値が大きい出力が生じるとすれば，それは偶発的なものか，工夫を凝らしたプロンプトの結果でしょう．

驚き

驚きは入力刺激がどれほど期待に反しているかということを指しています．

驚きには３種類が考えられ，それぞれに異なる種類の創造性があります．

一つは，見慣れたアイデアを見慣れないやり方で組み合わせることによるCombinational creativity．

もう一つは，現在の思考法の範囲内で新しい，未探索な状況を発見するExploratory creativity．

最後の一つは，現在の思考法そのものを変えてしまう，Transformational creativityです．

現在のLLMは，与えられた分布の範囲内で自己回帰的に予測を行うものであるため，Combinational creativityくらいは実現できるかもしれませんが，Transformational creativityは難しいでしょう．なぜなら，良くも悪くも，人間の価値観に合うようにfine-tuningされたり，RLHFによって微調整されたりしているからです．これによって，人間に不快な思いをする出力は抑えられるかもしれませんが，一方で，平凡な回答ばかりが出力されてしまうようになっている可能性があります．

以上をまとめると，現状のLLMは価値のある出力を生成することはできる一方で，新しさと驚きを提供するような出力を生み出すにはまだまだ難点が多いと考えられます．

機械の創造性における問題点

LLMが創造的な出力を生み出せることとLLM自体が創造的であることは等価ではありません．Floridi and Chiriatti (2020)がいうように，何が達成されたかではなく，どのように達成されたかが重要なのだ，とこの論文では主張しています．

Gaut(2003)によれば，創造性とは，才能・センスによってオリジナルで価値のあるものを生み出す能力のことです．この才能・センスを発揮するというのは，関連する目的や理解力，判断力，評価能力を発揮することであり，これは，動機づけ，知覚，学習，思考，コミュニケーションなどのプロセスと深く関連しています(Rhodes, 1961)．

現在のLLMは，入力刺激に対して，もっともそうな出力を返すという，いわば模倣の段階で止まっており，そこから探索したり，意図的に変化を加えてみたりというような，人間の創造にみられるプロセスができる構造にはなっていません．

また，Rhodes (1961)やCsikszentmihalyi (1988)によれば，創造性を評価する際には，製品や過程だけでなく，誰が作ったかや社会・歴史との関連の中でどう評価されるかということも考慮に入れる必要があると言います．創造的行為は個人と社会との相互作用・サイクルの中で生じるものですが，現在のLLMは，一回の学習が終了した後は重みを固定してしまうので，これを行える設計にはなっていません．今後は，LLMを継続的に学習することが求められています．

実用に関して

実用においてまず問題となるのは，著作権についてです．

著作権は，最低限のオリジナリティと著作者の人間性を反映したものに適用されます．現在のLLMが創作したものには，前者のオリジナリティの方は満たすかもしれませんが，LLM自身に人格があるわけではないので，後者の人間性は満たしていません．従って，現在の状況では，プロンプトを書いたユーザ側に著作権が適用されることになります．

他にも，学習データに，著作権保護された著作物のデータが含まれている場合，それらを部分的に複製した出力をしてしまう可能性があり，これが問題になる場合もあります．

また，論文や小説執筆能力が高まるにつれ，文章を書く仕事が消滅するリスクや，人間の作品と生成モデルによる作品との区別がつかないという問題もあります．

以上のような，問題点はあるにしても，本論文の著者は，LLMの技術のインパクトはポジティブなものになると予想しています．LLMを使うことでアイデアの考案や検証に時間を使えるようになり，創造的な活動の機会を広げてくれるものだからです．