LLMとは、ChatGPTのように、人と会話したり文章を作ったりできるAIのことです。
今日一生懸命説明したのでまとめを置いておきます。
1．次に来る言葉を予想する
- LLMは、文章の続きを予想します。
- たとえば「ねこが魚を」と書くと、次に「食べた」が来そうだと考えます。
- この予想を一語ずつくり返して、長い文章を作ります。
- 最初から答えを全部考えているのではなく、少しずつ続きを作っています。
2．文章を小さく分ける
- AIは、文章をそのまま読んでいるわけではありません。
- 文字や単語を「トークン」という小さなかたまりに分けます。
- それぞれのトークンを数字に変えて、コンピューターが計算できるようにします。
- 分け方によって、外国語、数字、計算、プログラムの得意・不得意も変わります。
3．たくさんの文章で勉強する
- AIは、本、ウェブサイト、説明文、プログラムなどから言葉の使い方を学びます。
- ただし、インターネットの文章を全部そのまま使うわけではありません。
- 間違った情報、同じ文章、広告、個人情報などを取り除きます。
- 内容が正しく、読みやすい文章を多く使うことが大切です。
- AIの性能は、文章の量だけでなく、文章の質にも大きく左右されます。
4．答えが合っているか調べる
- AIを作る途中では、正しく続きを予想できているか確認します。
- 算数、理科、国語、社会などの問題も解かせます。
- ただし、テストの出し方によって点数が変わることがあります。
- 一つのテストだけで、AIの本当の力を決めることはできません。
5．大きくすると賢くなりやすい
- 学習する文章を増やすと、AIは多くのことを覚えられます。
- 計算する力を増やすと、より複雑なことを学べます。
- AIの中にある計算のしくみを大きくすると、性能が上がりやすくなります。
- これを「スケーリング則」と呼びます。
- 小さなAIで実験してから、大きなAIの性能を予想します。
6．人と会話できるように練習する
- 文章をたくさん学んだだけでは、AIは質問に上手に答えられません。
- そこで、人が書いた良い回答を見せます。
- どちらの答えが分かりやすいか、人が選んで教えることもあります。
- 失礼な答えや危険な答えを減らす練習もします。
- この仕上げの学習によって、文章予想のAIが、会話のできるAIになります。
7．人の好みから学ぶ
- 同じ質問に、AIがいくつかの答えを作ります。
- 人が「こちらの答えのほうが良い」と選びます。
- AIは、その選ばれた答えに近づくように学習します。
- 分かりやすさ、正しさ、安全さ、親切さなどを少しずつ身につけます。
8．たくさんのコンピューターを使う
- 大きなAIを一台のコンピューターだけで作るのは困難です。
- 何千台、何万台もの高性能なコンピューターを同時に使うことがあります。
- 計算を分担し、できるだけ速く学習させます。
- 電気代、機械代、人件費も非常に大きくなります。
- AI作りでは、賢さだけでなく、速さと費用も重要です。
