Speech Genieとは何ですか?

Speech Genieは、現在開発中の全く新しい世代の言語学習技術です。

KUNGFU ENGLISH

クリス・ロンズデールの「カンフー英語」システム(中国人の英語学習用)の長所を活用し


脳科学

ジョン・ボールの脳科学に基づいた自然言語AIと組み合わせています!

これにより、第二言語学習の全く新しい基準が設定されます!

結果として、第二言語習得のための完璧なインタラクティブなコンピューターベースの自己学習システムが実現しました!


あらゆるレベルの学習者が

完全に没入型の学習環境に参加できます。あなたの脳が活性化する環境です!

BRAIN SCIENCE

発達段階の再現

世界の主要な言語学習プラットフォームで、このアプローチを使用しているものは他にありません。

意味

現在開発中のSpeech Genieシステムは、最先端の脳科学ベースの学習技術と、あなたが伝えようとしている意味を理解し、あなたの指示に従って行動する言語「ボット」を組み合わせます!

重要な発達段階

このデジタルアバターとのコミュニケーションは、信頼できる友人や「言語の親」と話すのと同じように行われます。

AIデジタルアバター

別名「言語の親」

システムの中核となるのはスピーチ「ジーニー」です – 学習者であるあなたの発言を理解し、指示に従うことができるデジタルアバターです!これにより、まるで実際の人間と話しているかのようにシステムと対話することができ、ストレスフリーで楽しく、没入感があり、非常に効果的な学習体験を得ることができます。

脳と戦うのをやめましょう!

脳と協力しましょう!

なぜ世界中でほとんどの人が実際に第二言語を習得できていないのか不思議に思ったことはありませんか?もし学校の授業、大学の授業、オンライン授業、その他の言語学習システムが本当に効果的に機能していたら、世界中のほぼ全ての人が多言語話者になっているはずです。しかし、明らかにそうではありません。確かに、いくつかの言語を上手に話す人もいます。しかし、それは稀です。そして、複数の言語を上手に話す人のほとんどは、正式な教育環境の外で学んでいます。

現在の言語教育が「失敗」する理由

では、何が起こっているのでしょうか?

答えは簡単です!今日の世界で行われている言語教育の方法は、ほぼ普遍的に、脳が実際に言語を獲得する方法に反しているのです!脳や人々がどのように言語を獲得するかについて我々が知っていることにもかかわらず、今日利用可能な学習システムはこの知識を設計に取り入れていないのです!


ほとんどの言語コースは、学習者に脳が自然にできることと戦わせてしまい、結果として遅い学習か完全な失敗を保証してしまいます!

脳はどのように言語を学ぶのか?

パターン認識

脳はパターン(主に音声)を認識し、それらのパターンを意味と結びつけます!意味は、人々が心の中に持っている世界についての内部表現で構成されています – オブジェクト、行動、オブジェクトの側面(大きさ、形、色など)、関係性などを含みます。パターンが意味が明確な様々な文脈で十分に繰り返されると、脳はそのパターンを後の使用のために記憶します!

本当にそれほど単純なのです。

人々にパターンを体験させる

カンフー英語学習システムで

Speech Genieでは、この作業を新しいレベルに引き上げ、学習者がデジタルアバターと双方向のインタラクションを行うことができます。アバターは学習者の発言を理解し、そのループを閉じます。学習者はまず認識記憶を作り出す方法で取り組みます。その認識記憶が定着したら、学習者は産出記憶(想起記憶)に挑戦し、言語パートナーと会話をします。


恥ずかしさも、ストレスもありません

Speech Genieの言語パートナーは生身の人間ではないため、恥ずかしさや話すことへの恐れも発生しません。これは新しい言語の習得に成功するために必要な重要な要素です。

音声と「画像」を結びつける

まず、新しい言語の音声を、物体、動作、そして徐々に複雑になる視覚的な「ストーリー」の画像と結びつけることを学びます。言語を聞き、画面上の要素を動かして、聞いている内容の理解を確認します。

これは、子供たちが母語を学ぶときに必ず経験する発達プロセスに従っています!言語と身体反応のつながりは無視できません!
言語と身体反応のつながりは無視できません!

音声フィードバックで話す

次に、音声フィードバックシステムを使って単語や短いフレーズを練習します。このシステムはあなたの発話を録音し、ネイティブスピーカーのモデルと比較することができます。

自分の発音を聞き、モデルと比較する能力は、第二言語を上手に話すために習得しなければならないもう一つの重要なスキルです。
この基礎スキルがなければ、乗り越えるのが非常に難しい見えない天井にぶつかってしまいます!

アバターに口頭で指示を出す

三つ目に、すでに理解している内容に焦点を当て、デジタルアバターに指示を出し始めます。あなたの発話を通じて、アバターにオブジェクトを動かしたり操作したりするよう命令します。

「カップを拾う」のような簡単なフレーズから始めます。あなたのアバター(言語の親)はそれを理解して反応します。

スキル、自信、能力が高まるにつれて、より長いフレーズを生成するようになります。例えば、「公園で犬がボールを追いかけている絵を描いたので、それをお母さんに見せて」というようなフレーズです。

アバターとの完全な会話

新しい単語との穏やかで段階的なインタラクションプロセスを通じて、これらのスキルは快適かつ簡単に身につきます。

最後に、十分な準備ができたら、レストランや銀行への訪問など、日常的な活動についてアバターとの完全な会話を始めます。

このプロセスを通じて、次のことを学びます:

母語と同じように、聞こえる単語を意味に結びつけること。

そして、段階的に、単語をつなげてシーケンスにし、より深いレベルで自分を完全に理解してもらえるようにすることを学びます。

AIと言語

信頼できるAIベースの言語インタラクション?


grokやChatGPTのようなシステムを少しでも使ったことがあれば、非常に驚くと同時に極度にフラストレーションを感じたことでしょう。なぜでしょうか?


驚きは、情報を使用可能な形式にまとめる速さから来ているでしょう。例えば、インターネット上の研究からトピックの概要を得ようとするあなたのプロンプトに対して、約45秒で信頼できるAI生成レポートを作成します。同じ研究を自分で行うには何時間もかかるでしょう。

LLM – 大規模言語モデル

GPTの幻覚

同時に、提供される研究結果はしばしば誤りがあり、システムはあなたの質問に対して「幻覚」の答えを出すことさえあります。これらの問題はすべて、大規模言語モデル(LLM)ベースのシステムが、人間のように言語から意味を理解していないという事実から生じています。単に単語の頻度と共起の統計を取っているだけなのです!

ChatGPT DALL-e

以下の動物のカートゥーン画像グリッドを作成し、それぞれの下に何の動物かラベルを付けてください:サル カニ 鹿 メスジカ キリン ウサギ ハリネズミ(背中にリンゴを乗せた) ライオン ペンギン アライグマ ヘビ リス カンガルー

グロック3

以下の動物のラベル付き漫画イメージグリッド(背景なし)を作成してください:サル カニ 鹿 メス鹿 キリン ウサギ ハリネズミ(背中にリンゴを乗せた) ライオン ペンギン アライグマ ヘビ リス カンガルー。

人間製
DALLE – 次の試み
DALLE – グリッド
グロック3グリッド
グロック3グリッド2
グロック3グリッド3
グロック3グリッド4

何をすべきか?実に簡単です。

何年も前、ジョン・ボールは、コンピューターが言語を扱い理解するためには、人間の脳が言語を理解する方法をモデル化しようとすべきだという結論に達しました。

結局のところ、人間の脳は – 重さ3.5ポンド未満で、わずか12ワットのエネルギーで動作しますが – TIMEのある時点でパターン認識を通じて単語を意味に結びつけている限り、言語で伝達されるすべてを理解できるのです。

ジョンのパトム理論

ジョンのパトム理論は、脳がパターン認識と相互接続された「意味セット」によって言語を理解する方法を説明しており、これを直接応用して言語から意味を完全に理解するデジタルシステムを開発することができます!

言い換えれば、信頼できるデジタル言語理解システムを作り出すのです。

これがジョンのPatシステムの基礎であり、音声やテキストを意味に変換することで、デジタル機械が人間の言語を使用できるようにします。コンピューターのアルゴリズムは、そのデータが意味を持つ場合に作業を行うことができます。

言語認識が決して簡単なものではないということを理解することが重要です。

言語には、1つ以上の「エラー」を含む無限の文があります。例えば、次の文はどういう意味でしょうか?

それは「「カップを取ることができますか?」」という意味です

話し言葉では、このような発話エラーは一般的です。また、新しい言語を学ぶ人にとっては、言語学に基づくデジタルシステムで管理する必要がある他の多くのタイプの言語エラーがあります。Patシステムは基本的な言語学の科学に基づいて設計されており、このような問題を解決することができます。Patだけが解決できる多くの問題があります。

これらのソリューションにより、デジタル言語パートナー(または私たちが好んで呼ぶ「言語の親」)を作成することができ、学習者が新しい言語の核心を最短6ヶ月でマスターするのをサポートできます。

以下の図は、言語理解における相互関連したステップを示しています

次の領域で意味をなすかどうか、そして前の領域でも意味をなすかどうかを確認せずに、円の中の要素を解決することはできません。

正確なインタラクティブ学習システムの基礎

言語をその意味に変換することで、開発者は複数のタイプのエラーに直面しても何をすべきかを決定できます。上記の例では、

「「カップを取って、グラスは取らない」」

という意味になります

[「do(you, 0)] CAUSE [raise」(the glass)]

グラスを持ち上げるという命令が与えられた場合、そこで開発されたアルゴリズムは、グラスが持ち上げられる様子を示したり、一連の画像から選択したりすることができます。これにより、学習者が言語を使用してソフトウェアに命令し、システムが完全な理解に基づいて行動することで喜ぶことができる完全にインタラクティブなシステムを構築できます!

Speech Genieはこの基盤の上に開発されます。

初期学習設計

最初、学習者はSpeech Genieに画面上の単純なオブジェクトを操作する命令を話しかけます。Speech Genieは意味を使用して、リクエストを最もよく表す選択肢のセットからリクエストされたものを選択します。この即時フィードバックは、学習者の発話が向上するにつれて、新しい言語での命令の意味に自信を持つのに役立ちます。

最初、学習者はSpeech Genieに画面上の単純なオブジェクトを操作する命令を話しかけます。Speech Genieは意味を使用して、リクエストを最もよく表す選択肢のセットからリクエストされたものを選択します。この即時フィードバックは、学習者の発話が向上するにつれて、新しい言語での命令の意味に自信を持つのに役立ちます。

聴衆を引き付けるための魅力的なセクションタイトルを追加してください。

Speech Genieプロジェクトでは、まずKungfu Englishシステムの重要な部分とジョン・ボールの研究を統合し、学習者がデバイスに話しかけて意味のある(そして正確な)応答を得られるようにしています。

最初、学習者は二次元のスクリーン空間で教材やシンボルを操作します。スピーチアバターからの命令や発言に対して行動で応答し、学習中の言語要素を必要とするタスクを完了するためにスピーチを使ってアバターに指示を出します。


もちろん、これは始まりに過ぎません。デジタルアバターの言語範囲が時間とともに広がるにつれ、より複雑な行動や相互作用が可能になります。数年以内に、日々進化するVR技術を使用して、学習者を3Dの仮想環境に没入させることができるようになるでしょう。

未来

技術が進歩するにつれ、スタートレックのような「ホロデッキ」を構築できる段階に達するかもしれません。そこでは、学習者がSpeech Genieアバターと対話しながら完全な物理的没入を体験し、まるでそこに実際にいるかのように環境のあらゆる側面を文字通り操作できるのです!


学習者がSpeech Genieアバターと対話しながら完全な物理的没入を体験できるスタートレックのような「ホロデッキ」


学習者がSpeech Genieと対話する週が重なるにつれ、私たちが学習者のより豊かなコミュニケーションをサポートするために言語システムを深化させていくと、デジタルアバターもまた、増加する実世界のコンテキストに対応するためにより多くの言語を習得していきます。


近い将来、学習者はVRの世界に入り、レストランでの食事、銀行取引の処理、家庭用ロボットに食事の準備を指示するなど、多くの現実的で楽しいシナリオで実際の会話のやり取りができるようになるでしょう。

Speech Genieの背後にある頭脳

Speech Genieは、言語学習とAIの分野における二人の第一人者の協力の結果生まれました。

プロジェクトの進捗を追跡するにはサインアップしてください

Get Notified when we launch