Appleは、Swift Playgroundsのようなシステムのコンセプトを考案し、ユーザーがコンポーネントキットを組み立てられるようにガイドし、その後、組み立てられたハードウェアを使用できるプログラムを作成する方法を指導することで、コードを使用してロボットやデバイスを制御する方法を人々に教えたいと考えている。
米国特許商標庁が木曜日に公開した「適応型組立ガイダンスシステム」と題された特許出願では、コーディングレッスンにおいて、ユーザーが仮想世界内の仮想アイテム（キャラクターの移動など）を操作するためのコードを既に入力していることが説明されているが、これはさらに拡張できる可能性がある。同じコーディングレッスンでロボットデバイスなどの物理的なオブジェクトを制御できるようになるのは、ほんの一歩前進と言えるだろう。
Swift Playgrounds ではすでに Sphero 製品などのロボット玩具が教育目的で使用されていますが、レゴなどの構築玩具を教育ツールで制御する可能性もあります。この特許出願は後者のカテゴリーを対象としているようです。
申請書によると、コーディング指導に使用されるコンピューティングデバイスには、何らかの画像センサーが搭載され、ソフトウェアで制御可能な領域内の物理的な物体を検出・識別する。対象となる物体には、認識を容易にするために筐体に視覚的な識別子が付けられる可能性がある。
検出・識別されると、コーディングアプリケーションは、学習者が物理的なオブジェクトに対して様々なアクションを実行するために使用できる関数のライブラリを読み込みます。適切なコーディングレッスンが利用可能になり、ユーザーは特定のコマンドを入力することで、そのコマンドがオブジェクトに送信され、実行されるようになります。
この認識システムは、レゴ マインドストーム EV3 セットやリトルビッツ キットといったキットを使用する第2の要素にとって非常に重要になります。これらのキットは通常、複数のコンポーネントで構成されており、通常は様々な構成で組み立てることができ、ブロードキャスト指示を受信するために必要な通信機能を備えています。
識別システムは、色、形状、その他の視覚的な手がかりなど、さまざまな手段で個々のコンポーネントを識別し、アイテムの存在に応じてアプリケーションで関連するレッスンを読み込み、必要に応じて、以前に存在していたデータ接続を再確立します。
複数のパーツからなるセットの場合、アプリはキットを特定の構成で組み立てるためのガイダンスを提供し、特定のパーツ同士の接続箇所を特定した後、組み立てが完了したらコーディングレッスンを続行します。キットが既に意図した構成で組み立てられている場合は、その組み立て要素はスキップされます。
このシステムは、車両の車輪を駆動するモーターやその他のセンサーなど、特定の必須要素が不足しているかどうかも検出できる。その場合、それらのライブラリやコーディングレッスンは、それらが交換されるまで利用できなくなる可能性がある。
特許出願があるからといって、そこに記載されたコンセプトが将来Appleの製品やサービスに採用されることが必ずしも保証されるわけではありません。しかし、今回のケースでは、実際に実現する可能性のある要素が既に多く揃っています。
Swift Playgrounds はすでに、2017 年半ばから前述の Lego Mindstorms キットを含む外部ハードウェアを iPad から制御できるため、これで戦いの半分は完了です。
AppleはiOSデバイスのカメラでコンピュータービジョンのタスクをいくつか実行しており、特定の形や色のシンボルやアイテムを認識できるようにしているため、視覚認識の要素は部分的には備わっているとも言えるでしょう。そうなると、Swift Playgroundsに認識システムを組み込むための変更を加え、キットやデバイスのメーカーと緊密に協力して、認識を支援するマーカーを製品に組み込む作業が必要になります。
