私たちがコンピューターで作った合理性、速度、有効性、効率性のアイデアには直感に反しますが、 現実には、人工知能（AI）システムには、類似した人間の概念と非常によく似た機能があります。 独創性。 したがって、それらは欺瞞や操作に対して脆弱です。
人間の間で発生するのと少し似ています。被害者の無知や無実を微妙に利用して詐欺が行われることがよくあります。そのため、自動学習プロセス中にAIでも発生します。これは、次の用語でよく知られています。 機械学習 （ML）：画像分類や音声認識などの典型的なヒューマンインテリジェンスタスクのパフォーマンスを学習する機能。
この問題を解決するために、いわゆる 敵対的な機械学習 （AML）、欺瞞の試みに関してシステムをより堅牢にするために自動学習フェーズをより安全にする方法を研究するそのセクター。
素人のために、 機械学習 統計的アプローチまたは数学的最適化手法に基づく一連の手法が含まれています。これにより、データ間のパターンや類似性を認識できます。 教師あり学習、コンピュータ学習は、特定のイベントの存在下でどのような決定を行うか、またはどのようなアクションを実行するかをマシンに教える専門家によって監督されます。 のそれらで 教師なし学習代わりに、情報間の共通性または多様性の要素を認識する方法がマシンに説明されますが、その後はデータのみを処理することになります。 または、最後に、 強化学習 彼らは、肯定的なフィードバックを受け取ったことによって下された決定の良さを認識するように教えられ、それによって強化学習を確実にします。
人工知能に対するサイバー攻撃の選択の理由は基本的にXNUMXつです。 まず第一に センサーとアクチュエーターによって表される物理的領域 環境との対話を可能にするもの、私たち人間にとっては五感です。なぜなら、それらは損傷して誤動作を引き起こす可能性があるからです。 たとえば、マイクを妨害すると、音声コマンドを聞く際にインテリジェントシステムが妨害されるという事実を考えてみてください。 または、リレーを妨害することにより、産業用制御インテリジェンスが臨界温度に達したときに鋳造所の炉をオフにするのを防ぎます。 次に、を悪用する攻撃があります データのデジタル表現のメカニズムの弱点たとえば、正しい情報を汚染されたデータに置き換えることによって。 そして最後に暴行があります 学習アルゴリズム、コンピュータに注入する-たとえば-隠された目的のために操作された学習方法、またはその一方で、それがどのように学習するかを理解する：結局、それは機械がそれ自体に指示する「方法」の知識から正確に始まります。彼らの学習をボイコットしたり、彼らの行動を予測したりすることができます。
攻撃は、悪意のあるトレーニング方法から、とらえどころのない対話操作、または手に負えない探索手順まで、さまざまな手法に従って発生する可能性があります。
最初のカテゴリには、 中毒 直接的または間接的に、取得した知識または学習ロジックが汚染されます。 このような場合、ハッカーは必然的に、メモリに保存されているデータを改ざんしたり、学習アルゴリズムを変更したりするために、人工知能に密かにアクセスする必要があります。 これらの攻撃の結果は非常に深刻であり、スマートシティの自動運転車に関する研究でカリアリ大学の学者によって最近報告された悪意のあるトレーニングの事例など、現実の世界に具体的な影響を与える可能性があります：これらの車ドライバーなしでできた、次の攻撃を受けた場合、交差点で停止しなかった ラベル操作 「停止」信号の認識に関連するデータのうち、インテリジェンスは、車両を停止するという概念とは反対の概念を考慮するように誘導されました。
一方、微妙な探索手法では、認知的同化の論理を理解することを目的とした人工知能を使用して相互作用が実行されます。 典型的な例はオラクルの攻撃、ここでは、推論された一連の質問が学習ソフトウェアに送信され、相対的な回答のパターンを調べることによって、モデルが構造化されて将来の行動を予測します。 戦術 グラデーションベース 代わりに、それらは、知能が関与するとらえどころのない相互作用技術の明確な例です-たとえば-人間の知覚では検出できない摂動を提示する視覚信号を使用しますが、学習アルゴリズムで逆説的な結果を引き起こし、防止または妨害する-正確に回避する-画像を分類する機能。 言い換えると、これらの手法は、システムの意思決定機能を混乱させるイメージを構築するために必要な最小限の変更を特定することを目的としています。
研究はすでに適切な防御戦略を考え出しました。 たとえば、隠れた悪意のあるトレーニングに対抗するために、学習された概念または学習ロジックを含むメモリパーティション用に暗号化アルゴリズムが開発されました。 とらえどころのない相互作用を防ぐために、妨害に対する感度を低下させる傾向のある対抗策が設計されています。これは、サイバーセキュリティ環境でよく知られている、欺瞞的なアーティファクトに対する感受性を低下させる一種のデジタル麻酔薬です。 グラデーションマスキング -または妨害信号の例がトレーニングデータベースに挿入され、悪意のあるものとして認識されて破棄されます（いわゆる 敵対的訓練）; そして最後に、人工知能を不正な探索の戦術から保護するために、ネットワーク上の敵を監視、テスト、および制御するアクションを検出するように教えられています。
要するに、研究は、人間の制御への依存を維持しながら、インテリジェントシステムをより安全でより弾力性のあるものにするために大きな進歩を遂げています。後者は、特に兵器材料に従属するものなど、重大な影響を与える人工知能にとって不可欠な問題です。 iの開発に使用されるデュアルユースアイテムへ 自律型致死兵器システム （法律）、いわばインテリジェントな兵器システムであり、その使用と効果は、常に、そしていかなる場合でも、国家と個人の両方の明確で決定可能な人間の責任に起因し続けなければなりません。
もっと知ることができます。
https://smartcities.ieee.org/newsletter/june-2021/explainable-machine-le...
https://gradientscience.org/intro_adversarial/
https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8269-draft.pdf
