- GitHubのCopilot AIがコード品質を向上させるという主張について、開発者が疑問を投げかけた
- ルーマニアの開発者Dan Cîmpianuは、研究とデータの分析によると、GitHubが11月に行った研究の基盤となった243人の開発者への課題は単純であり、AIのトレーニングに使用された資料で既に十分カバーされていた可能性があると主張した
- 彼は、コードレビューが生成されたコードの品質を適切に評価するために行われたべきほど厳格ではなかったと述べた
- 研究の一環として、GitHubは、レストランレビューを扱うWebサイトを作成するよう開発者に依頼し、生成されたアプリケーションを他の10人の開発者がレビューするように求めた
- コードレビューの期待される2,020回の代わりに、たった1,293回のコードレビューが実施された
- AI生成コードには、13.6％少ないコードエラーが含まれていたとGitHubは主張しているが、Cîmpianuはその統計的主張のいくつかを疑問視した
- Cîmpianuは、GitHubの課題を最も退屈で繰り返しでき、インスピレーションに欠け、認知的に挑戦がない開発の側面の1つと表現し、そのようなタスクは自動化の対象になる可能性があると認めた
- 研究では、CopilotのAIの優越性を印象づけるために使用された割合やタスク完了者数など、数値が乱れていた
- 研究が主張した全体的な生産性の5％の向上について、Cîmpianuはその方法論の偏りを考えると、「マーケティングの香り」が漂っていると結論づけた
- 個人の経験や職人技に誇りを持たない場合、AIを使わずに良いコードを書くことができない開発者は、まずAIを使用すべきではないと述べた
この記事は、GitHubのCopilot AIに対する疑問や批判が述べられています。主張されている効果や研究方法に対する懸念が示されており、AIの実際の有用性やコード品質向上への影響について考えさせられます。
元記事: https://www.computing.co.uk/news/2024/ai/github-copilot-code-quality-err-no
The post GitHubのCopilot AIは本当に「コード品質を向上させる」のか？いや、そうではないと開発者は主張する first appeared on プロンプトハブ.