خطرات کد تولید شده AI واقعی است-در اینجا نحوه شرکت ها می توانند خطر را مدیریت کنند

چندی پیش ، انسان تقریباً تمام کد برنامه را نوشت. اما دیگر این مورد نیست: استفاده از ابزارهای AI برای نوشتن کد به طرز چشمگیری گسترش یافته است. برخی از کارشناسان ، مانند مدیرعامل انسان شناسی داریو آمدی ، انتظار دارند که AI طی 6 ماه آینده 90 ٪ از کل کد را بنویسد.

در برابر آن پس زمینه ، تأثیر شرکتها چیست؟ شیوه های توسعه کد به طور سنتی شامل سطوح مختلف کنترل ، نظارت و حاکمیت برای اطمینان از کیفیت ، انطباق و امنیت است. آیا با کد AI توسعه یافته ، آیا سازمان ها همان اطمینان را دارند؟ مهمتر از همه ، شاید ، سازمان ها باید بدانند که کدام مدل ها کد هوش مصنوعی خود را تولید می کنند.

درک اینکه کد از کجا آمده است ، چالش جدیدی برای شرکت ها نیست. این جایی است که ابزارهای تجزیه و تحلیل کد منبع (SCA) در آن جا می گیرند. از نظر تاریخی ، ابزارهای SCA بینش در مورد هوش مصنوعی ارائه نمی دهند ، اما اکنون در حال تغییر است. فروشندگان متعدد ، از جمله سونار ، آزمایشگاه های Endor و Sonatype اکنون انواع مختلفی از بینش ها را ارائه می دهند که می تواند به شرکت های دارای کد توسعه یافته کمک کند.

طارق شوكات ، مدیرعامل سونار ، به VentureBeat گفت: “هر مشتری كه با آنها صحبت می كنیم علاقه مند است كه چگونه باید با استفاده از ژنراتورهای كد AI با مسئولیت پذیری روبرو شوند.”

شرکت مالی به دلیل کد AI توسعه یافته هفته ای در هفته دچار یک قطع است

ابزارهای AI معصوم نیستند. بسیاری از سازمان ها آموخته اند که در اوایل وقتی ابزارهای توسعه محتوا نتایج نادرست را به عنوان توهم ارائه می دهند.

همان درس اساسی در مورد کد AI توسعه یافته اعمال می شود. با حرکت سازمانها از حالت آزمایش به حالت تولید ، آنها به طور فزاینده ای متوجه می شوند که کد بسیار حشره دار است. شوكات خاطرنشان كرد كه كد توسعه یافته AI همچنین می تواند منجر به مسائل مربوط به امنیت و قابلیت اطمینان شود. تأثیر واقعی است و همچنین بی اهمیت نیست.

شوكات گفت: “من به عنوان مثال ، حدود شش ماه پیش از یك شركت خدمات مالی CTO داشتم و به من گفتند كه آنها به دلیل كد تولید شده در هوش مصنوعی ، در هفته قطع می كردند.”

وقتی از مشتری خود پرسید که آیا او بررسی کد را انجام می دهد ، جواب مثبت بود. گفته می شود ، توسعه دهندگان هیچ جایی در نزدیکی کد احساس نمی کردند و به همان اندازه که قبلاً وقت و سخت و سخت را صرف نمی کردند.

دلایلی که کد به پایان می رسد ، به ویژه برای شرکت های بزرگ ، می تواند متغیر باشد. با این حال ، یک مسئله مشترک خاص این است که شرکت ها اغلب دارای پایه های بزرگ هستند که می توانند دارای معماری های پیچیده ای باشند که یک ابزار هوش مصنوعی ممکن است از آن آگاهی نداشته باشد. از نظر شوکات ، ژنراتورهای کد AI به طور کلی با پیچیدگی پایه های کد بزرگتر و پیشرفته تر برخورد نمی کنند.

شوکات گفت: “بزرگترین مشتری ما بیش از 2 میلیارد خط کد را تجزیه و تحلیل می کند.” “شما شروع به معامله با آن پایگاه های کد می کنید ، و آنها بسیار پیچیده تر هستند ، آنها بدهی فنی بیشتری دارند و وابستگی های زیادی دارند.”

چالش های AI کد ایجاد کرد

برای میچل جانسون ، مدیر ارشد توسعه محصول در Sonatype ، همچنین کاملاً واضح است که کد AI توسعه یافته برای ماندن در اینجا است.

توسعه دهندگان نرم افزار باید آنچه را که او آن را سوگند بقای مهندسی می نامد ، دنبال کنند. یعنی هیچ آسیبی به پایگاه کد انجام ندهید. این به معنای بررسی دقیق ، درک و اعتبارسنجی هر خط از کد تولید شده توسط AI قبل از ارتکاب آن است-دقیقاً همانطور که توسعه دهندگان با کد دستی یا منبع باز استفاده می کنند.

جانسون به VentureBeat گفت: “هوش مصنوعی ابزاری قدرتمند است ، اما وقتی صحبت از امنیت ، حاکمیت و کیفیت می شود ، قضاوت انسانی را جایگزین نمی کند.”

به گفته جانسون ، بزرگترین خطرات کد تولید شده AI عبارتند از:

• خطرات امنیتی: هوش مصنوعی در مورد مجموعه داده های گسترده منبع باز ، که اغلب شامل کد آسیب پذیر یا مخرب است ، آموزش دیده است. در صورت عدم بررسی ، می تواند نقص های امنیتی را در زنجیره تأمین نرم افزار معرفی کند.
• اعتماد کور: توسعه دهندگان ، به ویژه با تجربه کمتر ، ممکن است فرض کنند که کد تولید شده AI بدون اعتبار مناسب صحیح و ایمن است و منجر به آسیب پذیری های بدون بررسی می شود.
• انطباق و شکاف زمینه: هوش مصنوعی فاقد آگاهی از منطق تجارت ، سیاست های امنیتی و الزامات قانونی ، ایجاد انطباق و معاملات عملکرد خطرناک است.
• چالش های حاکمیتی: کد تولید شده AI می تواند بدون نظارت گسترش یابد. سازمانها برای ردیابی ، حسابرسی و امنیت کد AI در مقیاس به نگهبان خودکار نیاز دارند.

جانسون گفت: “با وجود این خطرات ، سرعت و امنیت لازم نیست تجارت باشد. “با استفاده از ابزارهای مناسب ، اتوماسیون و حاکمیت داده محور ، سازمان ها می توانند با خیال راحت هوش مصنوعی را مهار کنند-تسریع در نوآوری ضمن اطمینان از امنیت و انطباق.”

مدل های مهم: شناسایی خطر مدل منبع باز برای توسعه کد

انواع مختلفی از مدل ها وجود دارد که سازمان ها برای تولید کد استفاده می کنند. به عنوان مثال ، ANTHOPIC CLAUDE 3.7 گزینه ای بسیار قدرتمند است. Google Code Assist ، مدلهای Opai's O3 و GPT-4O نیز گزینه های مناسب هستند.

سپس منبع باز وجود دارد. فروشندگانی مانند متا و qodo مدل های منبع باز را ارائه می دهند ، و مجموعه ای از گزینه های به ظاهر بی پایان از گزینه های موجود در Huggingface وجود دارد. کارل ماتسون ، آزمایشگاه های Endor CISO ، هشدار داد که این مدل ها چالش های امنیتی را ایجاد می کنند که بسیاری از شرکت ها برای آن آماده نشده اند.

ماتسون به VentureBeat گفت: “خطر سیستماتیک استفاده از LLMS منبع باز است.” توسعه دهندگان با استفاده از مدل های منبع باز مجموعه ای از مشکلات کاملاً جدید را ایجاد می کنند. آنها با استفاده از نوع مدل های ناشناخته یا غیرقابل ارزیابی و غیرقابل ارزیابی ، در پایگاه کد خود وارد می شوند. “

بر خلاف پیشنهادات تجاری شرکت هایی مانند Anthropic یا Openai ، که ماتسون از آن استفاده می کند “برنامه های امنیتی و مدیریت با کیفیت بالا” ، مدل های منبع باز از مخازن مانند بغل کردن صورت می توانند در کیفیت و وضعیت امنیتی به طرز چشمگیری متفاوت باشند. ماتسون تأکید کرد که به جای تلاش برای ممنوعیت استفاده از مدل های منبع باز برای تولید کد ، سازمان ها باید خطرات احتمالی را درک کرده و به طور مناسب انتخاب کنند.

آزمایشگاه های Endor می توانند به سازمانها کمک کنند تا وقتی مدل های هوش مصنوعی منبع باز ، به ویژه از بغل کردن صورت ، در مخازن کد استفاده می شوند ، تشخیص دهند. فناوری این شرکت همچنین این مدل ها را در 10 ویژگی ریسک از جمله امنیت عملیاتی ، مالکیت ، استفاده و فرکانس به روزرسانی برای ایجاد یک مبنای ریسک ارزیابی می کند.

فن آوری های تخصصی تشخیص پدیدار می شوند

برای مقابله با چالش های نوظهور ، فروشندگان SCA چندین قابلیت مختلف را منتشر کرده اند.

به عنوان مثال ، سونار قابلیت تضمین کد AI را ایجاد کرده است که می تواند الگوهای کد منحصر به فرد برای تولید دستگاه را شناسایی کند. این سیستم می تواند تشخیص دهد که کد به احتمال زیاد AI تولید شده است ، حتی بدون ادغام مستقیم با دستیار برنامه نویسی. سونار سپس بررسی تخصصی را در مورد آن بخش ها اعمال می کند ، به دنبال وابستگی های توهم و موضوعات معماری است که در کد نوشته شده انسان ظاهر نمی شود.

آزمایشگاه های Endor و Sonatype با تمرکز بر پیشرفت مدل ، رویکرد فنی متفاوتی دارند. از پلتفرم Sonatype می توان برای شناسایی ، ردیابی و مدیریت مدل های AI در کنار اجزای نرم افزاری خود استفاده کرد. آزمایشگاه های Endor همچنین می توانند مشخص کنند که از مدل های هوش مصنوعی منبع باز در مخازن کد استفاده می شود و خطر بالقوه را ارزیابی می کند.

هنگام اجرای کد تولید شده توسط AI در محیط های سازمانی ، سازمان ها برای کاهش خطرات ضمن به حداکثر رساندن مزایا ، به رویکردهای ساختاری نیاز دارند.

چندین روش اصلی مهم وجود دارد که شرکت ها باید در نظر بگیرند ، از جمله:

• فرآیندهای تأیید صحت را اجرا کنید: شوکات توصیه می کند که سازمان ها داشته باشند یک فرآیند دقیق پیرامون درک که در آن از ژنراتورهای کد در قسمت خاصی از پایه کد استفاده می شود. این امر برای اطمینان از سطح مناسب پاسخگویی و بررسی کد تولید شده ضروری است.
• محدودیت های هوش مصنوعی را با کد های پیچیده کد تشخیص دهید: در حالی که کد تولید شده AI به راحتی می تواند اسکریپت های ساده را اداره کند ، گاهی اوقات می توان در هنگام پایگاه های کد پیچیده که وابستگی زیادی دارند ، تا حدودی محدود شود.
• مسائل منحصر به فرد را در کد تولید شده AI درک کنید: شاکات خاطرنشان کرد حرفHile AI از خطاهای مشترک نحوی خودداری می کند ، تمایل به ایجاد مشکلات جدی تر معماری از طریق توهم دارد. توهم کد می تواند شامل ساخت نام متغیر یا کتابخانه ای باشد که در واقع وجود ندارد.
• نیاز به پاسخگویی توسعه دهنده: جانسون تأکید می کند که کد تولید شده توسط AI ذاتاً ایمن نیست. توسعه دهندگان باید قبل از انجام آن ، هر خط را مرور ، درک و اعتبار دهند.
• تأیید AI را ساده کنید: جانسون همچنین در مورد خطر سایه هوش مصنوعی یا استفاده کنترل نشده از ابزارهای هوش مصنوعی هشدار می دهد. بسیاری از سازمان ها یا AI را به طور کامل ممنوع اعلام می کنند (که کارمندان آن را نادیده می گیرند) یا فرآیندهای تأیید را چنان پیچیده می کنند که کارمندان از آنها دور می شوند. درعوض ، او پیشنهاد می کند که مشاغل یک چارچوب روشن و کارآمد برای ارزیابی و ابزارهای Greenlight AI ایجاد کنند و از تصویب ایمن بدون موانع غیر ضروری استفاده کنند.

این برای شرکت ها چه معنی دارد

خطر توسعه کد AI سایه واقعی است.

حجم کدی که سازمانها می توانند با کمک هوش مصنوعی تولید کنند به طرز چشمگیری در حال افزایش است و به زودی می تواند اکثریت کد را تشکیل دهد.

سهام به ویژه برای برنامه های پیچیده سازمانی که در آن یک وابستگی توهم واحد می تواند باعث خرابی فاجعه بار شود ، زیاد است. برای سازمانهایی که به دنبال اتخاذ ابزارهای کدگذاری هوش مصنوعی در ضمن حفظ قابلیت اطمینان هستند ، اجرای ابزارهای تخصصی تجزیه و تحلیل کد به سرعت در حال تغییر از اختیاری به ضروری است.

ماتسون هشدار داد: “اگر اجازه می دهید کد تولید شده توسط AI در تولید بدون تشخیص و اعتبار سنجی تخصصی باشد ، اساساً در حال پرواز کور هستید.” “انواع ناکامی هایی که می بینیم فقط اشکالات نیستند – آنها خرابی های معماری هستند که می توانند کل سیستم ها را کاهش دهند.”