Edukira joan

Prompt ingeniaritza

Wikipedia, Entziklopedia askea

Prompt ingeniaritza arloan adimen artifizial sortzaileko (AAS) eredu batek[1][2] interpretatu eta uler dezakeen irakaspen bat egituratzeko elkarrizketa-prozesuak aztertzen dira. Prompt bat hizkuntza natural batez idatzitako testu bat da, AA (Adimen Artifizial) batek bete beharko lukeen zeregina deskribatzen duena.[3] Testu-testu eredu baterako prompt bat kontsulta bat izan daiteke, hala nola, "Zer da Fermaten teorema txikia?",[4] "Edgar Allan Poeren estiloko poema bat idatzi, erortzen diren hostoei buruz",[5] edo adierazpen luzeago bat,[6] testuingurua eta historia barne.

Prompt Ingeniaritzak zehaztu dezake nola egin kontsulta bat, estilo bat zehaztea,[5] testuinguru garrantzitsu bat eskaintzea[7] edo AA-ari eginkizun bat esleitzea, hala nola "frantses hiztun gisa jardutea".[8]

Testu-irudi batekin edo testu-audio eredu batez ari garenean (testu bat ematea hortik irudi bat edo audio bat bat eskatzeko), prompt bat irteera desiratu baten deskribapena da, hala nola "zaldi gainean doan astronauta baten kalitate handiko argazkia"[9] edo "Lo-fi slow BPM electro hotzikara lagin organikoekin".[10] Testu-irudi eredu bat erabiltzerakoan berarekin ekar dezake nahi den gaia, estiloa, maketazioa, argiztapena eta estetika zehaztu behar izatea.[11]

Historia

[aldatu | aldatu iturburu kodea]

2018an, ikertzaileek lehen aldiz saiatu ziren testuzko galdera gisa proposatzen ordura arte Hizkuntzaren Prozesamenduaren arloan (HPan) ebazten ziren zeregin guztiak, horrela elkarrizketa baten barruan bideratu ahal izateko. Gainera, zeregin horietarako eredu bateratu bat prestatu zuten; ordura arte banakako zereginetarako 12 eredu zirenak orduan zeregin anizkoitzerako eredu bateratu bakar berri horrekin adierazi ahal izateko. Adibidez, honelako galderak eginez: "Zein da sentipena?", “Esaldi hau alemanera itzuli" edo "Nor da lehendakaria?" bezalako galderei erantzuteko.[12]

2021ean, ikertzaileek HPko 12 zeregin egiteko gauza zen generikoki simulatutako eredu bat (T0) prestatu zuten (62 dataset erabiliz, zeregin bakoitzak hainbat dataset baitzuen). Modeloak eginkizun berrietan errendimendu ona izan zuen, zeregin bakar batean trebatuta zeuden ereduen emaitzak hobetzen zituela. Ereduak zeregin horietako bat ebazteko, T0 ereduari zeregin bat ematen zioten egituratutako prompt gisa: baldin{{premisa}}egiazkoa bada, {{hipotesia}} ere egiazkoa da? ||| {{erantzuna}}. Adibidez, premisa egiazkoa bada, hipotesia ere egia da.[13]

2022ko otsailean promptak biltzen zituen errepositorio batek jakinarazi zuen bazirela 170 datu multzorako 2.000tik gora prompt publiko.[14] 2022an Googleko ikertzaileek chain-of-thought teknika proposatu zuten.[15][16] 2023an baziren publikoki erabilgarri testu-testu eta irudi-irudi motako zenbait prompt datu-base.[17][18]

Testu-testu

[aldatu | aldatu iturburu kodea]

Chain of thought

[aldatu | aldatu iturburu kodea]

Google-k dio Chain-of-thought teknikak (CoT) hizkuntza-eredu handiei (LLM, HEH) arazo bat konpontzeko aukera ematen diela.[19] 2022an, Googlek chain-of-thought teknikak arrazoitzeko gaitasuna hobetzen duela adierazi zuen, eta eredua hainbat ta problema bat erantzutera bultzatzen duela,  train of thought[19][15][20] bat imitatzen duten arrazoiketa mota aplikatzen. Pentsamendu-teknika hipotetikoek hizkuntza-eredu handiei zailtasunak gainditzeko aukera ematen diete pentsamendu logikoa behar duten arrazoiketa lan batzuekin eta ebatzi beharreko urrats anitzekin, hala nola aritmetika edo zentzuzko arrazoiketa galderekin, Googleren eta Amazonen iragarkien arabera.[21][22][23]

Adibidez, hurrengo galdera daukagula: "Q: kafetegiak 23 sagar zituen. Bazkaria egiteko 20 erabiltzen badituzte eta 6 gehiago erosten badituzte, zenbat sagar dituzte? ", Googlek dioenez, CoT prompt batek LLMari lagunduko dio hau erantzutera: " A: Kafetegiak 23 sagar zituen jatorriz. 20 erabiltzen dituzte bazkaria egiteko. Orduan, 23- 20 = 3 dituzte. 6 sagar gehiago erosi dituzte, beraz, 3 + 6 = 9 dituzte. Ondorioz, erantzuna 9 da.”[15]

Hasieran Googlek proposatu zuen bezala, CoT prompt bakoitzak Q&A adibide batzuk zituen (galdera-erantzun sistema baten adibide batzuk). Horrek “few-shot” prompt teknika sortu zuen. Hala ere, Googleko eta Tokioko Unibertsitateko ikertzaile batzuen arabera, "Pentsa dezagun pausoz pauso" hitzak eranste hutsarekin, eraginkortasuna hobetzen da,[23] eta horrek CoT “zero -shot” prompting teknika sortzen du. OpenAIren esanetan, prompt horrek erabiltzaile gisa eskalatze hobea egiteko aukera ematen du, eta dagoeneko ez da beharrezkoa CoT-Q&A adibide espezifiko asko formulatzea.[24]

Adibide bat, CoT prompting: 

   Q: {galdera}
   A: Let's think step by step.

Googlerena den PaLM hizkuntza ereduari buruz ari garenean, 540B parametroko hizkuntza eredu hori, Googlek dio CoTk ereduari nabarmen lagundu ziola, hainbat atazatan zeregin zehatzetarako sintonizatutako modeloekin alderatuta ondo funtzionatzeko aukera ematen diola garai hartan punta-puntako emaitzak lortuz GSM8K arrazoibide matematikoko erreferentean. Googleren arabera, CoT arrazoiketari buruzko ereduak doitu daitezke, gaitasun hori areagotzeko eta hobeto interpretatzeko.[25][26]

Beste teknika batzuk

[aldatu | aldatu iturburu kodea]

Chain-of-thought teknika prompt ingeniaritzaren tekniketako bat da, baina ez bakarra. Gai honetaz, 2024an baziren 29 teknika ezberdin argitaratuta, horietako batzuk hauek dira:[27]

Chain-of-Symbol (CoS) Prompting

[aldatu | aldatu iturburu kodea]

Westlake Unibertsitatea, Hong Kongeko Unibertsitatea eta Edinburgoko Unibertsitateak egindako ikerketa baten arabera, chain-of-symbol (CoS) prompting-a eta chain-of-thought (CoT) prompting-a konbinatuta, hizkuntza-ereduen (LLM) espazio-argudioen ulermena hobetzen dute. Metodo honetan, sinbolo arbitrarioak (adibidez, “/”) erabiltzen dira testuko espazioen antolaketa egokitzeko, eta horrek argumentuak garatzeko eta ereduaren errendimendua hobetzeko balio du.

Adibidea:[28]

Sarrera:
Adreilu batzuk daude. C adreilu horia E adreiluaren gainean dago. D adreilu horia A adreiluaren gainean dago. E adreilu horia D adreiluaren gainean dago. A adreilu zuriak B adreiluaren gainean dago. B adreiluaren kolorea zuria da. Orain, adreilu bat hartu behar dugu. Adreiluak goitik beherantz hartu behar dira, eta beheko adreilua hartu behar bada, lehenik goiko adreilua kendu behar da. Nola lor daiteke D adreilua?
B/A/D/E/C
C/E
E/D
D
Irteera:
Beraz, emaitza C, E, D da.
----

Few-shot learning

[aldatu | aldatu iturburu kodea]

Few-shot ikaskuntza teknikan, prompt batean hainbat adibide gehitzen dira, modeloa ataza jakin bat burutzen ikas dezan, adibidez, "maison → house, chat → cat, chien →" (espero den erantzuna "dog" izanik) bezalako prompt baten bidez. [29]Ikaskuntza mota honi few-shot ikaskuntza deitzen zaio.[30]

Generated knowledge prompting

[aldatu | aldatu iturburu kodea]

Teknika honetan, promptari erantzuteko beharrezko ezagutzak lehenik sortzen dira, eta gero prompta osatzen da.[31] Horrela, LLMak gaiari buruzko datu garrantzitsuetan oinarrituta erantzuten du.

Adibidea:

Sarrera: "Zer da ekosistema bat?"

Ezagutza: Ekosistema organismo biziak eta beren ingurune ez-bizia barne hartzen dituen sistema da. Organismoak elkarrekin eta beren ingurunearekin elkarrekintzan aritzen dira bizirauteko.

Least-to-most prompting

[aldatu | aldatu iturburu kodea]

Teknika honek arazo nagusia osatzen duten azpiproblemak banan-banan ebaztea proposatzen du. Horrela, azpiproblema bakoitza aurrekoaren erantzunean oinarritzen da.[32]

Adibidea: [32]

Sarrera:

Q: “Hondartzan 50 musika CD zeuden. 20 CD erosi ziren, eta beste 10 oparitu ziren. Zenbat CD geratzen dira?”

Erantzuna: Banatu arazoa urratsetan:

  1. 50 - 20 = 30
  2. 30 - 10 = 20 CD gelditzen dira.

Self-consistency decoding

[aldatu | aldatu iturburu kodea]

Self-consistency decoding teknika hainbat chain-of-thought exekutatzen ditu. Azkenean, irteera ohikoenarekin geratzen da.[33] Exekuzioen artean alde handiak badaude, erabiltzaileak irizpide zuzena aztertzeko aukera izan dezake.[34]

Konplexutasunean oinarritutako prompting-a

[aldatu | aldatu iturburu kodea]

Teknika honek hainbat chain-of-thought exekutatzen ditu eta prozesu logiko konplexuena duen exekuzioa hautatzen du.[35] Horri esker, erantzun koherente eta sakonagoa lor daiteke.

Self-refine teknika

[aldatu | aldatu iturburu kodea]

Self-refine teknikan, LLM-ak erantzun bat sortzen du lehenik, ondoren erantzun horri buruz hausnartzen du eta iritzia ematen dio.[36] Hausnarketa horren arabera, promptari berriro erantzuten dio. Prozesua hainbat aldiz errepikatzen da, erantzunaren kalitatea hobetzeko.

Prompt: "Hemen kode bat dago. Emango zenuke hobekuntza bat kodearen irakurgarritasuna hobetzeko?"

Iritzia: "Kodea blokeen bidez antolatzen da hobeto ulertzeko."

Tree-of-thought prompting

[aldatu | aldatu iturburu kodea]

Teknika honek chain-of-thought teknika zabaltzen du, ideien “urrats posibleak” sortuz.[37] Erantzunaren koherentzia bermatzeko hainbat ildo zabaltzen ditu.[38]

Maieutic prompting

[aldatu | aldatu iturburu kodea]

Maieutic prompting teknika, tree-of-thought prompting-en antzekoa, LLMak erantzun bat ematera eta azalpen bat gehitzera bultzatzen du. Ondoren, azalpen horren koherentzia aztertzen da, eta ez-errentagarriak diren ildoak baztertzen dira.[38]

Prompt:

Q: "Zer kolore da eguzkia gauean?"

A: Eguzkia gauean ez dago ikusgai, ilun dagoelako.

Directional-stimulus prompting

[aldatu | aldatu iturburu kodea]

Teknika honek gako-hitzak erabiltzen ditu ereduaren erantzuna bideratzeko.[39] Adibidez, “ekologia,” “ingurugiroa,” eta “aldaketa klimatikoa” hitzak erantsiz, modeloa gai horietan oinarritzen da.

Gako-hitzak: Ekologia, ingurugiroa, aldaketa klimatikoa.

Ziurgabetasuna zabaltzen

[aldatu | aldatu iturburu kodea]

Hizkuntza-ereduen irteerak ez du beti ziurgabetasuna modu esplizituan adierazten. Hala ere, OpenAI GPT-4 bezalako modeloek token bakoitzaren probabilitatea zehaztasunez kalkulatu dezakete.[40] Metodo alternatibo batek Hizkuntza Handiko Ereduari (LLM) irteeraren ziurgabetasuna hitzez azaltzeko eskatzea proposatzen du (Eliot, 2023).[41]

Sorkuntza automatiko azkarra

[aldatu | aldatu iturburu kodea]

Sorkuntza areagotua berreskuratzea

[aldatu | aldatu iturburu kodea]

Berreskuratze bidezko sorkuntza areagotua (RAG) bi faseko prozesua da, eta dokumentuak berreskuratzea eta erantzunak formulatzea eskatzen du, Hizkuntza Handiko Eredu baten bidez (LLM). Hasierako fasean, inkrustazio trinkoak erabiltzen dira dokumentuak berreskuratzeko. Berreskuratze hori, datu-baseen formatu desberdinetan oinarritu daiteke, erabilera-kasuaren arabera, hala nola datu-base bektorial batean, laburpen-indizean, zuhaitz-indizean edo gako-hitzen taula-indizean.[42]

Kontsulta bati erantzunez, berreskuratze-dokumentu batek dokumentu garrantzitsuenak hautatzen ditu. Garrantzi hori zehazteko, lehenik kontsulta eta dokumentuak bektoretan kodetzen dira, eta, gero, bektoreetatik hurbilen dauden bektoreak dituzten dokumentuak identifikatzen dira. Dokumentuak berreskuratu ondoren, LLMak irteera bat sortzen du, kontsultako zein berreskuratutako dokumentuetako informazioa jasotzen duena.[43] Metodo hori bereziki onuragarria da patentatutako informazioa edo informazio dinamikoa maneiatzeko eta eredua prestatzeko. RAG ere nabarmentzen da "tiro" ikaskuntzaren erabilerarengatik, non ereduak adibide gutxi batzuk erabiltzen dituen, sarritan automatikoki datu-base batetik berreskuratuak, bere emaitzen berri emateko.

Berreskuratze grafikoen sorkuntza ebaluatua

[aldatu | aldatu iturburu kodea]

GraphRAG [44] (Microsoft Research-ek sortua) teknika bat da, RAG zabaltzen duena ezagutza-grafiko bat erabiliz (normalean, LLMk sortua), ereduak informazio-pieza desberdinak konektatzeko, ideiak sintetizatzeko eta datu-bilduma handiei buruzko kontzeptu semantiko laburtuak holistikoki ulertzeko aukera ematen duena.

Zenbait datu multzotan eraginkorra zela frogatu zen, hala nola Albiste Artikuluetako Indarkeriazko Gertakariei buruzko Informazioan (VIINA).[45] LLMk sortutako ezagutza-grafikoak makina grafikoen ikaskuntzarekin konbinatzean, GraphRAGek nabarmen hobetzen du sentsibilizazio globaleko galderetarako sortutako zehaztasuna eta erantzunen aniztasuna.

Aurreko lanek erakutsi zuten oso eraginkorra dela ezagutza-grafiko bat erabiltzea galderei erantzuteko. Teknika horiek konbinatu egin daitezke egituratu eta egituratu gabeko datuak bilatzeko, testuinguru zabaldua eta sailkapen hobea emanez.

Ikaskuntza testuinguruan

[aldatu | aldatu iturburu kodea]

Baliteke ingeniaritza azkarra are gehiago gaitu ahal izatea testuinguruan ikasiz, hau da, eredu batek adierazpenetatik aldi baterako ikasteko duen gaitasunaz. Testuinguruko ikaskuntzarako gaitasuna hizkuntza eredu handien goranzko gaitasuna da. Testuinguruko ikaskuntza ereduen eskalaren propietate emergentea da, eta horrek esan nahi du beheranzko eskalako legeetan gertatzen diren hausturak halako moldez gertatzen direla, non haien eraginkortasuna tasa ezberdin batera handitzen baita eredu handiagoetan txikiagoetan baino.[46]

Zeregin espezifiko bakoitzerako prestakuntzan eta egokitzapen onean ez bezala, horiek ez baitira aldi baterakoak, ikaskuntzan zehar testuinguruan ikasitakoa aldi baterakoa da. Ez ditu denbora-testuinguruak edo alborapenak erabiltzen, elkarrizketa batetik bestera datu-multzoan (aurre-prestakuntzan) daudenak izan ezik. Transformadorearen geruzen barruko "optimizazio anizkoitzaren" emaitza, meta-ikaskuntza edo "ikasten ikasteko" modu bat da.[47]

Prompt formatuak

[aldatu | aldatu iturburu kodea]

Testu-irudiaren sinbolo batek, normalean, honako hauek deskribatzen ditu: artearen gaia (mitxoleta laranja distiratsuak, adibidez), nahi den ingurunea (pintura digitala edo argazkia, adibidez), estiloa (hiperrealista edo popa, adibidez), argiztapena (ertzeko argiztapena edo izpi krepuskularrak, adibidez), kolorea eta testura.[48]

Midjourneyren dokumentazioak mezu labur eta deskribatzaileak sustatzen ditu: "Erakutsi Kaliforniako mitxoleta loretsu askoren irudia, egin itzazu distiratsu eta laranja dardaratiak, eta koloretako arkatzez ilustratutako estilo batean marraztu" ordez, adierazle eraginkorra izan liteke "Kaliforniako mitxoleta laranja distiratsuak koloretako arkatzez marraztuta".[49]

Erreferentziak

[aldatu | aldatu iturburu kodea]
  1. ↑ Diab, Mohamad; Herrera, Julian; Chernow, Bob (2022-10-28). "Stable Diffusion Prompt Book" (PDF). Retrieved 2023-08-07. Prompt engineering is the process of structuring words that can be interpreted and understood by a text-to-image model. Think of it as the language you need to speak in order to tell an AI model what to draw.
  2. ↑ (Ingelesez) Berryman, Albert Ziegler, John. (2023-07-17). «A developer's guide to prompt engineering and LLMs» The GitHub Blog (kontsulta data: 2025-01-31).
  3. ↑ Radford, Alec; Wu, Jeffrey; Child, Rewon; Luan, David; Amodei, Dario; Sutskever, Ilya (2019). "Language Models are Unsupervised Multitask Learners" (PDF). OpenAI. We demonstrate language models can perform down-stream tasks in a zero-shot setting – without any parameter or architecture modification
  4. ↑ (Ingelesez) «Introducing ChatGPT» openai.com (kontsulta data: 2025-01-31).
  5. ↑ a b (Ingelesez) «How to write an effective GPT prompt | Zapier» zapier.com (kontsulta data: 2025-01-31).
  6. ↑ Gouws-Stewart, Natasha (June 16, 2023). "The ultimate guide to prompt engineering your GPT-3.5-Turbo model". masterofcode.com.
  7. ↑ (Ingelesez) Counsel, Nada Alnajafi, In-House. (2023-05-31). How to Prime and Prompt ChatGPT for More Reliable Contract Drafting Support. (kontsulta data: 2025-01-31).
  8. ↑ (Ingelesez) «Prompt Engineering - OpenAI Platform» platform.openai.com (kontsulta data: 2025-01-31).
  9. ↑ (Ingelesez) «This horse-riding astronaut is a milestone on AI’s long road towards understanding» MIT Technology Review (kontsulta data: 2025-01-31).
  10. ↑ (Ingelesez) Wiggers, Kyle. (2023-06-12). «Meta open sources an AI-powered music generator» TechCrunch (kontsulta data: 2025-01-31).
  11. ↑ (Ingelesez) «How to write prompts for AI product photos» claid.ai (kontsulta data: 2025-01-31).
  12. ↑ McCann, Bryan; Shirish, Nitish; Xiong, Caiming; Socher, Richard (2018). "The Natural Language Decathlon: Multitask Learning as Question Answering". arXiv:1806.08730 [cs.CL].
  13. ↑ Peng, Puyuan; Yan, Brian; Watanabe, Shinji; Harwath, David. (2023-08-20). «Prompting the Hidden Talent of Web-Scale Speech Models for Zero-Shot Task Generalization» INTERSPEECH 2023 (ISCA)  doi:10.21437/interspeech.2023-2032. (kontsulta data: 2025-01-31).
  14. ↑ Bach, Stephen; Sanh, Victor; Yong, Zheng Xin; Webson, Albert; Raffel, Colin; Nayak, Nihal V.; Sharma, Abheesht; Kim, Taewoon et al.. (2022). «PromptSource: An Integrated Development Environment and Repository for Natural Language Prompts» Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics: System Demonstrations (Association for Computational Linguistics)  doi:10.18653/v1/2022.acl-demo.9. (kontsulta data: 2025-01-31).
  15. ↑ a b c (Ingelesez) Wei, Jason; Wang, Xuezhi; Schuurmans, Dale; Bosma, Maarten; Ichter, Brian; Xia, Fei; Chi, Ed; Le, Quoc V. et al.. (2022-12-06). «Chain-of-Thought Prompting Elicits Reasoning in Large Language Models» Advances in Neural Information Processing Systems 35: 24824–24837. (kontsulta data: 2025-01-31).
  16. ↑ (Ingelesez) «Language Models Perform Reasoning via Chain of Thought» research.google (kontsulta data: 2025-01-31).
  17. ↑ (Ingelesez) Chen, Brian X.. (2023-06-23). «How to Turn Your Chatbot Into a Life Coach» The New York Times ISSN 0362-4331. (kontsulta data: 2025-01-31).
  18. ↑ (Ingelesez) Chen, Brian X.. (2023-05-25). «Get the Best From ChatGPT With These Golden Prompts» The New York Times ISSN 0362-4331. (kontsulta data: 2025-01-31).
  19. ↑ a b (Ingelesez) «Google's Latest AI Model Can Be Taught How to Solve Problems» CNET (kontsulta data: 2025-01-31).
  20. ↑ (Ingelesez) «Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrou» research.google (kontsulta data: 2025-01-31).
  21. ↑ (Ingelesez) Capital, Ekta Dang, U. First. (2023-02-08). «Harnessing the power of GPT-3 in scientific research» VentureBeat (kontsulta data: 2025-01-31).
  22. ↑ (Ingelesez) Montti, Roger. (2022-05-13). «Google's Chain of Thought Prompting Can Boost Today's Best Algorithms» Search Engine Journal (kontsulta data: 2025-01-31).
  23. ↑ a b Cao, Qi; Kojima, Takeshi; Matsuo, Yutaka; Iwasawa, Yusuke. (2023). «Unnatural Error Correction: GPT-4 Can Almost Perfectly Handle Unnatural Scrambled Text» Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (Association for Computational Linguistics): 8898–8913.  doi:10.18653/v1/2023.emnlp-main.550. (kontsulta data: 2025-01-31).
  24. ↑ (Ingelesez) Dickson, Ben. (2022-08-30). «LLMs have not learned our language — we’re trying to learn theirs» VentureBeat (kontsulta data: 2025-01-31).
  25. ↑ Chung, Hyung Won; Hou, Le; Longpre, Shayne; Zoph, Barret; Tay, Yi; Fedus, William; Li, Yunxuan; Wang, Xuezhi; Dehghani, Mostafa; Brahma, Siddhartha; Webson, Albert; Gu, Shixiang Shane; Dai, Zhuyun; Suzgun, Mirac; Chen, Xinyun; Chowdhery, Aakanksha; Castro-Ros, Alex; Pellat, Marie; Robinson, Kevin; Valter, Dasha; Narang, Sharan; Mishra, Gaurav; Yu, Adams; Zhao, Vincent; Huang, Yanping; Dai, Andrew; Yu, Hongkun; Petrov, Slav; Chi, Ed H.; Dean, Jeff; Devlin, Jacob; Roberts, Adam; Zhou, Denny; Le, Quoc V.; Wei, Jason (2022). "Scaling Instruction-Finetuned Language Models". arXiv:2210.11416 .
  26. ↑ (Ingelesez) «Better Language Models Without Massive Compute» research.google (kontsulta data: 2025-01-31).
  27. ↑ Sahoo, Pranab; Singh, Ayush Kumar; Saha, Sriparna; Jain, Vinija; Mondal, Samrat; Chadha, Aman (2024-02-0
  28. ↑ Hu, Hanxu; Lu, Hongyuan; Zhang, Huajian; Song, Yun-Ze; Lam, Wai; Zhang, Yue (2023-10-03). "Chain-of-Symbol Prompting Elicits Planning in Large Language Models". arXiv:2305.10276.
  29. ↑ Garg, Shivam; Tsipras, Dimitris; Liang, Percy; Valiant, Gregory (2022). "What Can Transformers Learn In-Context? A Case Study of Simple Function Classes". arXiv:2208.01066.
  30. ↑ Brown, Tom; Mann, Benjamin; Ryder, Nick; Subbiah, Melanie; Kaplan, Jared D.; Dhariwal, Prafulla; Neelakantan, Arvind (2020). "Language models are few-shot learners". Advances in Neural Information Processing Systems. 33: 1877–1901. arXiv:2005.14165.
  31. ↑ Liu, Jiacheng; Liu, Alisa; Lu, Ximing; Welleck, Sean; West, Peter; Le Bras, Ronan; Choi, Yejin; Hajishirzi, Hannaneh. (2022-05). Muresan, Smaranda ed. «Generated Knowledge Prompting for Commonsense Reasoning» Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (Association for Computational Linguistics): 3154–3169.  doi:10.18653/v1/2022.acl-long.225. (kontsulta data: 2025-01-31).
  32. ↑ a b Zhou, Denny; Schärli, Nathanael; Hou, Le; Wei, Jason; Scales, Nathan; Wang, Xuezhi; Schuurmans, Dale; Cui, Claire; Bousquet, Olivier; Le, Quoc; Chi, Ed (2022-05-01). "Least-to-Most Prompting Enables Complex Reasoning in Large Language Models". arXiv:2205.10625. ...least-to-most prompting. The key idea in this strategy is to break down a complex problem into a series of simpler subproblems and then solve them in sequence.
  33. ↑ Wang, Xuezhi; Wei, Jason; Schuurmans, Dale; Le, Quoc; Chi, Ed; Narang, Sharan; Chowdhery, Aakanksha; Zhou, Denny (2022-03-01). "Self-Consistency Improves Chain of Thought Reasoning in Language Models". arXiv:2203.11171.
  34. ↑ Diao, Shizhe; Wang, Pengcheng; Lin, Yong; Zhang, Tong (2023-02-01). "Active Prompting with Chain-of-Thought for Large Language Models". arXiv:2302.12246.
  35. ↑ Fu, Yao; Peng, Hao; Sabharwal, Ashish; Clark, Peter; Khot, Tushar (2022-10-01). "Complexity-Based Prompting for Multi-Step Reasoning". arXiv:2210.00720.
  36. ↑ Madaan, Aman; Tandon, Niket; Gupta, Prakhar; Hallinan, Skyler; Gao, Luyu; Wiegreffe, Sarah; Alon, Uri; Dziri, Nouha; Prabhumoye, Shrimai; Yang, Yiming; Gupta, Shashank; Prasad Majumder, Bodhisattwa; Hermann, Katherine; Welleck, Sean; Yazdanbakhsh, Amir (2023-03-01). "Self-Refine: Iterative Refinement with Self-Feedback". arXiv:2303.17651.
  37. ↑ Long, Jieyi (2023-05-15). "Large Language Model Guided Tree-of-Thought". arXiv:2305.08291.
  38. ↑ a b Jung, Jaehun; Qin, Lianhui; Welleck, Sean; Brahman, Faeze; Bhagavatula, Chandra; Le Bras, Ronan; Choi, Yejin (2022). "Maieutic Prompting: Logically Consistent Reasoning with Recursive Explanations". arXiv:2205.11822.
  39. ↑ Li, Zekun; Peng, Baolin; He, Pengcheng; Galley, Michel; Gao, Jianfeng; Yan, Xifeng (2023). "Guiding Large Language Models via Directional Stimulus Prompting". arXiv:2302.11520. The directional stimulus serves as hints or cues for each input query to guide LLMs toward the desired output, such as keywords that the desired summary should include for summarization.
  40. ↑ OpenAI and over 200 people (2023-03-27). "GPT-4 Technical Report". arXiv:2303.08774 .
  41. ↑ (Ingelesez) Eliot, Lance. «Latest Prompt Engineering Technique Aims To Get Certainty And Uncertainty Of Generative AI Directly On The Table And Out In The Open» Forbes (kontsulta data: 2025-01-31).
  42. ↑ «How Each Index Works - LlamaIndex 🦙 v0.10.17» docs.llamaindex.ai (kontsulta data: 2025-01-31).
  43. ↑ Lewis, Patrick; Perez, Ethan; Piktus, Aleksandra; Petroni, Fabio; Karpukhin, Vladimir; Goyal, Naman; Küttler, Heinrich; Lewis, Mike et al.. (2020). «Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks» Advances in Neural Information Processing Systems (Curran Associates, Inc.) 33: 9459–9474. (kontsulta data: 2025-01-31).
  44. ↑ (Ingelesez) Potts, Brenda. (2024-02-13). «GraphRAG: A new approach for discovery using complex information» Microsoft Research (kontsulta data: 2025-01-31).
  45. ↑ Edge, Darren; Trinh, Ha; Cheng, Newman; Bradley, Joshua; Chao, Alex; Mody, Apurva; Truitt, Steven; Larson, Jonathan (2024). "From Local to Global: A Graph RAG Approach to Query-Focused Summarization". arXiv:2404.16130.
  46. ↑ Wei, Jason; Tay, Yi; Bommasani, Rishi; Raffel, Colin; Zoph, Barret; Borgeaud, Sebastian; Yogatama, Dani; Bosma, Maarten; Zhou, Denny; Metzler, Donald; Chi, Ed H.; Hashimoto, Tatsunori; Vinyals, Oriol; Liang, Percy; Dean, Jeff; Fedus, William (31 August 2022). "Emergent Abilities of Large Language Models". arXiv:2206.07682.
  47. ↑ Garg, Shivam; Tsipras, Dimitris; Liang, Percy; Valiant, Gregory (2022). "What Can Transformers Learn In-Context? A Case Study of Simple Function Classes". arXiv:2208.01066. Training a model to perform in-context learning can be viewed as an instance of the more general learning-to-learn or meta-learning paradigm
  48. ↑ (Ingelesez) Stable Diffusion prompt: a definitive guide - Stable Diffusion Art. 2023-02-08 (kontsulta data: 2025-01-31).
  49. ↑ (Ingelesez) «This artist is dominating AI-generated art. And he’s not happy about it.» MIT Technology Review (kontsulta data: 2025-01-31).

Kanpo estekak

[aldatu | aldatu iturburu kodea]
"https://eu.wikipedia.org/w/index.php?title=Prompt_ingeniaritza&oldid=10459144"(e)tik eskuratuta