ITA-Wiki Generar descripciones de recursos con IA (ChatGpt)

[marmorrei]

Ideas para implementar IA en el formulario de creación de recursos de la ITA-Wiki:

• Introducir título, tema, url y tipo para que chatgpt genere una breve descripción del recurso.

[danny-mv]

Hugging face puede ser otra opción gratuita para valorar.

• Los límites de los modelos son de hasta 10 GB.
• Hay límites de tasas de solicitud.
• Tiene un reseteo de límite horario

[kevinmamaqi]

Generar traducciones también del título y la descripción.
Modificar DB para aceptar traducciones

[kevinmamaqi]

Evaluate models with the given parameters:

title: "Use repository pattern in nodejs"
type: "BLOG"
topic: "Backend Development"
url: https://4markdown.com/understanding-repository-pattern-in-nodejs-and-typescript/

Request a response of maximum 300 words.
Evaluate models rate limits
Evaluate models accuracy

[ClaudioMartinH]

HuggingFace Serverless Inference API

• Documentation: https://huggingface.co/docs/api-inference/index

Overview

Model Tested: "Qwen/Qwen2.5-Coder-32B-Instruct"

• Documentation: https://huggingface.co/Qwen/Qwen2.5-Coder-32B-Instruct
• Endpoint: https://api-inference.huggingface.co/models/Qwen/Qwen2.5-Coder-32B-Instruct
• Input EN:
  Please provide a small summary of the following resource "NodeJs Introduction", including the key points, the main purpose, and the most relevant concepts. Use a clear and accessible tone. The resource can be found at "https://nodejs.org/en/learn/getting-started/introduction-to-nodejs", and its topic "Developing". The summary should be between 200 and 300 words.
• Output EN:
  This introduction to Node.js covers what it is, how it works, why you might use it, and provides examples for beginners.
  Node.js is an open-source JavaScript runtime built on Chrome's V8 engine that allows developers to run JavaScript outside the browser. It uses an event-driven, non-blocking I/O model which makes it lightweight and efficient, particularly suited for data-intensive real-time applications like single-page apps, web servers, network utilities, etc.
  The core concept behind Node.js is asynchronous programming.
• Input ES: Proporciona un resumen del siguiente recurso "Introducción a Node.js", incluyendo los puntos clave, el objetivo principal y los conceptos más relevantes. Utiliza un tono claro
  accesible. El recurso se puede encontrar en "https://nodejs.org/en/learn/getting-started/introduction-to-nodejs", y su tema es "Desarrollo". El resumen debe tener entre 200 y 300 palabras.
• Output ES: El documento proporcionado por la página oficial de Node.js ofrece una introducción clara al mundo de este entorno de ejecución para JavaScript que permite desarrolladores
  construir aplicaciones rápidas y escalables.
  Los puntos clave abordados son:
  Qué es Node.js: Se explica que Node.js no es un lenguaje de programación ni un marco web, sino un tiempo de ejecución basado en Chrome V8 Engine que utiliza JavaScript fuera del navegador
• Input CA: `Proporciona un resum del següent recurs "Introducció a Node.js", incloent els punts clau, l'objetiu principal i els conceptes més rellevants. Utilitza un to clar i accessible.
  El recurs es pot trobar a "https://nodejs.org/en/learn/getting-started/introduction-to-nodejs", i el tema es "Desenvolupament". El resum ha de ser de 300 paraules com a màxim
• Output CA: El document titulat "Introducció a Node.js" és una guia que pretén explicar les bases d'aquest entorn d’execució JavaScript del costat servidor (server-side).
  L'objectiu principal és proporcionar als desenvolupadors novells o experimentats amb coneixements sobre la naturalesa única de Node.js, destacant les seves característiques diferenciadores en comparació amb altres plataformes web.

---

Model Tested: "EleutherAI/gpt-neo-2.7B"

• Documentation: https://huggingface.co/EleutherAI/gpt-neo-2.7B
• Endpoint: https://api-inference.huggingface.co/models/EleutherAI/gpt-neo-2.7B
• Input EN:
  Please provide a small summary of the following resource "NodeJs Introduction", including the key points, the main purpose, and the most relevant concepts. Use a clear and accessible tone. The resource can be found at "https://nodejs.org/en/learn/getting-started/introduction-to-nodejs", and its topic "Developing". The summary should be between 200 and 300 words.
• Output EN:
  A. The NodeJS tutorial - Node.js is a free and open source software project for creating fast, scalable networked applications. Node.js provides a simple, non-blocking I/O API, a rich JavaScript environment, a simple event loop, and a powerful, asynchronous I/O model for creating large, scalable, and reliable networked applications. Node.js is ideal for building a real-time, multiplayer online game or a Web-based client-server application.
• Input ES: Proporciona un resumen del siguiente recurso "Introducción a Node.js", incluyendo los puntos clave, el objetivo principal y los conceptos más relevantes.
  Utiliza un tono claro y accesible. El recurso se puede encontrar en "https://nodejs.org/en/learn/getting-started/introduction-to-nodejs", y su tema es "Desarrollo". El resumen debe tener entre 200 y 300 palabras.
• Output ES: Para una introducción completa de Node.js {#introduction-nodejs}
  Introducción a Node.js
  [Introducción a JavaScript](<https://www.youtube.com/watch?v=zt7zVq1b-InstructkXQ&t)
• Input CA: Proporciona un resum del següent recurs "Introducció a Node.js", incloent els punts clau, l'objetiu principal i els conceptes més rellevants. Utilitza un to clar i accessible.
  El recurs es pot trobar a "https://nodejs.org/en/learn/getting-started/introduction-to-nodejs", i el tema es "Desenvolupament". El resum ha de ser de 300 paraules com a màxim
• Output CA: No output

---

Model Tested: "meta-llama/Llama-3.2-1B-Instruct"

• Documentation: https://huggingface.co/meta-llama/Llama-3.2-1B-Instruct
• Endpoint: https://api-inference.huggingface.co/models/meta-llama/Llama-3.2-1B-Instruct
• Input EN:
  Please provide a small summary of the following resource "NodeJs Introduction", including the key points, the main purpose, and the most relevant concepts. Use a clear and accessible tone. The resource can be found at "https://nodejs.org/en/learn/getting-started/introduction-to-nodejs", and its topic "Development".
• Output EN:
  The Node.js Introduction guide covers the basics of Node.js, including the development process, key concepts, and best practices. It's designed to help you get started with Node.js and build small projects. The guide covers topics such as:
  • Setting up a new Node.js project.
  • Creating a new file and writing code.
  • Understanding Node.js modules and dependencies.
  • Building a simple web server.
  • Creating a simple web application.
• Input ES: roporciona un resumen del siguiente recurso "Introducción a Node.js", incluyendo los puntos clave, el objetivo principal y los conceptos más relevantes.
  Utiliza un tono claro y accesible. El recurso se puede encontrar en "https://nodejs.org/en/learn/getting-started/introduction-to-nodejs", y su tema es "Desarrollo". El resumen debe tener entre 200 y 300 palabras.
• Output ES: Introducción a Node.js
  Objetivo principal: Node.js es un entorno de desarrollo de aplicaciones escalables y flexible que utiliza JavaScript para construir aplicaciones web y móviles.
  Conceptos clave:
  • Node.js: La plataforma de desarrollo que permite a los desarrolladores crear aplicaciones web y móviles con JavaScript.
  • Express.js: Un framework de aplicación web popular que utiliza Node.js para crear aplicaciones web.
• Input CA: Proporciona un resum del següent recurs "Introducció a Node.js", incloent els punts clau, l'objetiu principal i els conceptes més rellevants. Utilitza un to clar i accessible.
  El recurs es pot trobar a "https://nodejs.org/en/learn/getting-started/introduction-to-nodejs", i el tema es "Desenvolupament". El resum ha de ser de 300 paraules com a màxim.
• Output CA: L'objectiu principal de Node.js és crear apps, aplicacions web i aplicacions distribuïdes. Node.js permet la creació d'aplicacions en línica (programes) amb l'ús d'una base de dades, la gestió de files i la llicència. Node.js es un lenguaje de programació orientat a Object (OOP) amb estructures de programació funcional

---

Models Currently Unavailable

• Model: "infly/OpenCoder-8B-Instruct" - Not able to use.
• Model: "Nexusflow/Athene-V2-Chat" - Requires 145GB, not able to use.
• Model: "tiiuae/falcon-7b" - Requires 14GB, not able to use.
• Model: "nvidia/Llama-3.1-Nemotron-70B-Instruct-HF" - Requires a Pro subscription.
• Model: "mistralai/Mistral-Nemo-Instruct-2407" - Currently loading, cannot be tested yet.
• Model: "KoboldAI/GPT-Neo-2.7B-AID" - Currently loading, cannot be tested yet.
• Model: "KoboldAI/GPT-Neo-2.7B-Shinen" - Currently loading, cannot be used yet.

---

User Tier & Rate Limit

• Documentation: https://huggingface.co/docs/api-inference/rate-limits

User Tier	Rate Limit
Signed-up Users	1,000 requests per day
PRO Users	20,000 requests per day

Model Testing Status on Hugging Face

Tested Successfully
████████ (3)

Currently Loading
████████ (3)

Cannot Be Tested
██████████ (4)

Accuracy of Tested Models

Qwen2.5-Coder-32B-Instruct
████████ | 80%

GPT-Neo-2.7B
██████ | 60%

Llama-3.2-1B-Instruct
███████ | 70%

• Consistency and Relevance of Results:

  Qwen2.5-Coder-32B-Instruct achieved the highest accuracy, as it consistently generated relevant and well-formulated responses for the tasks assigned. This suggests a higher capability to understand and effectively execute instructions in various contexts, justifying an accuracy score of 80%.

• Performance with Technical Cases:

  Llama-3.2-1B-Instruct showed moderate accuracy in its results. While it did not have issues generating coherent and useful responses in general, it seemed to struggle with more complex technical cases or specific multilingual inputs. This justifies an accuracy score of 70%.

• Performance with Complex Instructions:

  GPT-Neo-2.7B exhibited less consistent performance, with some instances where the responses were incomplete or harder to follow. This suggests that the model may not have handled some instructions with the same precision or relevance as the other models. As a result, it was given an accuracy score of 60%.