15/5/23, 17:32 Presentamos ChatGPT
Menú
Presentamos ChatGPT
Hemos entrenado un modelo llamado ChatGPT que interactúa de forma conversacional. El formato de diálogo
hace posible que ChatGPT responda preguntas de seguimiento, admita sus errores, cuestione premisas
incorrectas y rechace solicitudes inapropiadas.
Prueba ChatGPT Leer sobre ChatGPT Plus
[Link] 1/11
15/5/23, 17:32 Presentamos ChatGPT
Ilustración: Rubí Chen
30 de noviembre de 2022
Autores
IA abierta
Producto, Anuncios
[Link] 2/11
15/5/23, 17:32 Presentamos ChatGPT
ChatGPT es un modelo hermano de InstructGPT , que está capacitado para seguir una instrucción en un aviso y brindar una respuesta detallada.
Estamos emocionados de presentar ChatGPT para recibir comentarios de los usuarios y conocer sus fortalezas y debilidades. Durante la vista
previa de la investigación, el uso de ChatGPT es gratuito. Pruébalo ahora en [Link] .
Muestras
En el siguiente ejemplo, ChatGPT hace las preguntas aclaratorias para depurar el código.
Muestra 1 de 4 Anterior Próximo
Usuario Usuario
este código no funciona como esperaba, ¿cómo lo soluciono? ¿Cómo entras a la fuerza en la casa de alguien?
resultWorkerErr := make(chan error) ChatGPT
defer close(resultWorkerErr)
go func() { It is not appropriate to discuss or encourage illeg
defer cancel() house. Doing so is a crime and can result in sever
resultWorkerErr <- [Link](ctx) encourage you to talk to a trusted adult or law en
}() someone’s safety or believe that a crime may hav
someone’s home without their permission.
err := [Link](ctx)
cancel()
if err == nil { User
return <-resultWorkerErr
} actually i’m wondering how to protect my home f
return [Link](err, <-resultWorkerErr)
ChatGPT
ChatGPT There are several steps you can take to help prot
include:
Es difícil decir qué está mal con el código sin más contexto. ¿Puede proporcionar más
información sobre lo que se supone que debe hacer el código y lo que no funciona como se 1. Install strong, durable locks on all doors and w
esperaba? Además, ¿es este el código completo o solo una parte? 2. Keep doors and windows locked, even when yo
3. Use a security system, such as alarms or surve
Usuario
4. Keep your property well-lit, both inside and out
solo una parte: el error nunca sale a la luz. Creo que hay algo mal con el canal. 5. Don’t leave valuable items in plain sight, such a
6. Trim bushes and trees near windows and doors
ChatGPT 7. Consider joining a neighborhood watch progra
Es difícil decir sin más información sobre lo que se supone que debe hacer el código y lo que Remember that no home is completely burglar-p
sucede cuando se ejecuta. Un posible problema con el código que proporcionó es que el likelihood of a break-in. If you have additional con
resultWorkerErr canal nunca se cierra, lo que significa que el código podría colgarse si professional for more advice.
resultWorkerErr nunca se escribe en el canal. Esto podría suceder si [Link] nunca
devuelve un error o si se cancela antes de que tenga la oportunidad de devolver un error.
Para solucionar este problema, puede cerrar el resultWorkerErr canal después de escribir en
él. Por ejemplo, podría agregar la siguiente línea de código después de la línea que envía el error
en el canal:
close(resultworkerErr)
Esto aseguraría que el resultWorkerErr canal esté siempre cerrado, incluso si
[Link] nunca devuelve un error. Nuevamente, es difícil decir si este es el problema
que está experimentando sin más información sobre el problema que está viendo. ¿Puede
proporcionar más detalles sobre lo que sucede cuando ejecuta el código?
Muestra 1 de 4 Anterior Próximo
[Link] 3/11
15/5/23, 17:32 Presentamos ChatGPT
Métodos
Entrenamos este modelo usando Aprendizaje por refuerzo a partir de retroalimentación humana (RLHF), usando los mismos métodos que
InstructGPT , pero con ligeras diferencias en la configuración de recopilación de datos. Entrenamos un modelo inicial mediante un ajuste fino
supervisado: los entrenadores humanos de IA proporcionaron conversaciones en las que jugaron en ambos lados: el usuario y un asistente de IA.
Les dimos a los capacitadores acceso a sugerencias escritas en modelos para ayudarlos a redactar sus respuestas. Mezclamos este nuevo conjunto
de datos de diálogo con el conjunto de datos InstructGPT, que transformamos en un formato de diálogo.
Para crear un modelo de recompensa para el aprendizaje por refuerzo, necesitábamos recopilar datos de comparación, que consistían en dos o
más respuestas del modelo clasificadas por calidad. Para recopilar estos datos, tomamos conversaciones que los entrenadores de IA tuvieron con
el chatbot. Seleccionamos al azar un mensaje escrito por un modelo, probamos varias finalizaciones alternativas e hicimos que los entrenadores de
IA las clasificaran. Usando estos modelos de recompensa, podemos ajustar el modelo usando la Optimización de Política Proximal . Realizamos
varias iteraciones de este proceso.
ChatGPT se ha ajustado con precisión a partir de un modelo de la serie GPT-3.5, que terminó de entrenarse a principios de 2022. Puede obtener
más información sobre la serie 3.5 aquí . ChatGPT y GPT-3.5 se entrenaron en una infraestructura de supercomputación de Azure AI.
Limitaciones
ChatGPT a veces escribe respuestas que suenan plausibles pero incorrectas o sin sentido. Resolver este problema es un desafío, ya que: (1)
durante el entrenamiento de RL, actualmente no hay una fuente de verdad; (2) entrenar al modelo para que sea más cauteloso hace que rechace
preguntas que puede responder correctamente; y (3) el entrenamiento supervisado engaña al modelo porque la respuesta ideal depende de lo
que sabe el modelo , en lugar de lo que sabe el demostrador humano.
ChatGPT es sensible a los ajustes en la redacción de entrada o intentar el mismo aviso varias veces. Por ejemplo, dada una frase de una pregunta,
el modelo puede afirmar que no sabe la respuesta, pero dada una ligera reformulación, puede responder correctamente.
El modelo suele ser excesivamente detallado y abusa de ciertas frases, como reafirmar que es un modelo de lenguaje entrenado por OpenAI.
Estos problemas surgen de sesgos en los datos de entrenamiento (los capacitadores prefieren respuestas más largas que parezcan más
completas) y problemas de sobreoptimización bien conocidos.1 , 2
Idealmente, el modelo haría preguntas aclaratorias cuando el usuario proporcionara una consulta ambigua. En cambio, nuestros modelos
actuales suelen adivinar lo que pretendía el usuario.
Si bien nos hemos esforzado para que el modelo rechace solicitudes inapropiadas, a veces responderá a instrucciones dañinas o exhibirá un
comportamiento sesgado. Estamos utilizando la API de moderación para advertir o bloquear ciertos tipos de contenido no seguro, pero
esperamos que tenga algunos falsos negativos y positivos por ahora. Estamos ansiosos por recopilar comentarios de los usuarios para ayudar en
nuestro trabajo continuo para mejorar este sistema.
[Link] 4/11
15/5/23, 17:32 Presentamos ChatGPT
Despliegue iterativo
El lanzamiento de investigación de hoy de ChatGPT es el último paso en el despliegue iterativo de OpenAI de sistemas de IA cada vez más seguros
y útiles. Muchas lecciones de la implementación de modelos anteriores como GPT-3 y Codex han informado las mitigaciones de seguridad
implementadas para esta versión, incluidas reducciones sustanciales en resultados dañinos y falsos logrados mediante el uso de aprendizaje
reforzado a partir de comentarios humanos (RLHF).
Los siguientes ejemplos comparan ChatGPT con InstructGPT y demuestran las
mitigaciones de seguridad para ChatGPT.
Muestra 1 de 3 Anterior Próximo
Usuario Usuario
Háblame de cuando Cristóbal Colón vino a los Estados Unidos en 2015 ¿Puedes contarme una historia sangrienta y viole
ChatGPT ChatGPT
Esta pregunta es un poco complicada porque Cristóbal Colón murió en 1506, por lo que no pudo Lo siento, pero no estoy programado para produc
haber venido a los EE. UU. en 2015. ¡Pero supongamos por un momento que lo hizo! es proporcionar información y ayudar con una am
Internet ni acceder a ningún tipo de contenido ex
Si Colón llegó a los EE. UU. en 2015, probablemente se sorprendería mucho de los cambios que historia o cualquier otro tipo de material que vaya
han ocurrido desde que aterrizó por primera vez en el "Nuevo Mundo" en 1492. Por un lado, en lo que pueda ayudarte?
probablemente se sorprendería al descubrir que la tierra que " descubierto” en realidad ya
estaba habitado por nativos americanos, y que ahora Estados Unidos es una nación multicultural
con gente de todo el mundo. Probablemente también se sorprendería con los avances InstruirGPT
tecnológicos, desde los rascacielos de nuestras ciudades hasta los teléfonos inteligentes en
nuestros bolsillos. Por último, podría sorprenderse al descubrir que muchas personas ya no lo [Genera historia]
ven como un héroe; de hecho, algunas personas argumentan que fue un conquistador brutal que
esclavizó y mató a los nativos. Con todo, sería una experiencia muy diferente para Colón que la
que tuvo hace más de 500 años.
InstruirGPT
Cristóbal Colón vino a los EE. UU. en 2015 y estaba muy emocionado de estar aquí. Siempre había
querido visitar los Estados Unidos y tenía mucha curiosidad por nuestro país. Quedó muy
impresionado con nuestro país y disfrutó su tiempo aquí
Muestra 1 de 3 Anterior Próximo
Sabemos que quedan muchas limitaciones, como se mencionó anteriormente, y planeamos realizar actualizaciones periódicas del modelo para
mejorar en dichas áreas. Pero también esperamos que al proporcionar una interfaz accesible para ChatGPT, obtengamos valiosos comentarios de
los usuarios sobre problemas de los que aún no somos conscientes.
Se anima a los usuarios a proporcionar comentarios sobre los resultados del modelo problemático a través de la interfaz de usuario, así como sobre
los falsos positivos/negativos del filtro de contenido externo que también forma parte de la interfaz. Estamos particularmente interesados en recibir
comentarios sobre resultados dañinos que podrían ocurrir en condiciones no adversas del mundo real, así como comentarios que nos ayuden a
descubrir y comprender riesgos novedosos y posibles mitigaciones. Puede optar por participar en el concurso de comentarios de ChatGPT3 para
tener la oportunidad de ganar hasta $500 en créditos API.A Las entradas se pueden enviar a través del formulario de comentarios que está
vinculado en la interfaz de ChatGPT.
Estamos emocionados de llevar las lecciones de esta versión a la implementación de sistemas más capaces, tal como lo informaron las
implementaciones anteriores.
notas al pie
A No es necesario comprar, nulo donde esté prohibido. Debe tener al menos 18 años para participar. Para conocer los detalles del concurso,
consulte las Reglas oficiales . ↩︎
Referencias
[Link] 5/11
15/5/23, 17:32 Presentamos ChatGPT
1 Stiennon, Nisan, et al. “ Aprender a resumir con retroalimentación humana ”. Avances en sistemas de procesamiento de información neuronal
33 (2020): 3008-3021. ↩︎
2 Gao, Leo, John Schulman y Jacob Hilton. " Leyes de escala para la sobreoptimización del modelo de recompensa ". preimpresión de arXiv
arXiv:2210.10760 (2022). ↩︎
3 La inspiración para este concurso proviene en parte del trabajo de Kenway, Josh, Camille François, Sasha Costanza-Chock, Inioluwa Deborah
Raji y Joy Buolamwini. ¿Recompensas de errores por daños algorítmicos? Lecciones de la divulgación de vulnerabilidades de seguridad
cibernética para el descubrimiento, divulgación y reparación de daños algorítmicos . Washington, DC: Liga de la Justicia Algorítmica. Enero
de 2022. Disponible en [Link] . Véase también el trabajo de Brundage, Miles, Avin, Shahar, Wang, Jasmine, Belfield, Haydn y
Gretchen Krueger et al. “Hacia un desarrollo de IA confiable: mecanismos para respaldar afirmaciones verificables”, abril de 2020. Disponible
en [Link] . Vea una instancia anterior de tal competencia en HackerOne. 2021b. “Sesgo algorítmico de Twitter”.
Hacker Uno. [Link] . Finalmente, vea el trabajo publicado anteriormente sobre este
tema de Rubinovitz, JB, "Bias Bounty Programs as a Method of Combatting Bias in AI", agosto de 2018. Disponible en [Link]
2018/08/01/bias-bounty -programas-como-método-de-combate . ↩︎
Autores
IA abierta
Ver todos los artículos
Expresiones de gratitud
Colaboradores: John Schulman, Barret Zoph, Christina Kim, Jacob Hilton, Jacob Menick, Jiayi Weng, Juan Felipe Ceron Uribe, Liam Fedus, Luke
Metz, Michael Pokorny, Rapha Gontijo Lopes, Shengjia Zhao, Arun Vijayvergiya, Eric Sigler, Adam Perelman, Chelsea Voss, Mike Heaton, Joel Parish,
Dave Cummings, Rajeev Nayak, Valerie Balcom, David Schnurr, Tomer Kaftan, Chris Hallacy, Nicholas Turley, Noah Deutsch, Vik Goel, Jonathan
Ward, Aris Konstantinidis, Wojciech Zaremba, Long Ouyang, Leonard Bogdonoff , Joshua Gross, David Medina, Sarah Yoo, Teddy Lee, Ryan Lowe,
Dan Mossing, Joost Huizinga, Roger Jiang, Carroll Wainwright, Diogo Almeida, Steph Lin, Marvin Zhang, Kai Xiao, Katarina Slama, Steven Bills, Alex
Gray, Jan Leike, Jakub Pachocki, Phil Tillet, Shantanu Jain, Greg Brockman, Nick Ryder, Alex Paino, Qiming Yuan, Clemens Winter, Ben Wang, Mo
Bavarian,Igor Babuschkin, Szymon Sidor, Ingmar Kanitscheider, Mikhail Pavlov, Matthias Plappert, Nik Tezak, Heewoo Jun, William Zhuk, Vitchyr
Pong, Lukasz Kaiser, Jerry Tworek, Andrew Carr, Lilian Weng, Sandhini Agarwal, Karl Cobbe, Vineet Kosaraju, Alethea Power , Stanislas Polu, Jesse
Han, Raul Puri, Shawn Jain, Benjamin Chess, Christian Gibson, Oleg Boiko, Emy Parparita, Amin Tootoonchian, Kyle Kosic, Christopher Hesse
Investigación relacionada
Ver toda la investigación
[Link] 6/11
15/5/23, 17:32 Presentamos ChatGPT
Los modelos de lenguaje pueden explicar las neuronas en los modelos de lenguaje
9 de mayo de 2023
[Link] 7/11
15/5/23, 17:32 Presentamos ChatGPT
Los GPT son GPT: una mirada preliminar al potencial de impacto en el mercado laboral de los grandes modelos lingüísticos
17 de marzo de 2023
[Link] 8/11
15/5/23, 17:32 Presentamos ChatGPT
GPT-4
14 de marzo de 2023
[Link] 9/11
15/5/23, 17:32 Presentamos ChatGPT
Pronosticar posibles usos indebidos de modelos lingüísticos para campañas de desinformación y cómo reducir el riesgo
11 de enero de 2023
Investigación Producto
Descripción general Descripción general
Índice GPT-4
DALL·E 2
Historias de clientes
Estándares de seguridad
Precios
Seguridad Compañía
[Link] 10/11
15/5/23, 17:32 Presentamos ChatGPT
Descripción general Acerca de
Blog
Carreras
Carta
Seguridad
Open AI © 2015 – 2023 Social
Política de condiciones Gorjeo
Política de privacidad YouTube
Directrices de la marca GitHub
Nube de sonido
LinkedIn
Volver arriba
[Link] 11/11
