Стриминг

Со stream: true ответ приходит частями по мере генерации, в формате Server-Sent Events. Стоимость та же. Ошибка до первого чанка приходит обычным ответом: HTTP-код и JSON, как без стриминга.

chat/completions

События data: с объектами chat.completion.chunk. Поток кончается строкой data: [DONE]

include_usage

Со stream_options.include_usage: true usage придёт в последнем чанке перед [DONE]. Его choices может быть пустым: проверяйте длину, прежде чем брать choices[0]. Без include_usage чанка с одним usage нет, но у многих моделей usage всё равно приходит в чанке с finish_reason

responses

События от response.created до response.completed, или response.incomplete, если ответ упёрся в max_output_tokens. usage — в последнем. Тип события — в поле type; строки event: может не быть

stream_interrupted

Поток оборвался после начала ответа: у провайдера или по таймауту, см. «Лимиты». Статус уже 200, поэтому ошибка приходит последним событием, [DONE] после неё нет. В Chat Completions это data: {"error": {"code": "stream_interrupted", "type": "server_error", …}}, SDK OpenAI бросают на нём исключение. В Responses — событие error с "code": "stream_interrupted". Списываем только то, что дошло

обрыв соединения

Если соединение оборвано, запрос дорабатывается у провайдера и оплачивается по фактическому usage: провайдер выставляет счёт за весь ответ, дошёл он до вас или нет. Поток дочитываем не дальше max_tokens запроса, без него не дальше лимита модели по умолчанию. Пока ответ дорабатывается, запрос занимает слот параллельности ключа. Так же и без стриминга