Сравнение переводчиков Bing, Google, Яндекс и DeepL

Искусственный интеллект и его применение

Сравнение переводчиков

Сообщение Speranza » Пн янв 14, 2019 11:51 am

Oleg писал(а):Ну и уже очевидно, что пора делать соционическую нейросеть.
Основная проблема в том, что ей на вход нужно много точных данных.
Миллионы фото или текстов.



А какое практическое применение такой нейросети - типирование по текстам и фото?
Или просто обучение соционике?
"Дюма" и "Гёте" в моём профиле суть типы временные, игровые и ситуативные
Аватара пользователя
Speranza
Гуру
Гуру
 
Сообщения: 22407
Зарегистрирован: Пт май 04, 2018 11:27 pm
Откуда: Germany
Медали: 8
Пол: Женский
Соционический тип: Дюма
Тип по психе-йоге: Гёте (ФВЛЭ)
Темперамент: Сангвиник
Профессия: филолог

Сравнение переводчиков Bing, Google, Яндекс и DeepL

Сообщение Oleg » Пн янв 14, 2019 2:22 pm

Speranza, типирование конечно.
Есть же нейросети, которые отличают кошек от собак, мужчин от женщин, на кого из знаменитостей больше всего похоже фото.
И так далее.
Но им на вход подают миллионы фото, иначе результат нестабилен.
А вот протипировать миллион юзеров, чтобы потом их фото скормить нейросетям для обучения это мягко говоря сложно.
Аватара пользователя
Oleg
Администратор
Администратор
 
Сообщения: 75645
Зарегистрирован: Вс окт 09, 2005 9:08 pm
Откуда: Москва
Медали: 10
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Сократ (ВЛЭФ)
Темперамент: Флегматик
Профессия: Программист, оптимизатор

Сравнение переводчиков Bing, Google, Яндекс и DeepL

Сообщение Oleg » Пн янв 14, 2019 2:27 pm

Speranza писал(а):Ну как бы сказать, с чисто логической точки зрения смысловой ряд один, но ошибка - это нейтральное слово, а ляп - оценочно-экспрессивное, выражает отношение того, кто говорит. И ещё это разговорное, просторечное слово. Если брать литературный вариант - то ляп это скорее не ошибка, а промах. В английском есть похожие разговорные словечки, и даже сходное звучание - "lapse", очевидно, это производное от латинского lapsus. Тут дело в чём: у большинства употребительных слов есть несколько синонимов, стало быть, нужно выбрать из возможных вариантов перевода один - самый подходящий по смыслу и контексту. Хороший переводчик это сразу улавливает, а нейросеть скорее выберет просто самое употребительное слово, что не всегда точно.

Эти нюансы важны только при переводе книг по литературе.
При технических переводах, в быту, при поездке в новую страну уже вполне достаточно того качества, которое дает DeepL.
Но конечно, это явно не финальная версия.
Посмотрим, что будет через 5-10 лет.
Аватара пользователя
Oleg
Администратор
Администратор
 
Сообщения: 75645
Зарегистрирован: Вс окт 09, 2005 9:08 pm
Откуда: Москва
Медали: 10
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Сократ (ВЛЭФ)
Темперамент: Флегматик
Профессия: Программист, оптимизатор

Сравнение переводчиков Bing, Google, Яндекс и DeepL

Сообщение Speranza » Пн янв 14, 2019 2:48 pm

Oleg писал(а):Speranza, типирование конечно.
Есть же нейросети, которые отличают кошек от собак, мужчин от женщин, на кого из знаменитостей больше всего похоже фото.
И так далее.
Но им на вход подают миллионы фото, иначе результат нестабилен.
А вот протипировать миллион юзеров, чтобы потом их фото скормить нейросетям для обучения это мягко говоря сложно.


Было в контакте такое приложение, которое типировало по фото - потом его сняли.
Не помню уже, кто именно его делал - это был энтузиаст-одиночка, собирал свою базу данных, просил присылать ему фото с результатами.
Я прогнала через приложение пару-тройку десятков фотографий моих родственников и друзей - понятно, что типировала я их не по внешности, а по "общей картине", совпадений с моими версиями оказалось порядка 30% - причём все без исключения, кто совпал, были интровертные логики, из этиков не совпал никто. Меня по фото на документы тоже записали в ЛИИ. :D

Ну, допустим, можно общими усилиями собрать очень большую базу данных, за основу брать самотипирование и типирование авторитетных социоников - если верить Таланову, "по закону больших чисел" должно функционировать. Но это ж изначально предполагает, что люди одного ТИМа должны быть похожи по каким-то статичным сенсорным параметрам (типа форма носа, овал лица, разрез глаз и т.п.) Крайне сомнительно с точки зрения теории, хотя на практике "ТИМные" типажи внешности действительно встречаются.
Или можно научить нейросеть считывать по фото выражение лица и эмоции? :D
"Дюма" и "Гёте" в моём профиле суть типы временные, игровые и ситуативные
Аватара пользователя
Speranza
Гуру
Гуру
 
Сообщения: 22407
Зарегистрирован: Пт май 04, 2018 11:27 pm
Откуда: Germany
Медали: 8
Пол: Женский
Соционический тип: Дюма
Тип по психе-йоге: Гёте (ФВЛЭ)
Темперамент: Сангвиник
Профессия: филолог

Сравнение переводчиков Bing, Google, Яндекс и DeepL

Сообщение Oleg » Пн янв 14, 2019 3:38 pm

Схожесть людей одного типа по фото это практически факт.
Конечно внутри типа есть несколько подгрупп.

Нейросеть выявит закономерности, и по ним будет сортировать.
Хотя описать их не сможет.
То есть это как черный ящик "вход - выход", а по каким признакам она отнесет фото к одному из типов будет неясно.
Аватара пользователя
Oleg
Администратор
Администратор
 
Сообщения: 75645
Зарегистрирован: Вс окт 09, 2005 9:08 pm
Откуда: Москва
Медали: 10
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Сократ (ВЛЭФ)
Темперамент: Флегматик
Профессия: Программист, оптимизатор

Сравнение переводчиков Bing, Google, Яндекс и DeepL

Сообщение Fouras » Пн янв 14, 2019 8:17 pm

Oleg писал(а):Нейросеть выявит закономерности, и по ним будет сортировать.
Хотя описать их не сможет.
То есть это как черный ящик "вход - выход", а по каким признакам она отнесет фото к одному из типов будет неясно.

Сможет. Грубо говоря, меняют вход и выход и смотрят что нагенерит эта сеть.

Совсем хорошую статью быстро не нашел, вот два примера, которые содержат объяснения воизуализации того что и как распознает сверточная сеть
http://stevenrush.github.io/understanding-cnn/
https://neurohive.io/ru/osnovy-data-science/glubokaya-svertochnaja-nejronnaja-set/

Но это уводит в сторону от соционики. Для обучения нужна база типирований, которая подтверждена слепым тестом хотя бы на самосходимость. То есть, это минимум, и должен быть строгий эксперимент как минимум с двумя типироващиками по типированию по чисто соционическим критериям. И только потом из этой базы обучать нейросеть по опознанию типа по внешности.

Люди же никогда не идут по этому пути. Они сразу включают в типирование внешность, то есть, по старту уходят от соционической концепции вбок. И отказываются от независимых проверок. А без этого все эти игры в распознавание - шлак уровня Таланова.
Аватара пользователя
Fouras
Старожил
Старожил
 
Сообщения: 7249
Зарегистрирован: Пн июн 12, 2017 1:23 am
Медали: 11
Пол: Мужской

Сравнение переводчиков Bing, Google, Яндекс и DeepL

Сообщение NecroMaster » Пн янв 14, 2019 8:39 pm

Speranza писал(а):Или можно научить нейросеть считывать по фото выражение лица и эмоции? :D


конечно можно.
одна известная распознавалка лиц, совершенно точно определила моего кота в лио декаприо!!
уловила же что-т во взгляде!! :add14
все, что делаешь, надо делать хорошо, даже если совершаешь безумство (с)
Аватара пользователя
NecroMaster
Дивергент
Дивергент
 
Сообщения: 1162
Зарегистрирован: Вт июн 19, 2018 9:08 am
Откуда: US
Медали: 1
Соционический тип: Наполеон
Тип по психе-йоге: Гёте (ФВЛЭ)
Темперамент: Сангвиник
Профессия: гармонизирующий подтип

Сравнение переводчиков Bing, Google, Яндекс и DeepL

Сообщение mr.Midas » Вт янв 15, 2019 4:33 pm

Fouras писал(а):Для обучения нужна база типирований


Не обязательно. Вместо неё можно дать обоснованную базу признаков, сформированных на понимании процессов, а не на кластеризации эмпирики. В современных сетях заложены критерии индивидуальной различимости, которые заведомом не совпадают с типировочными. Тем более что для соционики типировочные критерии не сформированы даже на эмпирическом уровне, хотя бы в виде точек равновесия для сравнения, которые можно было бы задать в виде оценочных правил сети. Теоретически для типирования надо оценивать весь ландшафт лица, а не только его отдельных частей, т.к. значимым фактором являются мимические мышцы, не имеющие значимости для индивидуального опознания.
Аватара пользователя
mr.Midas
КБ 'Грядущее'
КБ 'Грядущее'
 
Сообщения: 19840
Зарегистрирован: Ср июл 27, 2011 4:52 pm
Медали: 5
Пол: Мужской
Соционический тип: Дон Кихот
Тип по психе-йоге: Эпикур (ФЛЭВ)
Темперамент: Сангвиник
Профессия: Гэльвин в поиске

Сравнение переводчиков Bing, Google, Яндекс и DeepL

Сообщение Fouras » Вт янв 15, 2019 7:30 pm


Первый пример визуализации обученности сети в виде видео. Сеть обучалась на десятке фоток: собачки, птички, рыбки. В наше время можно отрендерить круче. На хабре была статья про визуализацию обученности нейросетей.
Я кинул иллюстрацию работы сети под постом вк-хабра и админ не увеличил ее, подумал, что это оффтопик и меня забанил. Там был рыбак из птичек и собачек, как на видео, только круче. За нейросети пострадал.

Что касается соционики, отдельные ли дихотомии искать, или все вместе, неважно. Нужна надежно подтвержденная база типирований строго по соционическим признакам. То что похож на дядю Васю, который вылитый Тина Тернер, только лысый. Сходство не должно быть учтено, это должна найти нейросеть, чтобы не уползла в какой-нибудь левый локальный минимум.

Как происходит "уползание" при типированию по сходству.

Давным давно я построил модель типироващика, который типирует по сходству. Там проявился следующий эффект:
допустим признак выражается от 0 до 1.
0.5 - строго середина.
0 - это А
1.0 - это Б

|lll|lll|
0 . . . 1.0

У нас есть типирования 0.4 и 1.0.
0.4 - это представитель типа А
1 - представитель типа Б

И вот у нас новый человек на типирование с признаком 0.6
0.6 - это Б, никаких вопросов.
Но он ближе к человеку с признаком на 0.4, там расстояние всего 0.2, он ближе к нему, чем к эталонному типу, от которого отстоит на 0.4. По признаку сходства он А.

Это приводит к тому, что какие-то типы начинают разбухать за счет других. Статистика искажается, но не очень сильно, как показало численное моделирование.

2. Далее в модель внес понятие "яркости личности" - у некоторых личностей, которые называем "яркими", начинает работать притяжение на сходство независимо от того, насколько они близки к эталону.

3. Эффект забывания. Старые эталоны забываются, новые используются для определения сходства активно.
Если уточнить, то забывание смоделировано так:
Есть небольшой пул эталонов, который используются для сравнения всегда.
Более "яркие" (параметр случайный) запоминаются надолго, менее яркие забываются пропорционально времени.

  • С учетом этого запускал случайных человеков и обучал программу на типирование по сходству. Модель через некоторое время (более 2000 типирований) треть входного потока типировала в один тип. Некоторые типы были почти в игноре.

Когда я показал это некоторым типировщикам, сказав что то что у них доны занимают одна треть всех типов, а достов практически нет, получил ответы:
1. Лень разбираться
2. Мой опыт это не подтверждает. Качество типирования сохраняется
3. Мне лень вникать в построения этиков
Аватара пользователя
Fouras
Старожил
Старожил
 
Сообщения: 7249
Зарегистрирован: Пн июн 12, 2017 1:23 am
Медали: 11
Пол: Мужской

Сравнение переводчиков Bing, Google, Яндекс и DeepL

Сообщение vadimr » Вт янв 15, 2019 9:09 pm

Fouras писал(а):Давным давно я построил модель типироващика, который типирует по сходству. Там проявился следующий эффект:
допустим признак выражается от 0 до 1.
0.5 - строго середина.
0 - это А
1.0 - это Б

А если в модели А = -1, Б = +1, и разные знаки проявляются противоположно (как, например, электрические заряды), то эффект будет другой.

Численная оценка качественных признаков вообще таит в себе массу математических парадоксов. А классическая соционика ничего не говорит о численной оценке силы признаков и, тем более, о транзитивности сравнения таких оценок.
Аватара пользователя
vadimr
Модератор
Модератор
 
Сообщения: 39268
Зарегистрирован: Пт ноя 23, 2007 9:02 pm
Откуда: Санкт-Петербург
Медали: 8
Пол: Мужской
Соционический тип: Джек Лондон

Сравнение переводчиков Bing, Google, Яндекс и DeepL

Сообщение Fouras » Вт янв 15, 2019 10:11 pm

vadimr писал(а):
Fouras писал(а):Давным давно я построил модель типироващика, который типирует по сходству. Там проявился следующий эффект:
допустим признак выражается от 0 до 1.
0.5 - строго середина.
0 - это А
1.0 - это Б

А если в модели А = -1, Б = +1, и разные знаки проявляются противоположно (как, например, электрические заряды), то эффект будет другой.


Нет, не будет другой эффект. Просто подумай. Речь идет о расстоянии, не более того.
Аватара пользователя
Fouras
Старожил
Старожил
 
Сообщения: 7249
Зарегистрирован: Пн июн 12, 2017 1:23 am
Медали: 11
Пол: Мужской

Сравнение переводчиков Bing, Google, Яндекс и DeepL

Сообщение vadimr » Вт янв 15, 2019 10:20 pm

Расстояние надо иметь основания вводить, и дальше ещё на каких-то основаниях должна основываться линейная шкала. Например, вода при -2 и -100 градусах гораздо больше похожа по своим свойствам, чем при -2 и +2. Хотя температура сама по себе объективна и реально может быть выражена числом.
Аватара пользователя
vadimr
Модератор
Модератор
 
Сообщения: 39268
Зарегистрирован: Пт ноя 23, 2007 9:02 pm
Откуда: Санкт-Петербург
Медали: 8
Пол: Мужской
Соционический тип: Джек Лондон

Сравнение переводчиков Bing, Google, Яндекс и DeepL

Сообщение Oleg » Ср янв 16, 2019 2:07 am

mr.Midas писал(а):
Fouras писал(а):Для обучения нужна база типирований


Не обязательно. Вместо неё можно дать обоснованную базу признаков, сформированных на понимании процессов, а не на кластеризации эмпирики. В современных сетях заложены критерии индивидуальной различимости, которые заведомом не совпадают с типировочными. Тем более что для соционики типировочные критерии не сформированы даже на эмпирическом уровне, хотя бы в виде точек равновесия для сравнения, которые можно было бы задать в виде оценочных правил сети. Теоретически для типирования надо оценивать весь ландшафт лица, а не только его отдельных частей, т.к. значимым фактором являются мимические мышцы, не имеющие значимости для индивидуального опознания.

Обязательно.
Нейросеть нужно обучать на первоначальной выборке.
Оценочные правила - это экспертная система, она сильно проигрывает нейросети.
Альфа Зеро (нейросеть) вынесла Стокфиш (экспертная) почти всухую в шахматы.
Аватара пользователя
Oleg
Администратор
Администратор
 
Сообщения: 75645
Зарегистрирован: Вс окт 09, 2005 9:08 pm
Откуда: Москва
Медали: 10
Пол: Мужской
Соционический тип: Бальзак
Тип по психе-йоге: Сократ (ВЛЭФ)
Темперамент: Флегматик
Профессия: Программист, оптимизатор

Сравнение переводчиков Bing, Google, Яндекс и DeepL

Сообщение Speranza » Ср янв 16, 2019 9:27 am

Попробовала DeepL на эпистолярном жанре (фрагмент письма Дитриха Бонхёффера невесте из тюрьмы).

Перевод с немецкого на английский очень хороший, а русский перевод никуда не годится без основательной редактуры, уйма грамматических ошибок и стилистических ляпов.
В общем, не советую пользоваться нейросетями для объяснений в любви - эффект может получится противоположным ожидаемому. :add25

Немецкий оригинал

Hab Dank für Deinen Brief! Er hat mich nicht traurig gemacht, garnicht, sondern froh, unendlich froh, weil ich weiß, daß wir so nicht zueinander sprechen würden, wenn wir uns nicht sehr lieb hätten, viel lieber als wir es beide heute noch wissen; und ist es nicht gut, daß wir es jetzt, da wir getrennt sind, noch garnicht ganz wissen, wie lieb wir uns haben und sind? Sieh mal, nichts von dem, was Du schreibst, hat mich überrascht oder erschreckt. Ich hatte es mir alles ungefähr so gedacht. Wie sollte ich denn auch meinen, daß Du mich, nachdem wir uns kaum gesehen haben, überhaupt lieben kannst und wie mußte ich nicht über den kleinsten Funken glücklich und froh sein? Wäre es anders, so hätte es ja nur irgendein Phantasiebild, das garnicht ich bin, sein können, das Du liebst. Unsere Liebe sollte ja gerade erst anfangen, als wir getrennt wurden. Wie gut, daß wir uns in der Ferne nicht in irgendetwas hineingesteigert haben, sondern daß wir alles so hingenommen haben wie es war und wie es ist! Ich will Dir offen sagen, ich habe manchmal gefürchtet, Du könntest aus Mitleid ja gesagt haben. Nun weiß ich, daß es das nicht war, sondern daß es so war wie bei mir auch: wir wußten, daß wir zusammengehören, und wir wissen das heute noch und mehr denn je. Daß es nicht wilde Leidenschaft war und wurde, das liegt an dem Weg, den wir geführt worden sind. Aber dürfen wir darüber heute nicht sogar froh sein? Denn wieviel unerträglicher wäre heute unsere Trennung, zu all der Qual, die sie uns heute schon bereitet, noch hinzu! Wenn die Sonne uns bestrahlt und im Innersten erwärmt, wollen wir uns darüber beklagen, daß sie uns nicht verbrennt? Ich bin darin ganz ruhig und Du mußt es auch sein.



Перевод на английский

Thank you for your letter! It did not make me sad, not at all, but happy, infinitely happy, because I know that we would not talk to each other like this if we did not love each other very much, much better than we both still know it today; and is it not good that now that we are separated, we do not quite know how much we love each other and are? Look, nothing you write has surprised or frightened me. I had thought it all about this way. How was I supposed to think that you could love me at all after we had hardly seen each other and how didn't I have to be happy and glad about the smallest spark? If it were different, it could only have been some fantasy image that you love, that I am not at all. Our love was just supposed to start when we were separated. It's a good thing that we didn't get into anything in the distance, but that we accepted everything as it was and as it is! I want to tell you frankly, sometimes I feared that you might have said yes out of pity. Now I know that it wasn't that, but that it was like me: we knew that we belonged together, and we know that today more than ever. That it wasn't and didn't become wild passion is due to the way we were led. But may we not even be happy about that today? For how much more unbearable would our separation be today, in addition to all the torment it already causes us today! When the sun shines on us and warms our hearts, do we want to complain that it does not burn us? I am quite calm in it and you must be too.


Перевод на русский

Спасибо за письмо! Он не сделал меня грустной, вовсе нет, но счастливой, бесконечно счастливой, потому что я знаю, что мы не стали бы так разговаривать друг с другом, если бы не любили друг друга, гораздо лучше, чем мы оба знаем сегодня; и разве не хорошо, что теперь, когда мы расстались, мы не знаем, как сильно мы любим друг друга и каково это? Слушай, ничего из того, что ты пишешь, меня не удивило и не напугало. Я все это понял, что-то вроде этого. Как я мог подумать, что вы можете любить меня после того, как мы почти не виделись, и как я не должен был быть счастлив и рад самой маленькой искре? Если бы все было по-другому, это мог быть только какой-то фантастический образ того, кем я вовсе не являюсь, кого ты любишь. Наша любовь должна была начаться, когда мы расстались. Хорошо, что мы не попали ни в что на расстоянии, но мы приняли все как есть и как есть! Хочу откровенно сказать, иногда я боялся, что ты скажешь "да" из жалости. Теперь я знаю, что это было не так, но что это было то же самое, что и со мной: мы знали, что принадлежим друг другу, и мы знаем это сегодня, как никогда ранее. То, что это не было и не было дикой страстью, связано с тем путем, которым нас вели. Но разве мы не можем быть счастливы этим сегодня? Насколько невыносимым было бы наше разделение сегодня, в дополнение ко всем мучениям, которые оно уже причиняет нам сегодня! Когда солнце светит на нас и согревает наши сердца, хотим ли мы жаловаться, что оно нас не сжигает? Я очень спокоен в этом, как и ты.
"Дюма" и "Гёте" в моём профиле суть типы временные, игровые и ситуативные
Аватара пользователя
Speranza
Гуру
Гуру
 
Сообщения: 22407
Зарегистрирован: Пт май 04, 2018 11:27 pm
Откуда: Germany
Медали: 8
Пол: Женский
Соционический тип: Дюма
Тип по психе-йоге: Гёте (ФВЛЭ)
Темперамент: Сангвиник
Профессия: филолог

Сравнение переводчиков Bing, Google, Яндекс и DeepL

Сообщение Fouras » Ср янв 16, 2019 5:27 pm

vadimr писал(а):Расстояние надо иметь основания вводить, и дальше ещё на каких-то основаниях должна основываться линейная шкала. Например, вода при -2 и -100 градусах гораздо больше похожа по своим свойствам, чем при -2 и +2. Хотя температура сама по себе объективна и реально может быть выражена числом.

Я даже не знаю как реагировать на подобные сообщения и надо ли. У нас расстояние выводится из любого континуума над которым установлены операции больше, меньше и равно. Понятие сходства определенно этим критериям отвечает.

Причем спорить о линейности можно только в том случае, если есть независимая шкала-эталон, которая задает линейность отображения. В нашем случае у нас ее нет, да мы и не нуждаемся в ней.

Таким образом, модель которая моделирует типирования по сходству вполне адекватна, и вовсе не обязана выдавать абсолютно точные численные ответы с известной погрешностью. Это модель, которая демонстрирует качественно явление и она совершенно точно согласуется с реальностью: типировщики, которые ориентируются на сходство с уже оттипированными, постепенно начинают типировать в один тип. Примеры: Типолог - у которого все бальзаки, Кувалдос - у которого все гамлеты.

Явление расширения кластера при типировании по сходству существует. Гипотеза о причине его возникновения подтверждается численным экспериментом. К чему твои рассуждения о температуре воды я без понятия, мистер Яхочупоспорить.
Аватара пользователя
Fouras
Старожил
Старожил
 
Сообщения: 7249
Зарегистрирован: Пн июн 12, 2017 1:23 am
Медали: 11
Пол: Мужской

Пред.След.

  • { SIMILAR_TOPICS }
    Ответы
    Просмотры
    Последнее сообщение

Вернуться в ИИ и нейросети

Кто сейчас на конференции

Зарегистрированные пользователи: GoGo [Bot], Google [Bot], LeRoy, Грим, vadimr, Yandex 3.0 [Bot], Yandex [Bot], Феликс, Марина99, на лошади весёлой